JP2011081457A - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP2011081457A
JP2011081457A JP2009230943A JP2009230943A JP2011081457A JP 2011081457 A JP2011081457 A JP 2011081457A JP 2009230943 A JP2009230943 A JP 2009230943A JP 2009230943 A JP2009230943 A JP 2009230943A JP 2011081457 A JP2011081457 A JP 2011081457A
Authority
JP
Japan
Prior art keywords
clip
family tree
node
image generation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009230943A
Other languages
English (en)
Other versions
JP2011081457A5 (ja
Inventor
Junichi Ogikubo
純一 荻窪
Yasukimi Ichinaka
康公 市中
Shigeru Owada
茂 大和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009230943A priority Critical patent/JP2011081457A/ja
Priority to US12/890,006 priority patent/US20110080941A1/en
Priority to CN2010102942235A priority patent/CN102036018B/zh
Publication of JP2011081457A publication Critical patent/JP2011081457A/ja
Publication of JP2011081457A5 publication Critical patent/JP2011081457A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】フォーマット変換により生成されるクリップの素性をユーザが容易に把握することができるようにする。
【解決手段】画像生成部424は、入力受付部421から供給されるユーザ指示や、情報取得部423から供給される各種情報に基づいて、クリップの素性を示す、例えば、ツリー型、家系図型、2Dグラフ型、または3Dグラフ型のファミリーツリーを生成する。表示制御部425は、その画像を、例えば出力部212に含まれるモニタに表示させる。本発明は、例えば、情報処理装置に適用することができる。
【選択図】図7

Description

本発明は、情報処理装置および方法に関し、特に、フォーマット変換により生成されるクリップの素性をユーザが容易に把握することができるようにした情報処理装置および方法に関する。
近年、ビデオまたはオーディオを含むコンテンツの提供・配信方法は多様化の一途を辿っており、それに応じてコンテンツの規格も多様化している。
例えば、DVDやCD等の記録媒体に記録された状態での配布、インターネット等のネットワークを介しての配信、携帯型電子機器への転送、地上デジタル放送、衛星放送、または、映画館での上映等の、様々な用途に応じて、コンテンツのフォーマットがそれぞれ規格化されている。
このようなコンテンツの多様化に従い、コンテンツ制作の場において、様々なフォーマットへのトランスコード(変換)が必要になってきており、マルチメディアコンテンツのフォーマットの変換を行うシステムが開発されている(例えば、特許文献1乃至特許文献3参照)。
特表2003−527005号公報 特開2002−44622号公報 特開2002−77855号公報
しかしながら、従来のシステムにおいては、どのファイルを変換してどのファイルを作ったかという、各ファイルの素性を明らかにする情報が生成されていなかった。したがって、所望のファイルを探す場合、ユーザが手作業で各ファイルのフォーマットや画像を確認しなければならず、煩雑な作業が必要であった。
近年においては、このようなコンテンツ制作の場におけるマルチメディアコンテンツのフォーマットのトランスコード(変換)に対する要求は、日々、大きくなっており、より多様なフォーマットへのトランスコード(変換)がより頻繁に行われるようになってきた。
これにより、フォーマット変換の体系はより複雑化してきたが、例えば新規の変換処理だけでなく、変換処理のやり直し(再トランスコード)も頻繁に行われるようになってきており、変換処理の機会は増大する一方である。
このような変換処理を行う際に、変換元のファイルを適切に選択し、適切な変換処理を行うためには、各ファイルの素性を明らかにする必要がある。しかしながら、従来のシステムにおいては、そのような素性を明らかにする情報は生成されないので、ユーザが各ファイルを1つずつ確認しなければならず、煩雑な作業が必要になる恐れがあった。
本発明は、このような状況に鑑みて提案されたものであり、フォーマット変換により生成されるクリップの素性をユーザが容易に把握することができるようにすることを目的とする。
本発明の一側面は、クリップのフォーマットを変換する変換処理の変換体系の管理情報に基づいて、前記クリップをノードとして表し、前記変換処理に関する前記クリップ同士の関係をリンクとして表す画像であるファミリーツリーを生成する画像生成手段と、前記画像生成手段により生成される前記ファミリーツリーを表示画面に表示させる表示制御手段とを備える情報処理装置である。
前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの前記トランスコードの世代を前記ノードの左右方向の位置により表すツリー型の前記ファミリーツリーを生成し、前記表示制御手段は、前記画像生成手段により生成される前記ツリー型の前記ファミリーツリーを表示させることができる。
前記画像生成手段は、各クリップのファイルの存在の有無を、前記ノードの表示方法で示すように、前記ツリー型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、各クリップの画サイズを、前記ノードの大きさで示すように、前記ツリー型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、各クリップのビットレート若しくはフレームレートを、前記ノードの色または濃度で示すように、前記ツリー型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、ユーザにより入力される所定の操作に従って、所望のクリップの下の前記ツリー型の前記ファミリーツリーの構成を他のクリップの下に複製することができる。
前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの前記トランスコードの世代を前記ノードの上下方向の位置により表す家系図型の前記ファミリーツリーを生成し、前記表示制御手段は、前記画像生成手段により生成される前記家系図型の前記ファミリーツリーを表示させることができる。
前記画像生成手段は、各クリップのファイルの存在の有無を、前記ノードの表示方法で示すように、前記家系図型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、各クリップの画サイズを、前記ノードの大きさで示すように、前記家系図型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、各クリップのビットレート若しくはフレームレートを、前記ノードの色または濃度で示すように、前記家系図型の前記ファミリーツリーを生成することができる。
前記画像生成手段は、ユーザにより入力される所定の操作に従って、所望のクリップの下の前記家系図型の前記ファミリーツリーの構成を他のクリップの下に複製することができる。
前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの特性を前記ノードのグラフ上の位置により表すグラフ型の前記ファミリーツリーを生成し、前記表示制御手段は、前記画像生成手段により生成される前記グラフ型の前記ファミリーツリーを表示させることができる。
前記画像生成手段は、前記グラフの各軸に互いに異なるパラメータを割り当てることができる。
前記グラフは2次元のグラフであるようにすることができる。
前記グラフは3次元のグラフであるようにすることができる。
前記表示画面に表示される前記ファミリーツリーに基づいて入力されるユーザ指示を受け付ける指示受付手段をさらに備えることができる。
本発明の一側面は、また、クリップのフォーマットを変換する変換処理の変換体系の管理情報に基づいて、前記クリップをノードとして表し、前記変換処理に関する前記クリップ同士の関係をリンクとして表す画像であるファミリーツリーを生成し、生成される前記ファミリーツリーを表示画面に表示させる情報処理方法である。
本発明の一側面においては、クリップのフォーマットを変換する変換処理の変換体系の管理情報に基づいて、クリップをノードとして表し、変換処理に関するクリップ同士の関係をリンクとして表す画像であるファミリーツリーが生成され、生成されるファミリーツリーが表示画面に表示される。
本発明によれば、コンテンツのフォーマットを変換することができる。特に、そのフォーマット変換により生成されるクリップの素性をユーザが容易に把握することができる。
本発明を適用した変換システムの主な構成例を示すブロック図である。 マルチフォーマットのトランスコードの様子を説明する図である。 フォーマット変換体系の例を示す図である。 図1のリモートクライアントの主な構成例を示すブロック図である。 図1のマルチフォーマットトランスコーダの主な構成例を示すブロック図である。 各デバイスが有する機能を示す機能ブロック図である。 リモートクライアントが有する主な機能ブロックの例を示す図である。 リモートクライアントのGUIの表示例を説明する図である。 ファミリーツリーの表示例を説明する図である。 GUIにおいて行われるユーザ指示の例を説明する図である。 クライアント処理の流れの例を説明するフローチャートである。 クライアント処理の流れの例を説明する、図11に続くフローチャートである。 ファミリーツリーの、他の表示例を説明する図である。 ファミリーツリーの、さらに他の表示例を説明する図である。 クリップを指定する様子を説明する図である。 ファミリーツリーの、さらに他の表示例を説明する図である。 ファミリーツリーの、さらに他の表示例を説明する図である。 ファミリーツリーの、さらに他の表示例を説明する図である。 複数タスクの管理の様子の例を示す図である。 複数タスクの並列実行の様子の例を示す図である。
以下、発明を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(変換システム)
<1.第1の実施の形態>
[変換システムの構成]
図1は、本発明を適用した変換システムの一実施の形態の構成を表している。
図1において、変換システム100は、映像や音声を含むことができるマルチメディアのコンテンツのフォーマットをトランスコード(変換)する情報処理システムである。
図1に示されるように、変換システム100は、ネットワーク(Network)102を介して接続される、マルチフォーマットトランスコーダ101、リモートクライアント103−1、およびリモートクライアント103−2を有する。
マルチフォーマットトランスコーダ101は、コンテンツのフォーマットをトランスコード(変換)する処理装置である。マルチフォーマットトランスコーダ101は、映像または音声を含むマルチメディアのコンテンツを処理することができる。
このコンテンツに含まれる例えば映像や音声等の各素材データがそれぞれファイル化されていても、マルチフォーマットトランスコーダ101は、それらを1つの素材として管理し、処理する。このように、マルチフォーマットトランスコーダ101によって1つの素材とみなされる、素材データやメタデータ等の集合をクリップ(Clip)と称する。
このクリップには、任意のデータが含まれるようにしてもよい。以下においては、説明の便宜上、映像データ、音声データ、映像データの映像を低解像度にしたプロキシデータ(ローレゾデータ)、および、そのコンテンツや各データに関するメタデータが含まれるものとする。もちろん、これらのデータが全てクリップに含まれている必要はなく、これら以外のデータがクリップに含まれていてもよい。
なお、メタデータには、コンテンツや各データに関する情報が含まれる。例えば、コンテンツの名前、シーンやテイクの番号、IN点OUT点のタイムコード、Duration、作成日付、更新日付、場所や天気等撮影時の補足メモ、並びにコメント等が含まれる。もちろん、これら以外のどのような情報が含まれていても良いし、これらの情報が含まれていなくてもよい。
クリップは、その用途等によって様々に規格化されており、多様なフォーマットが存在する。そのフォーマットによって、クリップに含まれる各データ(各ファイル)のフォーマットが異なる場合もあるし、各データに含まれる情報が異なる場合もある。マルチフォーマットトランスコーダ101は、このようなクリップのフォーマットを他のフォーマットに変換する処理(トランスコード)を行う。
マルチフォーマットトランスコーダ101は、インターネットやLAN(Local Area Network)等に代表されるネットワーク102を介して、リモートクライアント103−1またはリモートクライアント103−2により制御される。
リモートクライアント103−1およびリモートクライアント103−2は、SOAP(Simple Object Access Protocol)を利用して、マルチフォーマットトランスコーダ101と通信を行い、マルチフォーマットトランスコーダ101の動作を制御する。もちろん、SOAP以外のプロトコルが用いられるようにしてもよい。
リモートクライアント103−1およびリモートクライアント103−2を互いに区別して説明する必要の無い場合、単にリモートクライアント103と称する。変換システム100におけるリモートクライアント103の台数は任意である。また、リモートクライアント103は、ネットワーク102を介してマルチフォーマットトランスコーダ101と通信可能であり、かつ、マルチフォーマットトランスコーダ101を制御可能な電子機器であれば何でもよく、例えば、ノート型パーソナルコンピュータや携帯電話機のような移動可能な所謂モバイル機器であってもよいし、デスクトップ型のパーソナルコンピュータやハードディスクレコーダのような据置型の電子機器であってもよい。
リモートクライアント103のモニタには、マルチフォーマットトランスコーダ101を制御する操作を受け付けるためのGUI(Graphical User Interface)104が表示され、ユーザはそのGUI104に対する操作をリモートクライアント103に入力する。リモートクライアント103は、その入力されたユーザ指示を、ネットワーク102を介してマルチフォーマットトランスコーダ101に供給することにより、マルチフォーマットトランスコーダ101の動作を制御する。
もちろん、ネットワーク102は、マルチフォーマットトランスコーダ101とリモートクライアント間の通信媒体となるものであれば、その構成は任意である。例えば、有線の通信網であってもよいし、無線の通信網であってもよいし、それらが混在していてもよい。また、ネットワーク102が複数のネットワークにより構成されるようにしてもよい。
さらに、変換システム100が、マルチフォーマットトランスコーダ101を複数有するようにしてもよい。
[トランスコード概要]
次に、マルチフォーマットトランスコーダ101によるトランスコードの概要について説明する。図2は、マルチフォーマットのトランスコードの様子を説明する図である。
マルチフォーマットトランスコーダ101は、任意の規格のエンコーダやデコーダを有することができ、任意のフォーマット間のトランスコード(変換処理)を行うことができる。
例えば、マルチフォーマットトランスコーダ101は、図2に示されるように、DPX(Digital Picture Exchange)、ロスレスのJPEG(Joint Photographic Experts Group)2000、MPEG(Moving Picture Experts Group)2やAVC(Advanced Video Coding)等を用いる業務用の映像ファイルフォーマットであるMXF(Material eXchange Format)、またはDNxHD等のフォーマットを変換処理することができる。
なお、マルチフォーマットトランスコーダ101は、クリップのフォーマットをトランスコード(変換)するものである。つまり、このトランスコードには、例えば、画サイズ、アスペクト比、若しくはフレームレート等の変更、または、タイムコードやタイトル等の焼き付けような、画像や音声等の素材データの再エンコードだけでなく、例えばメタデータの内容の更新等、フォーマット変換に関するあらゆる変換処理が含まれる。
マルチフォーマットトランスコーダ101は、コンテンツを構成するファイル群をクリップとして登録して管理し、その登録したクリップをトランスコードの対象とする。換言すれば、マルチフォーマットトランスコーダ101は、クリップとして登録されているファイルをトランスコードの処理対象とする。
ただし、マルチフォーマットトランスコーダ101は、任意の形態のコンテンツをデジタルデータ化してからクリップとして登録する機能(インジェスト機能)を有する。したがって、入力されるコンテンツの形態は、任意である(Anything In)。
例えば、入力されるコンテンツは、図2に示されるように、デジタルシネマ等に用いられる4096×2160ドットの所謂4K映像を含むマルチメディアのコンテンツであってもよいし、1920×1080ドットのHD(High-Definition)画像を含むマルチメディアのコンテンツであってもよい。これらのデータがネットワーク102を介してマルチフォーマットトランスコーダ101に送信されるようにしてもよいし、光ディスクやフラッシュメモリ等の記録媒体に記録された状態でマルチフォーマットトランスコーダ101に供給されるようにしてもよい。またフィルム映像のようにデジタルデータでなくてもよい。
同様に、マルチフォーマットトランスコーダ101は、デジタルデータを任意の形態のコンテンツに変換する機能を有している。したがって、出力されるコンテンツの形態は、任意である(Anything Out)。
例えば、マルチフォーマットトランスコーダ101は、変換後のクリップを、VTR(Tape OUT)として出力することもできるし、編集用データとして出力することもできるし、デジタルシネマのコンテンツとして出力することもできるし、配布用や保存用の規格のコンテンツとして出力することもできるし、フィルム映像として出力することもできる。
マルチフォーマットトランスコーダ101は、以上のように任意のフォーマットを任意のフォーマットにトランスコードするだけでなく、そのトランスコードに関する情報(変換管理情報)を管理する(Transcode & Manage Anything)。
マルチフォーマットトランスコーダ101は、この変換管理情報として、例えば、トランスコードの内容(変換パラメータ)や、変換前後の各クリップ(またはファイル)に関する情報(メタデータ等)をデータベース化し、管理する。また、マルチフォーマットトランスコーダ101は、変換管理情報として、そのトランスコードの様子(体系)を示す情報、すなわち、どのクリップ(ファイル)からどのクリップ(ファイル)が作成されたかを示す情報である、トランスコードの家系図(ファミリーツリー)をデータベース化して管理する。
[変換体系]
次に、このトランスコードの体系についてより詳細に説明する。図3は、フォーマット変換の体系の例を示す図である。
図3において、変換体系110は、クリップ111をオリジナル(始祖)とするトランスコードの変換体系を示す。図3に示されるように、変換体系110において、クリップ111が矢印121―1のようにトランスコードされてクリップ112−1が生成される。同様に、クリップ111が矢印121―2のようにトランスコードされてクリップ112−2が生成される。
以下、同様に、クリップ112−1がトランスコード(矢印122−1乃至矢印122−3)されて、クリップ113−1乃至クリップ113−3がそれぞれ生成され、クリップ112−2がトランスコード(矢印123−1および矢印123−2)されて、クリップ114−1およびクリップ114−2がそれぞれ生成される。
さらに、同様に、クリップ113−1がトランスコード(矢印124−1および矢印124−2)されて、クリップ115−1およびクリップ115−2がそれぞれ生成され、クリップ113−3がトランスコード(矢印125−1)されて、クリップ116−1が生成され、クリップ114−2がトランスコード(矢印126−1)されて、クリップ117−1が生成される。
このように、1つのクリップを複数のフォーマットにトランスコードすることができる。また、変換後のクリップをさらにトランスコードすることもできる。このようなトランスコードにより、図3に示されるように、1つのクリップをオリジナル(始祖)とする1つの変換体系110が形成される。
近年、コンテンツのフォーマットはより多様化している。例えば1つのコンテンツを、映画館で上映したり、DVD(Digital Versatile Disc)やBD(Blu-ray Disc)として販売したり、インターネットを介して配信したり、携帯電話機や電子ゲーム機等のようなモバイル機器に転送したり、テレビジョン信号として放送したりすることが考えられる。
近年のコンテンツ制作においては、制作するコンテンツをこのような多様なフォーマットに対応させる必要が生じている。そのため、フォーマットのトランスコードがより頻繁に行われるようになってきている。また、コンテンツ制作の場合、試作や管理等の、最終段階以外での利用のために、さらにその他のフォーマットへの変換が必要になる場合も多く、さらにトランスコードの機会が増大している。したがって、図3に示されるような変換体系110は、より複雑なものとなってきている。
ところでトランスコードが行われると、基本的に変換前の情報は減少する(劣化する)が、新たな情報が付加されることもある。したがって、目的のフォーマットを得るために新たなトランスコードを行う場合、その変換元のクリップは、必要な情報を得ることができ、かつ、処理の負荷を不要に増大させないように、変換体系110の各ノードの中の最適なノード(クリップ)を選択するのが望ましい。
しかしながら、変換体系110が複雑になると、ユーザがこの全てを管理する(例えば記憶したり、手作業で記録をとったりする)ことが困難になる。この変換体系110が把握できていない場合、ユーザは、各クリップの各ファイルのフォーマット等を個別に確認し、変換元のクリップとして最適なものを選択しなければならず、煩雑な作業を必要とする。
マルチフォーマットトランスコーダ101は、変換体系110をファミリーツリー(家系図)として管理するので、ユーザは、その情報を基に、クリップ間の関係や、各クリップのフォーマット等を容易に把握することができる。すなわち、上述したような変換元として最適なクリップの検索を容易に行うことができる。換言すれば、ユーザは、あるクリップが属する変換体系に属する任意のクリップ(またはそのクリップに属する各ファイル)を容易に検索することができる。
ところで、トランスコードにより生成された各クリップのファイル(実データ)が削除されてしまうことも考えられる。そしてさらに、このように削除されたファイルを再利用(再トランスコード)したくなることも考えられる。このような場合、マルチフォーマットトランスコーダ101が管理するトランスコードに関する情報により、ユーザは、削除されたファイルの変換元となるクリップを容易かつ正確に特定することができ、さらに、そのトランスコードの内容も容易に把握することができる。つまり、マルチフォーマットトランスコーダ101は、ファイルが削除されたクリップを容易に復元することができる。
なお、変換元とすることができる全てのクリップの全てのファイルが削除されている場合等、目的のクリップのファイルを復元することができない場合も考えられる。マルチフォーマットトランスコーダ101が管理するトランスコードに関する情報により、ユーザは、このように所望のファイルが復元可能であるか否かも容易に把握することができる。
以上のように、トランスコードに関する情報を管理することにより、マルチフォーマットトランスコーダ101は、所望のクリップのファイルを容易に復元することができるので、トランスコードにより生成されたファイルを全て保存しておく必要がなくなる。つまり、マルチフォーマットトランスコーダ101はファイル保存のためのコストを低減させることができる。近年においては、コンテンツのデータ量は増大する一方であるので、例えば使用頻度が少ない等の、不要なファイルを削除することができるのは大きな効果となる。
リモートクライアント103は、モニタにGUI画像を表示する等して、このようなマルチフォーマットトランスコーダ101に対するユーザ操作を受け付ける。つまり、リモートクライアント103は、上述したトランスコードの変換体系(その中に含まれる各クリップの素性)を表すファミリーツリー(FT)等をモニタに表示する等して、ユーザに提示する。
上述したようにトランスコードの変換体系は複雑になる一方であるので、その変換体系を表すファミリーツリー(FT)の表現方法が適切でないと、ユーザにとって分かり難いものとなり、マルチフォーマットトランスコーダ101の操作性が低下する恐れがある。
そこで、リモートクライアント103は、ユーザが変換体系の構造やクリップの素性をより容易に理解することができるような、より適切な表現方法で、ファミリーツリー(FT)の表示を行う。これにより、マルチフォーマットトランスコーダ101の操作性が向上し、ユーザは、トランスコードの制御をより容易に行うことができるようになる。
[デバイスの構成]
次に変換システム100を構成する各装置の構成について説明する。図4は、図1のリモートクライアントの、ハードウェアの主な構成例を示すブロック図である。
図4において、リモートクライアント103のCPU(Central Processing Unit)201は、ROM(Read Only Memory)202に記憶されているプログラム、または記憶部213からRAM(Random Access Memory)203にロードされたプログラムに従って各種の処理を実行する。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU201、ROM202、およびRAM203は、バス204を介して相互に接続されている。このバス204にはまた、入出力インタフェース210も接続されている。
入出力インタフェース210には、キーボード、マウスなどよりなる入力部211、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部212、ハードディスクやSSD(Solid State Drive)などより構成される記憶部213、モデム、有線LAN(Local Area Network)インタフェース、または無線LANインタフェースなどにより構成される通信部214が接続されている。通信部214は、例えばインターネット等を含むネットワーク102を介しての通信処理を行う。
入出力インタフェース210にはまた、必要に応じてドライブ215が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア221が適宜装着され、それらから読み出されたコンピュータプログラムやデータが、必要に応じて記憶部213にインストールされる。
図5は、図1のマルチフォーマットトランスコーダの、ハードウェアの主な構成例を示すブロック図である。
図5に示されるように、マルチフォーマットトランスコーダ101は、図4のリモートクライアント103と基本的に同様の構成を有する。つまり、マルチフォーマットトランスコーダ101は、CPU201に対応するCPU301、ROM202に対応するROM302、RAM203に対応するRAM303、およびバス204に対応するバス304を有する。また、マルチフォーマットトランスコーダ101は、入出力インタフェース210に対応する入出力インタフェース310、入力部211に対応する入力部311、出力部212に対応する出力部312、記憶部213に対応する記憶部313、通信部214に対応する通信部314、ドライブ215に対応するドライブ315を有する。ドライブ315には、リムーバブルメディア221に対応するリムーバブルメディア321が装着される。
もちろん、リモートクライアント103およびマルチフォーマットトランスコーダ101が、それぞれ、上述した以外の構成を有するようにしてもよい。
[変換システム機能ブロック]
次に、各デバイスが有する機能について説明する。図6は、各デバイスが有する機能を示す機能ブロック図である。
図6に示されるように、リモートクライアント103−1は、ユーザがマルチフォーマットトランスコーダ101を制御するためのGUIを表示する機能であるクライアントGUI(Client GUI)411−1と、マルチフォーマットトランスコーダ101との通信機能であるSOAPインタフェース(SOAP i/f)412−1を有している。
リモートクライアント103−2も同様に、クライアントGUI(Client GUI)411−2およびSOAPインタフェース(SOAP i/f)412−2を有している。
以下において、クライアントGUI(Client GUI)411−1およびクライアントGUI(Client GUI)411−2を互いに区別して説明する必要が無い場合、単に、クライアントGUI(Client GUI)411と称する。同様に、SOAPインタフェース(SOAP i/f)412−1およびSOAPインタフェース(SOAP i/f)412−2を互いに区別して説明する必要が無い場合、単に、SOAPインタフェース(SOAP i/f)412と称する。
つまり、各リモートクライアント103は、クライアントGUI(Client GUI)411およびSOAPインタフェース(SOAP i/f)412を有している。
マルチフォーマットトランスコーダ101(Multi Format Transcoder)は、変換処理の制御を行うアーキテクチャホストコントローラ(Architecture Host Controller)と、アーキテクチャホストコントローラに制御され、実際に変換処理を行うアクセラレータ(Accelerator)を有する。
アーキテクチャホストコントローラは、ネットワーク(Network)102を介してリモートクライアント103と通信を行う機能であるSOAPインタフェース(SOAP i/f)を有する。また、アーキテクチャホストコントローラは、マルチフォーマットトランスコーダ101としての各種機能を実現するマルチフォーマットトランスコーダアプリケーション(Multi-Format Transcoder Application)を有する。
さらに、アーキテクチャホストコントローラは、各ファイルのメタデータを管理するメタデータデータベース(Metadeta Database)と、トランスコードに関する情報を管理するユーザデータベース(User Database)を有する。
また、アーキテクチャホストコントローラは、アプリケーションの実行に伴って適宜実行される、ラッパー(Wrapper)やファイル入出力(File I/O)等のための、プラグインソフトウェア(Plug-in Software)を有する。
さらに、アーキテクチャホストコントローラは、アプリケーション等による各種処理を実行する実行部(Executer)を有する。
また、アーキテクチャホストコントローラは、OSやドライバ等が動作するプラットフォームソフトウェア(Platform Software)を有する。
アーキテクチャホストコントローラのプラットフォームソフトウェアは、例えばPCI Express x16等のバスを介して、アクセラレータのプラットフォームソフトウェア(Platform Software)と連携して動作する。
アクセラレータは、また、アーキテクチャホストコントローラにより指定されるタスクを実行する実行部(Executer)、そのタスクの実行に伴い適宜実行される、符号化(Codec)や画像処理(Video Proc)等のための、プラグインソフトウェア(Plug-in Software)を有する。
つまり、アーキテクチャホストコントローラが、リモートクライアント103との通信や、トランスコードやその他の処理に関するタスクの生成や管理等を行い、アクセラレータが、そのアーキテクチャホストコントローラにより生成されたタスクを実行する。また、アーキテクチャホストコントローラは、トランスコードに関する情報の生成や管理も行う。
なお、このアーキテクチャホストコントローラとアクセラレータは、物理的に互いに異なるCPUにより実現されるようにしてもよいし、1つのCPUの互いに異なるコアやスレッドにおいて実現されるようにしてもよいし、1つのコアにおいて時分割されて実現されるようにしてもよい。
なお、図6に示されるように、ネットワーク102には、クリップのファイルを格納するメディアサーバ(Media Server)401も接続されているものとする。つまり、マルチフォーマットトランスコーダ101は、ファイルの格納先アドレスや、メタデータの一部または全部等は記憶し、管理するが、コスト低減等のため、ファイルそのものは記憶(管理)しない。もちろん、アーキテクチャホストコントローラ内にファイルが記憶されるようにしてもよい。
[リモートクライアント機能ブロック]
次に、このようなマルチフォーマットトランスコーダ101を制御するためのユーザインタフェースとなるリモートクライアント103が有する機能の詳細について説明する。
図7は、リモートクライアントが有する主な機能ブロックの例を示す図である。図7に示されるように、リモートクライアント103のクライアントGUI411は、入力受付部421、指示供給部422、情報取得部423、画像生成部424、および表示制御部425を有する。
入力受付部421は、入力部211を制御する等して、ユーザによる指示の入力を受け付ける。受け付けたユーザ指示が、例えばカーソルの移動やGUIボタンの押下等のように、表示の更新に関するものである場合、入力受付部421は、そのユーザ指示を画像生成部424に供給する。また、受け付けたユーザ指示が、例えばコマンド入力やショートカットキー操作のような、マルチフォーマットトランスコーダ101に対するものである場合、入力受付部421は、そのユーザ指示を指示供給部422に供給する。
指示供給部422は、入力受付部421から供給されるユーザ指示、若しくは、カーソル移動やGUIボタン操作等の結果得られるマルチフォーマットトランスコーダ101に対するユーザ指示を、SOAPインタフェース412を介してマルチフォーマットトランスコーダ101に供給する。
情報取得部423は、SOAPインタフェース412を介してマルチフォーマットトランスコーダ101やその他のデバイスから供給される各種情報を取得し、画像生成部424に供給する。
画像生成部424は、入力受付部421から供給されるユーザ指示や、情報取得部423から供給される各種情報に基づいて画像を生成し、その画像を表示制御部425に供給する。
表示制御部425は、供給された画像を、例えば出力部212に含まれるモニタに表示させる。
[ツリー型表示]
図8は、リモートクライアント103のモニタに表示されるGUI画像の例を説明する図である。
図8に示されるFT用GUI画像430は、ファミリーツリー(FT)を表示するGUI画像である。FT用GUI画像430は、その領域が左右に分けられ、左側の領域431に、変換体系の構成を示すツリー型のファミリーツリーが表示される。
マルチフォーマットトランスコーダ101は、実行したトランスコードの変換体系をFT情報として管理している。この変換体系を管理するための管理情報であるFT情報には、例えば、ファミリーツリー(FT)を識別するFTID、および、そのFTに属する各クリップのCIDが含まれる。CIDは、トランスコードに関するクリップ同士の関係(変換体系)を示すように互いに紐付けされている。つまり、FT情報には、どのクリップからどのクリップが生成されたか、どのクリップを生成するのにどのクリップが必要か、または、オリジナル(始祖)のクリップはどれか等を示す情報が含まれている。
FT用GUI画像430の領域431には、マルチフォーマットトランスコーダ101から取得されたこのようなFT情報を画像化したファミリーツリー(FT)が表示される。このファミリーツリーは、FT情報に含まれる各CID(クリップ)をノードとして図形等で表し、FT情報におけるCID同士の関係(トランスコードに関するクリップ同士の関係)をリンクとして線や矢印等で表す画像である。FT用GUI画像430の領域431には、このファミリーツリーがツリー型で表示される。つまり、画像生成部424は、ツリー型のファミリーツリーを生成する。
図8の例の場合、FT用GUI画像430に表示されるファミリーツリーは、オリジナル(始祖)のクリップ(Original Clip)が4回トランスコードされて、4つの子クリップ(Child Clip A, Child Clip B, Child Clip C, Child Clip D)が生成され、さらに、子クリップD(Child Clip D)が4回トランスコードされて、4つの子クリップ(Child Clip D-1, Child Clip D-2, Child Clip D-3, Child Clip D-4)が生成されたことを示している。
このように、ツリー型の表示方法においては、クリップ同士が紐付けされることにより、変換前後のクリップの関係(親子関係)が示される。また、トランスコードの世代がクリップの左右方向の位置で示される。例えば、「Original Clip」と線(または矢印)で結ばれ、「Original Clip」より右側に位置する「Child Clip A」、「Child Clip B」、「Child Clip C」、および「Child Clip D」は、それぞれ、「Original Clip」がトランスコードされて生成された子供(子クリップ)である。換言するに、「Child Clip A」、「Child Clip B」、「Child Clip C」、および「Child Clip D」の親クリップ(変換元のクリップ)が「Original Clip」となる。
また、例えば、「Child Clip D-1」は、「Child Clip D」を介して間接的に「Original Clip」に紐付けされているので、「Original Clip」の孫クリップである。
このように、ツリー型のファミリーツリーは、どのクリップがどのクリップを変換して生成されたか、つまり、各クリップの素性が直感的に把握することができるように示されている。これにより、ユーザは、容易に変換体系の構成を把握することができる。
また、親子関係が示されることにより、ユーザは、例えば、クリップの削除されたファイルを復元する場合、どのクリップをトランスコードすれば良いか(復元に必要なクリップ)を容易に特定することができる。さらに、クリップの位置によって世代が示されることにより、ユーザは、各クリップのトランスコードによる劣化の度合いを容易に把握することができる。
また、FT用GUI画像430の、右側の領域432には、ツリー型のファミリーツリーの中から指定されたクリップのクリップ情報が表示される。クリップ情報とは、クリップに関する情報であり、例えば、クリップ名(Clip name)、所有者(Owner)、タイムスタンプ(Time stamp)、画サイズ(Video Size)、フレームレート(Frame Rate)、符号化パラメータ(Encode Param)、符号化方式(Codec)、符号化ビットレート(Bitrate)、変換前のファイル(親ファイル)のファイルパス(Source(parent) File Path)、そのクリップのメタデータのファイルパス(Related MetaData File path)、当該クリップの識別情報であるCID(クリップ識別情報)、当該クリップが属するファミリーツリー(FT)の識別情報であるFTID(ファミリーツリー識別情報)、トランスコードにおいて使用された変換パラメータ(Transcoding Param)、および、各ファイルのパス等が含まれる。
もちろん、クリップ情報にこれら以外の情報が含まれるようにしてもよい。例えば、図8の例の場合、領域432には、クリップ情報として、映像の、ラッパー(Wrapprer)、ビット深度(Bit Depth)、色フォーマット名(Format)、色空間(Color Space)、およびレート制御方法(Rate Control)、音声のラッパー(Wrapper)、およびビット深度(Bit Depth)等が表示されている。つまりこれらの情報のクリップ情報に含めることができる。
このようにユーザは、所望のクリップに関する情報を、容易に参照することができる。
FT用GUI画像430の、OKボタン433は、ユーザが押下操作することにより、現在指定されているクリップを選択することが決定されるGUIボタンである。つまり、ユーザがこのOKボタン433を押下操作すると、現在指定されているクリップが、選択されたクリップとして決定され、この情報が他のツール等に適用される。
したがって、ユーザは、所望のクリップの選択を容易に行うことができる。つまり、リモートクライアント103が、以上のようなFT用GUI画像430を表示することにより、ユーザは、例えば、トランスコードに関してあるクリップと関連する所望のクリップを容易に検索し、選択することができる。
[ツリー型応用1]
なお、例えば、ファイルが削除されたクリップは、例えば、図9Aに示されるように、ファミリーツリーのノードの表示(例えば、色、濃度、形、または大きさ等)を変えるようにしてもよい。図9Aの例の場合、ファイルが削除されたクリップ443は、点線で示されている。
これにより、ユーザは、所望のクリップのファイルが存在するか否かを容易に把握することができる。また、ユーザは、所望のクリップが復元できるか否か、出来る場合は、どのクリップを用いて復元するのが良いか等を、容易かつ正確に把握することができる。
また、クリップに含まれる画像の画サイズ(解像度)をファミリーツリー(FT)の各ノードの大きさで表すようにしてもよい。例えば、図9Bに示されるファミリーツリーの各四角はノード(クリップ)を表しており、それぞれの四角の大きさは、各クリップの画像の画サイズ(解像度)を示している。図9Bの例の場合、四角が最も大きいクリップ452の画像の解像度が最も高く、四角が最も小さいクリップ453およびクリップ454の画像の解像度が最も低い。
また、クリップに含まれる画像の品質(例えばビットレートやフレームレート)をファミリーツリー(FT)の各ノードの色や濃度等で示すようにしてもよい。例えば、図9Bに示されるファミリーツリーにおいて、斜線模様で示されるクリップ454およびクリップ457は、その他のクリップに比べて品質が低い(例えばビットレートやフレームレートが低い)ことを示している。
このように、各ノードの表示によってクリップの内容や状態を表すようにすることにより、ユーザは、そのクリップの内容や状態を、直感的に(容易に)把握することができる。もちろん、上述したパラメータ以外を各クリップの表示により示すようにしてもよい。
また、クリップに含まれる画像のサムネイル画像をファミリーツリーの各ノードとしてもよい。その場合、ユーザは、ファミリーツリー(FT)を参照することにより、各クリップのコンテンツの内容を容易に把握することができる。
[ツリー型応用2]
FT用GUI画像430の領域431に表示されるファミリーツリー(FT)を用いて、ユーザが、変換体系の編集を行うことができるようにしてもよい。
例えば、ユーザが、ファミリーツリーの構成を、ドラッグ&ドロップやコピー&ペーストのような所定の操作により、複製したり、移動したりすることができるようにしてもよい。
図10にその操作の例を示す。例えば、図10Aに示されるように、ユーザがカーソル471をクリップ461に合わせ、他のクリップ481にドラッグ&ドロップすると、クリップ461の下のファミリーツリー491(クリップ462乃至クリップ467)の構成が、クリップ481の下に複製される。
つまり、図10Bに示されるように、クリップ481の下に、ファミリーツリー491と構成が同一のファミリーツリー492(クリップ482乃至クリップ487)が形成される。
この時点ではまだトランスコードの計画段階である。この状態から、ユーザがトランスコードの実行を指示すると、計画した通りにトランスコードが実行され、実際にクリップ482乃至クリップ487(のファイル)が生成される。つまり、クリップ461以下の変換体系と構成が同一の変換体系がクリップ481以下に形成される。
例えば、コンテンツ制作において、どのコンテンツに対しても、同様のトランスコードを行う場合がある。例えば、映画用のコンテンツからDVD用のコンテンツとテレビジョン放送用のコンテンツを制作する処理を定型処理とし、どの映画用コンテンツに対しても、その定型処理を行う場合がある。
このような場合、上述したようにファミリーツリー(FT)の構成を複製して、複数のトランスコードの実行を定型処理として指示することができるようにすることにより、ユーザは、容易にトランスコードの作業を指示することができる。
なお、上述したドラッグ&ドロップ(複製の指示)が、トランスコードの開始指示を兼ねていてもよい。つまり、ユーザが、クリップ461をクリップ481にドラッグ&ドロップした時点でトランスコードが開始されるようにしてもよい。
もちろん、複製の指示やトランスコードの開始指示は、上述した以外の方法であってもよい。
[処理の流れ]
リモートクライアント103において実行される、ユーザ指示を受け付けるためのクライアント処理の流れの例を、図11および図12のフローチャートを参照して説明する。
クライアント処理が開始されると、ステップS101において、指示供給部422は、マルチフォーマットトランスコーダ101に対して、ファミリーツリー(FT)の情報であるFT情報を要求する。ステップS102において、情報取得部423は、その要求の応答として供給されるFT情報を取得する。
ステップS103において、画像生成部424は、そのFT情報を用いて表示用画像(例えば、図8のFT用GUI画像430)を作成する。ステップS104において、表示制御部425は、その表示用画像を、出力部212のモニタに表示させる。ステップS105において、入力受付部421は、入力部211を制御して、ユーザ指示の受け付けを開始する。
ステップS106において、入力受付部421は、表示用画像において表示されているファミリーツリー(FT)のノードが指定されたか否かを判定する。指定されたと判定された場合、ステップS107に進む。
ステップS107において、指示供給部422は、マルチフォーマットトランスコーダ101に対して、ステップS106において指定されたノードに対応するクリップのクリップ情報を要求する。ステップS108において、情報取得部423は、その要求の応答として供給されるクリップ情報を取得する。
ステップS109において、画像生成部424は、そのクリップ情報を用いて表示用画像(例えば、図8のFT用GUI画像430)を作成する。ステップS110において、表示制御部425は、その表示用画像を、出力部212のモニタに表示させる。
ステップS110の処理が終了すると、図12のステップS121に進む。また、図11のステップS106において、ノードが指定されていないと判定された場合、図12のステップS121に進む。
図12のステップS121において、入力受付部421は、現在表示されている表示用画像について、表示変更が指示されたか否かを判定する。例えば、カーソルの移動、GUIボタンの押下、オブジェクトの選択や解放、または、新たなウィンドウの起動や終了等、画像の表示変更が行われる指示がなされたと判定された場合、ステップS122に進む。
ステップS122において、指示供給部422は、マルチフォーマットトランスコーダ101に対して、指示された表示変更に必要な情報を要求する。ステップS123において、情報取得部423は、その要求の応答として供給される情報を取得する。
ステップS124において、画像生成部424は、その情報を用いて表示用画像(例えば、図8のFT用GUI画像430)を更新する。ステップS125において、表示制御部425は、更新後の表示用画像を、出力部212のモニタに表示させる。
ステップS125の処理が終了するとステップS126に進む。また、ステップS121において、表示変更が指示されていないと判定された場合、ステップS126に進む。
ステップS126において、入力受付部421は、ノード選択が決定されたか否かを判定する。例えば、ユーザによりOKボタン433が押下される等して、ノードの選択が決定されたと判定された場合、ステップS127に進む。
ステップS127において、指示供給部422は、マルチフォーマットトランスコーダ101に対して、選択されたノード(クリップ)を通知する。ステップS128において、入力受付部421は、指示受付を終了する。ステップS129において、表示制御部425は、表示用画像の表示を終了する。ステップS129の処理が終了すると、クライアント処理が終了される。
また、ステップS126において、ノード選択が決定されていないと判定された場合、ステップS130に進む。ステップS130において、入力受付部421は、クライアント処理を終了するか否かを判定する。例えば、ユーザにより表示用画像の表示終了の指示が入力される等して、クライアント処理を終了すると判定された場合、ステップS128に戻り、それ以降の処理を繰り返す。
また、ステップS130において、クライアント処理を終了しないと判定された場合、図11のステップS101に戻り、それ以降の処理を繰り返す。
以上のようにクライアント処理を行うことにより、ユーザは、例えば図8に示されるFT用GUI画像を利用して、フォーマット変換により生成されるクリップの素性をユーザが容易に把握することができる。これにより、ユーザは、マルチフォーマットトランスコーダ101の操作を容易に行うことができる。すなわち、リモートクライアント103は、マルチフォーマットトランスコーダ101の操作性を向上させることができる。
[家系図型表示]
なお、ファミリーツリー(FT)の表現方法は任意である。例えば、図13に示されるように、家系図型のファミリーツリー(FT)を表示するようにしてもよい。つまり、この場合、画像生成部424は、家系図型のファミリーツリーを生成する。
図13に示される家系図型のファミリーツリーの場合、図8を参照して説明したツリー型のファミリーツリーの場合と同様に、変換前後のクリップの関係(親子関係)が線(または矢印)により示される。ただし、家系図型の場合、トランスコードの世代は、クリップの上下方向の位置で示される。
つまり、家系図型のファミリーツリーは、ツリー型のファミリーツリーと、レイアウトが異なること以外は基本的に同様である。したがって、表現可能な情報や実行可能な機能も同様である。例えば、クリップの画サイズや品質の表現、並びに、ファミリーツリーの複製操作等についても同様である。
[2Dグラフ型表示]
また、ファミリーツリー(FT)は、例えば、図14のように2次元のグラフに表す(2Dグラフ型のファミリーツリーを表示する)こともできる。つまり、この場合、画像生成部424は、2Dグラフ型のファミリーツリーを生成する。
図14において、各四角は、クリップ(ノード)を示す。図14の例の場合、横軸が画サイズ(解像度)の大きさを示し、縦軸が品質(ビットレートやフレームレート等)を示す。つまり、グラフの各軸には、互いに異なるパラメータが割り当てられる。このグラフ上において、各クリップは、その位置によって画サイズと品質(クリップの複数の特徴)が表されている。
例えば、図中左側に位置するクリップほど画サイズが大きく(解像度が高く)、図中下側に位置するクリップほど品質が良い(ビットレートまたはフレームレートが高い)。
なお、変換前後のクリップの関係(親子関係)は、各クリップ間が線や矢印等で紐付けされることにより表現される。ただし、全ての紐付けを一度に表示すると、複雑すぎてかえって見づらくなる恐れがある。
そこで、普段は非表示とし、ユーザがカーソルなどで指定したノードについてのみ、その親子関係を表示するようにしてもよい。
例えば、通常時において、図15Aに示されるように、各クリップ(クリップ601乃至クリップ606)同士は、線や矢印で紐付けされていないように表示される。例えば、ユーザがカーソル611をクリップ601に合わせると、図15Bに示されるように、そのクリップ601の親クリップ(変換元のクリップ)と、子クリップ(クリップ601から生成されたクリップ)のみが線や矢印で紐付けされて表示される。
図15Bの場合、クリップ間は矢印で紐付けされ、その矢印の向きが親子関係(親であるか若しくは子であるか)を示している。つまり、クリップ601に向かう向きの矢印621でクリップ601に紐付けされて示されるクリップ602は、クリップ601の親クリップである。また、クリップ601から離れる向きの矢印622でクリップ601に紐付けされて示されるクリップ603、クリップ601から離れる向きの矢印623でクリップ601に紐付けされて示されるクリップ604、および、クリップ601から離れる向きの矢印624でクリップ601に紐付けされて示されるクリップ604は、それぞれ、クリップ601の子クリップである。
このようにユーザがカーソルを合わせた必要な部分のみその親子関係を表示するようにすることにより、ファミリーツリーをユーザが見やすいように表示することができる。なお、図15の例においては、ユーザが指定したクリップの親クリップと子クリップを表示するように説明したが、これに限らず、ユーザが指定したクリップの親クリップのみを表示するようにしてもよいし、ユーザが指定したクリップの子クリップのみを表示するようにしてもよい。
なお、2Dグラフ型のファミリーツリーの各ノードは、その位置によってクリップの画サイズと品質を表している。
したがって、クリップ間の距離は、その両クリップのデータとしての類似度を示している。つまり、距離が近いクリップほど、より類似するフォーマットであることを示している。例えば、あるクリップの削除されたファイルを、他のクリップからのトランスコードにより復元する場合、距離が遠いクリップをトランスコードして復元を行うと、そのトランスコードの負荷が増大する恐れがある。後述するトランスコードの適性が良く、かつ、特別な条件が無い限り、距離がより近いクリップ(より類似度の高いクリップ)をトランスコードして復元を行う方が、負荷を低減させることができる。
また、両クリップ間の位置関係(向き)は、トランスコードの適性を示している。図14の例の場合、左下に位置するクリップほど、品質の良い画像である。したがって、あるクリップのファイルを復元する場合、そのクリップよりも右上に位置するクリップから復元を行うよりも、そのクリップよりも左下に位置するクリップから復元を行う方が、より良い復元結果を得ることができる(画質の劣化が少ない)。このように、トランスコードの適性は、両クリップ間の位置関係(向き)によって示される。
これにより、ユーザは、ファイルの復元を行う際に、トランスコードを行うのに最適なクリップを容易に把握することができる。
[2Dグラフ型応用1]
なお、2Dグラフ型のファミリーツリーにおいて、縦軸と横軸のパラメータは任意である。例えば、横軸をトランスコードの世代とし、縦軸を品質としてもよいし、横軸をトランスコードの世代とし、縦軸を大きさとしてもよい。縦軸と横軸のパラメータを入れ替えてももちろんよい。
また、各ノードの大きさにより各クリップの画サイズ(解像度)が示されるようにしてもよいし、各ノードの色や濃度により各クリップの画像の品質(例えばビットレートやフレームレート)が示されるようにしてもよい。
さらに、ファイルが削除されたクリップのノードの表示方法(例えば、色、濃度、形、または大きさ等)が特殊(例えば点線表示)となるようにしてもよい。
図16Aは、横軸をトランスコードの世代とし、縦軸を品質とし、各ノードの大きさにより各クリップの画サイズ(解像度)を示す2Dグラフ型のファミリーツリーの例を示している。
図16Aの2Dグラフにおいて、クリップ631乃至クリップ635のうち、左側のクリップほど世代が古く(変換体系において上位層である)、右側のクリップほど世代が新しい(変換体系において下位層である)。また、下側のクリップほど高品質であり、上側のクリップほど低品質である。さらに、大きな四角のクリップほど画サイズが大きく、小さい四角のクリップほど画サイズが小さい。
図16Bは、横軸をトランスコードの世代とし、縦軸を画サイズとし、各ノードの表示により各クリップの品質やファイルの有無を示す2Dグラフ型のファミリーツリーの例を示している。
図16Bの2Dグラフにおいて、クリップ641乃至クリップ647のうち、左側のクリップほど世代が古く(変換体系において上位層である)、右側のクリップほど世代が新しい(変換体系において下位層である)。また、下側のクリップほど画サイズが小さく、上側のクリップほど画サイズが大きい。さらに、斜線模様の密度が高いほど低品質である。また、点線表示されたクリップ644は、ファイルが削除されたクリップを示す。
以上のように、2Dグラフ型のファミリーツリーの場合、ユーザは、多様な情報を直感的に(容易に)把握することができる。
なお、クリップに含まれる画像のサムネイル画像をファミリーツリーの各ノードとしてもよい。その場合、ユーザは、ファミリーツリー(FT)を参照することにより、各クリップのコンテンツの内容を容易に把握することができる。
[2Dグラフ型応用2]
なお、マルチフォーマットトランスコーダ101にトランスコードを実行させる場合、クリップのデータ量が大きいほど、そのトランスコードの負荷は増大する。例えば、トランスコードされるクリップの画サイズが大きかったり、ビットレートやフレームレートが高かったりするほど、トランスコードの負荷は増大する。
トランスコードの負荷が増大すると、そのトランスコードに必要なハードウェアの能力が増大する恐れがある。また、処理時間が増大する恐れもある。このように、トランスコードに必要なコストが増大する恐れがある。
特に、後述するようにマルチフォーマットトランスコーダ101が複数のタスクを同時に並行して実行することができる場合、そのタスクの実行量、所謂「タスクの混み具合」によって、1つのトランスコードに対するコストが変化する。
実際においては、このトランスコードにかけることのできるコストは有限である。したがって、トランスコードの設定を行う際(例えば、変換元のクリップを選択する際)に、ユーザは、そのトランスコードに要するコストも考慮する方が望ましい場合も考えられる。
そこで、例えば、図17に示されるように、2Dグラフ型のファミリーツリーにおいて、コスト的な許容範囲を点線661のように示すようにしてもよい。例えば、図17の例の場合、左下に位置するクリップほどトランスコードの負荷が大きくなる。これに対して、マルチフォーマットトランスコーダ101の使用可能な能力や想定される処理時間に基づくコストを考慮する場合の許容範囲が点線661のように示されている。つまり、点線661に示される範囲外のクリップから所望のトランスコードを行う場合、コストの許容範囲を超える恐れがあることが示されている。
このようにすることにより、ユーザは、容易に、トランスコードのコストも考慮しながら設定を行うことができる。
[3Dグラフ型表示]
なお、グラフ型のファミリーツリーの場合、その次元数は任意である。例えば、図18に示されるように3次元(3Dグラフ型のファミリーツリー)であってもよい。この場合、画像生成部424は、3Dグラフ型のファミリーツリーを生成する。
図18Aの場合、横軸が画サイズ、縦軸が品質、前後方向の軸がコーデックの種類をそれぞれ示している。図18Aの場合、クリップ701が現在選択されているコーデックのノードである。より容易に判別可能とするために「MPEG2」のようにコーデック名も併せて表示されている。クリップ702およびクリップ703は、他のコーデックにより符号化されている。
図18Bの場合、横軸が画サイズ、縦軸が品質、前後方向の軸がトランスコードの世代をそれぞれ示している。図18Bの場合、クリップ711の方が古い世代であり、クリップ713の方が新しい世代である。クリップ712が現在選択されている世代である。
3Dグラフ型のファミリーツリーの場合、前後方向の軸は、一部のみクリップを表示するようにしてもよい。例えば、図18Aの場合、全種類のコーデックのクリップを一度に表示すると重なって表示されるクリップが増え見づらくなる恐れがある。そこで、例えば、図18Aに示されるように、ユーザが選択したコーデックのクリップ(クリップ701)と、その前後に割り当てられたコーデックのクリップ(クリップ702およびクリップ703)のみを表示するようにしてもよい。
図18Bの場合も同様であり、ユーザが選択した世代のクリップ(クリップ712)と、その前後の世代のクリップ(クリップ711およびクリップ713)のみを表示するようにしてもよい。
これらの場合、ユーザが選択するコーデックまたは世代を切り替えると、それに伴って表示されるクリップが切り替わることになる。
また、各軸に割り当てるパラメータは任意である。また、軸の数が異なること以外、基本的に2Dグラフ型のファミリーツリーの場合と同様であり、2Dグラフ型のファミリーツリーについて説明したことは、3Dグラフ型のファミリーツリーにも適用することができる。
もちろん、グラフは4次元以上であってもよい。
[複数タスク管理]
マルチフォーマットトランスコーダ101は、トランスコードなどの各処理をタスクとして処理する。マルチフォーマットトランスコーダ101は、このタスクの実行を管理することができ、同時に複数のタスクを並列に実行させることもできる。
例えば、図19に示されるように、複数のリモートクライアント103からの要求を並列に受け付け、インジェスト処理やトランスコード等、様々な処理を適切にスケジューリングして並列に実行することができる。これにより、効率よく処理が実行される変換システム100を実現することができる。
なお、変換システム100の構成は任意であり、例えば、図20に示されるように、N個のマルチフォーマットトランスコーダ101が連携して動作するようにし、複数のリモートクライアントからの要求を、分散して処理することができるようにしてもよい。
これにより、各マルチフォーマットトランスコーダ101の負荷を低減させることができ、より多くのタスクをより高速に処理することができる。
[ソフトウェア]
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図4や図5に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア221若しくはリムーバブルメディア321により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM202若しくはROM302や、記憶部213若しくは記憶部313に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
100 変換システム, 101 マルチフォーマットトランスコーダ, 102 ネットワーク, 103 リモートクライアント, 411 クライアントGUI, 412 SOAPインタフェース, 421 入力受付部, 422 指示供給部, 423 情報取得部, 424 画像生成部, 425 表示制御部

Claims (17)

  1. クリップのフォーマットを変換する変換処理の変換体系の管理情報に基づいて、前記クリップをノードとして表し、前記変換処理に関する前記クリップ同士の関係をリンクとして表す画像であるファミリーツリーを生成する画像生成手段と、
    前記画像生成手段により生成される前記ファミリーツリーを表示画面に表示させる表示制御手段と
    を備える情報処理装置。
  2. 前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの前記トランスコードの世代を前記ノードの左右方向の位置により表すツリー型の前記ファミリーツリーを生成し、
    前記表示制御手段は、前記画像生成手段により生成される前記ツリー型の前記ファミリーツリーを表示させる
    請求項1に記載の情報処理装置。
  3. 前記画像生成手段は、各クリップのファイルの存在の有無を、前記ノードの表示方法で示すように、前記ツリー型の前記ファミリーツリーを生成する
    請求項2に記載の情報処理装置。
  4. 前記画像生成手段は、各クリップの画サイズを、前記ノードの大きさで示すように、前記ツリー型の前記ファミリーツリーを生成する
    請求項2に記載の情報処理装置。
  5. 前記画像生成手段は、各クリップのビットレート若しくはフレームレートを、前記ノードの色または濃度で示すように、前記ツリー型の前記ファミリーツリーを生成する
    請求項2に記載の情報処理装置。
  6. 前記画像生成手段は、ユーザにより入力される所定の操作に従って、所望のクリップの下の前記ツリー型の前記ファミリーツリーの構成を他のクリップの下に複製する
    請求項2に記載の情報処理装置。
  7. 前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの前記トランスコードの世代を前記ノードの上下方向の位置により表す家系図型の前記ファミリーツリーを生成し、
    前記表示制御手段は、前記画像生成手段により生成される前記家系図型の前記ファミリーツリーを表示させる
    請求項1に記載の情報処理装置。
  8. 前記画像生成手段は、各クリップのファイルの存在の有無を、前記ノードの表示方法で示すように、前記家系図型の前記ファミリーツリーを生成する
    請求項7に記載の情報処理装置。
  9. 前記画像生成手段は、各クリップの画サイズを、前記ノードの大きさで示すように、前記家系図型の前記ファミリーツリーを生成する
    請求項7に記載の情報処理装置。
  10. 前記画像生成手段は、各クリップのビットレート若しくはフレームレートを、前記ノードの色または濃度で示すように、前記家系図型の前記ファミリーツリーを生成する
    請求項7に記載の情報処理装置。
  11. 前記画像生成手段は、ユーザにより入力される所定の操作に従って、所望のクリップの下の前記家系図型の前記ファミリーツリーの構成を他のクリップの下に複製する
    請求項7に記載の情報処理装置。
  12. 前記画像生成手段は、前記ノードを所定の図形で表し、前記リンクを線または矢印により表し、前記クリップの特性を前記ノードのグラフ上の位置により表すグラフ型の前記ファミリーツリーを生成し、
    前記表示制御手段は、前記画像生成手段により生成される前記グラフ型の前記ファミリーツリーを表示させる
    請求項1に記載の情報処理装置。
  13. 前記画像生成手段は、前記グラフの各軸に互いに異なるパラメータを割り当てる
    請求項12に記載の情報処理装置。
  14. 前記グラフは2次元のグラフである
    請求項12に記載の情報処理装置。
  15. 前記グラフは3次元のグラフである
    請求項12に記載の情報処理装置。
  16. 前記表示画面に表示される前記ファミリーツリーに基づいて入力されるユーザ指示を受け付ける指示受付手段をさらに備える
    請求項1に記載の情報処理装置。
  17. クリップのフォーマットを変換する変換処理の変換体系の管理情報に基づいて、前記クリップをノードとして表し、前記変換処理に関する前記クリップ同士の関係をリンクとして表す画像であるファミリーツリーを生成し、
    生成される前記ファミリーツリーを表示画面に表示させる
    情報処理方法。
JP2009230943A 2009-10-02 2009-10-02 情報処理装置および方法 Pending JP2011081457A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009230943A JP2011081457A (ja) 2009-10-02 2009-10-02 情報処理装置および方法
US12/890,006 US20110080941A1 (en) 2009-10-02 2010-09-24 Information processing apparatus and method
CN2010102942235A CN102036018B (zh) 2009-10-02 2010-09-25 信息处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009230943A JP2011081457A (ja) 2009-10-02 2009-10-02 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JP2011081457A true JP2011081457A (ja) 2011-04-21
JP2011081457A5 JP2011081457A5 (ja) 2012-11-01

Family

ID=43823145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009230943A Pending JP2011081457A (ja) 2009-10-02 2009-10-02 情報処理装置および方法

Country Status (3)

Country Link
US (1) US20110080941A1 (ja)
JP (1) JP2011081457A (ja)
CN (1) CN102036018B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003635A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN102682114A (zh) * 2012-05-11 2012-09-19 广州家族网信息科技有限公司 一种家谱生成方法及系统
CN110852359B (zh) * 2019-07-24 2023-05-26 上海交通大学 基于深度学习的家谱识别方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62274338A (ja) * 1986-05-23 1987-11-28 Hitachi Ltd 対話的データ処理方法
JPH02240762A (ja) * 1989-03-14 1990-09-25 Canon Inc 情報処理装置
JPH0728503A (ja) * 1993-07-13 1995-01-31 Toshiba Corp システム設計支援ツール及びシステム設計支援方法
JPH07200226A (ja) * 1993-12-28 1995-08-04 Nec Corp 操作列の視覚化装置
JPH10333861A (ja) * 1997-06-02 1998-12-18 Fuji Xerox Co Ltd 記憶量表示装置
JP2002190829A (ja) * 2000-09-08 2002-07-05 Internatl Business Mach Corp <Ibm> 複数のフィルタ規則相互間の関係を図式的に表示する方法とシステム
JP2003256104A (ja) * 2002-02-27 2003-09-10 Fuji Photo Film Co Ltd 動画用アイコン生成装置
JP2005236646A (ja) * 2004-02-19 2005-09-02 Fuji Xerox Co Ltd 画像表示装置および方法およびプログラム
JP2005301492A (ja) * 2004-04-08 2005-10-27 Olympus Corp 画像履歴処理プログラム、画像履歴処理方法、画像履歴処理装置及び記録媒体
JP2006331400A (ja) * 2005-04-28 2006-12-07 Semiconductor Energy Lab Co Ltd 画像編集方法
JP2006350634A (ja) * 2005-06-15 2006-12-28 Olympus Imaging Corp 画像処理プログラム、画像処理装置、画像処理方法及び記録媒体
JP2007172702A (ja) * 2005-12-20 2007-07-05 Sony Corp コンテンツ選択方法及びコンテンツ選択装置
JP2007299330A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像表示装置、その制御方法及びプログラム
JP2008052665A (ja) * 2006-08-28 2008-03-06 Sony Computer Entertainment Inc コンテンツ表示装置およびコンテンツ表示方法
JP2008159148A (ja) * 2006-12-22 2008-07-10 Canon Inc 画像データ管理装置
JP2008310889A (ja) * 2007-06-15 2008-12-25 Panasonic Corp 記録再生装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7055100B2 (en) * 1996-09-20 2006-05-30 Sony Corporation Editing system, editing method, clip management apparatus, and clip management method
EP0974906A3 (en) * 1998-07-24 2008-12-24 Interuniversitair Microelektronica Centrum Vzw Method for determining an optimized memory organization of a digital device
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
US7159233B2 (en) * 2000-01-28 2007-01-02 Sedna Patent Services, Llc Method and apparatus for preprocessing and postprocessing content in an interactive information distribution system
EP2369842B1 (en) * 2000-03-13 2015-08-19 Sony Corporation Supplying, generating, converting and reading video content
CN101035277A (zh) * 2000-03-13 2007-09-12 索尼公司 产生压缩的代码转换提示元数据的方法和设备
US6976212B2 (en) * 2001-09-10 2005-12-13 Xerox Corporation Method and apparatus for the construction and use of table-like visualizations of hierarchic material
US7075550B2 (en) * 2001-11-27 2006-07-11 Bonadio Allan R Method and system for graphical file management
WO2004068320A2 (en) * 2003-01-27 2004-08-12 Vincent Wen-Jeng Lue Method and apparatus for adapting web contents to different display area dimensions
US7685619B1 (en) * 2003-06-27 2010-03-23 Nvidia Corporation Apparatus and method for 3D electronic program guide navigation
KR100561228B1 (ko) * 2003-12-23 2006-03-15 한국전자통신연구원 보이스엑스엠엘 문서를 엑스에이치티엠엘플러스보이스문서로 변환하기 위한 방법 및 이를 이용한 멀티모달서비스 시스템
US20050229153A1 (en) * 2004-04-07 2005-10-13 International Business Machines Corporation Method, apparatus, and program for application design based on diagram specialization
US7720888B2 (en) * 2004-12-08 2010-05-18 Electronics & Telecommunications Research Institute Contents conversion communication terminal, server system, and method
WO2007068091A1 (en) * 2005-12-12 2007-06-21 Audiokinetic Inc. Method and system for multi-version digital authoring
US7698343B2 (en) * 2006-11-13 2010-04-13 Siemens Product Lifecycle Management Software Inc. System and method for data transformation
JP4312804B2 (ja) * 2007-03-01 2009-08-12 株式会社日立国際電気 記録内容表示プログラム及び記録内容表示装置
US7843454B1 (en) * 2007-04-25 2010-11-30 Adobe Systems Incorporated Animated preview of images
US8582956B1 (en) * 2007-07-18 2013-11-12 Adobe Systems Incorporated System and method for previewing multimedia files
TWI386069B (zh) * 2007-08-10 2013-02-11 Univ Nat Cheng Kung 資料集編碼系統及方法以及程式產品
US20090113350A1 (en) * 2007-10-26 2009-04-30 Stacie Lynn Hibino System and method for visually summarizing and interactively browsing hierarchically structured digital objects
US8359340B2 (en) * 2008-12-23 2013-01-22 At&T Intellectual Property I, L.P. System and method for representing media assets
US8554061B2 (en) * 2009-09-10 2013-10-08 Apple Inc. Video format for digital video recorder

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62274338A (ja) * 1986-05-23 1987-11-28 Hitachi Ltd 対話的データ処理方法
JPH02240762A (ja) * 1989-03-14 1990-09-25 Canon Inc 情報処理装置
JPH0728503A (ja) * 1993-07-13 1995-01-31 Toshiba Corp システム設計支援ツール及びシステム設計支援方法
JPH07200226A (ja) * 1993-12-28 1995-08-04 Nec Corp 操作列の視覚化装置
JPH10333861A (ja) * 1997-06-02 1998-12-18 Fuji Xerox Co Ltd 記憶量表示装置
JP2002190829A (ja) * 2000-09-08 2002-07-05 Internatl Business Mach Corp <Ibm> 複数のフィルタ規則相互間の関係を図式的に表示する方法とシステム
JP2003256104A (ja) * 2002-02-27 2003-09-10 Fuji Photo Film Co Ltd 動画用アイコン生成装置
JP2005236646A (ja) * 2004-02-19 2005-09-02 Fuji Xerox Co Ltd 画像表示装置および方法およびプログラム
JP2005301492A (ja) * 2004-04-08 2005-10-27 Olympus Corp 画像履歴処理プログラム、画像履歴処理方法、画像履歴処理装置及び記録媒体
JP2006331400A (ja) * 2005-04-28 2006-12-07 Semiconductor Energy Lab Co Ltd 画像編集方法
JP2006350634A (ja) * 2005-06-15 2006-12-28 Olympus Imaging Corp 画像処理プログラム、画像処理装置、画像処理方法及び記録媒体
JP2007172702A (ja) * 2005-12-20 2007-07-05 Sony Corp コンテンツ選択方法及びコンテンツ選択装置
JP2007299330A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像表示装置、その制御方法及びプログラム
JP2008052665A (ja) * 2006-08-28 2008-03-06 Sony Computer Entertainment Inc コンテンツ表示装置およびコンテンツ表示方法
JP2008159148A (ja) * 2006-12-22 2008-07-10 Canon Inc 画像データ管理装置
JP2008310889A (ja) * 2007-06-15 2008-12-25 Panasonic Corp 記録再生装置

Also Published As

Publication number Publication date
CN102036018A (zh) 2011-04-27
CN102036018B (zh) 2013-06-05
US20110080941A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
US10650349B2 (en) Methods and systems for collaborative media creation
US8818172B2 (en) Multi-user remote video editing
US8411758B2 (en) Method and system for online remixing of digital multimedia
JP5267165B2 (ja) ストリーミング配信システム、その動作制御方法及びプログラム
US20070169158A1 (en) Method and system for creating and applying dynamic media specification creator and applicator
WO2013037241A1 (zh) 移动多媒体实时转码播放系统、装置、存储介质及方法
MXPA04006188A (es) Procesador de medios de fundacion de medios.
US20090103835A1 (en) Method and system for combining edit information with media content
JP6088625B2 (ja) 複数の多重修正した子マルチメディア資産からのマルチメディア資産の取得
JP2015171042A (ja) 画像処理システム及び画像撮像装置
JP5553140B2 (ja) 情報処理装置および方法
JP2011081457A (ja) 情報処理装置および方法
US20110082870A1 (en) Information processing apparatus and method
EP1929405A2 (en) Method and system for recording edits to media content
CN101395918A (zh) 用于创建和应用动态媒体规范创建器和应用器的方法和系统
JP2006270405A (ja) 映像処理装置,映像処理方法,およびコンピュータプログラム
JP6160612B2 (ja) 情報処理装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
JP5707567B2 (ja) 画像処理装置および画像処理方法
JP2006252312A (ja) コンテンツ管理システム及びこれに用いるプログラム
JP2011030090A (ja) 素材管理システム、素材管理サーバ、映像収録装置及び素材管理方法
JP2012248955A (ja) コンテンツ編集システム、コンテンツ編集方法、コンテンツ編集プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140624