JP2001333425A - 動画像出力装置、動画像再生装置、携帯端末、及びそれらの制御方法並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 シーン中に含まれる各オブジェクトの送
信の制御を行うと共に、このシーンを有するビットスト
リームを再生すること。 【解決手段】 コインを投入し（ステップＳ２０
１）、ストーリーの選択を実行する（ステップＳ２０
２）。そのストーリーに対するいくつかの背景や共演者
を選択する（ステップＳ２０３）。利用者の動きや音声
を動画像として取り込む（ステップＳ２０４）。そして
選択された前記背景、共演者、利用者の動きや音声をＭ
ＰＥＧ−４により多重化し（ステップＳ２０５）、利用
者は各々のオブジェクトに対する著作権保護処理を行う
という旨の指示を入力する（ステップＳ２０７）。そし
て、著作権保護された再生すべきビットストリームを送
信する（ステップＳ２０８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、シーン中に含まれ
る各オブジェクトの出力の制御を行う動画像出力装置、
前記動画像出力装置から出力されたビットストリームを
再生する動画像再生装置、携帯端末及びそれらの制御方
法並びに記憶媒体に関するものである。

【０００２】

【従来の技術】いわゆるプリントクラブ（登録商標）と
呼ばれる静止画像を対象とした画像の撮影・編集・印刷
システムがある。このシステムは特開平０４−１０４５
７２号公報または特開平０４−５０６２６４号公報等に
示されるように基本的にはいくつかの背景画像を有し写
真を撮影するカメラと、その複数の背景画像から１つの
背景画像を選択し撮影画像と合成およびカメラの撮影お
よび後述の画像印刷を制御するコンピュータと、撮影画
像と選択された背景画像を合成した画像を印刷出力する
プリンタからなる。しかし、これらのシステムは動画像
を対象としていない。

【０００３】また、これらのシステムを動画像的に拡張
したシステムが特開平１０−１１５８６６号公報または
特開平１０−１１７３４４号公報に示されている。しか
し、これらのシステムにおいて動画と呼ばれるものはプ
リンタによる印刷出力を想定した分割写真またはコマ割
り漫画的なものであり、上記の仕組みを用いて静止画像
を数枚組み合わせたものと言う方が適切である。よっ
て、これらのシステムも本来の動画像を対象としたもの
ではない。

【０００４】

【発明が解決しようとする課題】以上のような従来のシ
ステムが動画像を対象としなかった理由、すなわち動画
像を対象としたシステムを構成する場合に考えられる課
題として以下のようなものが考えられる。

【０００５】１）動画像は静止画像に比べ情報量が圧倒
的に多く、メモリや画像処理手段等の装置構成が効率的
に実現できない。

【０００６】２）静止画像は背景画像と撮影画像の合成
などの画像処理が容易であるが、動画像を簡易に編集す
る手段は（ＴＶや映画の編集装置等の高価な手段を除い
て）あまりない。

【０００７】３）動画像は印刷画像として出力すること
が困難で、簡易に楽しむ手段として向かない。

【０００８】４）印刷画像はシールとして出力すること
で友人と交換することができるが、動画像では情報量が
大きいこともあり困難である。

【０００９】さらに、上記の問題が解決でき、例えばシ
ールの代わりに動画像をデジタルデータとして簡易に伝
送可能な手法が提案できたとしても、著作権に関する下
記のような問題が別に発生する。

【００１０】５）出力が印刷物の場合、出力を不正にコ
ピーされることは少ない（カラーコピー等を用いても画
質が必ず劣化するため）が、出力がディジタルデータで
ある場合、品質を劣化させないコピーが容易であり、背
景や共演者に相当するデータに著作権がある場合、著作
権の保護が困難である。

【００１１】６）著作権のない利用者の映像等であって
も、不正にコピーされ伝送される場合、その利用者の肖
像権やプライバシーの侵害になる。

【００１２】７）出力がシール等の場合、固定枚数を１
セットとして課金されるが、ディジタルデータ出力で同
じことを実現する場合、コピー回数の制御が必要であ
り、できればコピー回数に応じた課金システムを構築す
る必要があり、新しい技術を必要とする。

【００１３】本発明は上述の問題点に鑑みてなされたも
のであり、シーン中に含まれる各オブジェクトの出力の
制御を行うと共に、このシーンを有するビットストリー
ムを再生しようとする動画像出力装置、動画送再生装
置、携帯端末及びそれらの制御方法並びに記憶媒体を提
供しようとするものである。

【００１４】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の動画像出力装置は以下の構成を
備える。すなわち、各種のオブジェクトデータを記憶す
る記憶手段と、所定の撮像手段により撮像された動画像
データを入力する入力手段と、前記オブジェクトデータ
の利用条件に関する情報データを発生する情報発生手段
と、前記記憶手段に記憶されたオブジェクトデータと、
前記入力手段によって入力された動画像データと、前記
情報発生手段によって発生された情報データとを多重化
してストリームデータを出力する出力手段とを備える。

【００１５】更に本発明の目的を達成するために、例え
ば本発明の動画像再生装置は以下の構成を備える。すな
わち、動画像出力装置からのストリームデータを再生す
る装置であって、前記ストリームデータを入力する入力
手段と、前記ストリームデータ中に含まれる各オブジェ
クトを合成して再生する再生手段とを備えることを特徴
とする動画像再生装置。

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。

【００１６】［第１の実施形態］本実施形態の動画像出
力装置のブロック図を図１に示し、図２にその動作フロ
ー図を示す。なお、図２のフローチャートに従ったプロ
グラムコードは後述する記憶部１０５に記憶されている
ものであり、動画像出力装置の動作時に不図示のＲＡＭ
にロードされ、実行されることになる。

【００１７】まず、１０１の投入口にコインが投入され
る（ステップＳ２０１）。ただし、コインに限らず、ク
レジットカードまたは電子的に金銭の受け渡しを行う機
能を有するＩＣカード、プリペイドカード等で対処して
もよい。

【００１８】さて、コインの投入を検知すると、表示器
１０４に記憶部１０５（例えばハードディスクやＭＯ，
ＣＤ，ＤＶＤ等の記憶装置）に用意されているストーリ
ーが後述の処理部１０６を通していくつか表示画面にメ
ニューの項目として表示され、その選択を操作盤１０３
によって実行する（ステップＳ２０２）。

【００１９】ストーリーが選択されると記憶部１０５に
記憶されているそのストーリーに対するいくつかの背景
や共演者等（オブジェクト）が処理部１０６を通して表
示器１０４に示され、それを操作盤１０３によって選択
する（ステップＳ２０３）。ここで、ストーリーや背景
等の表示はスピーカ（イヤホン等も可）１０７を用いた
音声を伴って行われることもでき、マイク１０８によっ
て選択を指示することも可能である。

【００２０】ストーリー及び背景や共演者などが決まれ
ば、そのストーリーに合わせた利用者の動きや音声を動
画像としてカメラ１０２やマイク１０８を用いてディジ
タル情報として取り込む。このとき、取り込んだディジ
タル情報を処理部１０６によって切り取り圧縮する（ス
テップＳ２０４）。

【００２１】この圧縮された撮影情報と選択した背景や
共演者を処理部１０６によって合成し、表示器１０４及
びスピーカ１０７を用いて再生する（ステップＳ２０
５）。

【００２２】その再生情報を利用者が確認し、利用者に
確認を促す。再度入力しなおしたい旨の指示が操作盤１
０３より入力された場合、ステップＳ２０２，２０３又
は２０４の処理から繰り返すことができる（ステップＳ
２０６）。ただし、この繰返し処理は省略することがで
き、１度だけの処理とすることも可能である。または、
ステップＳ２０１にフィードバックして追加の金銭によ
って繰返し処理を選択することも可能である。

【００２３】次に、利用者が再生情報を良いと確認した
場合、利用者は各々のオブジェクトに対する著作権保護
処理を行うという旨の指示を操作盤１０３より入力する
（ステップＳ２０７）。これは例えば、ステップＳ２０
２，２０３で選択したストーリーやオブジェクトに予め
特別な著作権を保護する設定が行われていた場合、その
著作権に対する追加課金処理や、オブジェクトをコピー
したり送信することに対する前記追加課金に応じた回数
設定やオブジェクトの暗号化処理などである。著作権に
対する追加課金処理は著作権、及びその使用料などに関
する説明を表示器１０４等に表示し、使用者が支払うべ
き追加の金銭の額の計算を行い、使用者に追加料金の投
入を促す旨の指示を与えることで、使用者に投入口１０
１から追加の金銭を投入させることにより実現される。
ここでは処理フローを簡単にするために、著作権保護関
連の処理をステップＳ２０７でまとめて行っているが、
ステップＳ２０１〜２０６，２０８の各処理に分散して
行うこともできる。

【００２４】例えば、ステップＳ２０２，２０３のスト
ーリーやオブジェクト選択時に著作権が設定されている
という旨のメッセージの表示処理や追加課金処理を行う
こともできるし、ステップＳ２０１のコイン投入による
課金処理は最初に行わず、ここで一括して行うこともで
きる。また、著作権設定処理は著作権保護部１００によ
って行われ、その具体例については後述する。最後に、
再生情報を通信部１０９によって送信する（ステップＳ
２０８）。

【００２５】以上において１００〜１０９の各部の制御
および図２に示した動作の制御はＣＰＵやプログラムを
格納するＲＯＭ・ＲＡＭ等によって構成される制御部１
１０によって実行される。

【００２６】以下に、処理部１０６（制御部１１０）に
ついて詳述する。本実施形態における動画像出力装置で
は、ストーリーや背景、共演者および撮影した利用者の
動画像や音声などのデータ（ハードディスクやＣＤなど
の記憶媒体に予め記憶されている）は個々に圧縮された
オブジェクトとして扱われる。さらに、それらの各オブ
ジェクトはストーリーにそって圧縮伸長し合成・再生し
て利用される。このような処理を実現する仕組みとして
ＩＳＯにて標準化されつつあるＭＰＥＧ−４(Moving Pi
cture Experts Group pahse4)を用いることが出来る。

【００２７】ＭＰＥＧ−４は動画像や音声などのデータ
を符号化し、夫々の符号化データをオブジェクトとして
扱い、これらの所謂マルチメディアデータを組み合わせ
て単一のビットストリームとして伝送する手法であり、
データがオブジェクトとして扱われるという特性のため
に、受信したビットストリームを音声や映像、テキスト
等のオブジェクト毎に１つ１つバラバラにして再編成す
るといったことを行うことが可能である。これを模式的
に示すと図３のようになる。同図において、各オブジェ
クトを各部３０１〜３０５において符号化し、符号化さ
れた各オブジェクトを多重化する部分３０６が本実施形
態の装置に対応し、多重化したストリーム（最終的には
利用者の側の端末にファイルとして保存されることにな
る）を分離する部分３０７で分離し、それぞれのオブジ
ェクトを復号化する部分３０８〜３１２が利用者側の端
末のソフトウェアに対応することになる。

【００２８】これらのオブジェクトを合成して、あるシ
ーンを合成するための情報としてＶＲＭＬ（Virtual Re
ality Modeling Language）を修正したＢＩＦＳ(Binary
Format For Scenes)が存在する。このＢＩＦＳはシー
ン記述情報と呼ばれ、２値で記述されているもので、こ
のＢＩＦＳに従ってシーンが合成される。このようなシ
ーンの合成に必要な個々のオブジェクトは夫々、個別に
最適な符号化が行われて送信されることになるので、復
号側(利用者側の端末）でも個別に復号され、ＢＩＦＳ
の記述に従い、個々のデータの持つ時間軸を再生機内部
の時間軸に同期させてシーンを合成、出力することにな
る。

【００２９】ここで、ＭＰＧＥ−４再生機ではオブジェ
クトデータに著作権が存在する場合には再生制限を行う
必要が生じる。ＭＰＥＧ−４ではこの著作権保護のため
にＩＰＭＰ(Intellectual Property Management & Prot
ection)と呼ばれる後述のような仕組みが提案されてい
る。

【００３０】図４にＭＰＥＧ−４再生機の概略構成を示
す。伝送路４０１は各種ネットワーク、コンピュータバ
ス等のデータの路であり、ＭＰＥＧ−４ストリームが入
力されるネットワークである。ここで、伝送路４０１は
通信路の意味の他にＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，Ｄ
ＶＤ−ＲＡＭといった記録媒体装置と再生機とのインタ
ーフェースも意味する。再生機において、ネットワーク
から配信されたＭＰＥＧ−４ストリームや記録媒体装置
から再生されたＭＰＥＧ−４ストリームは、デマルチプ
レクサ４０２に入力される。ここでＭＰＥＧ−４ストリ
ームはシーン記述データ、動画像（映像）オブジェクト
データ、音声オブジェクトデータ、オブジェクト記述デ
ータ等に分離された後、それぞれの同期レイヤ部（バッ
ファメモリ）４０３に入力される。ここで、音声オブジ
ェクトデータは例えば、周知のＣＥＬＰ(Code Excited
Linear Prediction)符号化や、変換領域重み付けインタ
ーリーブベクトル量子化（ＴＷＩＮＶＱ）符号化等の高
効率符号化が施されたデータであり、動画像オブジェク
トデータは例えば、周知のＭＰＥＧ−２やＨ−２６３方
式にて高効率符号化が施されたデータである。

【００３１】同期レイヤ部４０３の各オブジェクトデー
タはそれぞれの復号部４０４〜４０７へ入力される。復
号部４０４〜４０７において、上述のような高効率符号
化されたシーン記述データ、動画像オブジェクトデー
タ、音声オブジェクトデータ、オブジェクト記述データ
は復号される。尚、図４においては音声オブジェクトデ
ータ、動画像オブジェクトデータ、オブジェクト記述デ
ータについて夫々複数の互いに異なる種類のオブジェク
トがＭＰＥＧ−４ストリーム内に存在しても復号可能な
装置を仮定しているため、同期レイヤ部４０３や復号部
４０４〜４０７は音声用、動画像用、オブジェクト記述
データ用に夫々複数用意しているが、システムに応じて
変更することができるのは明らかである。

【００３２】そして、復号部４０５〜４０７において夫
々復号された音声オブジェクトデータ、動画像オブジェ
クトデータ、オブジェクト記述データはシーン記述復号
部４０４で復号されたシーン記述データに基づいて、シ
ーン合成部４０８にて合成／グラフィック処理が行われ
る。このようにして得られた最終的なデータ列はディス
プレイやプリンタ装置といった出力機器４０９に供給さ
れて可視・可聴化されることになる。

【００３３】ここで、音声あるいは動画像などのシーン
を構成する個々のオブジェクトデータに対して、著作権
などの保護のために再生を実行させたり、再生を停止さ
せたりする制御が必要となる場合には、ＩＰＭＰ情報を
用いて制御を行う。該ＩＰＭＰ情報は、受信データスト
リームの構成要素であるＩＰＭＰストリームにて伝送さ
れる。ＩＰＭＰ制御部４１１はデマルチプレクサ４０２
からのＩＰＭＰストリームに含まれるＩＰＭＰ情報に基
づき、必要に応じて制御ポイント４１０において各ビッ
トストリームを遮断したり、各復号部４０５〜４０７に
アクセスして、復号動作の停止を命令する。このためＩ
ＰＭＰ情報等によりデータの視聴の権利が無いと判断さ
れた場合には、該データが復号されなくなるので、再生
が行われなくなる。このような制御を行うことで著作権
を有するデータの保護を行う。

【００３４】よって、記憶部１０５に記憶されているス
トーリーは上記のＢＩＦＳによるシーン記述データに相
当し、背景や共演者等は各データ毎に圧縮されたオブジ
ェクトとして管理されている（シーン記述データも１つ
の圧縮されたオブジェクトとして管理されている）。

【００３５】また、処理部１０６は図１０のような構成
を持つ。図２における撮影・圧縮の処理（ステップＳ２
０４）は画像切出し部１００２と圧縮部１００３によっ
て行われる。画像切出しの手法はＭＰＥＧ−４では規定
されていないが、画像切り出し部１００２は、例えば背
景を特定の色（ブルーバック等）にして、その色の画素
を物体外の画素として分離する公知のクロマキー分離法
を実現する手段などによって構成することができる。圧
縮部１００３は例えば前述のＭＰＥＧ−２の動画像符号
化やＣＥＬＰによる音声符号化器等によって実現され、
各々映像オブジェクト、音声オブジェクトとして出力さ
れる。

【００３６】また、合成・再生の処理（ステップＳ２０
５）はシーン合成部１００１によって行われる。このシ
ーン合成部１００１は図４に示す４０３〜４０８の各部
によって構成される。すなわち、記憶部１０５に格納さ
れた各オブジェクト、及び圧縮された撮影動画は各々個
別に同期レイヤ部４０３に入力され、シーン記述や音
声、動画などの各々の符号化に対応する復号が４０４〜
４０７の各復号部で行われ、シーン合成部４０８でシー
ン合成され、表示器１０４やスピーカ１０７等の出力機
器４０９への信号として出力される。このとき、ストー
リー説明をするオブジェクトや選択できる背景や共演者
等を示すオブジェクトを用意しておけば、ストーリーや
オブジェクト選択（ステップＳ２０２，２０３）のため
の映像表示もシーン合成部１００１によって実現できる
ことは明らかである。最後の送信処理（ステップＳ２０
７）は、各オブジェクトを個別に送ることもできるが、
図１０の１００４のように図３の多重化部３０６を用い
ることにより、ストーリー及びそれに基づく複数のオブ
ジェクトを一連のＭＰＥＧ−４ストリームとして伝送で
きるようにすることができる。

【００３７】ここで、著作権保護部１００による著作権
保護は以下のように行われる。上述の通り、再生される
各オブジェクトは前述のＩＰＭＰ情報によって制御され
る。よって、著作権のあるオブジェクトはＩＰＭＰ情報
によって保護できる。

【００３８】さらに、各オブジェクトのコピー回数や送
信回数の制御は以下のようにして実現することができ
る。コピー回数や送信回数の制御はＩＰＭＰ情報では現
在のところ標準化されていない。よって、以下のような
仕組みによって制御を行う。各オブジェクトにはＩＰＭ
Ｐ情報とは別に、コピー回数や送信回数を制御するＣＯ
Ｐ(Copy & Output Protection)情報を付加し、オブジェ
クトを送信するときＣＯＰ情報によって通信部１０９を
制御する。例えば、ＣＯＰ情報に許可送信回数が記され
ており、それが０でない場合はオブジェクトを送信し、
その許可送信回数から１引いてＣＯＰ情報を更新する。
許可送信回数が０のときは通信部１０９の動作を停止す
るか、記憶部１０５を制御して記憶部１０５からのオブ
ジェクトの読み出しを停止する。また、多重化部３０６
を用いている場合には、多重化部３０６を制御して多重
化するオブジェクトにそのオブジェクトを含ませないこ
となどによって実現できる。ＣＯＰ情報の初期値や更新
値は、投入口１０１から入力した金銭を検知し、検知し
た金銭情報によって設定することができる。

【００３９】よって、著作権保護部１００は、図１１に
示すように所定の書式に従ったＩＰＭＰ情報とＣＯＰ情
報を生成する各部（ＩＰＭＰ情報生成部１１０１、ＣＯ
Ｐ情報生成部１１０２）から構成することができる。ま
た、今後、ＭＰＥＧ−４の標準化によってコピー回数や
再生情報が制御可能になった場合、その情報を用いて同
様の処理が実現できることは明らかである。又、ＩＰＭ
Ｐ情報生成部１１０１、ＣＯＰ情報生成部１１０２の各
部は制御部１１０により制御されている。

【００４０】また、著作権保護のためにオブジェクトの
暗号化を行うこともできる。この場合、著作権保護部１
００は暗号化部１１０４を有することで実現できる。暗
号化されたオブジェクトを復号する鍵情報は鍵情報生成
部１１０３により生成し、ＩＰＭＰ情報やＣＯＰ情報と
ともに管理され、送受信を行えばよい。

【００４１】以上の動画像出力装置の構成及びその制御
方法により、著作権及び／又は肖像権を有するオブジェ
クトを保護すると共に、この保護されたオブジェクトを
含むシーンを生成することができる。

【００４２】［第２の実施形態］本実施形態では、利用
者側の端末として携帯端末（動画像再生装置）を用いた
場合に、この携帯端末のブロック図を図５に示し、その
動作フローを図６に示す。なお、図６のスローチャート
に従ったプログラムコードは後述する記憶部５０５に記
憶されているものであり、携帯端末の動作時に不図示の
ＲＡＭにロードされ、実行されることになる。また、こ
の携帯端末は生成されたオブジェクトを通信したり、利
用者がそれを合成・再生して個別に楽しむ機能を有す
る。

【００４３】この携帯端末はいくつかの処理メニューを
表示器５０４に表示でき、操作盤５０３を用いて処理メ
ニューから選択できる。その処理メニューの中にはオブ
ジェクトの送信・受信および動画像の合成・再生、オブ
ジェクトの変更等の処理を有する。ただし、そのメニュ
ーの中には著作権保護に関する項目を含むこともでき
る。

【００４４】図６においてまず、処理を開始して（ステ
ップＳ６０１）、次に処理選択において（ステップＳ６
０２）、送信・受信の処理（ステップＳ６０５）を選択
する場合を考える。これは通信部５０１を用いて第１の
実施形態における動画像出力装置又は他の携帯端末から
オブジェクトを受信したり、他の端末にオブジェクトを
送信する処理を意味する。

【００４５】ここで、他の装置・端末で生成した各オブ
ジェクト（ストーリーに相当するＢＩＦＳも含む）を受
信する場合を考える。この送受信の指示は操作盤５０３
によって行い、通信部５０１を通して受信された各オブ
ジェクトは記憶部５０５に格納される（送信処理は表示
器５０４や操作盤５０３を用いて、記憶部５０５にある
指定したオブジェクトを通信部５０１によって他の携帯
端末に送信する処理である）。ただし、送受信されるオ
ブジェクトを確認するために、後述の処理部５０６を通
してその映像や音声を再生して、確認後に記憶したり、
通信してもよい。このような送受信を行う前には、示す
著作権保護処理（ステップＳ６１０）が行われる。この
著作権保護処理は送信するオブジェクトに著作権、特に
送信回数に関する制限がある場合、第１の実施形態で説
明したＣＯＰ情報によって制御される。すなわち、ＣＯ
Ｐ情報の許可送信回数が０でない場合送信され、その許
可送信回数から１引いてＣＯＰ情報が更新される。許可
送信回数が０のときは通信部５０１の動作を停止する
か、記憶部５０５を制御してその入力を停止するなどに
よって制御される。このＣＯＰ情報に関する著作権保護
に関する処理は著作権保護部５０８によって行われる。

【００４６】次に、合成・再生の処理（ステップＳ６０
４）を選択する場合を考える。これは、記憶部５０５に
記憶されているストーリーを構成する各オブジェクトを
処理部５０６を通して表示器５０４またはスピーカ５０
２を用いて再生することを意味する。ここで、処理部５
０６は図１０のシーン合成部１００１によって実現する
ことができる。ただし、再生するオブジェクトがＩＰＭ
Ｐ情報や暗号化などによって再生制御されている場合
は、著作権保護部５０８によって処理部５０６は制御さ
れる（ステップＳ６０９）。

【００４７】次に、オブジェクト変更の処理（ステップ
Ｓ６０３）を選択する場合を考える。これは、ステップ
Ｓ６０５で行われた他の端末との通信等によって、オブ
ジェクトが追加されることなどの結果、記憶部５０５に
記憶している１つのストーリーの中のあるオブジェクト
を追加されたオブジェクトに変更したり、そのストーリ
ーの中にそのオブジェクトを追加するために行われる。
これはディスクリプタと呼ばれるオブジェクトの属性を
示す情報やＢＩＦＳに示されている情報を許可された範
囲内で書き換えることなどにより実現できる。このオブ
ジェクト変更もそのオブジェクトがＩＰＭＰ等によって
制限されている場合は、上述の処理を行う処理部５０６
は、著作権保護部５０８によって制御される（ステップ
Ｓ６０８）。

【００４８】次に、上述の一連の処理を終了するかどう
かを確認し、他の処理を繰り返すことができる（ステッ
プＳ６０６）。例えば、最初ステップＳ６０５の送信・
受信の処理によって第１の実施形態に示す動画像出力装
置や他の携帯端末からいくつかのオブジェクトを受信・
格納した後に処理を継続し、ステップＳ６０４の合成・
再生の処理を選択しそれを確認することができる。さら
に、ステップＳ６０３のオブジェクトの変更処理をしな
がらステップＳ６０４の合成・再生の処理を繰り返すこ
ともできる。そして最後に、処理を終了する。ただし、
ステップＳ６０８、６０９，６１０の著作権保護処理に
よって、処理が継続できないと判断された場合も、次の
処理に行かず、他の処理に行くためにステップＳ６０２
の処理選択に戻る。

【００４９】ただし、動画像出力装置等からの受信情報
が図３の多重化部３０６によって多重化された一連のＭ
ＰＥＧ−４ストリームである場合、処理部５０６はデマ
ルチプレクサ４０２を含めることが考えられる。ただ
し、このデマルチプレクサ４０２の出力は同期レイヤ部
４０３ではなく、記憶部５０５に出力される。また、５
０１〜５０６の各部の制御および図６に示した動作の制
御はＣＰＵやプログラムを格納するＲＯＭ・ＲＡＭ等に
よって構成される制御部５０７によって実行される。

【００５０】著作権保護部５０８は図１２に示すよう
に、ＣＯＰ情報の更新・制御を行うＣＣＯＰ情報制御部
１２０２と、ＩＰＭＰ情報によってオブジェクトを制御
するＩＰＭＰ制御部１２０１から構成される。ただし、
オブジェクトが暗号化されている場合は、ＣＯＰ情報や
ＩＰＭＰ情報とともに受信した鍵情報を用いて暗号化を
復号する復号部を有することもできる。

【００５１】以上の携帯端末の構成及びその制御方法に
より、著作権及び／又は肖像権が保護されたオブジェク
トに対して、このオブジェクトを含むシーンの再生を行
うことができる。

【００５２】また、第１の実施形態で示した動画像出力
装置と本実施形態で示した携帯端末（動画像再生装
置）、後述する機能を有するパーソナルコンピュータ
（以下、ＰＣ）のうちいくつかを用いて構成される動画
像処理システムを図７〜図９を用いて説明する。

【００５３】図７に示す７００〜７１０は、第１の実施
形態で示した１００〜１１０の各部に各々対応し、この
各部により動画像出力装置は構成されており、同図はこ
の動画像出力装置の外形の一例を示す図である。ただ
し、７００，７０５，７０６，７１０に相当する著作権
制御部、記憶部、処理部、制御部はその装置の中に内蔵
されている。

【００５４】また、ボックス７２０はこの動画像出力装
置を格納しており、内装はブルーバックとなっており、
そのボックスに入る扉を有する。ブルーバックはオブジ
ェクト切り出しの１手法であり、このボックス内の利用
者はその動作を７０２のカメラによって撮影されること
によって、利用者以外を含まない１つのオブジェクトと
して取り込まれる。ただし、ボックス７２０は箱状の形
態でなくブルーバックのみを背景としたカーテン的な形
態等も含む。さらに、利用者は７１１〜７１８（各々、
本実施形態で示した５０１〜５０８の各部に相当する）
の各部で構成される携帯端末を有し、ケーブル７２１を
介して、動画像出力装置の通信部７０９と接続する。

【００５５】以上の携帯端末及びその制御方法によっ
て、利用者は動画像出力装置で生成された各オブジェク
トを携帯端末に送信することができる。

【００５６】また、本実施形態における動画像出力装置
はＮＣＵ７１９を有する事もでき、例えばインターネッ
トなどに接続されている。そしてＮＣＵ７１９をケーブ
ル７２１を介して通信部７０９と接続し、操作盤７０３
によってデータの送り先を指示することによって、利用
者は携帯端末がなくても生成したオブジェクトを送信す
ることができる。ただしここでは、ケーブル７２１を用
いた有線の接続を説明したが、無線による接続でも良
い。

【００５７】次に、図８に示すように携帯端末８０１ａ
は上述で説明したように、他の携帯端末８０１ｂや後述
の処理が可能なＰＣ８０２等と通信を行うことができ
る。このＰＣ８０２は図６に示した処理が可能であれ
ば、携帯端末（８０１ａ，８０１ｂ）と通信によるオブ
ジェクト交換や動画像の合成・再生等が可能であること
は明らかである。

【００５８】さらに、このＰＣ８０２によってオブジェ
クトやストーリーに相当するＢＩＦＳを新しく生成また
は編集することを可能にする場合も考えられる。このオ
ブジェクト生成・編集はＣＧやアニメーションのエディ
ター等によって実現でき、ＢＩＦＳの生成・編集は通常
のエディタ等によって実現できる。しかし、オブジェク
トやＢＩＦＳ等の簡易な生成・編集のためのツールをソ
フトウェアとしてまとめて、ＣＤやダウンロード等によ
って配布することも考えられる。これによって、利用者
オリジナルのストーリーやオブジェクトを使った動画像
を楽しむことが出来る。その際には、このオリジナルの
ストーリーやオブジェクトに対する著作権をＩＰＭＰ情
報やＣＯＰ情報などによって設定し、その使用に関する
料金を電子現金や電子クレジットなどの電子決済手段に
よって行うこともできる。

【００５９】最後に、それら第１の実施形態で示した動
画像出力装置で生成したしたオブジェクトやＰＣ等によ
って生成したオブジェクトを図９のようなシステムによ
って管理・運営することができる。９０１はサーバであ
り、９０２は上述の携帯端末であり、９０３は上記のＰ
Ｃである。これら各部はネットワーク（インターネット
含む）９０４を通してサーバ９０１と通信することがで
きる。サーバ９０１は各利用者が生成したオブジェクト
や交換可能な種々のオブジェクトを管理・販売してい
る。

【００６０】例えば、ＰＣ９０３で生成したオリジナル
のオブジェクトをサーバ９０１に登録し、携帯端末９０
２を有する利用者はサーバ９０１に登録されているオブ
ジェクトを検索して、気に入ったオブジェクトを携帯端
末９０２にダウンロードすることができる。また、サー
バ９０１はＩＰＭＰ情報やＣＯＰ情報を管理し、その設
定や変更などを行うこともできる。このとき、所定の手
続きによる決済手段に、よってＰＣ９０３においてオブ
ジェクトを生成した利用者は携帯端末９０２の利用者か
ら料金を得、サーバ９０１の利用者は、ＰＣ９０３にお
いてオブジェクトを生成した利用者及び／または携帯端
末９０２の利用者からオブジェクトの登録・管理費や販
売手数料等を得ることが出来る。

【００６１】以上の動画像処理システム及びその制御方
法によって、例えばオブジェクトをシステム間で交換
し、交換先で編集し、又交換するなど、オブジェクトの
編集システムを構築することができる。

【００６２】［第３の実施形態］第１、２の実施形態に
おける装置及びその制御方法による目的は、第１、２の
実施形態を実現するための装置及びその制御方法を組み
合わせて行う方法のみに限定されるものではなく、上記
システム又は装置内のコンピュータ（ＣＰＵあるいはＭ
ＰＵ）に、第１、２の実施形態を実現するためのソフト
ウエアのプログラムコードを供給し、このプログラムコ
ードに従って上記システムあるいは装置のコンピュータ
が上記各種デバイスを動作させることにより第１、２の
実施形態を実現する場合であってもよい。

【００６３】またこの場合、前記ソフトウエアのプログ
ラムコード自体が第１、２の実施形態の機能を実現する
ことになり、そのプログラムコード自体、及びそのプロ
グラムコードをコンピュータに供給するための手段、具
体的には上記プログラムコードを格納した記憶媒体は第
１、２の実施形態の範疇に含まれる。

【００６４】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、Ｒ
ＯＭ等を用いることができる。

【００６５】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、第１、２の実施形態の機能が実現される場合
だけではなく、上記プログラムコードがコンピュータ上
で稼働しているＯＳ（オペレーティングシステム）、あ
るいは他のアプリケーションソフト等と共同して第１、
２の実施形態が実現される場合にもかかるプログラムコ
ードは第１、２の実施形態の範疇に含まれる。

【００６６】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるＣＰＵ等が実際の
処理の一部または全部を行い、その処理によって第１、
２の実施形態が実現される場合も第１、２の実施形態の
範疇に含まれる。

【００６７】上述の実施形態を上記記憶媒体に適用する
場合、その記憶媒体には、先に説明した（図２又は図６
に示す）フローチャートに対応するプログラムコードが
格納されることになる。

【００６８】

【発明の効果】本発明によれば、利用者自身の動画像と
利用者が選択したオブジェクトを合成した動画像情報を
作成することが可能になる。

【００６９】又、提供する情報は、ＭＰＥＧ−４を用い
ることにより、情報量を少なくでき、しかも、提供の仕
方としても利用者が有する端末、もしくはインターネッ
トなどのネットワークアドレス先に送信することで、利
用者が自由にその情報を活用することも可能になる。

【００７０】又、提供する情報には、オブジェクトの利
用条件を示した情報を有するので、オブジェクトの著作
権保護、コピー回数などの利用の制限を行うことが可能
になる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の動画像出力装置のブ
ロック図である。

【図２】本発明の第１の実施形態の動画像処理装置の動
作フローを示すフローチャートである。

【図３】ＭＰＥＧ−４を説明する概念図である。

【図４】ＭＰＥＧ−４の再生機のブロック図である。

【図５】本発明の第２の実施形態における携帯端末のブ
ロック図である。

【図６】本発明の第２の実施形態における形態端末の動
作フローを示すフローチャートである。

【図７】本発明の第３の実施形態における動画像処理シ
ステムを示す図である。

【図８】本発明の第３の実施形態における動画像処理シ
ステムを示す図である。

【図９】本発明の第３の実施形態における動画像処理シ
ステムを示す図である。

【図１０】本発明による第１の実施例の処理手段のブロ
ック図である。

【図１１】本発明による第１の実施例の著作権保護手段
のブロック図である。

【図１２】本発明による第２の実施例の著作権保護手段
のブロック図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/167 Ｚ ５Ｃ０６４ Ｆターム(参考） 5B050 AA10 BA06 BA11 CA04 CA07 DA01 DA10 EA10 EA19 EA24 FA02 FA10 5C023 AA17 AA27 AA28 BA12 CA03 DA04 DA08 EA03 5C053 FA04 FA15 FA23 FA27 GA11 GB06 GB08 GB11 GB37 HA33 JA03 LA06 LA11 LA15 5C054 AA01 AA05 CA04 CC02 CD03 CE16 CG08 DA08 EA05 EH01 FC12 FE14 FE22 GB02 GB14 GD03 HA16 5C059 KK37 MA00 MA04 MB01 MB24 PP04 PP28 RB06 RC12 RC19 RC32 RC35 RC37 SS11 SS20 TA73 TB04 TC45 TD18 UA02 UA03 UA05 5C064 CA14 CB01

Claims (30)

【特許請求の範囲】
1. 【請求項１】 各種のオブジェクトデータを記憶する記
   憶手段と、 所定の撮像手段により撮像された動画像データを入力す
   る入力手段と、 前記オブジェクトデータの利用条件に関する情報データ
   を発生する情報発生手段と、 前記記憶手段に記憶されたオブジェクトデータと、前記
   入力手段によって入力された動画像データと、前記情報
   発生手段によって発生された情報データとを多重化して
   ストリームデータを出力する出力手段とを備えることを
   特徴とする動画像出力装置。
2. 【請求項２】 前記出力手段は、ＭＰＥＧ−４に従うこ
   とを特徴とする請求項１に記載の動画像出力装置。
3. 【請求項３】 前記記憶手段に記憶されるオブジェクト
   には、背景の画像データ、共演者の画像データが含まれ
   ることを特徴とする請求項１又は２に記載の動画像出力
   装置。
4. 【請求項４】 前記入力手段は、音声を入力する手段を
   含むことを特徴とする請求項１乃至３のいずれか１項に
   記載の動画像出力装置。
5. 【請求項５】 前記出力手段で出力されるストリームデ
   ータは、ＢＩＦＳ（Binary Format For Scenes）で記述
   されていることを特徴とする請求項１乃至４のいずれか
   １項に記載の動画像出力装置。
6. 【請求項６】 前記出力手段は、利用者が用意した情報
   端末に出力することを特徴とする請求項１乃至５のいず
   れか１項に記載の動画像出力装置。
7. 【請求項７】 前記出力手段は、利用者が指定したネッ
   トワークアドレスに向けて出力することを特徴とする請
   求項１乃至５のいずれか１項に記載の動画像出力装置。
8. 【請求項８】 前記入力手段によって入力される動画像
   データは、１フレーム中から抽出された所望のオブジェ
   クトに対応するデータであることを特徴とする請求項１
   乃至７のいずれか１項に記載の動画像出力装置。
9. 【請求項９】 前記情報発生手段は、ＩＰＭＰ（Intell
   ectual Property Management & Protection）情報を生
   成することを特徴とする請求項１乃至８のいずれか１項
   に記載の動画像出力装置。
10. 【請求項１０】 前記ストリームデータの作成料金を通
    知する通知手段と、 入金に関する入金情報を検出する検出手段とを更に備え
    ることを特徴とする請求項１乃至９のいずれか１項に記
    載の動画像出力装置。
11. 【請求項１１】 前記情報発生手段は、ＣＯＰ（Copy &
    Output Protection）情報を生成することを特徴とする
    請求項１０に記載の動画像出力装置。
12. 【請求項１２】 前記情報発生手段は、前記入金情報に
    応じて前記ＣＯＰ情報を生成することを特徴とする請求
    項１１に記載の動画像出力装置。
13. 【請求項１３】 前記出力手段は、前記ＣＯＰ情報によ
    って制御されることを特徴とする請求項１１又は１２に
    記載の動画像出力装置。
14. 【請求項１４】 前記情報発生手段によって発生された
    情報に応じて前記オブジェクトデータを暗号化する暗号
    化手段を更に備えることを特徴とする請求項１乃至１３
    のいずれか１項に記載の動画像出力装置。
15. 【請求項１５】 請求項１乃至１４のいずれか１項に記
    載の動画像出力装置からのストリームデータを再生する
    装置であって、 前記ストリームデータを入力する入力手段と、 前記ストリームデータ中に含まれる各オブジェクトを合
    成して再生する再生手段とを備えることを特徴とする動
    画像再生装置。
16. 【請求項１６】 前記入力手段によって入力したストリ
    ームデータ中の所望とするオブジェクトを修正する手段
    を更に備えることを特徴とする請求項１５に記載の動画
    像再生装置。
17. 【請求項１７】 請求項１５又は１６のいずれか１つに
    記載の動画像再生装置を備えることを特徴とする携帯端
    末。
18. 【請求項１８】 複数のオブジェクトデータを多重化し
    て生成されたストリームデータを入力する入力手段と、 前記ストリームデータから前記複数のオブジェクトデー
    タを分離する分離手段と、 前記分離手段によって分離されたオブジェクトデータを
    再生する再生手段と、 前記分離手段によって分離された各オブジェクトデータ
    のＣＯＰ（Copy & Output Protection）情報を検出する
    検出手段と、 前記検出手段の検出出力に応じて前記再生手段の再生動
    作を制御する制御手段とを備えることを特徴とする動画
    像再生装置。
19. 【請求項１９】 請求項１８に記載の動画像再生装置を
    備えることを特徴とする携帯端末。
20. 【請求項２０】 各種のオブジェクトデータを記憶手段
    に記憶する記憶工程と、 所定の撮像手段により撮像された動画像データを入力す
    る入力工程と、 前記オブジェクトデータの利用条件に関する情報データ
    を発生する情報発生工程と、 前記記憶手段に記憶されたオブジェクトデータと、前記
    入力工程によって入力された動画像データと、前記情報
    発生工程によって発生された情報データとを多重化して
    ストリームデータを出力する出力工程とを備えることを
    特徴とする動画像出力装置の制御方法。
21. 【請求項２１】 請求項２０に記載の動画像出力装置か
    らのストリームデータを再生する動画像再生装置の制御
    方法であって、 前記ストリームデータを入力する入力工程と、 前記ストリームデータ中に含まれる各オブジェクトを合
    成して再生する再生工程とを備えることを特徴とする動
    画像再生装置の制御方法。
22. 【請求項２２】 複数のオブジェクトデータを多重化し
    て生成されたストリームデータを入力する入力工程と、 前記ストリームデータから前記複数のオブジェクトデー
    タを分離する分離工程と、 前記分離工程によって分離されたオブジェクトデータを
    再生する再生工程と、 前記分離工程によって分離された各オブジェクトデータ
    のＣＯＰ（Copy & Output Protection）情報を検出する
    検出工程と、 前記検出工程の検出結果に応じて前記再生工程の再生動
    作を制御する制御工程とを備えることを特徴とする動画
    像再生装置の制御方法。
23. 【請求項２３】 ストリームデータを出力する動画像出
    力装置として機能するプログラムコードを格納する記憶
    媒体であって、 各種のオブジェクトデータを記憶手段に記憶する記憶工
    程のプログラムコードと、 所定の撮像手段によって撮像された動画像データを入力
    する入力工程のプログラムコードと、 前記オブジェクトデータの利用条件に関する情報データ
    を発生する情報発生工程のプログラムコードと、 前記記憶手段に記憶されたオブジェクトデータと、前記
    入力工程によって入力された動画像データと、前記情報
    発生工程によって発生された情報データとを多重化して
    ストリームデータを出力する出力工程のプログラムコー
    ドとを備えることを特徴とする記憶媒体。
24. 【請求項２４】 請求項２３に記載の動画像出力装置か
    らのストリームデータを再生する動画像再生装置として
    機能するプログラムコードを格納する記憶媒体であっ
    て、 前記ストリームデータを入力する入力工程のプログラム
    コードと、 前記ストリームデータ中に含まれる各オブジェクトを合
    成して再生する再生工程のプログラムコードとを備える
    ことを特徴とする記憶媒体。
25. 【請求項２５】 ストリームデータを再生する動画像再
    生装置として機能するプログラムコードを格納する記憶
    媒体であって、 複数のオブジェクトデータを多重化して生成されたスト
    リームデータを入力する入力工程のプログラムコード
    と、 前記ストリームデータから前記複数のオブジェクトデー
    タを分離する分離工程のプログラムコードと、 前記分離工程によって分離されたオブジェクトデータを
    再生する再生工程のプログラムコードと、 前記分離工程によって分離された各オブジェクトデータ
    のＣＯＰ（Copy & Output Protection情報を検出する検
    出工程のプログラムコードと、 前記検出工程の検出出力に応じて前記再生工程の再生動
    作を制御する制御工程のプログラムコードとを備えるこ
    とを特徴とする記憶媒体。
26. 【請求項２６】 シーン中の各種のオブジェクトデータ
    を記憶する記憶手段と、 前記記憶手段に記憶された所望のオブジェクトデータの
    要求を示す要求データを入力する入力手段と、 前記要求データに応じて前記オブジェクトデータと、前
    記オブジェクトデータの利用条件に関する情報データと
    を出力する出力手段とを有することを特徴とする動画像
    出力装置。
27. 【請求項２７】 前記情報データは、ＩＰＭＰ（Intell
    ectual Property Management & Protection）情報であ
    ることを特徴とする請求項２６に記載の動画像出力装
    置。
28. 【請求項２８】 前記情報データは、ＣＯＰ（Copy & O
    utput Protection）情報であることを特徴とする請求項
    ２６又は２７に記載の動画像出力装置。
29. 【請求項２９】 シーン中の各種のオブジェクトデータ
    を記憶手段に記憶する記憶工程と、 前記記憶手段に記憶された所望のオブジェクトデータの
    要求を示す要求データを入力する入力工程と、 前記要求データに応じて前記オブジェクトデータと、前
    記オブジェクトデータの利用条件に関する情報データと
    を出力する出力工程とを備えることを特徴とする動画像
    出力装置の制御方法。
30. 【請求項３０】 オブジェクトデータを出力する動画像
    出力装置として機能するプログラムコードを格納する記
    憶媒体であって、 シーン中の各種のオブジェクトデータを記憶手段に記憶
    する記憶工程のプログラムコードと、 前記記憶手段に記憶された所望のオブジェクトデータの
    要求を示す要求データを入力する入力工程のプログラム
    コードと、 前記要求データに応じて前記オブジェクトデータと、前
    記オブジェクトデータの利用条件に関する情報データと
    を出力する出力工程のプログラムコードとを備えること
    を特徴とする記憶媒体。