JP2000023116A

JP2000023116A - オブジェクト識別子処理方法および該方法を実現する記録媒体

Info

Publication number: JP2000023116A
Application number: JP18584698A
Authority: JP
Inventors: Isao Furukawa; 勲古川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-07-01
Filing date: 1998-07-01
Publication date: 2000-01-21
Also published as: US6526171B1

Abstract

(57)【要約】【課題】動画における著作権および肖像権の管理を容
易に実現可能なオブジェクト識別子処理方法および該方
法を実現する記録媒体を提供すること。【解決手段】映像のストリームを作成者が作成する
際、作成者から見て同じ意味を持つオブジェクトのスト
リームにはその映像全般に渡って作成者が意図的に同じ
識別子を付与しておき、後に、映像ストリームから特定
のオブジェクトを検出する際に、作成の際に付与した特
定の識別子をキーとして検索する。またオブジェクトス
トリーム内に暗号化領域２２を設け、作成者のみが知っ
ている暗号化キー２５を用いて、識別子領域２１または
データ領域２４のデータの少なくとも一部を暗号化し、
その結果を前記暗号化領域２２に書き込んでおき、該暗
号化領域と前記暗号化キーから復号したデータから抽出
した識別子とオブジェクトストリーム内の識別子２１と
を比較することにより識別子の改変を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画の符号化技術
に係り、特に、動画を構成するオブジェクトを管理する
ために、各オブジェクトに対する識別子の割り当てや割
り当てられた識別子を用いたオブジェクトの検索などの
オブジェクト識別子処理方法および該方法を実現する記
録媒体に関する。

【０００２】

【従来の技術】動画の符号化方式は従来から多数提案さ
れているが、現在普及している方式の一つにＭＰＥＧ
（Ｍoving Ｐicture coding Ｅxperts Ｇroup で標準化
された符号化方式）がある。ＭＰＥＧにはＭＰＥＧ１と
ＭＰＥＧ２が現在作成されている。ＭＰＥＧ１はＶideo
ＣＤやＭＰＥＧカメラに使用され、ＭＰＥＧ２はＤＶ
ＤＶideoやデジタル衛星放送に使用されている。ＭＰＥ
Ｇの一般的な特徴として、時間軸に対する圧縮が規格に
入っているため、符号化効率がよいことが挙げられる。
これは、時間的に連続する複数のコマの差分をとること
でデータを圧縮する方法である。一般的に、動画におけ
る隣のコマ同士の画像的特徴はきわめて似通っているた
め、差分を符号化することにより大きな圧縮率を期待で
きることが効率のよい理由となっている。

【０００３】現在、仕様策定中の新しい仕様にＭＰＥＧ
４がある。ＭＰＥＧ４は、本来通信用として開発されて
おり、ＭＰＥＧ１やＭＰＥＧ２とは異なる特徴を備えて
いるが、以下では本発明に関係する部分についてのみ説
明する。ＭＰＥＧ４がＭＰＥＧ１やＭＰＥＧ２と異なる
大きな点は、オブジェクト符号化にある。ＭＰＥＧ４で
は画面に現れるオブジェクトを各々符号化することがで
きる。これにより、例えば、図１に示すような映画の一
シーンにおいて、人物（暗殺者）１と背景２を別々に符
号化し、各々別々に送信し、受信側ではこれらを別々に
受信し一シーンに合成するということが可能になる。

【０００４】このときの個々のオブジェクトの符号化
は、例えば、次のように行われる。まず、ブルーバック
などの方法で背景が単一色のスタジオで人物が撮影され
る。その後、その映像から人物の外形全てが収まる長方
形が定義され、図８に示すようにトリミングされる（図
８参照）。次に、背景に使われている単一色をキーとし
て、人物と背景を分離するマスクが生成される（図９参
照）。ここで、図８を通常のＭＰＥＧ２などと同じ手法
である「離散コサイン変換」を用いて画像圧縮する。一
方、マスクである図９も同様に圧縮され、両方の圧縮し
たデータが相手方に送信される。受信側は、図８および
図９の画像を復号化し、図９の白の所は「透明」である
という認識の基に、復号された図８の背景部分を、図９
のマスクを基にして透明にする（図１０参照）。その
後、別途作成された背景画面と合成する。

【０００５】この方式は、画面全体を符号化する場合よ
りも符号化効率がよいという特徴を有している。これ
は、背景画面は殆ど動かないので極めてデータ量が少な
く、動いている人物は動いている部分だけが正に符号化
されるので効率がよい、という原理に基づいている。本
発明は、以上のような特徴を有するＭＰＥＧ４を想定
し、オブジェクトベース符号化をする場合に従来にない
特徴を付加するものである。

【０００６】上述したように、ＭＰＥＧ４における映像
ストリームは、背景と個々のオブジェクトのストリーム
が混在したものである。図１、図２、図３に対応するＭ
ＰＥＧ４のストリームの例を図４に示す。ストリーム１
０は、１１〜１９からなる個々のオブジェクトストリー
ム、およびこれらのオブジェクトストリームの合成ルー
ル（どちらが手前になるか、いつ現れるかなど）を記述
したコントロールストリーム２０から成り立っている。

【０００７】図１における暗殺者１のオブジェクトスト
リームは１１、背景２のオブジェクトストリームは１
２、図２におけるターゲットのオブジェクトストリーム
は１３、背景４のオブジェクトストリームは１４、障害
物のオブジェクトストリームは１５、図３におけるター
ゲットのオブジェクトストリームは１６、背景７のオブ
ジェクトストリームは１７、暗殺者８のオブジェクトス
トリームは１８、障害物９のオブジェクトストリームは
１９である。また、オブジェクトストリーム１３と１
６、１５と１９、１４と１７は各々途切れがないので、
実際には一つのオブジェクトストリームである。

【０００８】ストリーム１０は実際には時分割で細かい
パケットに分けられて伝送される。このため、これらの
オブジェクトストリーム（およびコントロールストリー
ム）を受信側で再構築するには、複数送られてくる各々
のオブジェクトストリームを識別するための識別子が必
ず必要である。ＭＰＥＧ４の規約では、この識別子の付
与にはビット数が定められているだけでそれ以外のルー
ルはない。従って、通常はオブジェクトの登場順にシリ
アルに番号が付与されるのが普通である。

【０００９】この時、人間の目から見て同じオブジェク
ト、例えば同じ登場人物が別のシーンに出てきた場合で
あっても、一旦ストリームが途切れると、通常は新たに
シリアル番号が付与されるので、次のストリームには別
の番号が割り当てられてしまう。従って、少なくともそ
のストリームを単純に計算機で解析しても、その相関関
係、即ち複数のシーンにまたがって登場する同じ人物を
識別するのは不可能である。

【００１０】

【発明が解決しようとする課題】従って、上述の従来技
術では次のような問題がある。アマチュアが興味本位で
作ってネットワークで配布したり、悪意のある者が意図
的に特定の人物の品位を損なう目的で、映像に現れる特
定の人物の画像だけを選択してコピーし、別の背景や他
のオブジェクトと共に合成することにより、オリジナル
の映像を作ることが考えられる。これらの行為は、その
人物の肖像権侵害となる恐れがあるほか、番組ないしは
映画などの制作者の意図と異なる画面が作られてしま
い、著作権侵害の恐れもある。特に、その権利が有料で
ある場合、金銭上の問題も発生する。

【００１１】これらの行為は、アナログおよびＭＰＥＧ
２以前のデジタルフォーマットでは、人物と背景を分離
することが難しかったため、一般的に起こり得なかっ
た。しかし、新たに策定中のＭＰＥＧ４においては、オ
ブジェクトストリームを分離することができるため、上
記の如き問題が頻繁に発生し得る。このような理由で、
ＭＰＥＧ４のようにオブジェクトベースで符号化を行う
フォーマットで映像を提供する製作者は、従来のＭＰＥ
Ｇ２以前の時の著作権管理にも増して、厳重な著作権管
理をする必要がある。このためには、巷に流れている映
像のストリームを入手し、その中に特定のオブジェクト
がないかどうかを見定める必要がある。しかし従来の方
法では、オブジェクトを識別するための情報としてはオ
ブジェクトの識別子しかない。そしてその識別子は登場
順のシリアル番号であり、そのオブジェクトが何である
かとは関係なく付与されている。このことにより、コン
ピュータが簡単にオブジェクトを識別する手段がないた
め、コンピュータによる検索は不可能である。従って、
人手でその映像を見ることによりチェックするしか方法
がない。

【００１２】以上の事情を、図１〜３を使ってさらに詳
細に説明する。これらの図は映画の一部分であり、暗殺
者がターゲットを殺そうと銃を持って襲ってくるシーン
である。図１は暗殺者のアップ、図２はターゲットが逃
げているところ、図３は追ってくる暗殺者を後ろから捕
らえつつターゲットが逃げる様子を描写している。図１
と図２の間にはカットが入り、図２から図３に移るのに
はカメラがパニング（水平右方向にカメラが移動する）
して暗殺者がフレームインしているものとする。図１
は、暗殺者１と背景２が各々オブジェクトになってお
り、別に符号化される。図２では、ターゲット３と背景
４、そして障害物５がオブジェクトになっている。図２
で、ターゲット３は逃げていく途中で障害物５に気づ
き、逃げる方向を変えている。図３では、暗殺者８、タ
ーゲット６、背景７、障害物５がオブジェクトになって
いる。

【００１３】ここで、図２と図３の間にはカットが入っ
ていないので、ターゲット３とターゲット６は同じ識別
子が付いている（図４の１３、１６参照）。また、障害
物５と障害物９、背景４と背景７も各々同じ識別子が付
いている（図４の１５、１９と１４、１７参照）。しか
し、図１と図２の間にはカットが入っているので、暗殺
者１と暗殺者８には違う識別子（図４の１１、１８参
照）が付いてしまう。同様に、背景２と背景４も異なる
識別子（図４の１２、１４、１７参照）が付与される。
しかし、製作者、著作権者にとっては、暗殺者１および
暗殺者８は同一の人物が違うシーンで写っているだけで
あり、暗殺者の役をやっている俳優にとっては同じ肖像
権の対象となる画像である。オブジェクトベース符号化
ではオブジェクトの動画の分離が簡単に行えるので、暗
殺者１と背景７を重ねて新たな画像を作るといったこと
は簡単に行うことができる。しかし、これは映画製作者
の意図と異なる映像を生み出すことになる。

【００１４】次に、上記の欠点を何らかの手段で補完
し、オブジェクトの識別をコンピュータで行うことを可
能にする手段を講じたと考える。この時、当然悪意ある
者はこの手段を掻い潜ろうと考えるであろう。後に述べ
るように、本発明ではこの手段としてオブジェクトの識
別子を利用しているが、この場合、悪意ある者は、オブ
ジェクトの識別子を付け替える、という行為に出ること
が考えられる。本来識別子の付与にはＭＰＥＧ４で定め
る特別なルールはないので、識別子を付け替えたとして
もデコード時には何の問題も生じないため、これが可能
である。識別子を付け替えられると、コンピュータによ
る検索では検知できなくなってしまう。このため、識別
子の改変を検知するための手段が必要であるが、従来技
術ではこれはできなかった。

【００１５】次に、番組などの製作者あるいはストリー
ムを入手したユーザが、そのストリームのダイジェスト
の作成ないしはインデックスの作成を行う場合を考え
る。これは、ユーザが自分の好みで設定する場合もある
だろうし、番組ガイド、あるいはＤＶＤＶideoなどの
メディアタイトルにおけるインデックスを作成するとい
う用途のために設定する場合もあると考えられる。

【００１６】この時、登場人物別にサーチしたりデータ
ベースを作成しようと思っても、オブジェクトに付与さ
れる識別子は登場人物とは関係なく付与されるため、機
械的なサーチはできない。データベースに限らず、自分
のお気に入りの俳優の出演シーンの選出、インデックス
の作成、などにおいても不都合を生じる。これは従来は
全て人手で行われてきたものである。しかし、衛星放送
の多チャンネル化など、映像ソースの数量が飛躍的に増
してきている現在、この方法では限界があり、機械によ
る処理が望まれている。特に、その作業をユーザが行お
うとする場合、従来の方法ではそのコンテンツを何回も
見て、手動でマーキングをしなければならないのでその
労力は大変である。

【００１７】また、映像のシンプル化を行う場合を考え
る。例えば、モブシーン（多数の群衆が動き回っている
ようなシーン）など、見たい特定の人物や物体が見にく
い場合、他のオブジェクトをある程度間引いて、見たい
オブジェクトを抽出した映像を見たい場合、手前にある
オブジェクトによって隠れている部分を見たい場合、ま
たは、天気予報で、自分の興味のある地域、興味のある
事柄（温度だけ、波の高さだけ、など）を抽出してみた
い場合、などが考えられる。この時、どのオブジェクト
を削除するか、ないしはどのオブジェクトを抽出する
か、特定のオブジェクトの前にある全てのオブジェクト
を削除するか、などの指定は、従来の方法では全て手動
で指定してやるしか方法がなかった。このため、オブジ
ェクトが動き回ったり、カットバックが多数あるような
映像では、その度に指定してやる必要があるため、事実
上はリアルタイムにこの作業を行うことは不可能であ
る。以上のような事情により、従来技術では、映画、テ
レビ番組、ＤＶＤＶideoなどの動画における著作権や
肖像権の管理を労力の少ない簡単な方法で実現すること
はできなかった。本発明の目的は、上記従来技術の欠点
を解決し、動画における著作権および肖像権の管理を容
易に実現可能なオブジェクト識別子処理方法および該方
法を実現する記録媒体を提供することにある。

【００１８】

【課題を解決するための手段】本発明は、上記目的を達
成するために、映像のストリームを作成者が作成する
際、各々のオブジェクトストリームの識別子に関し、作
成者から見て同じ意味を持つオブジェクトのオブジェク
トストリームには、その映像全般に渡って、作成者が意
図的に同じ識別子を付与する。これにより、後に、映像
ストリームから特定のオブジェクトを検出する際に、作
成の際に付与した特定の識別子をキーとして検索するこ
とにより、コンピュータによる検索が可能となる。

【００１９】さらに具体的には、本発明のオブジェクト
識別子処理方法は、背景および画面に現れる個々の画像
を独立に符号化し、復号時には背景および個々の画像を
復号したものを合成して表示する動画のオブジェクト識
別子処理方法において、データストリームに対する所望
の要件とデータストリームの識別子そのものまたは該識
別子に対し一定の数学的演算を施した値とを対応づける
データベースを設け、全体のストリームを作成する際、
前記データベースに対応する所望の要件を有するオブジ
ェクトにはデータベースの要件を満たす数学的演算に対
応する識別子を該オブジェクトストリームの識別子とし
て割り付け、その他のオブジェクトストリームには前記
識別子以外の識別子を割り当て、単数ないしは複数のシ
ーンに現れる所望の要件を満たすオブジェクトストリー
ムを全体のストリームの中から抽出する際、前記所望の
要件に対応する前記識別子をキーとして検索することを
特徴としている。

【００２０】また、オブジェクトストリームの補助領域
内に暗号化領域を設け、作成者のみが知っている暗号化
キーを種として、該識別子領域を含む該暗号化領域以外
の全部ないしは一部のオブジェクトストリームのデータ
を対象として暗号化を行い、その結果を前記暗号化領域
に書き込んでおき、該暗号化領域と前記暗号化キーから
復号したデータからから識別子を抽出するか、もしく
は、該識別子を種とした電子透しを生成してこれをオブ
ジェクトストリームのデータ領域に書き込んでおき、デ
ータ領域に埋め込まれた電子透しから識別子を抽出する
ことにより、該抽出した識別子と前記オブジェクトスト
リームの識別子とを比較することにより識別子の改変を
検出することを特徴としている。

【００２１】さらに、本発明の記録媒体は、複数のオブ
ジェクトストリームを記録した記録媒体であって、それ
ぞれのオブジェクトストリームが、オブジェクト識別子
領域、暗号化領域、データ領域を有し、該暗号化領域
に、該暗号化領域以外の全部または一部のオブジェクト
ストリームのデータを対象として暗号化したデータを記
録したことを特徴としている。

【００２２】

【発明の実施の形態】（本発明の概要）動画の新しい圧
縮規格であるＭＰＥＧ４は、画面に現れる個々の物体、
例えば人物や自動車などの不定形のものを各々圧縮して
背景と合成できるというオブジェクト圧縮の機能があ
る。データのコーディング時に、個々のオブジェクトに
は識別子が付けられるが、これに対する規則はＭＰＥＧ
４の規格では定まっていない。本発明は、このオブジェ
クトに付ける識別子をオブジェクト固有のものにするこ
とにより、違った画面でも同じオブジェクトには同じ識
別子が付くことを利用して、検索の際は識別子を基に検
索することでオブジェクトの識別を容易にするものであ
る。

【００２３】（実施例）以下、本発明の一実施例を図４
により説明する。図４は、図１、図２、図３に相当する
映像ストリームを抽象化して表現した図である。ストリ
ーム１０は、個々のオブジェクトストリーム１１〜１
９、複数のオブジェクトストリームの合成ルール（どち
らが手前になるか）、および時間軸における出現タイミ
ングを記述したストリームであるコントロールストリー
ム２０からなっている。これは一般的なＭＰＥＧ４のス
トリームと同じである。これは、各々図１に相当する部
分、図２に相当する部分、図３に相当する部分、に分け
ることができる。ストリームは時間軸に沿って流れてい
くものであり、図４では時間軸は横軸、右方向になって
いる。このストリームにおいて、オブジェクトストリー
ム１１〜１９の各々は、図１〜図３に現れるオブジェク
ト１〜９に対応している。

【００２４】暗殺者のオブジェクトストリームは１１と
１８であるが、これらは間が開いているので、通常なら
同じ識別子が付く保証はない。しかし、これは同じ人物
のオブジェクトストリームであるので、本発明ではこれ
らには同じ識別子が付与される。このため、オブジェク
トストリーム１１とオブジェクトストリーム１８は同じ
人物が映っているストリームであると解釈できる。映画
の全てに渡ってこのルールを適用することにより、全映
画に沿って同じ人物に同じ識別子が付与される。

【００２５】図１の暗殺者１と図３の暗殺者８は同じ肖
像権者であるので、従来は適当に付けられていたオブジ
ェクトの識別子として、本発明では同じ識別子を付与す
る。一般的には全オブジェクトにこれを適用するのは難
しいので、著作権を主張するようなオブジェクト、一般
的に言うと有名映画俳優のオブジェクトなどに対し適用
され、それ以外は従来どおり連番で付与されるであろ
う。実際の識別子の付与方法は、当初、一般的には、上
記のような映画俳優の所属組織が人手で付与するものと
考えられる。以下に、当初の付与方式の一例を示す。

【００２６】本発明のような管理をしようとするオブジ
ェクトの最大数を決め、予め、そのための識別子として
割り当てる数値をその最大数の分だけ予約し、オブジェ
クトストリームを最初に作成する際にはその数値を避け
て識別子を自動的に割り当てる。その後人手で、オブジ
ェクトストリームを見ながら、所望するオブジェクトス
トリームの識別子（前のステップで適当に割り当てられ
ていたもの）を、所望する識別子で書き換える。この方
法により、自動的に割り当てる識別子と所望する識別子
が混乱することなく割り当てられ、同じ画面に現れる別
のストリームに同じ識別子が割り当てられてしまう愚を
犯すことなく処置ができる。将来的に画像の近似度や特
徴などを評価して自動的に識別子を付与することも考え
られるが、その場合でも、所望のオブジェクトストリー
ムがどれであるかの評価判断を機械が行うだけで、その
他はこのアルゴリズムを使うことができる。

【００２７】図４は、ストリームにおけるオブジェクト
の登場を簡潔に表記する図である。同図において、スト
リーム１０は、さまざまなオブジェクトのストリーム１
１〜１９からなっており、各々のストリームは時間軸に
したがって合成、再生される。また、合成のやり方（ど
ちらが上になるかなど）をコントロールするコントロー
ルストリーム２０が付加されている。

【００２８】なお、実際の識別子は、基本的にはＭＰＥ
Ｇ４で定められているオブジェクト識別子領域に付与す
る。しかし、ＭＰＥＧ４で定められているオブジェクト
識別子では桁数が足りなく対応できない場合が考えられ
る。この場合、オブジェクトの属性として将来の拡張用
として定義されている領域（未使用領域）を利用するよ
うにしてもよい。しかし、補助領域を用いて定義した場
合、アクセスに時間が掛かるなどの不具合が生じるた
め、事情が許す限りオブジェクト識別子領域に付与する
識別子そのものに意味を持たせるほうが好ましい。

【００２９】次に、本発明における、特定のオブジェク
トの検索方法について説明する。図４に示したように、
コントロールストリーム２０はストリーム全体に亘って
設けられている。図１１は、このコントロールストリー
ム２０を説明するための図である。同図に示すように、
コントロールストリーム２０の中身はごく少数のデータ
から成り立っている。左部分（図１に相当する部分）に
ある「（１１），（１２）」という数字は、オブジェク
トストリーム１１（暗殺者１）が一番手前に、オブジェ
クトストリーム１２（背景２）がその奥に配置されると
いうことを表現している。次のタイミング（図２に相当
する部分）にある「（１３），（１５），（１４）」も
同様の意味を持ち、オブジェクトストリーム１３（ター
ゲット３）が一番手前に、その奥にオブジェクトストリ
ーム１５（障害物５）、一番後ろにオブジェクトストリ
ーム１４（背景４）が配置されることを表現している。
最後のタイミング（図３に相当する部分）にある「（１
８），（１９），（１６），（１７）」も同様に、オブ
ジェクトストリーム１８（暗殺者８）が一番手前に、そ
の奥にオブジェクトストリーム１９（障害物９）が、さ
らにその奥にオブジェクトストリーム１６（ターゲット
６）が、一番後ろにオブジェクトストリーム１７（背景
７）が配置されることを表現している。

【００３０】このように、コントロールストリーム２０
の中身は、オブジェクトストリームの識別子がある時間
のタイミングに合わせて現れるのみ、という単純な構造
であるため、多量の動画データを含む他のオブジェクト
ストリームに比べて、非常にデータ量が少ないという特
徴がある。このため、コントロールストリーム２０のみ
を抽出して記憶装置に保管してデータベース化してお
き、これに対して必要な情報処理（検索）を行うことに
より、オブジェクトがいつどのような形で画面上に現れ
るかが極めて簡単に知ることができる。ここで、本発明
においては必要なオブジェクトには同じ識別子が付いて
いるので、コントロールストリーム２０のみをサーチす
るだけで、必要なオブジェクト、上記の例では、例えば
特定の映画俳優（暗殺者１，８）が出ているシーンが検
索できるようになる。

【００３１】次に、識別子に付与した意味を利用して、
一定の意味を持つ複数のオブジェクトを、多数のオブジ
ェクトの中から抽出して表示する例を、図６を使って説
明する。図６は、天気予報の例である。２６は複雑な天
気図、２７はシンプルな天気図の例である。天気図をＭ
ＰＥＧ４によって伝送する際、そのオブジェクトは、背
景として地図、個々のオブジェクトとして天気マーク
（晴れ、雨、曇りなど）、気温（最高、最低）、波の高
さ、といったデータが地域毎に存在する。通常の天気予
報では、これら全てを表示すると、複雑な天気図２６の
ように画面が煩雑になってしまい見にくいので、まず天
気のみ、次は気温のみ、というように、時間軸上で差を
付けて放送している。ところが通常見る人は、全国の天
気が一様に知りたいわけではなく、自分の興味ある地
域、通常は自分の住んでいる地域かこれから行く地域の
気象情報だけを一通り知りたい場合が多い。従来の方法
では、自分の知りたい情報を見るためには、天気予報の
全ての時間を見る必要があり、時間の無駄があった。

【００３２】本発明では、地域毎に識別子を統一するこ
とにより、特定の地域の全ての情報を知ることができ
る。シンプルな天気図２７では、天気、気温などに関
し、関東のもののみが表示されるようになっている。こ
れは、オブジェクトの識別子に特定の法則を設けること
により、関東のもののみを抽出して表示するようにした
ものである。特定の数字、例えば７の剰余と識別子を関
連付け、剰余が１の識別子は北海道、剰余が２の識別子
は東北、というふうに、剰余と地域を関連付けて割り当
て、関東の識別子は剰余が「３」のものとし、図６のシ
ンプルな天気図２７は剰余が「３」のもののみを表示し
た例である。

【００３３】また、商が「０」のものは天気マーク、
「１」のものは気温、・・・というように、商と気象情
報の種別を関連付けて割り当てることで、天気のみ、気
温のみ、・・・といった表示の仕方もできる。これらの
「商」と「剰余」を組み合わせて、関東の天気のみ、と
いった複雑な情報抽出も可能である。これをユーザが選
べるように設定することで、ユーザは一目見るだけで自
分の所望する情報を得ることができる。なお、例えば、
関東の天気と気温の組み合わせを抽出する場合は、剰余
が「３」で商が「０」と「１」になる２つの識別子
“３”と“４”の組み合わせを選択すればよい。

【００３４】上記手法をフローチャートを使ってより一
般的に説明する。図７は、上記手法を実施する場合のア
ルゴリズムを説明するためのフローチャートである。識
別子ｎに対する計算式は、所望の抽出情報の種類により
複数存在する。種類１つに付き１つの変数ｘを割り当
て、これをｆ（ｘ，ｎ）と表記する上記天気図の場合は
地域（ｘ＝１）と天気（ｘ＝２）の２種類ある。図１２
にこの対応を示す。ｆ（１，ｎ）＝Ｍｏｄ（７，ｎ）は
ｎ／７の剰余、ｆ（２，ｎ）＝Ｑｕｏｔｉｅｎｔ（７，
ｎ）はｎ／７の商の整数部を表している。ｘ＝１に対応
する抽出情報は「地域」であり、その詳細な一例を図１
３に示す。ｘ＝２に対応する抽出情報は「マークの種
別」であり、その詳細な一例を図１４に示す。

【００３５】ユーザが目的の情報のみを抽出する場合、
まず、抽出情報の種類よりｘを求め（ステップ１０
１）、これに対応する表より解ｙを求める（ステップ１
０２）。その後、全てのｎに対しｆ（ｘ，ｎ）を計算し
（ステップ１０３，１０４）、ｙと一致するかどうかを
調べ（ステップ１０５）、一致したもののみ抽出する
（ステップ１０６）。図１３の例では、ｆ（１，ｎ）＝
Ｍｏｄ（７，ｎ）の剰余で地域を示し、剰余が「１」の
場合は北海道、「２」の場合は東北、「３」の場合は関
東、「４」の場合は中部、「５」の場合は中国、「６」
の場合は四国、「０」の場合は九州を示しており、図１
４の例では、ｆ（２，ｎ）＝Ｑｕｏｔｉｅｎｔ（７，
ｎ）の商で天気情報を示し、商が「０」の場合は天気マ
ーク、「１」の場合は気温、「２」の場合は波マークを
示している。

【００３６】以上により、多数の動画オブジェクトの中
からユーザが意図する単数ないしは複数のオブジェクト
を抽出することができ、煩雑な画面から自分が見たい情
報のみを選択してみることが可能になる。また逆に、従
来は画面が煩雑になることを避けるためにやむなく時分
割で送信していた情報を、ユーザが必要なものを任意に
抽出することを前提として、一度に送信することができ
るため、時間を節約することができる。

【００３７】最後に、第三者が悪意をもって不正に識別
子を付け替えることに対抗する一実施例を述べる。第三
者が特定のオブジェクトストリームを盗用するなどの不
正な目的で抽出しようとする場合、識別子のみを付け替
えることによって上記のチェックを避けるということは
技術的には簡単に行うことができる。本実施例では、こ
れを防ぐための手段として、暗号化の手法を用いること
により、識別子を改変された時にその改変をチェックす
る機構を設ける例を説明する。

【００３８】オブジェクトストリームの領域は複数に別
れており、一般的には、データ領域、識別子、補助領
域、に分類することができる。ここで、補助領域は、そ
のストリームの属性などを書き込む領域であり、データ
のデコードなどには直接影響はないが、後でユーザがコ
ンピュータを使ってオブジェクトを活用する際に便利に
なるであろう情報を書き込むためのエリアである。著作
権表示などがこれに当たる。一般的には予備領域が設け
られているのが普通であり、ＭＰＥＧ４に関しては、将
来の策定に対応した予備領域が定義されることが既に決
まっている。

【００３９】図５は、本実施例で用いられるオブジェク
トストリームのフォーマットを示す図である。同図にお
いて、２１はオブジェクトストリームを識別するための
識別子領域であり、２２は暗号領域、２３はその他の補
助領域、２４はデータ領域である。暗号作成者は、その
他の補助領域２３とデータ領域２４、識別子２１の全部
または一部を暗号化の対象とし、暗号作成者しか知らな
い秘密の暗号化キー２５を用いて、暗号を作成し暗号領
域２２に埋め込む。

【００４０】このようなオブジェクトストリームフォー
マットを用いた場合、不正をしようとする第三者は、識
別子領域２１を改変した上で適切な暗号を暗号化領域２
２に埋め込む必要があるが、暗号領域２２、その他の補
助領域２３、データ領域２４のデータは分かっても、暗
号化キー２５をこれらのデータから求めることは技術的
に極めて困難である。従って、新しい識別子２１を元に
した暗号を作成することができなくなる。

【００４１】暗号作成者が不正をチェックする時、識別
子２１、その他の補助領域２３、データ領域２４、暗号
化キー２５を基にして暗号データを生成し、暗号領域２
２にあるデータと比較する。もし一致すれば不正がない
ものと判断できる。不正があった場合、識別子２１、そ
の他の補助領域２３、データ領域２４、暗号化キー２５
を基にして生成した暗号データと暗号化領域２２にある
データは一致しないので、不正が行われたことが判断で
きる。このような手法を用意することで、著作権を厳密
に管理しようとする著作権者は、不正に作られたオブジ
ェクトストリームの有無をチェックすることができる。

【００４２】この方法では、暗号化領域そのものを削除
されてしまった場合に、暗号化された識別子２１に関す
る情報がオブジェクトストリームからなくなってしまう
ため、元々暗号化処理されていないものとの区別が付け
られなくなってしまうという意味で不完全である。

【００４３】図４に示すような複数のオブジェクトスト
リームは衛星デジタル放送の場合に特に有用であるが、
例えば、ＤＶＤやＣＤ−ＲＯＭなどの記録媒体に記録し
て流通させることも可能である。その場合、複数のオブ
ジェクトストリームの各々を、図５に示す如きオブジェ
クト識別子領域２１、暗号領域２２、データ領域２４な
どから構成する。そして、該暗号化領域２２以外の全部
または一部のオブジェクトストリームのデータ（識別子
領域の値やデータ領域の値など）を対象として暗号化
し、暗号した結果を暗号領域２２に記録しておけば、上
述したように、識別子を改変した場合にはそれを直ちに
検知することができ、不当な著作権違反をチェックでき
る。

【００４４】次に、暗号化の方法に関して、電子透かし
による方法を説明する。図５に示す、識別子２１と暗号
化キー２５を基にして、データ領域２４に対して電子透
かしの技術を利用して電子透かしを掛ける。電子透かし
は、データ領域が画像や音声など、元のデータと厳密に
一致していなくても、それを復号化して人間が見たり聞
いたりした時に元のデータとの違いが分からない程度に
データを改変し、暗号を埋め込む手法である。一般的に
はスペクトラム拡散などの手法が用いられる。電子透か
しによる方法では、データ領域２４と暗号化キー２５を
基にして電子透かしから識別子２１を復号することがで
きる。これを現在の識別子と比較し、一致しているかど
うかを検査する。一致していれば識別子の改変はされて
いないものとみなすことができる。また、この方法で
は、暗号化キー２５が入手できない限り、暗号化された
識別子２１に関する情報をデータストリームから削除す
ることができないので、安全である。

【００４５】ここで、電子透かしによる暗号化の方法に
ついて、さらに詳細に説明する。電子透かしによる暗号
は、データ領域における画像や音声などのデータに対
し、人間の目や耳には目立たない程度の改変を加えて情
報を埋没させる暗号化方法である。図１５および図１６
は、電子透かしの原理を説明するための図である。図１
５に示すように、画面３０の中に、複数の特定の位置を
定め、各々の位置における適当な大きさの画像領域を定
める。ここでは、これを特定点３１〜３４、４１〜４
４、５１〜５４、６１〜６４とする。また、特定点の大
きさをここでは２ビット×２ビットとする。図１６は特
定点を説明するための図である。

【００４６】一般的には、画像の広がりの中では隣同士
の点は同じような色をしているという特徴を持ってい
る。従って、図１６において、特定点の左上の点７１
と、その他の点である７２〜７４は殆ど同じ色をしてい
るはずである。この画像に情報を埋め込むには、左上の
点７１だけ、色をほんの少しだけ変化させる。例えば、
情報“１”を埋め込むにはＲＧＢ各々の値を２だけ増や
す。情報“０”を埋め込むには「２」だけ減らす。この
際、余り小さい値だとノイズに埋もれてしまうし、余り
大きい値だと点として目立ってしまうので、変化幅をど
の位にするかは考慮する必要がある。

【００４７】また、単一の特定点だけに上記処理を施し
た場合、実際の画像で偶然その値になる確率があるた
め、その値が偶然なものなのかまたは上記処理を施され
たものなのか区別できないので、これを複数の特定点に
またがって行う。例えば、図１５の３１〜３４の全ての
特定点に対して上記処理を行う。この４つの特定点の値
をもって１ビットの情報とする。これを４１〜４４、５
１〜５４、６１〜６４と行うことで、この画像で４ビッ
トの情報を埋め込むことができる。さらに多くの情報を
埋め込むには、特定点の数を増やすか、複数のコマにま
たがって埋め込むことで、時間的に分散する。

【００４８】透かしの抽出の際は、この逆を行えば良
い。すなわち、画像を取得して特定点のデータを読み出
し、左上の点７１とその他の点との色差を見る。値が２
以上増えているものが横一列（例えば３１〜３４）でみ
て３つ以上あれば、それは情報１が入っているものとみ
なす。２だけ減っているものが横一列（例えば３１〜３
４）でみて３つ以上あれば、それは情報０が入っている
ものとみなす。これを各列に関して繰り返し、必要に応
じて複数のコマにまたがって検査する。

【００４９】以上のような原理で画像にデータを埋め込
み、これを読み出すことができる。この方法で識別子を
埋め込むと、拡張領域を使うことなくデータを埋め込む
ことができる。また画像の一部を少々改変しても暗号を
完全に消すことはできないので、残った画像から暗号を
抽出し、データを読み出すことができる。これと識別子
領域のデータを比較することで、改変されたかどうかを
検知することができる。尚、もし最初から透かしが入っ
ていなければ、もともと「情報無し」と判別される。電
子透かしには他にもいくつか方法があるが、どの方法を
取るにせよ、本発明の趣旨を損なうことがないのは明ら
かである。

【００５０】次に、ストリームの階層化について説明す
る。現在ＭＰＥＧ４で話し合われている規格では、スト
リームの階層化が可能となっている。図１７および図１
８は、ストリームの階層化について説明する図である。
図１７に示すように、ストリーム８０は、ストリーム８
２とストリーム８４からなっており、ストリーム８２に
は識別子および拡張領域８１が、ストリーム８４には識
別子および拡張領域８３がついている。ストリーム８２
はオブジェクトストリーム８６と８８を内包しており、
オブジェクトストリーム８６には識別子および拡張領域
８５が、オブジェクトストリーム８８には識別子および
拡張領域８７がついている。ストリーム８４はオブジェ
クトストリーム９０と９２を内包しており、オブジェク
トストリーム９０には識別子および拡張領域８９が、オ
ブジェクトストリーム９２には識別子および拡張領域９
１がついている。ストリームの階層化をすることで、オ
ブジェクトのグループ化が可能になり、多数のオブジェ
クトが混在する画面での編集作業や検索をやりやすくす
ることができる。

【００５１】ストリーム８２や８４に対して本発明を用
いると、図１８のように、いったんストリームをばらし
て新たなストリーム９３を作られた際、拡張領域を使う
にせよ電子透かしを使うにせよ、ストリームについてい
た識別子および拡張領域８１、８３が消滅してしまうの
で、本発明の効力がなくなる。このため、本発明では、
階層構造を取るオブジェクトに関しては、最下層のオブ
ジェクト、ここの例ではオブジェクトストリーム８６，
８８，９０，９２に対して符号化を行うものとする。最
下層では識別子および拡張領域がなくなる心配はないた
め、本発明は特に有効である。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
著作権および肖像権管理が簡単にできる。これには、改
変に対する耐性があるものが含まれる。また、特定の意
味を持ったオブジェクトの抽出が簡単に行える。また、
本発明によれば、現在策定中のＭＰＥＧ４と矛盾なく受
け入れられるので、ＭＰＥＧ４の規格を拡張、ないしは
改定する必要がない。

【図面の簡単な説明】

【図１】ＭＰＥＧ４におけるオブジェクト分割符号化の
実施例を示す図である。

【図２】ＭＰＥＧ４におけるオブジェクト分割符号化の
実施例を示す図である。

【図３】ＭＰＥＧ４におけるオブジェクト分割符号化の
実施例を示す図である。

【図４】本発明におけるオブジェクトストリームの詳細
を説明するための図である。

【図５】本発明における暗号化の詳細を説明するための
図である。

【図６】本発明によるオブジェクトの抽出例を説明する
ための図である。

【図７】オブジェクトの抽出アルゴリズムを説明するた
めの図である。

【図８】ＭＰＥＧ４圧縮におけるオブジェクトの元画像
を説明するための図である。

【図９】ＭＰＥＧ４圧縮におけるオブジェクトのマスク
を説明するための図である。

【図１０】ＭＰＥＧ４圧縮におけるオブジェクトの背景
処理後の画像を説明するための図である。

【図１１】コントロールストリーム２０を説明するため
の図である。

【図１２】オブジェクトの、計算式の抽出に使用される
図表の一例である。

【図１３】オブジェクトの、「地域」情報の抽出に使用
される図表の一例である。

【図１４】オブジェクトの、「マークの種別」情報の抽
出に使用される図表の一例である。

【図１５】電子透かしの原理を説明するための図である
（その１）。

【図１６】電子透かしの原理を説明するための図である
（その２）。

【図１７】ストリームの階層化について説明する図であ
る（その１）。

【図１８】ストリームの階層化について説明する図であ
る（その２）。

【符号の説明】

１：暗殺者２：背景３：ターゲット４：背景５：障害物６：ターゲット７：背景８：暗殺者９：障害物１０：ストリーム１１：暗殺者のオブジェクトストリーム１２：背景のオブジェクトストリーム１３：ターゲットのオブジェクトストリーム１４：背景のオブジェクトストリーム１５：障害物のオブジェクトストリーム１６：ターゲットのオブジェクトストリーム１７：背景のオブジェクトストリーム１８：暗殺者のオブジェクトストリーム１９：障害物のオブジェクトストリーム２１：識別子領域２２：暗号領域２３：その他の補助領域２４：データ領域２５：暗号化キー２６：複雑な天気図２７：シンプルな天気図

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 ＺＦターム(参考） 5B057 CA16 CA18 CB16 CB18 CE08 CG07 5B075 ND12 ND18 NK10 PP22 5C059 KK43 MA00 MB01 RB02 RC11 5C063 AB03 AB05 AB07 CA09 DA07 DA13 DA20

Claims

【特許請求の範囲】

【請求項１】背景および画面に現れる個々の画像を独
立に符号化し、復号時には背景および個々の画像を復号
したものを合成して表示する動画のオブジェクト識別子
処理方法において、データストリームに対する所望の要件とデータストリー
ムの識別子そのものまたは該識別子に対し一定の数学的
演算を施した値とを対応づけるデータベースを設け、全
体のストリームを作成する際、前記データベースに対応
する所望の要件を有するオブジェクトにはデータベース
の要件を満たす数学的演算に対応する識別子を該オブジ
ェクトストリームの識別子として割り付け、その他のオ
ブジェクトストリームには前記識別子以外の識別子を割
り当て、単数ないしは複数のシーンに現れる所望の要件
を満たすオブジェクトストリームを全体のストリームの
中から抽出する際、前記所望の要件に対応する前記識別
子をキーとして検索することを特徴とするオブジェクト
識別子処理方法。
【請求項２】請求項１記載の識別子のオブジェクト識
別子処理方法において、前記オブジェクトストリームの補助領域内に暗号化領域
を設け、作成者のみが知っている暗号化キーを種とし
て、該識別子領域を含む該暗号化領域以外の全部ないし
は一部のオブジェクトストリームのデータを対象として
暗号化を行い、その結果を前記暗号化領域に書き込んで
おき、該暗号化領域と前記暗号化キーから復号したデー
タからから識別子を抽出するか、もしくは、該識別子を
種とした電子透しを生成してこれをオブジェクトストリ
ームのデータ領域に書き込んでおき、データ領域に埋め
込まれた電子透しから識別子を抽出することにより、該
抽出した識別子と前記オブジェクトストリームの識別子
とを比較することにより識別子の改変を検出することを
特徴とするオブジェクト識別子処理方法。
【請求項３】複数のオブジェクトストリームを記録し
た記録媒体であって、それぞれのオブジェクトストリー
ムが、オブジェクト識別子領域、暗号化領域、データ領
域を有し、該暗号化領域に、該暗号化領域以外の全部ま
たは一部のオブジェクトストリームのデータを対象とし
て暗号化したデータを記録したことを特徴とする記録媒
体。