JP2003102015A - 画像符号化方法と装置および画像復号方法と装置 - Google Patents

画像符号化方法と装置および画像復号方法と装置

Info

Publication number
JP2003102015A
JP2003102015A JP2001290226A JP2001290226A JP2003102015A JP 2003102015 A JP2003102015 A JP 2003102015A JP 2001290226 A JP2001290226 A JP 2001290226A JP 2001290226 A JP2001290226 A JP 2001290226A JP 2003102015 A JP2003102015 A JP 2003102015A
Authority
JP
Japan
Prior art keywords
image
frames
moving image
key
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001290226A
Other languages
English (en)
Other versions
JP3827981B2 (ja
Inventor
Giyouzo Akiyoshi
仰三 秋吉
Nobuo Akiyoshi
信雄 秋吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Monolith Co Ltd
Original Assignee
Monolith Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Monolith Co Ltd filed Critical Monolith Co Ltd
Priority to JP2001290226A priority Critical patent/JP3827981B2/ja
Publication of JP2003102015A publication Critical patent/JP2003102015A/ja
Application granted granted Critical
Publication of JP3827981B2 publication Critical patent/JP3827981B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 動画と音声の同期をとり、かつ高圧縮率と高
画質を実現する符号化および復号技術を提供する。 【解決手段】 キーフレーム取得部14はキーフレーム
を取得する。音声入力部16は音声データを入力する。
音声の同期ポイントに対して、同期して再生すべきフレ
ームを指定し、これをキーフレームとする。フレーム数
特定部18はキーフレーム間に生成すべき中間フレーム
の数を同期ポイントの間隔をもとに計算する。ストリー
ム生成部22は、前記枚数を含む形で符号化データスト
リームCIを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、画像処理技術に
関し、とくに動画の圧縮を中心とする画像の符号化およ
び復号方法と装置に関する。
【0002】
【従来の技術】動画圧縮の事実上の世界標準であるMP
EG(Moving Picture Experts Group)は、CDなどス
トレージメディアからネットワークや放送などの伝送メ
ディアへとそのターゲットエリアが広がった。放送のデ
ジタル化はMPEGを中心とする圧縮符号化技術なしに
考えることはできない。放送と通信の垣根が崩れ、サー
ビス事業者の多様化は必須になり、ブロードバンド時代
にデジタル文化がいかなる進展を遂げるか、予測がつき
にくい状況にある。
【0003】
【発明が解決しようとする課題】そうした混沌の中で
も、動画の圧縮技術に関する方向性について確かなこと
がある。すなわち、より高い圧縮率と画質の両立であ
る。MPEGは周知のごとく高圧縮化をブロック歪みが
阻むことがある。
【0004】この発明はそうした状況に鑑みてなされた
ものであり、その目的は、良好な動画の圧縮技術を提供
することにある。本発明の別の目的は、画像の圧縮のみ
ならず、音声と画像の同期再生に配慮した技術を提供す
ることにある。
【0005】
【課題を解決するための手段】以下、本発明の画像復号
技術および画像符号化技術は、主に通常の動画について
説明するが、モーフィング、ウォークスルーなどの映像
効果など、用途は狭義の動画に限られない。また、2枚
の静止画像からその中間画像を生成してこれを動画とし
て生成する場合も、もとの画像を「動画像」と認識また
は表現してよいものとする。
【0006】本発明のある態様は画像符号化方法に関す
る。この方法は、キーフレームを取得する工程と、取得
されたキーフレーム間に人工的に生成すべき中間フレー
ムの枚数を特定する工程と、取得されたキーフレーム間
の対応点情報、および特定された枚数を含む形で符号化
データを生成する工程とを含む。「フレーム」は表示を
意識した画像の単位ではあるが、以下特に必要がない限
り、これと「画像」を区別しない。「特定する工程」と
は、ソフトウエアやハードウエアによって自動的に算出
する工程、ユーザによる指示を取得して利用する工程な
ど、その形態にはいろいろある。
【0007】本発明の別の態様も画像符号化方法であ
り、動画像と同期して再生すべき音声データを取得する
工程と、取得された音声データを時間軸上の基準とし
て、前記動画像に含まれるキーフレームをもとに人工的
に生成すべき中間フレームの枚数を特定する工程とを含
む。「音声データを時間軸上の基準として」とは、再生
時刻などの時間的側面において、中間フレームその他の
画像フレームよりも音声データを優先させることをいう
が、これは音声データ自体を時間軸上で操作または変更
してはいけないという意味ではない。
【0008】この態様によれば、符号化側で復号時の中
間フレームの枚数を指定できるという直接的な効果のほ
か、音声データの再生タイミングに合わせて中間フレー
ムを生成でき、時間的な変動が人間に知覚されやすい音
声の再生時刻を正しく設定したうえで、画像の再生時刻
のほうをそれに合わせて操作することができる。
【0009】本発明の別の態様も画像符号化方法であ
り、動画像と同期して再生すべき音声データを取得する
工程と、前記動画像に含まれる複数のキーフレームをそ
れぞれ前記音声データの再生時刻と対応づける工程と、
前記複数のキーフレームのうちそれぞれ隣接しあうキー
フレームのそれぞれに対応づけられた前記再生時刻の差
をもとに、それら隣接しあうキーフレーム間に人工的に
生成すべき中間フレームの枚数を特定する工程とを含
む。「再生時刻」は必ずしも絶対時刻でなくともよく、
再生時の所定の時刻からの相対時間であってもよい。
【0010】本発明のさらに別の態様は、画像復号方法
に関する。この方法は、画像の符号化データを取得する
工程と、その符号化データから少なくとも中間フレーム
の枚数に関する指示を抽出する工程とを含み、前記指示
にしたがう枚数の中間フレームが表示される。
【0011】本発明のさらに別の態様も画像復号方法に
関し、動画像の符号化データを取得する工程と、その符
号化データから少なくとも中間フレームの枚数に関する
指示を抽出する工程と、前記動画像の中で定められたキ
ーフレームとキーフレーム間の対応点情報をもとに、前
記指示にしたがって中間フレームを生成する工程とを含
む。
【0012】本発明のさらに別の態様は、画像符号化装
置に関する。この装置は、キーフレーム取得部と、取得
されたキーフレーム間に人工的に生成すべき中間フレー
ムの枚数を特定するフレーム数特定部と、取得されたキ
ーフレーム間の対応点情報、および特定された枚数を含
む形で符号化データを生成するストリーム生成部とを含
む。
【0013】本発明のさらに別の態様も、画像符号化装
置に関する。この装置は、動画像と同期して再生すべき
音声データを取得する音声入力部と、取得された音声デ
ータを時間軸上の基準として、前記動画像に含まれるキ
ーフレームをもとに人工的に生成すべき中間フレームの
枚数を特定するフレーム数特定部とを含む。
【0014】本発明のさらに別の態様も、画像符号化装
置に関する。この装置は、動画像と同期して再生すべき
音声データを取得する音声入力部と、前記動画像に含ま
れる複数のキーフレームをそれぞれ前記音声データの再
生時刻と対応づけるとともに、前記複数のキーフレーム
のうちそれぞれ隣接しあうキーフレームのそれぞれに対
応づけられた再生時刻の差をもとに、それら隣接しあう
キーフレーム間に人工的に生成すべき中間フレームの枚
数を特定するフレーム数特定部とを含む。
【0015】これらの装置はさらに、キーフレームおよ
び枚数を含む形で符号化データを生成するストリーム生
成部を備えてもよい。また、復号時に中間フレームを生
成するための情報として、キーフレームどうしの対応点
情報を生成するマッチングプロセッサを備えてもよい。
ストリーム生成部は、キーフレーム、枚数および対応点
情報を含む形で符号化データを生成してもよい。再生時
刻の差と比例するよう枚数が特定されてもよい。
【0016】本発明のさらに別の態様は画像復号装置に
関する。この装置は、画像の符号化データを取得する画
像入力部と、その符号化データから少なくとも中間フレ
ームの枚数に関する指示を抽出するフレーム数抽出部と
を含み、その指示にしたがう枚数の中間フレームが表示
される。
【0017】本発明のさらに別の態様も、画像復号装置
に関する。この装置は、動画像の符号化データを取得す
る画像入力部と、その符号化データから少なくとも中間
フレームの枚数に関する指示を抽出するストリーム解析
部と、前記動画像の中で定められたキーフレームとキー
フレーム間の対応点情報をもとに、前記指示にしたがっ
て中間フレームを生成する中間画像生成部とを含む。
【0018】ストリーム解析部は、キーフレームと対応
点情報もまた符号化データから抽出してもよい。また、
動画像と同期して再生すべき音声データも符号化データ
から抽出してもよい。この装置はさらに、音声データと
キーフレームおよび中間フレームを同期して再生する再
生部を備えてもよい。
【0019】本発明のさらに別の態様は、画像復号方法
に関する。この方法は、動画像の符号化データを取得す
る工程と、その符号化データから復号される動画像と同
期して再生すべき音声データを抽出する工程と、その動
画像に含まれるキーフレームと音声データの再生タイミ
ングに関する表示をもとに、人工的に生成すべき中間フ
レームの数を算出する工程とを含む。
【0020】この態様では、中間フレームの枚数は復号
側で計算される。このため、音声データとキーフレーム
の再生タイミングに関する表示、たとえば、音声データ
の再生時刻Ti(i=0,1,2,...)において動
画像のフレーム番号Fi(i=0,1,2,...)が
同期して再生される旨の表示があるとする。いま、表示
装置の毎秒の表示フレーム数をnとすると、例えば時刻
T2からT3の間に表示すべきフレーム数はn(T3−
T2)である。このため、キーフレームF2とF3の間
にn(T3−T2)−1枚の中間フレームが生成されれ
ば、音声が表示のタイミングと合う。これがフレーム数
計算の一例である。
【0021】本発明のさらに別の態様は、画像復号装置
に関する。この装置は、動画像の符号化データを取得す
る画像入力部と、その符号化データから復号される動画
像と同期して再生すべき音声データを抽出するストリー
ム解析部とを含み、このストリーム解析部は、動画像に
含まれるキーフレームと音声データの再生タイミングに
関する表示をもとに、人工的に生成すべき中間フレーム
の数を算出する。この態様では、中間フレームの生成枚
数を復号側で決定できる。
【0022】以上の各構成部材や処理内容を任意に入れ
替えたり、方法と装置の間で表現を一部または全部入れ
替え、または追加したり、表現をコンピュータプログラ
ム、記録媒体等に変更したものもまた、本発明として有
効である。
【0023】
【発明の実施の形態】はじめに、実施の形態で利用する
多重解像度特異点フィルタ技術とそれを用いた画像マッ
チング処理を「前提技術」として詳述する。これらの技
術は本出願人がすでに特許第2927350号を得てい
る技術であり、本発明との組合せに最適である。ただ
し、実施の形態で採用可能な画像マッチング技術はこれ
に限られない。図18以降、前提技術を利用した画像デ
ータ符号化および復号技術を具体的に説明する。[前提
技術の背景]最初に[1]で前提技術の要素技術の詳述
し、[2]で処理手順を具体的に説明する。さらに
[3]で実験の結果を報告する。
【0024】[1]要素技術の詳細 [1.1]イントロダクション 特異点フィルタと呼ばれる新たな多重解像度フィルタを
導入し、画像間のマッチングを正確に計算する。オブジ
ェクトに関する予備知識は一切不要である。画像間のマ
ッチングの計算は、解像度の階層を進む間、各解像度に
おいて計算される。その際、粗いレベルから精細なレベ
ルへと順に解像度の階層を辿っていく。計算に必要なパ
ラメータは、人間の視覚システムに似た動的計算によっ
て完全に自動設定される。画像間の対応点を人手で特定
する必要はない。
【0025】本前提技術は、例えば完全に自動的なモー
フィング、物体認識、立体写真測量、ボリュームレンダ
リング、少ないフレームからの滑らかな動画の生成など
に応用できる。モーフィングに用いる場合、与えられた
画像を自動的に変形することができる。ボリュームレン
ダリングに用いる場合、断面間の中間的な画像を正確に
再構築することができる。断面間の距離が遠く、断面の
形状が大きく変化する場合でも同様である。
【0026】[1.2]特異点フィルタの階層 前提技術に係る多重解像度特異点フィルタは、画像の解
像度を落としながら、しかも画像に含まれる各特異点の
輝度及び位置を保存することができる。ここで画像の幅
をN、高さをMとする。以下簡単のため、N=M=2
(nは自然数)と仮定する。また、区間[0,N]⊂R
をIと記述する。(i,j)における画像の画素をp
(i,j)と記述する(i,j∈I)。
【0027】ここで多重解像度の階層を導入する。階層
化された画像群は多重解像度フィルタで生成される。多
重解像度フィルタは、もとの画像に対して二次元的な探
索を行って特異点を検出し、検出された特異点を抽出し
てもとの画像よりも解像度の低い別の画像を生成する。
ここで第mレベルにおける各画像のサイズは2×2
(0≦m≦n)とする。特異点フィルタは次の4種類の
新たな階層画像をnから下がる方向で再帰的に構築す
る。
【0028】
【数1】 ただしここで、
【数2】 とする。以降これら4つの画像を副画像(サブイメー
ジ)と呼ぶ。minx≦t ≦x+1、max
x≦t≦x+1をそれぞれα及びβと記述すると、副画
像はそれぞれ以下のように記述できる。
【0029】 P(m,0)=α(x)α(y)p(m+1,0) (m,1)=α(x)β(y)p(m+1,1) (m,2)=β(x)α(y)p(m+1,2) P(m,3)=β(x)β(y)p(m+1,3) すなわち、これらはαとβのテンソル積のようなものと
考えられる。副画像はそれぞれ特異点に対応している。
これらの式から明らかなように、特異点フィルタはもと
の画像について2×2画素で構成されるブロックごとに
特異点を検出する。その際、各ブロックのふたつの方
向、つまり縦と横について、最大画素値または最小画素
値をもつ点を探索する。画素値として、前提技術では輝
度を採用するが、画像に関するいろいろな数値を採用す
ることができる。ふたつの方向の両方について最大画素
値となる画素は極大点、ふたつの方向の両方について最
小画素値となる画素は極小点、ふたつの方向の一方につ
いて最大画素値となるとともに、他方について最小画素
値となる画素は鞍点として検出される。
【0030】特異点フィルタは、各ブロックの内部で検
出された特異点の画像(ここでは1画素)でそのブロッ
クの画像(ここでは4画素)を代表させることにより、
画像の解像度を落とす。特異点の理論的な観点からすれ
ば、α(x)α(y)は極小点を保存し、β(x)β
(y)は極大点を保存し、α(x)β(y)及びβ
(x)α(y)は鞍点を保存する。
【0031】はじめに、マッチングをとるべき始点(ソ
ース)画像と終点(デスティネーション)画像に対して
別々に特異点フィルタ処理を施し、それぞれ一連の画像
群、すなわち始点階層画像と終点階層画像を生成してお
く。始点階層画像と終点階層画像は、特異点の種類に対
応してそれぞれ4種類ずつ生成される。
【0032】この後、一連の解像度レベルの中で始点階
層画像と終点階層画像のマッチングがとれらていく。ま
ずp(m,0)を用いて極小点のマッチングがとられ
る。次に、その結果に基づき、p(m,1)を用いて鞍
点のマッチングがとられ、p m,2)を用いて他の鞍
点のマッチングがとられる。そして最後にp(m,3)
を用いて極大点のマッチングがとられる。
【0033】図1(c)と図1(d)はそれぞれ図1
(a)と図1(b)の副画像p(5, 0)を示してい
る。同様に、図1(e)と図1(f)はp(5,1)
図1(g)と図1(h)はp(5,2)、図1(i)と
図1(j)はp(5,3)をそれぞれ示している。これ
らの図からわかるとおり、副画像によれば画像の特徴部
分のマッチングが容易になる。まずp(5,0)によっ
て目が明確になる。目は顔の中で輝度の極小点だからで
ある。p(5,1)によれば口が明確になる。口は横方
向で輝度が低いためである。p(5,2)によれば首の
両側の縦線が明確になる。最後に、p(5,3)によっ
て耳や頬の最も明るい点が明確になる。これらは輝度の
極大点だからである。
【0034】特異点フィルタによれば画像の特徴が抽出
できるため、例えばカメラで撮影された画像の特徴と、
予め記録しておいたいくつかのオブジェクトの特徴を比
較することにより、カメラに映った被写体を識別するこ
とができる。
【0035】[1.3]画像間の写像の計算 始点画像の位置(i,j)の画素をp(n) (i,j)
と書き、同じく終点画像の位置(k,l)の画素をq
(n) (k,l)で記述する。i,j,k,l∈Iとす
る。画像間の写像のエネルギー(後述)を定義する。こ
のエネルギーは、始点画像の画素の輝度と終点画像の対
応する画素の輝度の差、及び写像の滑らかさによって決
まる。最初に最小のエネルギーを持つp(m,0)とq
(m,0)間の写像f(m,0):p(m,0)→q
(m,0)が計算される。f(m,0 に基づき、最小
エネルギーを持つp(m,1)、q(m,1)間の写像
(m ,1)が計算される。この手続は、p(m,3)
とq(m,3)の間の写像f m,3)の計算が終了す
るまで続く。各写像f(m,i)(i=0,1,2,
…)を副写像と呼ぶことにする。f(m,i)の計算の
都合のために、iの順序は次式のように並べ替えること
ができる。並べ替えが必要な理由は後述する。
【0036】
【数3】 ここでσ(i)∈{0,1,2,3}である。
【0037】[1.3.1]全単射 始点画像と終点画像の間のマッチングを写像で表現する
場合、その写像は両画像間で全単射条件を満たすべきで
ある。両画像に概念上の優劣はなく、互いの画素が全射
かつ単射で接続されるべきだからである。しかしながら
通常の場合とは異なり、ここで構築すべき写像は全単射
のディジタル版である。前提技術では、画素は格子点に
よって特定される。
【0038】始点副画像(始点画像について設けられた
副画像)から終点副画像(終点画像について設けられた
副画像)への写像は、f(m,s):I/2n−m×I
/2 n−m→I/2n−m×I/2n−m(s=0,
1,…)によって表される。ここで、f
(m,s)(i,j)=(k,l)は、始点画像のp
(m,s) (i, j)が終点画像のq(m,s)
(k,l)に写像されることを意味する。簡単のため
に、f(i,j)=(k,l)が成り立つとき画素q
(k,l)をqf(i ,j)と記述する。
【0039】前提技術で扱う画素(格子点)のようにデ
ータが離散的な場合、全単射の定義は重要である。ここ
では以下のように定義する(i,i’,j,j’,k,
lは全て整数とする)。まず始めに、始点画像の平面に
おいてRによって表記される各正方形領域、
【数4】 を考える(i=0,…,2−1、j=0,…,2
1)。ここでRの各辺(エッジ)の方向を以下のように
定める。
【0040】
【数5】 この正方形は写像fによって終点画像平面における四辺
形に写像されなければならない。f(m,s)(R)に
よって示される四辺形、
【数6】 は、以下の全単射条件を満たす必要がある。
【0041】1.四辺形f(m,s)(R)のエッジは
互いに交差しない。 2.f(m,s)(R)のエッジの方向はRのそれらに
等しい(図2の場合、時計回り)。 3.緩和条件として収縮写像(リトラクション:retrac
tions)を許す。
【0042】何らかの緩和条件を設けないかぎり、全単
射条件を完全に満たす写像は単位写像しかないためであ
る。ここではf(m,s)(R)のひとつのエッジの長
さが0、すなわちf(m,s)(R)は三角形になって
もよい。しかし、面積が0となるような図形、すなわち
1点または1本の線分になってはならない。図2(R)
がもとの四辺形の場合、図2(A)と図2(D)は全単
射条件を満たすが、図2(B)、図2(C)、図2
(E)は満たさない。
【0043】実際のインプリメンテーションでは、写像
が全射であることを容易に保証すべく、さらに以下の条
件を課してもよい。つまり始点画像の境界上の各画素
は、終点画像において同じ位置を占める画素に写影され
るというものである。すなわち、f(i,j)=(i,
j)(ただしi=0,i=2−1,j=0,j=2
−1の4本の線上)である。この条件を以下「付加条
件」とも呼ぶ。
【0044】[1.3.2]写像のエネルギー [1.3.2.1]画素の輝度に関するコスト 写像fのエネルギーを定義する。エネルギーが最小にな
る写像を探すことが目的である。エネルギーは主に、始
点画像の画素の輝度とそれに対応する終点画像の画素の
輝度の差で決まる。すなわち、写像f(m,s)の点
(i,j)におけるエネルギーC(m,s) (i,j)
は次式によって定まる。
【0045】
【数7】 ここで、V(p(m,s) (i,j))及びV(q
(m,s) f(i,j))はそれぞれ画素p(m,s)
(i,j)及びq(m,s) f(i,j)の輝度であ
る。fのトータルのエネルギーC(m,s)は、マッチ
ングを評価するひとつの評価式であり、つぎに示すC
(m,s) (i,j)の合計で定義できる。
【0046】
【数8】 [1.3.2.2]滑らかな写像のための画素の位置に
関するコスト 滑らかな写像を得るために、写像に関する別のエネルギ
ーDfを導入する。このエネルギーは画素の輝度とは関
係なく、p(m,s) (i,j)およびq(m ,s)
f(i,j)の位置によって決まる(i=0,…,2
−1,j=0,…,2−1)。点(i,j)における
写像f(m,s)のエネルギーD(m,s (i,j)
は次式で定義される。
【0047】
【数9】 ただし、係数パラメータηは0以上の実数であり、ま
た、
【数10】
【数11】 とする。ここで、
【数12】 であり、i’<0およびj’<0に対してf(i’,
j’)は0と決める。Eは(i,j)及びf(i,
j)の距離で決まる。Eは画素があまりにも離れた画
素へ写影されることを防ぐ。ただしEは、後に別のエ
ネルギー関数で置き換える。Eは写像の滑らかさを保
証する。Eは、p(i,j)の変位とその隣接点の変
位の間の隔たりを表す。以上の考察をもとに、マッチン
グを評価する別の評価式であるエネルギーDは次式で
定まる。
【0048】
【数13】 [1.3.2.3]写像の総エネルギー 写像の総エネルギー、すなわち複数の評価式の統合に係
る総合評価式はλC m,s) +D(m,s) で定
義される。ここで係数パラメータλは0以上の実数であ
る。目的は総合評価式が極値をとる状態を検出するこ
と、すなわち次式で示す最小エネルギーを与える写像を
見いだすことである。
【0049】
【数14】 λ=0及びη=0の場合、写像は単位写像になることに
注意すべきである(すなわち、全てのi=0,…,2
−1及びj=0,…,2−1に対してf
(m ,s)(i,j)=(i,j)となる)。後述のご
とく、本前提技術では最初にλ=0及びη=0の場合を
評価するため、写像を単位写像から徐々に変形していく
ことができる。仮に総合評価式のλの位置を変えてC
(m,s) +λD(m ,s) と定義したとすれば、
λ=0及びη=0の場合に総合評価式がC(m, s)
だけになり、本来何等関連のない画素どうしが単に輝度
が近いというだけで対応づけられ、写像が無意味なもの
になる。そうした無意味な写像をもとに写像を変形して
いってもまったく意味をなさない。このため、単位写像
が評価の開始時点で最良の写像として選択されるよう係
数パラメータの与えかたが配慮されている。
【0050】オプティカルフローもこの前提技術同様、
画素の輝度の差と滑らかさを考慮する。しかし、オプテ
ィカルフローは画像の変換に用いることはできない。オ
ブジェクトの局所的な動きしか考慮しないためである。
前提技術に係る特異点フィルタを用いることによって大
域的な対応関係を検出することができる。
【0051】[1.3.3]多重解像度の導入による写
像の決定 最小エネルギーを与え、全単射条件を満足する写像f
minを多重解像度の階層を用いて求める。各解像度レ
ベルにおいて始点副画像及び終点副画像間の写像を計算
する。解像度の階層の最上位(最も粗いレベル)からス
タートし、各解像度レベルの写像を、他のレベルの写像
を考慮に入れながら決定する。各レベルにおける写像の
候補の数は、より高い、つまりより粗いレベルの写像を
用いることによって制限される。より具体的には、ある
レベルにおける写像の決定に際し、それよりひとつ粗い
レベルにおいて求められた写像が一種の拘束条件として
課される。
【0052】まず、
【数15】 が成り立つとき、p(m−1,s) (i’,j’)、q
(m−1,s) (i’, j’)をそれぞれp(m,s)
(i,j)、q(m,s) (i,j)のparentと
呼ぶことにする。[x]はxを越えない最大整数であ
る。またp(m,s (i,j)、q(m,s)
(i,j)をそれぞれ
(m−1,s) (i’,j ’)、q(m−1,s)
(i’,j’)のchildと呼ぶ。関数parent
(i,j)は次式で定義される。
【0053】
【数16】 (m,s) (i,j)とq(m,s) (k,l)の間
の写像f(m,s)は、エネルギー計算を行って最小に
なったものを見つけることで決定される。f m,s)
(i,j)=(k,l)の値はf(m−1,s)(m=
1,2,…,n)を用いることによって、以下のように
決定される。まず、q(m,s) (k, l)は次の四辺
形の内部になければならないという条件を課し、全単射
条件を満たす写像のうち現実性の高いものを絞り込む。
【0054】
【数17】 ただしここで、
【数18】 である。こうして定めた四辺形を、以下p(m,s)
(i,j)の相続(inherited)四辺形と呼ぶことにす
る。相続四辺形の内部において、エネルギーを最小にす
る画素を求める。
【0055】図3は以上の手順を示している。同図にお
いて、始点画像のA,B,C,Dの画素は、第m−1レ
ベルにおいてそれぞれ終点画像のA’,B’,C’,
D’へ写影される。画素p(m,s) (i,j)は、相
続四辺形A’B’C’D’の内部に存在する画素q
(m,s) f(m)(i,j)へ写影されなければなら
ない。以上の配慮により、第m−1レベルの写像から第
mレベルの写像への橋渡しがなされる。
【0056】先に定義したエネルギーEは、第mレベ
ルにおける副写像f(m,0)を計算するために、次式
に置き換える。
【0057】
【数19】 また、副写像f(m,s)を計算するためには次式を用
いる。
【0058】
【数20】 こうしてすべての副写像のエネルギーを低い値に保つ写
像が得られる。式20により、異なる特異点に対応する
副写像が、副写像どうしの類似度が高くなるように同一
レベル内で関連づけられる。式19は、f
(m,s)(i,j)と、第m−1レベルの画素の一部
と考えた場合の(i,j)が射影されるべき点の位置と
の距離を示している。
【0059】仮に、相続四辺形A’B’C’D’の内部
に全単射条件を満たす画素が存在しない場合は以下の措
置をとる。まず、A’B’C’D’の境界線からの距離
がL(始めはL=1)である画素を調べる。それらのう
ち、エネルギーが最小になるものが全単射条件を満たせ
ば、これをf(m,s)(i,j)の値として選択す
る。そのような点が発見されるか、またはLがその上限
のL(m)maxに到達するまで、Lを大きくしてい
く。L(m)maxは各レベルmに対して固定である。
そのような点が全く発見されない場合、全単射の第3の
条件を一時的に無視して変換先の四辺形の面積がゼロに
なるような写像も認め、f(m,s)(i,j)を決定
する。それでも条件を満たす点が見つからない場合、つ
ぎに全単射の第1及び第2条件を外す。
【0060】多重解像度を用いる近似法は、写像が画像
の細部に影響されることを回避しつつ、画像間の大域的
な対応関係を決定するために必須である。多重解像度に
よる近似法を用いなければ、距離の遠い画素間の対応関
係を見いだすことは不可能である。その場合、画像のサ
イズはきわめて小さなものに限定しなければならず、変
化の小さな画像しか扱うことができない。さらに、通常
写像に滑らかさを要求するため、そうした画素間の対応
関係を見つけにくくしている。距離のある画素から画素
への写像のエネルギーは高いためである。多重解像度を
用いた近似法によれば、そうした画素間の適切な対応関
係を見いだすことができる。それらの距離は、解像度の
階層の上位レベル(粗いレベル)において小さいためで
ある。
【0061】[1.4]最適なパレメータ値の自動決定 既存のマッチング技術の主な欠点のひとつに、パレメー
タ調整の困難さがある。大抵の場合、パラメータの調整
は人手作業によって行われ、最適な値を選択することは
きわめて難しい。前提技術に係る方法によれば、最適な
パラメータ値を完全に自動決定することができる。
【0062】前提技術に係るシステムはふたつのパレメ
ータ、λ及びηを含む。端的にいえば、λは画素の輝度
の差の重みであり、ηは写像の剛性を示している。これ
らのパラメータの値は初期値が0であり、まずη=0に
固定してλを0から徐々に増加させる。λの値を大きく
しながら、しかも総合評価式(式14)の値を最小にす
る場合、各副写像に関するC(m,s) の値は一般に
小さくなっていく。このことは基本的にふたつの画像が
よりマッチしなければならないことを意味する。しか
し、λが最適値を超えると以下の現象が発生する。
【0063】1.本来対応すべきではない画素どうし
が、単に輝度が近いというだけで誤って対応づけられ
る。 2.その結果、画素どうしの対応関係がおかしくなり、
写像がくずれはじめる。
【0064】3.その結果、式14においてD
(m,s) が急激に増加しようとする。 4.その結果、式14の値が急激に増加しようとするた
め、D(m,s) の急激な増加を抑制するようf
(m,s)が変化し、その結果C(m,s) が増加す
る。したがって、λを増加させながら式14が最小値を
とるという状態を維持しつつC(m,s) が減少から
増加に転じる閾値を検出し、そのλをη=0における最
適値とする。つぎにηを少しづつ増やしてC(m,s)
の挙動を検査し、後述の方法でηを自動決定する。そ
のηに対応してλも決まる。
【0065】この方法は、人間の視覚システムの焦点機
構の動作に似ている。人間の視覚システムでは、一方の
目を動かしながら左右両目の画像のマッチングがとられ
る。オブジェクトがはっきりと認識できるとき、その目
が固定される。
【0066】[1.4.1]λの動的決定 λは0から所定の刻み幅で増加されていき、λの値が変
わる度に副写像が評価される。式14のごとく、総エネ
ルギーはλC(m,s) +D(m,s) によって定
義される。式9のD(m,s) は滑らかさを表すもの
で、理論的には単位写像の場合に最小になり、写像が歪
むほどEもEも増加していく。Eは整数であるか
ら、D(m,s) の最小刻み幅は1である。このた
め、現在のλC(m,s) (i,j)の変化(減少量)
が1以上でなければ、写像を変化させることによって総
エネルギーを減らすことはできない。なぜなら、写像の
変化に伴ってD(m,s) は1以上増加するため、λ
(m,s) (i,j)が1以上減少しない限り総エネ
ルギーは減らないためである。
【0067】この条件のもと、λの増加に伴い、正常な
場合にC(m,s) (i,j)が減少することを示す。
(m,s) (i,j)のヒストグラムをh(l)と記
述する。h(l)はエネルギーC(m,s) (i,j)
がlである画素の数である。λl≧1が成り立つた
めに、例えばl=1/λの場合を考える。λがλ
らλまで微小量変化するとき、
【数21】 で示されるA個の画素が、
【数22】 のエネルギーを持つより安定的な状態に変化する。ここ
では仮に、これらの画素のエネルギーがすべてゼロにな
ると近似している。この式はC(m,s) の値が、
【数23】 だけ変化することを示し、その結果、
【数24】 が成立する。h(l)>0であるから、通常C
(m,s) は減少する。しかし、λが最適値を越えよ
うとするとき、上述の現象、つまりC(m,s) の増
加が発生する。この現象を検出することにより、λの最
適値を決定する。
【0068】なお、H(h>0)及びkを定数とすると
き、
【数25】 と仮定すれば、
【数26】 が成り立つ。このときk≠−3であれば、
【数27】 となる。これがC(m,s) の一般式である(Cは定
数)。
【0069】λの最適値を検出する際、さらに安全を見
て、全単射条件を破る画素の数を検査してもよい。ここ
で各画素の写像を決定する際、全単射条件を破る確率を
と仮定する。この場合、
【数28】 が成立しているため、全単射条件を破る画素の数は次式
の率で増加する。
【0070】
【数29】 従って、
【数30】 は定数である。仮にh(l)=Hlを仮定するとき、
例えば、
【数31】 は定数になる。しかしλが最適値を越えると、上の値は
急速に増加する。この現象を検出し、Bλ
3/2+k/2/2の値が異常値B0thresを越
えるかどうかを検査し、λの最適値を決定することがで
きる。同様に、Bλ3/2 +k/2/2の値が異常
値B1thresを越えるかどうかを検査することによ
り、全単射の第3の条件を破る画素の増加率Bを確認
する。ファクター2を導入する理由は後述する。この
システムはこれら2つの閾値に敏感ではない。これらの
閾値は、エネルギーC(m,s) の観察では検出し損
なった写像の過度の歪みを検出するために用いることが
できる。
【0071】なお実験では、副写像f(m,s)を計算
する際、もしλが0.1を越えたらf(m,s)の計算
は止めてf(m,s+1)の計算に移行した。λ>0.
1のとき、画素の輝度255レベル中のわずか「3」の
違いが副写像の計算に影響したためであり、λ>0.1
のとき正しい結果を得ることは困難だったためである。
【0072】[1.4.2]ヒストグラムh(l) C(m,s) の検査はヒストグラムh(l)に依存し
ない。全単射及びその第3の条件の検査の際、h(l)
に影響を受けうる。実際に(λ,C(m,s) )をプ
ロットすると、kは通常1付近にある。実験ではk=1
を用い、Bλ とBλを検査した。仮にkの本当
の値が1未満であれば、BλとBλは定数にな
らず、ファクターλ(1−k)/2に従って徐々に増加
する。h(l)が定数であれば、例えばファクターはλ
1/2である。しかし、こうした差は閾値B
0thresを正しく設定することによって吸収するこ
とができる。
【0073】ここで次式のごとく始点画像を中心が(x
,y)、半径rの円形のオブジェクトであると仮定
する。
【数32】 一方、終点画像は、次式のごとく中心(x,y)、
半径がrのオブジェクトであるとする。
【数33】 ここでc(x)はc(x)=xの形であるとする。中
心(x,y)及び(x,y)が十分遠い場合、
ヒストグラムh(l)は次式の形となる。
【数34】 k=1のとき、画像は背景に埋め込まれた鮮明な境界線
を持つオブジェクトを示す。このオブジェクトは中心が
暗く、周囲にいくに従って明るくなる。k=−1のと
き、画像は曖昧な境界線を持つオブジェクトを表す。こ
のオブジェクトは中心が最も明るく、周囲にいくに従っ
て暗くなる。一般のオブジェクトはこれらふたつのタイ
プのオブジェクトの中間にあると考えてもさして一般性
を失わない。したがって、kは−1≦k≦1として大抵
の場合をカバーでき、式27が一般に減少関数であるこ
とが保障される。
【0074】なお、式34からわかるように、rは画像
の解像度に影響されること、すなわちrは2mに比例す
ることに注意すべきである。このために[1.4.1]
においてファクター2mを導入した。
【0075】[1.4.3]ηの動的決定 パラメータηも同様の方法で自動決定できる。はじめに
η=0とし、最も細かい解像度における最終的な写像f
(n)及びエネルギーC(n) を計算する。つづい
て、ηをある値Δηだけ増加させ、再び最も細かい解像
度における最終写像f(n)及びエネルギーC(n)
を計算し直す。この過程を最適値が求まるまで続ける。
ηは写像の剛性を示す。次式の重みだからである。
【0076】
【数35】 ηが0のとき、D(n) は直前の副写像と無関係に決
定され、現在の副写像は弾性的に変形され、過度に歪む
ことになる。一方、ηが非常に大きな値のとき、D
(n) は直前の副写像によってほぼ完全に決まる。こ
のとき副写像は非常に剛性が高く、画素は同じ場所に射
影される。その結果、写像は単位写像になる。ηの値が
0から次第に増えるとき、後述のごとくC(n) は徐
々に減少する。しかしηの値が最適値を越えると、図4
に示すとおり、エネルギーは増加し始める。同図のX軸
はη、Y軸はCである。
【0077】この方法でC(n) を最小にする最適な
ηの値を得ることができる。しかし、λの場合に比べて
いろいろな要素が計算に影響する結果、C(n) は小
さく揺らぎながら変化する。λの場合は、入力が微小量
変化するたびに副写像を1回計算しなおすだけだが、η
の場合はすべての副写像が計算しなおされるためであ
る。このため、得られたC(n) の値が最小であるか
どうかを即座に判断することはできない。最小値の候補
が見つかれば、さらに細かい区間を設定することによっ
て真の最小値を探す必要がある。
【0078】[1.5]スーパーサンプリング 画素間の対応関係を決定する際、自由度を増やすため
に、f(m,s)の値域をR×Rに拡張することができ
る(Rは実数の集合)。この場合、終点画像の画素の輝
度が補間され、非整数点、
【数36】 における輝度を持つf(m,s)が提供される。つまり
スーパーサンプリングが行われる。実験では、f
(m,s)は整数及び半整数値をとることが許され、
【数37】 は、
【数38】 によって与えられた。
【0079】[1.6]各画像の画素の輝度の正規化 始点画像と終点画像がきわめて異なるオブジェクトを含
んでいるとき、写像の計算に元の画素の輝度がそのまま
では利用しにくい。輝度の差が大きいために輝度に関す
るエネルギーC(m,s) が大きくなりすぎ、正しい
評価がしずらいためである。
【0080】例えば、人の顔と猫の顔のマッチングをと
る場合を考える。猫の顔は毛で覆われており、非常に明
るい画素と非常に暗い画素が混じっている。この場合、
ふたつの顔の間の副写像を計算するために、まず副画像
を正規化する。すなわち、最も暗い画素の輝度を0、最
も明るいそれを255に設定し、他の画素の輝度は線形
補間によって求めておく。
【0081】[1.7]インプリメンテーション 始点画像のスキャンに従って計算がリニアに進行する帰
納的な方法を用いる。始めに、1番上の左端の画素
(i,j)=(0,0)についてf(m,s)の値を決
定する。次にiを1ずつ増やしながら各f
(m,s)(i,j)の値を決定する。iの値が画像の
幅に到達したとき、jの値を1増やし、iを0に戻す。
以降、始点画像のスキャンに伴いf(m,s)(i,
j)を決定していく。すべての点について画素の対応が
決まれば、ひとつの写像f(m,s)が決まる。
【0082】あるp(i,j)について対応点q
f(i,j)が決まれば、つぎにp(i, j+1)の対
応点qf(i,j+1)が決められる。この際、q
f(i,j+1 の位置は全単射条件を満たすために、
f(i,j)の位置によって制限される。したがっ
て、先に対応点が決まる点ほどこのシステムでは優先度
が高くなる。つねに(0,0)が最も優先される状態が
つづくと、求められる最終の写像に余計な偏向が加わ
る。本前提技術ではこの状態を回避するために、f
(m,s)を以下の方法で決めていく。
【0083】まず(s mod 4)が0の場合、(0,
0)を開始点としi及びjを徐々に増やしながら決めて
いく。(s mod 4)が1の場合、最上行の右端点を
開始点とし、iを減少、jを増加させながら決めてい
く。(s mod 4)が2のとき、最下行の右端点を開
始点とし、i及びjを減少させながら決めていく。(s
mod 4)が3の場合、最下行の左端点を開始点と
し、iを増加、jを減少させながら決めていく。解像度
が最も細かい第nレベルには副写像という概念、すなわ
ちパラメータsが存在しないため、仮にs=0及びs=
2であるとしてふたつの方向を連続的に計算した。
【0084】実際のインプリメンテーションでは、全単
射条件を破る候補に対してペナルティを与えることによ
り、候補(k,l)の中からできる限り全単射条件を満
たすf(m,s)(i,j)(m=0,…,n)の値を
選んだ。第3の条件を破る候補のエネルギーD(k、
l)にはφを掛け、一方、第1または第2の条件を破る
候補にはψを掛ける。今回はφ=2、ψ=100000
を用いた。
【0085】前述の全単射条件のチェックのために、実
際の手続として(k,l)=f(m ,s)(i,j)を
決定する際に以下のテストを行った。すなわちf
(m,s)(i,j)の相続四辺形に含まれる各格子点
(k,l)に対し、次式の外積のz成分が0以上になる
かどうかを確かめる。
【0086】
【数39】 ただしここで、
【数40】
【数41】 である(ここでベクトルは三次元ベクトルとし、z軸は
直交右手座標系において定義される)。もしWが負であ
れば、その候補についてはD(m,s) (k,l にψ
を掛けることによってペナルティを与え、できるかぎり
選択しないようにする。
【0087】図5(a)、図5(b)はこの条件を検査
する理由を示している。図5(a)はペナルティのない
候補、図5(b)はペナルティがある候補をそれぞれ表
す。隣接画素(i,j+1)に対する写像f(m,s)
(i,j+1)を決定する際、Wのz成分が負であれば
始点画像平面上において全単射条件を満足する画素は存
在しない。なぜなら、q(m,s) (k,l)は隣接す
る四辺形の境界線を越えるためである。
【0088】[1.7.1]副写像の順序 インプリメンテーションでは、解像度レベルが偶数のと
きにはσ(0)=0、σ(1)=1、σ(2)=2、σ
(3)=3、σ(4)=0を用い、奇数のときはσ
(0)=3、σ(1)=2、σ(2)=1、σ(3)=
0、σ(4)=3を用いた。このことで、副写像を適度
にシャッフルした。なお、本来副写像は4種類であり、
sは0〜3のいずれかである。しかし、実際にはs=4
に相当する処理を行った。その理由は後述する。
【0089】[1.8]補間計算 始点画像と終点画像の間の写像が決定された後、対応し
あう画素の輝度が補間される。実験では、トライリニア
補間を用いた。始点画像平面における正方形p
(i,j)(i+1,j)(i,j+1)
(i+1,j+1)が終点画像平面上の四辺形q
f(i,j)f(i+1,j)f(i,j+1)
f(i +1,j+1)に射影されると仮定する。簡単の
ため、画像間の距離を1とする。始点画像平面からの距
離がt(0≦t≦1)である中間画像の画素r(x,
y,t)(0≦x≦N−1,0≦y≦M−1)は以下の
要領で求められる。まず画素r(x,y,t)の位置
(ただしx,y,t∈R)を次式で求める。
【0090】
【数42】 つづいてr(x,y,t)における画素の輝度が次の式
を用いて決定される。
【0091】
【数43】 ここでdx及びdyはパラメータであり、0から1まで
変化する。
【0092】[1.9]拘束条件を課したときの写像 いままでは拘束条件がいっさい存在しない場合の写像の
決定を述べた。しかし、始点画像と終点画像の特定の画
素間に予め対応関係が規定されているとき、これを拘束
条件としたうえで写像を決定することができる。
【0093】基本的な考えは、まず始点画像の特定の画
素を終点画像の特定の画素に移す大まかな写像によって
始点画像を大まかに変形し、しかる後、写像fを正確に
計算する。
【0094】まず始めに、始点画像の特定の画素を終点
画像の特定の画素に射影し、始点画像の他の画素を適当
な位置に射影する大まかな写像を決める。すなわち、特
定の画素に近い画素は、その特定の画素が射影される場
所の近くに射影されるような写像である。ここで第mレ
ベルの大まかな写像をF(m)と記述する。
【0095】大まかな写像Fは以下の要領で決める。ま
ず、いくつかの画素について写像を特定する。始点画像
についてn個の画素、
【数44】 を特定するとき、以下の値を決める。
【数45】 始点画像の他の画素の変位量は、p(ih,jh)(h
=0,…,n−1)の変位に重み付けをして求められ
る平均である。すなわち画素p(i,j)は、終点画像
の以下の画素に射影される。
【0096】
【数46】 ただしここで、
【数47】
【数48】 とする。
【0097】つづいて、F(m)に近い候補写像fがよ
り少ないエネルギーを持つように、その写像fのエネル
ギーD(m,s) (i,j)を変更する。正確には、D
(m ,s) (i,j)は、
【数49】 である。ただし、
【数50】 であり、κ,ρ≧0とする。最後に、前述の写像の自動
計算プロセスにより、fを完全に決定する。
【0098】ここで、f(m,s)(i,j)がF
(m)(i,j)に十分近いとき、つまりそれらの距離
が、
【数51】 以内であるとき、E (m,s) (i,j)が0になる
ことに注意すべきである。そのように定義した理由は、
各f(m,s)(i,j)がF(m)(i,j)に十分近い限
り、終点画像において適切な位置に落ち着くよう、その
値を自動的に決めたいためである。この理由により、正
確な対応関係を詳細に特定する必要がなく、始点画像は
終点画像にマッチするように自動的にマッピングされ
る。
【0099】[2]具体的な処理手順 [1]の各要素技術による処理の流れを説明する。図6
は前提技術の全体手順を示すフローチャートである。同
図のごとく、まず多重解像度特異点フィルタを用いた処
理を行い(S1)、つづいて始点画像と終点画像のマッ
チングをとる(S2)。ただし、S2は必須ではなく、
S1で得られた画像の特徴をもとに画像認識などの処理
を行ってもよい。
【0100】図7は図6のS1の詳細を示すフローチャ
ートである。ここではS2で始点画像と終点画像のマッ
チングをとることを前提としている。そのため、まず特
異点フィルタによって始点画像の階層化を行い(S1
0)、一連の始点階層画像を得る。つづいて同様の方法
で終点画像の階層化を行い(S11)、一連の終点階層
画像を得る。ただし、S10とS11の順序は任意であ
るし、始点階層画像と終点階層画像を並行して生成して
いくこともできる。
【0101】図8は図7のS10の詳細を示すフローチ
ャートである。もとの始点画像のサイズは2×2
する。始点階層画像は解像度が細かいほうから順に作ら
れるため、処理の対象となる解像度レベルを示すパラメ
ータmをnにセットする(S100)。つづいて第mレ
ベルの画像p(m,0)、p(m,1)
(m,2 、p(m,3)から特異点フィルタを用い
て特異点を検出し(S101)、それぞれ第m−1レベ
ルの画像p(m−1,0)、p(m−1,1)、p
(m−1 ,2)、p(m−1,3)を生成する(S10
2)。ここではm=nであるため、p(m,0)=p
(m,1)=p(m,2)=p(m,3)=p(n)
あり、ひとつの始点画像から4種類の副画像が生成され
る。
【0102】図9は第mレベルの画像の一部と、第m−
1レベルの画像の一部の対応関係を示している。同図の
数値は各画素の輝度を示す。同図のp(m,s)はp
(m, 0)〜p(m,3)の4つの画像を象徴するもの
で、p(m−1,0)を生成する場合には、p
(m,s)はp(m,0)であると考える。[1.2]
で示した規則により、p(m−1,0)は例えば同図で
輝度を記入したブロックについて、そこに含まれる4画
素のうち「3」、p(m−1,1)は「8」、p
(m−1 ,2)は「6」、p(m−1,3)を「10」
をそれぞれ取得し、このブロックをそれぞれ取得したひ
とつの画素で置き換える。したがって、第m−1レベル
の副画像のサイズは2m−1×2m−1になる。
【0103】つづいてmをデクリメントし(図8のS1
03)、mが負になっていないことを確認し(S10
4)、S101に戻ってつぎに解像度の粗い副画像を生
成していく。この繰り返し処理の結果、m=0、すなわ
ち第0レベルの副画像が生成された時点でS10が終了
する。第0レベルの副画像のサイズは1×1である。
【0104】図10はS10によって生成された始点階
層画像をn=3の場合について例示している。最初の始
点画像のみが4つの系列に共通であり、以降特異点の種
類に応じてそれぞれ独立に副画像が生成されていく。な
お、図8の処理は図7のS11にも共通であり、同様の
手順を経て終点階層画像も生成される。以上で図6のS
1による処理が完了する。
【0105】前提技術では、図6のS2に進むためにマ
ッチング評価の準備をする。図11はその手順を示して
いる。同図のごとく、まず複数の評価式が設定される
(S30)。[1.3.2.1]で導入した画素に関す
るエネルギーC(m,s) と[1.3.2.2]で導
入した写像の滑らかさに関するエネルギーD(m,s)
がそれである。つぎに、これらの評価式を統合して総
合評価式を立てる(S31)。[1.3.2.3]で導
入した総エネルギーλC(m,s) +D(m, s)
がそれであり、[1.3.2.2]で導入したηを用い
れば、 ΣΣ(λC(m,s) (i,j)+ηE (m,s) (i,j)+E (m ,s) (i,j) ) (式52) となる。ただし、総和はi、jについてそれぞれ0、1
…、2−1で計算する。以上でマッチング評価の準備
が整う。
【0106】図12は図6のS2の詳細を示すフローチ
ャートである。[1]で述べたごとく、始点階層画像と
終点階層画像のマッチングは互いに同じ解像度レベルの
画像どうしでとられる。画像間の大域的なマッチングを
良好にとるために、解像度が粗いレベルから順にマッチ
ングを計算する。特異点フィルタを用いて始点階層画像
および終点階層画像を生成しているため、特異点の位置
や輝度は解像度の粗いレベルでも明確に保存されてお
り、大域的なマッチングの結果は従来に比べて非常に優
れたものになる。
【0107】図12のごとく、まず係数パラメータηを
0、レベルパラメータmを0に設定する(S20)。つ
づいて、始点階層画像中の第mレベルの4つの副画像と
終点階層画像中の第mレベルの4つの副画像のそれぞれ
の間でマッチングを計算し、それぞれ全単射条件を満た
し、かつエネルギーを最小にするような4種類の副写像
(m,s)(s=0,1,2,3)を求める(S2
1)。全単射条件は[1.3.3]で述べた相続四辺形
を用いて検査される。この際、式17、18が示すよう
に、第mレベルにおける副写像は第m−1レベルのそれ
らに拘束されるため、より解像度の粗いレベルにおける
マッチングが順次利用されていく。これは異なるレベル
間の垂直的参照である。なお、いまm=0であってそれ
より粗いレベルはないが、この例外的な処理は図13で
後述する。
【0108】一方、同一レベル内における水平的参照も
行われる。[1.3.3]の式20のごとく、f
(m,3)はf(m,2)に、f(m,2)はf
(m,1)に、f (m,1)はf(m,0)に、それぞ
れ類似するように決める。その理由は、特異点の種類が
違っても、それらがもともと同じ始点画像と終点画像に
含まれている以上、副写像がまったく異なるという状況
は不自然だからである。式20からわかるように、副写
像どうしが近いほどエネルギーは小さくなり、マッチン
グが良好とみなされる。
【0109】なお、最初に決めるべきf(m,0)につ
いては同一のレベルで参照できる副写像がないため、式
19に示すごとくひとつ粗いレベルを参照する。ただ
し、実験ではf(m,3)まで求まった後、これを拘束
条件としてf(m,0)を一回更新するという手続をと
った。これは式20にs=4を代入し、f(m,4)
新たなf(m,0)とすることに等しい。f(m,0)
とf(m,3)の関連度が低くなり過ぎる傾向を回避す
るためであり、この措置によって実験結果がより良好に
なった。この措置に加え、実験では[1.7.1]に示
す副写像のシャッフルも行った。これも本来特異点の種
類ごとに決まる副写像どうしの関連度を密接に保つ趣旨
である。また、処理の開始点に依存する偏向を回避する
ために、sの値にしたがって開始点の位置を変える点は
[1.7]で述べたとおりである。
【0110】図13は第0レベルにおいて副写像を決定
する様子を示す図である。第0レベルでは各副画像がた
だひとつの画素で構成されるため、4つの副写像
f(0,s はすべて自動的に単位写像に決まる。図1
4は第1レベルにおいて副写像を決定する様子を示す図
である。第1レベルでは副画像がそれぞれ4画素で構成
される。同図ではこれら4画素が実線で示されている。
いま、p(1,s)の点xの対応点をq(1,s)の中
で探すとき、以下の手順を踏む。
【0111】1.第1レベルの解像度で点xの左上点
a、右上点b、左下点c、右下点dを求める。 2.点a〜dがひとつ粗いレベル、つまり第0レベルに
おいて属する画素を探す。図14の場合、点a〜dはそ
れぞれ画素A〜Dに属する。ただし、画素A〜Cは本来
存在しない仮想的な画素である。 3.第0レベルですでに求まっている画素A〜Dの対応
点A’〜D’をq(1 ,s)の中にプロットする。画素
A’〜C’は仮想的な画素であり、それぞれ画素A〜C
と同じ位置にあるものとする。 4.画素Aの中の点aの対応点a’が画素A’の中にあ
るとみなし、点a’をプロットする。このとき、点aが
画素Aの中で占める位置(この場合、右下)と、点a’
が画素A’の中で占める位置が同じであると仮定する。 5.4と同様の方法で対応点b’〜d’をプロットし、
点a’〜d’で相続四辺形を作る。 6.相続四辺形の中でエネルギーが最小になるよう、点
xの対応点x’を探す。対応点x’の候補として、例え
ば画素の中心が相続四辺形に含まれるものに限定しても
よい。図14の場合、4つの画素がすべて候補になる。
【0112】以上がある点xの対応点の決定手順であ
る。同様の処理を他のすべての点について行い、副写像
を決める。第2レベル以上のレベルでは、次第に相続四
辺形の形が崩れていくと考えられるため、図3に示すよ
うに画素A’〜D’の間隔が空いていく状況が発生す
る。
【0113】こうして、ある第mレベルの4つの副写像
が決まれば、mをインクリメントし(図12のS2
2)、mがnを超えていないことを確かめて(S2
3)、S21に戻る。以下、S21に戻るたびに次第に
細かい解像度のレベルの副写像を求め、最後にS21に
戻ったときに第nレベルの写像f(n)を決める。この
写像はη=0に関して定まったものであるから、f
(n)(η=0)と書く。
【0114】つぎに異なるηに関する写像も求めるべ
く、ηをΔηだけシフトし、mをゼロクリアする(S2
4)。新たなηが所定の探索打切り値ηmaxを超えて
いないことを確認し(S25)、S21に戻り、今回の
ηに関して写像f(n)(η=Δη)を求める。この処
理を繰り返し、S21でf(n)(η=iΔη)(i=
0,1,…)を求めていく。ηがηmaxを超えたとき
S26に進み、後述の方法で最適なη=ηoptを決定
し、f(n)(η=ηopt)を最終的に写像f (n)
とする。
【0115】図15は図12のS21の詳細を示すフロ
ーチャートである。このフローチャートにより、ある定
まったηについて、第mレベルにおける副写像が決ま
る。副写像を決める際、前提技術では副写像ごとに最適
なλを独立して決める。
【0116】同図のごとく、まずsとλをゼロクリアす
る(S210)。つぎに、そのときのλについて(およ
び暗にηについて)エネルギーを最小にする副写像f
(m, s)を求め(S211)、これをf
(m,s)(λ=0)と書く。異なるλに関する写像も
求めるべく、λをΔλだけシフトし、新たなλが所定の
探索打切り値λmaxを超えていないことを確認し(S
213)、S211に戻り、以降の繰り返し処理でf
(m,s)(λ=iΔλ)(i=0,1,…)を求め
る。λがλ maxを超えたときS214に進み、最適な
λ=λoptを決定し、f(m,s (λ=λopt
を最終的に写像f(m,s)とする(S214)。
【0117】つぎに、同一レベルにおける他の副写像を
求めるべく、λをゼロクリアし、sをインクリメントす
る(S215)。sが4を超えていないことを確認し
(S216)、S211に戻る。s=4になれば上述の
ごとくf(m,3)を利用してf(m,0)を更新し、
そのレベルにおける副写像の決定を終了する。
【0118】図16は、あるmとsについてλを変えな
がら求められたf(m,s)(λ=iΔλ)(i=0,
1,…)に対応するエネルギーC(m,s) の挙動を
示す図である。[1.4]で述べたとおり、λが増加す
ると通常C(m,s) は減少する。しかし、λが最適
値を超えるとC(m,s) は増加に転じる。そこで本
前提技術ではC(m,s) が極小値をとるときのλを
λoptと決める。同図のようにλ>λoptの範囲で
再度C(m,s) が小さくなっていっても、その時点
ではすでに写像がくずれていて意味をなさないため、最
初の極小点に注目すればよい。λoptは副写像ごとに
独立して決めていき、最後にf(n)についてもひとつ
定まる。
【0119】一方、図17は、ηを変えながら求められ
たf(n)(η=iΔη)(i=0,1,…)に対応す
るエネルギーC(n) の挙動を示す図である。ここで
もηが増加すると通常C(n) は減少するが、ηが最
適値を超えるとC(n) は増加に転じる。そこでC
(n) が極小値をとるときのηをηoptと決める。
図17は図4の横軸のゼロ付近を拡大した図と考えてよ
い。ηoptが決まればf(n)を最終決定することが
できる。
【0120】以上、本前提技術によれば種々のメリット
が得られる。まずエッジを検出する必要がないため、エ
ッジ検出タイプの従来技術の課題を解消できる。また、
画像に含まれるオブジェクトに対する先験的な知識も不
要であり、対応点の自動検出が実現する。特異点フィル
タによれば、解像度の粗いレベルでも特異点の輝度や位
置を維持することができ、オブジェクト認識、特徴抽
出、画像マッチングに極めて有利である。その結果、人
手作業を大幅に軽減する画像処理システムの構築が可能
となる。
【0121】なお、本前提技術について次のような変形
技術も考えられる。 (1)前提技術では始点階層画像と終点階層画像の間で
マッチングをとる際にパラメータの自動決定を行った
が、この方法は階層画像間ではなく、通常の2枚の画像
間のマッチングをとる場合全般に利用できる。
【0122】たとえば2枚の画像間で、画素の輝度の差
に関するエネルギーEと画素の位置的なずれに関する
エネルギーEのふたつを評価式とし、これらの線形和
ot=αE+Eを総合評価式とする。この総合
評価式の極値付近に注目してαを自動決定する。つま
り、いろいろなαについてEtotが最小になるような
写像を求める。それらの写像のうち、αに関してE
極小値をとるときのαを最適パラメータと決める。その
パラメータに対応する写像を最終的に両画像間の最適マ
ッチングとみなす。
【0123】これ以外にも評価式の設定にはいろいろな
方法があり、例えば1/Eと1/Eのように、評価
結果が良好なほど大きな値をとるものを採用してもよ
い。総合評価式も必ずしも線形和である必要はなく、n
乗和(n=2、1/2、−1、−2など)、多項式、任
意の関数などを適宜選択すればよい。
【0124】パラメータも、αのみ、前提技術のごとく
ηとλのふたつの場合、それ以上の場合など、いずれで
もよい。パラメータが3以上の場合はひとつずつ変化さ
せて決めていく。
【0125】(2)本前提技術では、総合評価式の値が
最小になるよう写像を決めた後、総合評価式を構成する
ひとつの評価式であるC(m,s) が極小になる点を
検出してパラメータを決定した。しかし、こうした二段
回処理の代わりに、状況によっては単に総合評価式の最
小値が最小になるようにパラメータを決めても効果的で
ある。その場合、例えばαE+βEを総合評価式と
し、α+β=1なる拘束条件を設けて各評価式を平等に
扱うなどの措置を講じてもよい。パラメータの自動決定
の本質は、エネルギーが最小になるようにパラメータを
決めていく点にあるからである。
【0126】(3)前提技術では各解像度レベルで4種
類の特異点に関する4種類の副画像を生成した。しか
し、当然4種類のうち1、2、3種類を選択的に用いて
もよい。例えば、画像中に明るい点がひとつだけ存在す
る状態であれば、極大点に関するf(m,3)だけで階
層画像を生成しても相応の効果が得られるはずである。
その場合、同一レベルで異なる副写像は不要になるた
め、sに関する計算量が減る効果がある。
【0127】(4)本前提技術では特異点フィルタによ
ってレベルがひとつ進むと画素が1/4になった。例え
ば3×3で1ブロックとし、その中で特異点を探す構成
も可能であり、その場合、レベルがひとつ進むと画素は
1/9になる。
【0128】(5)始点画像と終点画像がカラーの場
合、それらをまず白黒画像に変換し、写像を計算する。
その結果求められた写像を用いて始点のカラー画像を変
換する。それ以外の方法として、RGBの各成分につい
て副写像を計算してもよい。
【0129】[画像符号化および復号に関する実施の形
態]前提技術ではキーフレーム間のマッチングをとって
対応情報を生成し、この対応情報をもとに中間フレーム
を生成した。したがって、この技術は動画の圧縮に利用
でき、現実に実験ではMPEGを超える画質と圧縮率の
両立が確認されはじめている。以下、前提技術を利用し
た画像符号化および復号技術を説明する。この技術は動
画に付随して音声の再生を実現する。
【0130】(符号化側)符号化側は、動画像をキーフ
レームとそれらの間の対応点情報で表すことによってデ
ータ量の低減を図る。またそのとき、動画像と同期して
再生すべき音声データも符号化ストリームの中へ組み込
む。このとき、音声データの再生タイミングが維持され
るよう配慮する。音声データは少しのタイミング的ずれ
がユーザに敏感に認識されるためである。なお、音声デ
ータとは、音楽や人の声を含む任意の音データである。
【0131】この符号化技術は動画像、例えば映画やミ
ュージックビデオの編集において特に効果的である。な
ぜなら、音声と映像をいろいろなタイミングで同期させ
るべき要望があるにも拘わらず、一般にはそれが困難だ
からである。音声データの再生タイミングを維持した場
合、音声と映像の同期タイミングをとるべき区間の先頭
と末尾でそれぞれ完全に音声と映像が所望の形で同期し
なければならない。
【0132】たとえば、動物が地面からジャンプして着
地するとき、それと音楽を完全に同期させる作業は煩瑣
なだけでなく、音楽のタイミングをずらすことができな
いとすれば、映像を延ばしたり縮めたりする必要があ
る。延ばす場合、フレーム間がスローモーション再生に
なり、そこだけ秒間フレーム数が減る。この問題は音楽
と映像を合わせ込むとき常に発生し、作品の製作が困難
になるだけでなく、場合によっては製作が不可能な場合
もある。
【0133】一方、前提技術またはその他の画像マッチ
ングによれば、キーフレーム間に任意の枚数の中間フレ
ームを生成することができる。したがって、音楽に合わ
せて画像を延ばす場合はより多い中間フレームを生成す
ればよく、逆の場合は減らせばよい。いずれの場合も、
毎秒のフレーム数が一定になるようフレーム数を決める
ことができるので、確実に作品を制作することができ
る。
【0134】音楽の側に決められた同期ポイントにおけ
るキーフレームを従属的に決めることにより、音楽のタ
イミングは不変のまま、映像でタイミング調整をするこ
とができる。編集者は音楽を再生しながら、同期ポイン
トごとに動画像の側をサーチして最適なフレームをその
同期ポイントに関連づける。すると、このフレームがキ
ーフレームとなる。隣接する同期ポイントの間の映像
は、隣接するキーフレーム間を補間して得られた中間フ
レームによって埋められる。
【0135】図18は、実施の形態に係る画像符号化装
置10の構成を示す。画像符号化装置10は、原画像で
ある動画像Iを入力する画像入力部12と、入力された
動画像からキーフレームKFを決定するキーフレーム取
得部14と、音声データSを入力する音声入力部16
と、決定されたキーフレームKFに対応する音声データ
の再生時刻T(以下単に再生時刻Tともよぶ)をもと
に、生成すべき中間フレームの数N(この数を以下単に
枚数Nともいう)を算出するフレーム数特定部18と、
決定されたキーフレームKF間で前提技術の画像マッチ
ング処理を施し対応点情報Cを生成するマッチングプロ
セッサ20と、音声データS、キーフレームに格上げさ
れたフレームの番号F(以下単にフレーム番号Fともい
う)、枚数N、再生時刻T、キーフレームのデータK
F、および対応点情報Cをもとに画像の符号化データス
トリームCIを生成し、これを図示しないネットワーク
やストレージへ出力するストリーム生成部22を備え
る。
【0136】キーフレーム取得部14および音声入力部
16はユーザインタフェイスをもち、映像コンテンツを
作成するためのオーサリング部24として機能する。編
集者であるユーザは、まず入力された音声データを再生
し、適宜同期ポイントとなるべき特徴的な音の部分で再
生を停止し、その同期ポイントで同時に再生すべき画像
フレームをキーフレーム取得部14によってサーチして
決定する。
【0137】図19はオーサリング部24を用いた編集
のための画面30を示す。この画面30は、音声再生の
ための第1画面32と、画像再生のための第2画面34
を有する。第1画面32には、楽曲の名前「ABCD」
とその開始からの時間「00:01:23:50」が表
示され、再生や停止などの編集ボタンが設けられてい
る。第2画面34には再生された画像を表示する窓と、
この画像の全体におけるカット番号およびシーン番号の
表示部と、再生や停止のための編集ボタンおよび決定ボ
タンが設けられている。
【0138】以上の構成による符号化の手順を示す。ま
ず、ストレージやカメラから画像入力部12を介して動
画像が入力される。動画像はキーフレーム取得部14へ
送られる。一方、音声データも音声入力部16へ入力さ
れ、編集のスタンバイが整う。
【0139】ユーザはまず第1画面32において音声デ
ータを再生する。一方、第2画面34において動画像を
再生する。つづいて、音声データの同期ポイントに到達
すると第1画面32において音声再生が停止され、第2
画面34で前後のフレームをサーチして同期ポイントに
合うフレームを探索する。探索で所望のフレームが見つ
かったとき決定ボタンが押され、再生時刻Tとフレーム
番号Fがフレーム数特定部18へ通知される。以下、こ
の編集を作品の終了まで繰り返す。
【0140】フレーム数特定部18では、生成すべき中
間フレームの枚数を計算する。隣接する同期ポイントの
時刻の差をΔT、表示装置の毎秒の表示フレーム数をn
とすれば、生成すべき中間フレームの数Nは、 N=nΔT となる。この数値はストリーム生成部22へ通知され
る。
【0141】ストリーム生成部22には、音声入力部1
6から音声データ、キーフレーム取得部14から再生時
刻Tとフレーム番号FとキーフレームデータKF、マッ
チングプロセッサ20からキーフレーム間の対応点情報
Cが入力されている。ストリーム生成部22はこれらを
適当な順番で組み込み、符号化データストリームCIを
生成して出力する。
【0142】図20は、符号化データストリームCIの
一部である音声データ表示40を示す。音声データ表示
40は、その旨を示すヘッダ42と、楽曲のタイトル4
4と、各楽曲の開始時刻46を含む。この例では、楽曲
ABCDは時刻00:00:00:00から開始し、楽
曲EFGHは時刻00:08:03:50から開始して
いる。
【0143】図21は、符号化データストリームCIの
一部である同期情報50を示す。同期情報50は、その
旨を示すヘッダ52と、同期ポイントの時刻、すなわち
再生時刻Tの領域54と、それぞれの再生時刻Tに対応
づけられたキーフレームのフレーム番号Fの領域56
と、隣接するキーフレーム間において人工的に生成すべ
き中間フレームの数、すなわち枚数Nの領域58を有す
る。同図の例の場合、最初の同期ポイントは時刻00:
00:00:00で、そのときのキーフレームのフレー
ム番号Fは「1」、つぎの同期ポイントは2.5秒後の
時刻00:00:02:50で、そのときのキーフレー
ムのフレーム番号Fは「50」、それらふたつの同期ポ
イント間に生成すべき中間フレームの枚数は74とされ
る。74は2.5秒×30枚/秒−1による。
【0144】なお、フレーム番号Fはオプショナルな情
報であり省略しても差し支えないが、この情報があれ
ば、キーフレーム間の画像のスピードを計算することが
できる。図21の例では、もともと50枚しかフレーム
がなかったところを75枚に拡張するため、1.5倍の
スローモーションになることがわかる。この数値に上限
や下限などの許容範囲を設け、それを逸脱する場合は警
告を出す警告部を設けてもよい。
【0145】図22は、符号化データストリームCI全
体の構造を示す。図示しない全体のヘッダのほかに、同
図のごとく、音声データ表示40、同期情報50、対応
点情報C、および適宜補足的なキーフレームKF’が盛
り込まれる。補足的なキーフレームKF’は、同期ポイ
ント間が遠くてキーフレームが少ない場合、適宜追加さ
れる。以上が符号化側の処理である。画像符号化装置1
0によれば、復号側で容易に再生可能な動画像と音声を
提供できる。
【0146】(復号側)図23は実施の形態に係る画像
復号装置100の構成を示す。画像復号装置100は、
符号化データストリームCIをネットワークやストレー
ジから入力するストリーム入力部102と、入力した符
号化データストリームCIをその構成要素へ分解するス
トリーム解析部104と、ストリーム解析部104から
キーフレームのデータKF、枚数N、対応点情報Cを受
け、前提技術で示した補間処理によってN枚の中間フレ
ームを生成する中間画像生成部106と、同じくストリ
ーム解析部104から音声データSを受け、これに必要
な復号処理を加える音声復号部108と、同じくストリ
ーム解析部104から図示しない経路で同期情報50を
受け、再生された動画像および音声データの再生の同期
を調整する同期調整部110と、同期調整後の動画像を
音声とともに再生する再生部112とを含む。
【0147】この構成において、再生部112はまず音
声データを再生時刻に沿って理想的な速度で再生する。
同期調整部110はその音声データをいわば時間軸とし
てキーフレームおよび中間フレームを表示装置の毎秒の
表示フレーム数を守って出力する。音声データと画像の
ずれは、同期情報に示された同期ポイントにおけるキー
フレームのフレーム番号Fを用いて補正してもよい。す
なわち、同期ポイントよりキーフレームが早ければ同一
フレームを2回再生したり、その逆の場合はフレームを
一枚スキップする等により、微調整が可能である。
【0148】以上が復号側の処理であるが、符号化側と
の連携において以下の変形技術がある。まず、実施の形
態ではマッチングプロセッサ20を符号化側に配した
が、これは復号側でもよい。その場合、符号化データス
トリームCIには対応点情報Cが盛り込まれず、これは
復号側で計算される。
【0149】同様に、実施の形態ではフレーム数特定部
18も復号側に設けてもよい。その場合、符号化データ
ストリームCIには枚数Nは盛り込まれず、これは再生
時刻Tをもとに復号側で計算される。
【0150】以上、実施の形態をもとに本発明を説明し
た。なお本発明はこの実施の形態に限定されることな
く、そのさまざまな変形例もまた、本発明の態様として
有効である。たとえば、実施の形態では前提技術のマッ
チング技術を利用したが、これはオプティカルフローや
ブロックマッチングなど、既存の技術を利用してもよ
い。明記しなかったが、音声入力部16は例えばMPE
Gレイヤ3などの手法で音声の圧縮符号化を行ってもよ
い。図20、図21、図22のフォーマットには非常に
高い自由度があり、例えば音声データの再生タイミング
は時刻ではなくサンプリング番号その他の表示であって
もよい。
【図面の簡単な説明】
【図1】 図1(a)とは図1(b)は、ふたりの人物
の顔に平均化フィルタを施して得られる画像、図1
(c)と図1(d)は、ふたりの人物の顔に関して前提
技術で求められるp(5,0)の画像、図1(e)と図
1(f)は、ふたりの人物の顔に関して前提技術で求め
られるp(5,1)の画像、図1(g)と図1(h)
は、ふたりの人物の顔に関して前提技術で求められるp
(5,2)の画像、図1(i)と図1(j)は、ふたり
の人物の顔に関して前提技術で求められるp(5,3)
の画像をそれぞれディスプレイ上に表示した中間調画像
の写真である。
【図2】 図2(R)はもとの四辺形を示す図、図2
(A)、図2(B)、図2(C)、図2(D)、図2
(E)はそれぞれ相続四辺形を示す図である。
【図3】 始点画像と終点画像の関係、および第mレベ
ルと第m−1レベルの関係を相続四辺形を用いて示す図
である。
【図4】 パラメータηとエネルギーCの関係を示す
図である。
【図5】 図5(a)、図5(b)は、ある点に関する
写像が全単射条件を満たすか否かを外積計算から求める
様子を示す図である。
【図6】 前提技術の全体手順を示すフローチャートで
ある。
【図7】 図6のS1の詳細を示すフローチャートであ
る。
【図8】 図7のS10の詳細を示すフローチャートで
ある。
【図9】 第mレベルの画像の一部と、第m−1レベル
の画像の一部の対応関係を示す図である。
【図10】 前提技術で生成された始点階層画像を示す
図である。
【図11】 図6のS2に進む前に、マッチング評価の
準備の手順を示す図である。
【図12】 図6のS2の詳細を示すフローチャートで
ある。
【図13】 第0レベルにおいて副写像を決定する様子
を示す図である。
【図14】 第1レベルにおいて副写像を決定する様子
を示す図である。
【図15】 図12のS21の詳細を示すフローチャー
トである。
【図16】 あるf(m,s)についてλを変えながら
求められたf(m, s)(λ=iΔλ)に対応するエネ
ルギーC(m,s) の挙動を示す図である。
【図17】 ηを変えながら求められたf(n)(η=
iΔη)(i=0,1,…)に対応するエネルギーC
(n) の挙動を示す図である。
【図18】 実施の形態に係る画像符号化装置の構成図
である。
【図19】 画像符号化装置の音声入力部とキーフレー
ム取得部によって実現されるオーサリングツールによる
画面表示を示す図である。
【図20】 符号化データストリームの一部である音声
データ表示を示す図である。
【図21】 符号化データストリームの一部である同期
情報を示す図である。
【図22】 符号化データストリームの全体構成図であ
る。
【図23】 実施の形態に係る画像復号装置の構成図で
ある。
【符号の説明】
10 画像符号化装置、 14 キーフレーム取得部、
16 音声入力部、18 フレーム数特定部、 20
マッチングプロセッサ、 22 ストリーム生成部、
100 画像復号装置、 102 ストリーム入力
部、 104ストリーム解析部、 106 中間画像生
成部、 108 音声復号部、 110 同期調整部、
112 再生部。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA14 GA07 GB21 HA21 JA03 JA22 5C059 KK01 KK36 LB16 PP04 RC24 RC28 RE03 SS12 SS16 TA69 TB01 TC47 UA11

Claims (34)

    【特許請求の範囲】
  1. 【請求項1】 キーフレームを取得する工程と、 取得されたキーフレーム間に人工的に生成すべき中間フ
    レームの枚数を特定する工程と、 取得されたキーフレーム間の対応点情報、および特定さ
    れた枚数を含む形で符号化データを生成する工程と、 を含むことを特徴とする画像符号化方法。
  2. 【請求項2】 動画像と同期して再生すべき音声データ
    を取得する工程と、 取得された音声データを時間軸上の基準として、前記動
    画像に含まれるキーフレームをもとに人工的に生成すべ
    き中間フレームの枚数を特定する工程と、 を含むことを特徴とする画像符号化方法。
  3. 【請求項3】 動画像と同期して再生すべき音声データ
    を取得する工程と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
    記音声データの再生時刻と対応づける工程と、 前記複数のキーフレームのうちそれぞれ隣接しあうキー
    フレームのそれぞれに対応づけられた前記再生時刻の差
    をもとに、それら隣接しあうキーフレーム間に人工的に
    生成すべき中間フレームの枚数を特定する工程と、 を含むことを特徴とする画像符号化方法。
  4. 【請求項4】 前記キーフレームおよび前記枚数を含む
    形で符号化データを生成する工程をさらに含む請求項
    2、3のいずれかに記載の方法。
  5. 【請求項5】 復号時に中間フレームを生成するための
    情報として、キーフレームどうしの対応点情報を生成す
    るマッチング工程をさらに含む請求項2、3のいずれか
    に記載の方法。
  6. 【請求項6】 前記キーフレーム、前記枚数および前記
    対応点情報を含む形で符号化データを生成する工程をさ
    らに含む請求項5に記載の方法。
  7. 【請求項7】 前記再生時刻の差と比例するよう前記枚
    数が特定される請求項3に記載の方法。
  8. 【請求項8】 前記キーフレームと前記音声データの対
    応づけを編集処理におけるユーザの指示を取得すること
    によって実施する請求項3に記載の方法。
  9. 【請求項9】 画像の符号化データを取得する工程と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出する工程とを含み、 前記指示にしたがう枚数の中間フレームが表示されるこ
    とを特徴とする画像復号方法。
  10. 【請求項10】 動画像の符号化データを取得する工程
    と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出する工程と、 前記動画像の中で定められたキーフレームとキーフレー
    ム間の対応点情報をもとに、前記指示にしたがって中間
    フレームを生成する工程と、 を含むことを特徴とする画像復号方法。
  11. 【請求項11】 前記抽出する工程は、前記キーフレー
    ムと前記対応点情報もまた、前記符号化データから抽出
    する請求項10に記載の方法。
  12. 【請求項12】 前記抽出する工程は、前記動画像と同
    期して再生すべき音声データもまた、前記符号化データ
    から抽出する請求項10、11のいずれかに記載の方
    法。
  13. 【請求項13】 前記音声データと前記キーフレームお
    よび前記中間フレームを同期して再生する工程をさらに
    含む請求項12に記載の方法。
  14. 【請求項14】 キーフレーム取得部と、 取得されたキーフレーム間に人工的に生成すべき中間フ
    レームの枚数を特定するフレーム数特定部と、 取得されたキーフレーム間の対応点情報、および特定さ
    れた枚数を含む形で符号化データを生成するストリーム
    生成部と、 を含むことを特徴とする画像符号化装置。
  15. 【請求項15】 動画像と同期して再生すべき音声デー
    タを取得する音声入力部と、 取得された音声データを時間軸上の基準として、前記動
    画像に含まれるキーフレームをもとに人工的に生成すべ
    き中間フレームの枚数を特定するフレーム数特定部と、 を含むことを特徴とする画像符号化装置。
  16. 【請求項16】 動画像と同期して再生すべき音声デー
    タを取得する音声入力部と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
    記音声データの再生時刻と対応づけるとともに、前記複
    数のキーフレームのうちそれぞれ隣接しあうキーフレー
    ムのそれぞれに対応づけられた再生時刻の差をもとに、
    それら隣接しあうキーフレーム間に人工的に生成すべき
    中間フレームの枚数を特定するフレーム数特定部と、 を含むことを特徴とする画像符号化装置。
  17. 【請求項17】 前記キーフレームおよび前記枚数を含
    む形で符号化データを生成するストリーム生成部をさら
    に含む請求項15、16のいずれかに記載の装置。
  18. 【請求項18】 復号時に中間フレームを生成するため
    の情報として、キーフレームどうしの対応点情報を生成
    するマッチングプロセッサをさらに含む請求項15、1
    6のいずれかに記載の装置。
  19. 【請求項19】 前記キーフレーム、前記枚数および前
    記対応点情報を含む形で符号化データを生成するストリ
    ーム生成部をさらに含む請求項18に記載の装置。
  20. 【請求項20】 前記キーフレーム取得部と前記音声入
    力部は、ユーザの指示を入力するためのオーサリングツ
    ールとしての機能を備えた請求項15に記載の装置。
  21. 【請求項21】 前記再生時刻の差と比例するよう前記
    枚数が特定される請求項16に記載の装置。
  22. 【請求項22】 画像の符号化データを取得する画像入
    力部と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出するフレーム数抽出部とを含み、 前記指示にしたがう枚数の中間フレームが表示されるこ
    とを特徴とする画像復号装置。
  23. 【請求項23】 動画像の符号化データを取得する画像
    入力部と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出するストリーム解析部と、 前記動画像の中で定められたキーフレームとキーフレー
    ム間の対応点情報をもとに、前記指示にしたがって中間
    フレームを生成する中間画像生成部と、 を含むことを特徴とする画像復号装置。
  24. 【請求項24】 前記ストリーム解析部は、前記キーフ
    レームと前記対応点情報もまた、前記符号化データから
    抽出する請求項23に記載の装置。
  25. 【請求項25】 前記ストリーム解析部は、前記動画像
    と同期して再生すべき音声データもまた、前記符号化デ
    ータから抽出する請求項23、24のいずれかに記載の
    装置。
  26. 【請求項26】 前記音声データと前記キーフレームお
    よび前記中間フレームを同期して再生する再生部をさら
    に含む請求項25に記載の装置。
  27. 【請求項27】 キーフレームを取得する工程と、 取得されたキーフレーム間に人工的に生成すべき中間フ
    レームの枚数を特定する工程と、 取得されたキーフレーム間の対応点情報、および特定さ
    れた枚数を含む形で符号化データを生成する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
  28. 【請求項28】 動画像と同期して再生すべき音声デー
    タを取得する工程と、 取得された音声データを時間軸上の基準として、前記動
    画像に含まれるキーフレームをもとに人工的に生成すべ
    き中間フレームの枚数を特定する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
  29. 【請求項29】 動画像と同期して再生すべき音声デー
    タを取得する工程と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
    記音声データの再生時刻と対応づける工程と、 前記複数のキーフレームのうちそれぞれ隣接しあうキー
    フレームのそれぞれに対応づけられた前記再生時刻の差
    をもとに、それら隣接しあうキーフレーム間に人工的に
    生成すべき中間フレームの枚数を特定する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
  30. 【請求項30】 画像の符号化データを取得する工程
    と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
  31. 【請求項31】 動画像の符号化データを取得する工程
    と、 その符号化データから少なくとも中間フレームの枚数に
    関する指示を抽出する工程と、 前記動画像の中で定められたキーフレームとキーフレー
    ム間の対応点情報をもとに、前記指示にしたがって中間
    フレームを生成する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
  32. 【請求項32】 動画像の符号化データを取得する工程
    と、 その符号化データから復号される動画像と同期して再生
    すべき音声データを抽出する工程と、 前記動画像に含まれるキーフレームと前記音声データの
    再生タイミングに関する指示をもとに、人工的に生成す
    べき中間フレームの数を算出する工程と、 を含むことを特徴とする画像復号方法。
  33. 【請求項33】 動画像の符号化データを取得する画像
    入力部と、 その符号化データから復号される動画像と同期して再生
    すべき音声データを抽出するストリーム解析部とを含
    み、 このストリーム解析部は、前記動画像に含まれるキーフ
    レームと前記音声データの再生タイミングに関する表示
    をもとに、人工的に生成すべき中間フレームの数を算出
    することを特徴とする画像復号装置。
  34. 【請求項34】 動画像の符号化データを取得する工程
    と、 その符号化データから復号される動画像と同期して再生
    すべき音声データを抽出する工程と、 前記動画像に含まれるキーフレームと前記音声データの
    再生タイミングに関する表示をもとに、人工的に生成す
    べき中間フレームの数を算出する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
    ュータプログラム。
JP2001290226A 2001-09-21 2001-09-21 画像符号化方法と装置および画像復号方法と装置 Expired - Fee Related JP3827981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001290226A JP3827981B2 (ja) 2001-09-21 2001-09-21 画像符号化方法と装置および画像復号方法と装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001290226A JP3827981B2 (ja) 2001-09-21 2001-09-21 画像符号化方法と装置および画像復号方法と装置

Publications (2)

Publication Number Publication Date
JP2003102015A true JP2003102015A (ja) 2003-04-04
JP3827981B2 JP3827981B2 (ja) 2006-09-27

Family

ID=19112569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001290226A Expired - Fee Related JP3827981B2 (ja) 2001-09-21 2001-09-21 画像符号化方法と装置および画像復号方法と装置

Country Status (1)

Country Link
JP (1) JP3827981B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042912A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp グラフィカルユーザインタフェース装置
JP2011165197A (ja) * 2011-02-24 2011-08-25 Seiko Epson Corp グラフィカルユーザインタフェース装置
JP2014064178A (ja) * 2012-09-21 2014-04-10 Casio Comput Co Ltd 動画再生装置、動画再生方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042912A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp グラフィカルユーザインタフェース装置
JP4692529B2 (ja) * 2007-08-07 2011-06-01 セイコーエプソン株式会社 グラフィカルユーザインタフェース装置
US8726156B2 (en) 2007-08-07 2014-05-13 Seiko Epson Corporation Graphical user interface device
JP2011165197A (ja) * 2011-02-24 2011-08-25 Seiko Epson Corp グラフィカルユーザインタフェース装置
JP2014064178A (ja) * 2012-09-21 2014-04-10 Casio Comput Co Ltd 動画再生装置、動画再生方法、及びプログラム

Also Published As

Publication number Publication date
JP3827981B2 (ja) 2006-09-27

Similar Documents

Publication Publication Date Title
JP3889233B2 (ja) 画像符号化方法と装置および画像復号方法と装置
WO2005122593A1 (ja) 動画符号化方法および動画復号方法
JP2002271788A (ja) 画像符号化方法と装置および画像復号方法および装置
JP2003018602A (ja) 画像データ符号化および復号のための方法および装置
JP4050472B2 (ja) 画像生成方法、装置およびシステム
JP4157686B2 (ja) 画像符号化および復号のための方法および装置
JP4039858B2 (ja) 画像マッチング方法と装置、および画像符号化方法と装置
JP2003037842A (ja) 画像符号化方法、復号方法および画像符号化装置、復号装置
JP2003102015A (ja) 画像符号化方法と装置および画像復号方法と装置
JP2007122751A (ja) 画像処理のための方法、装置、プログラム
JP2002232838A (ja) デジタルカメラ
JP2002190020A (ja) 映像効果方法および装置
JP2004048116A (ja) 画像データ符号化および復号のための方法および装置
US6959040B2 (en) Method and apparatus for coding and decoding image data with synchronized sound data
JP2002230575A (ja) 映像効果方法および装置
JP4524412B2 (ja) 画像符号化方法、復号方法および画像符号化装置、復号装置
JP2003032639A (ja) 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法
JP2003018557A (ja) 画像処理方法および装置
JP3839353B2 (ja) 画像符号化方法と装置および画像復号方法および装置
JP2003274399A (ja) 画像符号化方法と装置、画像復号方法と装置
JP2003032687A (ja) 画像処理方法および装置
JP3828048B2 (ja) 画像符号化方法と装置および画像復号方法および装置
JP2003143541A (ja) 画像編集方法および装置
JP2003143542A (ja) 画像編集方法および装置
JP2004048595A (ja) 画像符号化方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050621

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060705

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees