JP2003102015A - 画像符号化方法と装置および画像復号方法と装置 - Google Patents
画像符号化方法と装置および画像復号方法と装置Info
- Publication number
- JP2003102015A JP2003102015A JP2001290226A JP2001290226A JP2003102015A JP 2003102015 A JP2003102015 A JP 2003102015A JP 2001290226 A JP2001290226 A JP 2001290226A JP 2001290226 A JP2001290226 A JP 2001290226A JP 2003102015 A JP2003102015 A JP 2003102015A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frames
- moving image
- key
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
画質を実現する符号化および復号技術を提供する。 【解決手段】 キーフレーム取得部14はキーフレーム
を取得する。音声入力部16は音声データを入力する。
音声の同期ポイントに対して、同期して再生すべきフレ
ームを指定し、これをキーフレームとする。フレーム数
特定部18はキーフレーム間に生成すべき中間フレーム
の数を同期ポイントの間隔をもとに計算する。ストリー
ム生成部22は、前記枚数を含む形で符号化データスト
リームCIを生成する。
Description
関し、とくに動画の圧縮を中心とする画像の符号化およ
び復号方法と装置に関する。
EG(Moving Picture Experts Group)は、CDなどス
トレージメディアからネットワークや放送などの伝送メ
ディアへとそのターゲットエリアが広がった。放送のデ
ジタル化はMPEGを中心とする圧縮符号化技術なしに
考えることはできない。放送と通信の垣根が崩れ、サー
ビス事業者の多様化は必須になり、ブロードバンド時代
にデジタル文化がいかなる進展を遂げるか、予測がつき
にくい状況にある。
も、動画の圧縮技術に関する方向性について確かなこと
がある。すなわち、より高い圧縮率と画質の両立であ
る。MPEGは周知のごとく高圧縮化をブロック歪みが
阻むことがある。
ものであり、その目的は、良好な動画の圧縮技術を提供
することにある。本発明の別の目的は、画像の圧縮のみ
ならず、音声と画像の同期再生に配慮した技術を提供す
ることにある。
技術および画像符号化技術は、主に通常の動画について
説明するが、モーフィング、ウォークスルーなどの映像
効果など、用途は狭義の動画に限られない。また、2枚
の静止画像からその中間画像を生成してこれを動画とし
て生成する場合も、もとの画像を「動画像」と認識また
は表現してよいものとする。
る。この方法は、キーフレームを取得する工程と、取得
されたキーフレーム間に人工的に生成すべき中間フレー
ムの枚数を特定する工程と、取得されたキーフレーム間
の対応点情報、および特定された枚数を含む形で符号化
データを生成する工程とを含む。「フレーム」は表示を
意識した画像の単位ではあるが、以下特に必要がない限
り、これと「画像」を区別しない。「特定する工程」と
は、ソフトウエアやハードウエアによって自動的に算出
する工程、ユーザによる指示を取得して利用する工程な
ど、その形態にはいろいろある。
り、動画像と同期して再生すべき音声データを取得する
工程と、取得された音声データを時間軸上の基準とし
て、前記動画像に含まれるキーフレームをもとに人工的
に生成すべき中間フレームの枚数を特定する工程とを含
む。「音声データを時間軸上の基準として」とは、再生
時刻などの時間的側面において、中間フレームその他の
画像フレームよりも音声データを優先させることをいう
が、これは音声データ自体を時間軸上で操作または変更
してはいけないという意味ではない。
間フレームの枚数を指定できるという直接的な効果のほ
か、音声データの再生タイミングに合わせて中間フレー
ムを生成でき、時間的な変動が人間に知覚されやすい音
声の再生時刻を正しく設定したうえで、画像の再生時刻
のほうをそれに合わせて操作することができる。
り、動画像と同期して再生すべき音声データを取得する
工程と、前記動画像に含まれる複数のキーフレームをそ
れぞれ前記音声データの再生時刻と対応づける工程と、
前記複数のキーフレームのうちそれぞれ隣接しあうキー
フレームのそれぞれに対応づけられた前記再生時刻の差
をもとに、それら隣接しあうキーフレーム間に人工的に
生成すべき中間フレームの枚数を特定する工程とを含
む。「再生時刻」は必ずしも絶対時刻でなくともよく、
再生時の所定の時刻からの相対時間であってもよい。
に関する。この方法は、画像の符号化データを取得する
工程と、その符号化データから少なくとも中間フレーム
の枚数に関する指示を抽出する工程とを含み、前記指示
にしたがう枚数の中間フレームが表示される。
関し、動画像の符号化データを取得する工程と、その符
号化データから少なくとも中間フレームの枚数に関する
指示を抽出する工程と、前記動画像の中で定められたキ
ーフレームとキーフレーム間の対応点情報をもとに、前
記指示にしたがって中間フレームを生成する工程とを含
む。
置に関する。この装置は、キーフレーム取得部と、取得
されたキーフレーム間に人工的に生成すべき中間フレー
ムの枚数を特定するフレーム数特定部と、取得されたキ
ーフレーム間の対応点情報、および特定された枚数を含
む形で符号化データを生成するストリーム生成部とを含
む。
置に関する。この装置は、動画像と同期して再生すべき
音声データを取得する音声入力部と、取得された音声デ
ータを時間軸上の基準として、前記動画像に含まれるキ
ーフレームをもとに人工的に生成すべき中間フレームの
枚数を特定するフレーム数特定部とを含む。
置に関する。この装置は、動画像と同期して再生すべき
音声データを取得する音声入力部と、前記動画像に含ま
れる複数のキーフレームをそれぞれ前記音声データの再
生時刻と対応づけるとともに、前記複数のキーフレーム
のうちそれぞれ隣接しあうキーフレームのそれぞれに対
応づけられた再生時刻の差をもとに、それら隣接しあう
キーフレーム間に人工的に生成すべき中間フレームの枚
数を特定するフレーム数特定部とを含む。
び枚数を含む形で符号化データを生成するストリーム生
成部を備えてもよい。また、復号時に中間フレームを生
成するための情報として、キーフレームどうしの対応点
情報を生成するマッチングプロセッサを備えてもよい。
ストリーム生成部は、キーフレーム、枚数および対応点
情報を含む形で符号化データを生成してもよい。再生時
刻の差と比例するよう枚数が特定されてもよい。
関する。この装置は、画像の符号化データを取得する画
像入力部と、その符号化データから少なくとも中間フレ
ームの枚数に関する指示を抽出するフレーム数抽出部と
を含み、その指示にしたがう枚数の中間フレームが表示
される。
に関する。この装置は、動画像の符号化データを取得す
る画像入力部と、その符号化データから少なくとも中間
フレームの枚数に関する指示を抽出するストリーム解析
部と、前記動画像の中で定められたキーフレームとキー
フレーム間の対応点情報をもとに、前記指示にしたがっ
て中間フレームを生成する中間画像生成部とを含む。
点情報もまた符号化データから抽出してもよい。また、
動画像と同期して再生すべき音声データも符号化データ
から抽出してもよい。この装置はさらに、音声データと
キーフレームおよび中間フレームを同期して再生する再
生部を備えてもよい。
に関する。この方法は、動画像の符号化データを取得す
る工程と、その符号化データから復号される動画像と同
期して再生すべき音声データを抽出する工程と、その動
画像に含まれるキーフレームと音声データの再生タイミ
ングに関する表示をもとに、人工的に生成すべき中間フ
レームの数を算出する工程とを含む。
側で計算される。このため、音声データとキーフレーム
の再生タイミングに関する表示、たとえば、音声データ
の再生時刻Ti(i=0,1,2,...)において動
画像のフレーム番号Fi(i=0,1,2,...)が
同期して再生される旨の表示があるとする。いま、表示
装置の毎秒の表示フレーム数をnとすると、例えば時刻
T2からT3の間に表示すべきフレーム数はn(T3−
T2)である。このため、キーフレームF2とF3の間
にn(T3−T2)−1枚の中間フレームが生成されれ
ば、音声が表示のタイミングと合う。これがフレーム数
計算の一例である。
に関する。この装置は、動画像の符号化データを取得す
る画像入力部と、その符号化データから復号される動画
像と同期して再生すべき音声データを抽出するストリー
ム解析部とを含み、このストリーム解析部は、動画像に
含まれるキーフレームと音声データの再生タイミングに
関する表示をもとに、人工的に生成すべき中間フレーム
の数を算出する。この態様では、中間フレームの生成枚
数を復号側で決定できる。
替えたり、方法と装置の間で表現を一部または全部入れ
替え、または追加したり、表現をコンピュータプログラ
ム、記録媒体等に変更したものもまた、本発明として有
効である。
多重解像度特異点フィルタ技術とそれを用いた画像マッ
チング処理を「前提技術」として詳述する。これらの技
術は本出願人がすでに特許第2927350号を得てい
る技術であり、本発明との組合せに最適である。ただ
し、実施の形態で採用可能な画像マッチング技術はこれ
に限られない。図18以降、前提技術を利用した画像デ
ータ符号化および復号技術を具体的に説明する。[前提
技術の背景]最初に[1]で前提技術の要素技術の詳述
し、[2]で処理手順を具体的に説明する。さらに
[3]で実験の結果を報告する。
導入し、画像間のマッチングを正確に計算する。オブジ
ェクトに関する予備知識は一切不要である。画像間のマ
ッチングの計算は、解像度の階層を進む間、各解像度に
おいて計算される。その際、粗いレベルから精細なレベ
ルへと順に解像度の階層を辿っていく。計算に必要なパ
ラメータは、人間の視覚システムに似た動的計算によっ
て完全に自動設定される。画像間の対応点を人手で特定
する必要はない。
フィング、物体認識、立体写真測量、ボリュームレンダ
リング、少ないフレームからの滑らかな動画の生成など
に応用できる。モーフィングに用いる場合、与えられた
画像を自動的に変形することができる。ボリュームレン
ダリングに用いる場合、断面間の中間的な画像を正確に
再構築することができる。断面間の距離が遠く、断面の
形状が大きく変化する場合でも同様である。
像度を落としながら、しかも画像に含まれる各特異点の
輝度及び位置を保存することができる。ここで画像の幅
をN、高さをMとする。以下簡単のため、N=M=2n
(nは自然数)と仮定する。また、区間[0,N]⊂R
をIと記述する。(i,j)における画像の画素をp
(i,j)と記述する(i,j∈I)。
化された画像群は多重解像度フィルタで生成される。多
重解像度フィルタは、もとの画像に対して二次元的な探
索を行って特異点を検出し、検出された特異点を抽出し
てもとの画像よりも解像度の低い別の画像を生成する。
ここで第mレベルにおける各画像のサイズは2m×2 m
(0≦m≦n)とする。特異点フィルタは次の4種類の
新たな階層画像をnから下がる方向で再帰的に構築す
る。
ジ)と呼ぶ。minx≦t ≦x+1、max
x≦t≦x+1をそれぞれα及びβと記述すると、副画
像はそれぞれ以下のように記述できる。
考えられる。副画像はそれぞれ特異点に対応している。
これらの式から明らかなように、特異点フィルタはもと
の画像について2×2画素で構成されるブロックごとに
特異点を検出する。その際、各ブロックのふたつの方
向、つまり縦と横について、最大画素値または最小画素
値をもつ点を探索する。画素値として、前提技術では輝
度を採用するが、画像に関するいろいろな数値を採用す
ることができる。ふたつの方向の両方について最大画素
値となる画素は極大点、ふたつの方向の両方について最
小画素値となる画素は極小点、ふたつの方向の一方につ
いて最大画素値となるとともに、他方について最小画素
値となる画素は鞍点として検出される。
出された特異点の画像(ここでは1画素)でそのブロッ
クの画像(ここでは4画素)を代表させることにより、
画像の解像度を落とす。特異点の理論的な観点からすれ
ば、α(x)α(y)は極小点を保存し、β(x)β
(y)は極大点を保存し、α(x)β(y)及びβ
(x)α(y)は鞍点を保存する。
ース)画像と終点(デスティネーション)画像に対して
別々に特異点フィルタ処理を施し、それぞれ一連の画像
群、すなわち始点階層画像と終点階層画像を生成してお
く。始点階層画像と終点階層画像は、特異点の種類に対
応してそれぞれ4種類ずつ生成される。
層画像と終点階層画像のマッチングがとれらていく。ま
ずp(m,0)を用いて極小点のマッチングがとられ
る。次に、その結果に基づき、p(m,1)を用いて鞍
点のマッチングがとられ、p( m,2)を用いて他の鞍
点のマッチングがとられる。そして最後にp(m,3)
を用いて極大点のマッチングがとられる。
(a)と図1(b)の副画像p(5, 0)を示してい
る。同様に、図1(e)と図1(f)はp(5,1)、
図1(g)と図1(h)はp(5,2)、図1(i)と
図1(j)はp(5,3)をそれぞれ示している。これ
らの図からわかるとおり、副画像によれば画像の特徴部
分のマッチングが容易になる。まずp(5,0)によっ
て目が明確になる。目は顔の中で輝度の極小点だからで
ある。p(5,1)によれば口が明確になる。口は横方
向で輝度が低いためである。p(5,2)によれば首の
両側の縦線が明確になる。最後に、p(5,3)によっ
て耳や頬の最も明るい点が明確になる。これらは輝度の
極大点だからである。
できるため、例えばカメラで撮影された画像の特徴と、
予め記録しておいたいくつかのオブジェクトの特徴を比
較することにより、カメラに映った被写体を識別するこ
とができる。
と書き、同じく終点画像の位置(k,l)の画素をq
(n) (k,l)で記述する。i,j,k,l∈Iとす
る。画像間の写像のエネルギー(後述)を定義する。こ
のエネルギーは、始点画像の画素の輝度と終点画像の対
応する画素の輝度の差、及び写像の滑らかさによって決
まる。最初に最小のエネルギーを持つp(m,0)とq
(m,0)間の写像f(m,0):p(m,0)→q
(m,0)が計算される。f(m,0 )に基づき、最小
エネルギーを持つp(m,1)、q(m,1)間の写像
f(m ,1)が計算される。この手続は、p(m,3)
とq(m,3)の間の写像f( m,3)の計算が終了す
るまで続く。各写像f(m,i)(i=0,1,2,
…)を副写像と呼ぶことにする。f(m,i)の計算の
都合のために、iの順序は次式のように並べ替えること
ができる。並べ替えが必要な理由は後述する。
場合、その写像は両画像間で全単射条件を満たすべきで
ある。両画像に概念上の優劣はなく、互いの画素が全射
かつ単射で接続されるべきだからである。しかしながら
通常の場合とは異なり、ここで構築すべき写像は全単射
のディジタル版である。前提技術では、画素は格子点に
よって特定される。
副画像)から終点副画像(終点画像について設けられた
副画像)への写像は、f(m,s):I/2n−m×I
/2 n−m→I/2n−m×I/2n−m(s=0,
1,…)によって表される。ここで、f
(m,s)(i,j)=(k,l)は、始点画像のp
(m,s) (i, j)が終点画像のq(m,s)
(k,l)に写像されることを意味する。簡単のため
に、f(i,j)=(k,l)が成り立つとき画素q
(k,l)をqf(i ,j)と記述する。
ータが離散的な場合、全単射の定義は重要である。ここ
では以下のように定義する(i,i’,j,j’,k,
lは全て整数とする)。まず始めに、始点画像の平面に
おいてRによって表記される各正方形領域、
1)。ここでRの各辺(エッジ)の方向を以下のように
定める。
形に写像されなければならない。f(m,s)(R)に
よって示される四辺形、
互いに交差しない。 2.f(m,s)(R)のエッジの方向はRのそれらに
等しい(図2の場合、時計回り)。 3.緩和条件として収縮写像(リトラクション:retrac
tions)を許す。
射条件を完全に満たす写像は単位写像しかないためであ
る。ここではf(m,s)(R)のひとつのエッジの長
さが0、すなわちf(m,s)(R)は三角形になって
もよい。しかし、面積が0となるような図形、すなわち
1点または1本の線分になってはならない。図2(R)
がもとの四辺形の場合、図2(A)と図2(D)は全単
射条件を満たすが、図2(B)、図2(C)、図2
(E)は満たさない。
が全射であることを容易に保証すべく、さらに以下の条
件を課してもよい。つまり始点画像の境界上の各画素
は、終点画像において同じ位置を占める画素に写影され
るというものである。すなわち、f(i,j)=(i,
j)(ただしi=0,i=2m−1,j=0,j=2m
−1の4本の線上)である。この条件を以下「付加条
件」とも呼ぶ。
る写像を探すことが目的である。エネルギーは主に、始
点画像の画素の輝度とそれに対応する終点画像の画素の
輝度の差で決まる。すなわち、写像f(m,s)の点
(i,j)におけるエネルギーC(m,s) (i,j)
は次式によって定まる。
(m,s) f(i,j))はそれぞれ画素p(m,s)
(i,j)及びq(m,s) f(i,j)の輝度であ
る。fのトータルのエネルギーC(m,s)は、マッチ
ングを評価するひとつの評価式であり、つぎに示すC
(m,s) (i,j)の合計で定義できる。
関するコスト 滑らかな写像を得るために、写像に関する別のエネルギ
ーDfを導入する。このエネルギーは画素の輝度とは関
係なく、p(m,s) (i,j)およびq(m ,s)
f(i,j)の位置によって決まる(i=0,…,2m
−1,j=0,…,2m−1)。点(i,j)における
写像f(m,s)のエネルギーD(m,s ) (i,j)
は次式で定義される。
た、
j’)は0と決める。E0は(i,j)及びf(i,
j)の距離で決まる。E0は画素があまりにも離れた画
素へ写影されることを防ぐ。ただしE0は、後に別のエ
ネルギー関数で置き換える。E1は写像の滑らかさを保
証する。E1は、p(i,j)の変位とその隣接点の変
位の間の隔たりを表す。以上の考察をもとに、マッチン
グを評価する別の評価式であるエネルギーDfは次式で
定まる。
る総合評価式はλC( m,s) f+D(m,s) fで定
義される。ここで係数パラメータλは0以上の実数であ
る。目的は総合評価式が極値をとる状態を検出するこ
と、すなわち次式で示す最小エネルギーを与える写像を
見いだすことである。
注意すべきである(すなわち、全てのi=0,…,2m
−1及びj=0,…,2m−1に対してf
(m ,s)(i,j)=(i,j)となる)。後述のご
とく、本前提技術では最初にλ=0及びη=0の場合を
評価するため、写像を単位写像から徐々に変形していく
ことができる。仮に総合評価式のλの位置を変えてC
(m,s) f+λD(m ,s) fと定義したとすれば、
λ=0及びη=0の場合に総合評価式がC(m, s) f
だけになり、本来何等関連のない画素どうしが単に輝度
が近いというだけで対応づけられ、写像が無意味なもの
になる。そうした無意味な写像をもとに写像を変形して
いってもまったく意味をなさない。このため、単位写像
が評価の開始時点で最良の写像として選択されるよう係
数パラメータの与えかたが配慮されている。
画素の輝度の差と滑らかさを考慮する。しかし、オプテ
ィカルフローは画像の変換に用いることはできない。オ
ブジェクトの局所的な動きしか考慮しないためである。
前提技術に係る特異点フィルタを用いることによって大
域的な対応関係を検出することができる。
像の決定 最小エネルギーを与え、全単射条件を満足する写像f
minを多重解像度の階層を用いて求める。各解像度レ
ベルにおいて始点副画像及び終点副画像間の写像を計算
する。解像度の階層の最上位(最も粗いレベル)からス
タートし、各解像度レベルの写像を、他のレベルの写像
を考慮に入れながら決定する。各レベルにおける写像の
候補の数は、より高い、つまりより粗いレベルの写像を
用いることによって制限される。より具体的には、ある
レベルにおける写像の決定に際し、それよりひとつ粗い
レベルにおいて求められた写像が一種の拘束条件として
課される。
(m−1,s) (i’, j’)をそれぞれp(m,s)
(i,j)、q(m,s) (i,j)のparentと
呼ぶことにする。[x]はxを越えない最大整数であ
る。またp(m,s ) (i,j)、q(m,s)
(i,j)をそれぞれ
p(m−1,s) (i’,j ’)、q(m−1,s)
(i’,j’)のchildと呼ぶ。関数parent
(i,j)は次式で定義される。
の写像f(m,s)は、エネルギー計算を行って最小に
なったものを見つけることで決定される。f( m,s)
(i,j)=(k,l)の値はf(m−1,s)(m=
1,2,…,n)を用いることによって、以下のように
決定される。まず、q(m,s) (k, l)は次の四辺
形の内部になければならないという条件を課し、全単射
条件を満たす写像のうち現実性の高いものを絞り込む。
(i,j)の相続(inherited)四辺形と呼ぶことにす
る。相続四辺形の内部において、エネルギーを最小にす
る画素を求める。
いて、始点画像のA,B,C,Dの画素は、第m−1レ
ベルにおいてそれぞれ終点画像のA’,B’,C’,
D’へ写影される。画素p(m,s) (i,j)は、相
続四辺形A’B’C’D’の内部に存在する画素q
(m,s) f(m)(i,j)へ写影されなければなら
ない。以上の配慮により、第m−1レベルの写像から第
mレベルの写像への橋渡しがなされる。
ルにおける副写像f(m,0)を計算するために、次式
に置き換える。
いる。
像が得られる。式20により、異なる特異点に対応する
副写像が、副写像どうしの類似度が高くなるように同一
レベル内で関連づけられる。式19は、f
(m,s)(i,j)と、第m−1レベルの画素の一部
と考えた場合の(i,j)が射影されるべき点の位置と
の距離を示している。
に全単射条件を満たす画素が存在しない場合は以下の措
置をとる。まず、A’B’C’D’の境界線からの距離
がL(始めはL=1)である画素を調べる。それらのう
ち、エネルギーが最小になるものが全単射条件を満たせ
ば、これをf(m,s)(i,j)の値として選択す
る。そのような点が発見されるか、またはLがその上限
のL(m)maxに到達するまで、Lを大きくしてい
く。L(m)maxは各レベルmに対して固定である。
そのような点が全く発見されない場合、全単射の第3の
条件を一時的に無視して変換先の四辺形の面積がゼロに
なるような写像も認め、f(m,s)(i,j)を決定
する。それでも条件を満たす点が見つからない場合、つ
ぎに全単射の第1及び第2条件を外す。
の細部に影響されることを回避しつつ、画像間の大域的
な対応関係を決定するために必須である。多重解像度に
よる近似法を用いなければ、距離の遠い画素間の対応関
係を見いだすことは不可能である。その場合、画像のサ
イズはきわめて小さなものに限定しなければならず、変
化の小さな画像しか扱うことができない。さらに、通常
写像に滑らかさを要求するため、そうした画素間の対応
関係を見つけにくくしている。距離のある画素から画素
への写像のエネルギーは高いためである。多重解像度を
用いた近似法によれば、そうした画素間の適切な対応関
係を見いだすことができる。それらの距離は、解像度の
階層の上位レベル(粗いレベル)において小さいためで
ある。
タ調整の困難さがある。大抵の場合、パラメータの調整
は人手作業によって行われ、最適な値を選択することは
きわめて難しい。前提技術に係る方法によれば、最適な
パラメータ値を完全に自動決定することができる。
ータ、λ及びηを含む。端的にいえば、λは画素の輝度
の差の重みであり、ηは写像の剛性を示している。これ
らのパラメータの値は初期値が0であり、まずη=0に
固定してλを0から徐々に増加させる。λの値を大きく
しながら、しかも総合評価式(式14)の値を最小にす
る場合、各副写像に関するC(m,s) fの値は一般に
小さくなっていく。このことは基本的にふたつの画像が
よりマッチしなければならないことを意味する。しか
し、λが最適値を超えると以下の現象が発生する。
が、単に輝度が近いというだけで誤って対応づけられ
る。 2.その結果、画素どうしの対応関係がおかしくなり、
写像がくずれはじめる。
(m,s) fが急激に増加しようとする。 4.その結果、式14の値が急激に増加しようとするた
め、D(m,s) fの急激な増加を抑制するようf
(m,s)が変化し、その結果C(m,s) fが増加す
る。したがって、λを増加させながら式14が最小値を
とるという状態を維持しつつC(m,s) fが減少から
増加に転じる閾値を検出し、そのλをη=0における最
適値とする。つぎにηを少しづつ増やしてC(m,s)
fの挙動を検査し、後述の方法でηを自動決定する。そ
のηに対応してλも決まる。
構の動作に似ている。人間の視覚システムでは、一方の
目を動かしながら左右両目の画像のマッチングがとられ
る。オブジェクトがはっきりと認識できるとき、その目
が固定される。
わる度に副写像が評価される。式14のごとく、総エネ
ルギーはλC(m,s) f+D(m,s) fによって定
義される。式9のD(m,s) fは滑らかさを表すもの
で、理論的には単位写像の場合に最小になり、写像が歪
むほどE0もE1も増加していく。E1は整数であるか
ら、D(m,s) fの最小刻み幅は1である。このた
め、現在のλC(m,s) (i,j)の変化(減少量)
が1以上でなければ、写像を変化させることによって総
エネルギーを減らすことはできない。なぜなら、写像の
変化に伴ってD(m,s) fは1以上増加するため、λ
C(m,s) (i,j)が1以上減少しない限り総エネ
ルギーは減らないためである。
場合にC(m,s) (i,j)が減少することを示す。
C(m,s) (i,j)のヒストグラムをh(l)と記
述する。h(l)はエネルギーC(m,s) (i,j)
がl2である画素の数である。λl2≧1が成り立つた
めに、例えばl2=1/λの場合を考える。λがλ1か
らλ2まで微小量変化するとき、
では仮に、これらの画素のエネルギーがすべてゼロにな
ると近似している。この式はC(m,s) fの値が、
(m,s) fは減少する。しかし、λが最適値を越えよ
うとするとき、上述の現象、つまりC(m,s) fの増
加が発生する。この現象を検出することにより、λの最
適値を決定する。
き、
数)。
て、全単射条件を破る画素の数を検査してもよい。ここ
で各画素の写像を決定する際、全単射条件を破る確率を
p0と仮定する。この場合、
の率で増加する。
例えば、
急速に増加する。この現象を検出し、B0λ
3/2+k/2/2mの値が異常値B0thresを越
えるかどうかを検査し、λの最適値を決定することがで
きる。同様に、B1λ3/2 +k/2/2mの値が異常
値B1thresを越えるかどうかを検査することによ
り、全単射の第3の条件を破る画素の増加率B1を確認
する。ファクター2mを導入する理由は後述する。この
システムはこれら2つの閾値に敏感ではない。これらの
閾値は、エネルギーC(m,s) fの観察では検出し損
なった写像の過度の歪みを検出するために用いることが
できる。
する際、もしλが0.1を越えたらf(m,s)の計算
は止めてf(m,s+1)の計算に移行した。λ>0.
1のとき、画素の輝度255レベル中のわずか「3」の
違いが副写像の計算に影響したためであり、λ>0.1
のとき正しい結果を得ることは困難だったためである。
ない。全単射及びその第3の条件の検査の際、h(l)
に影響を受けうる。実際に(λ,C(m,s) f)をプ
ロットすると、kは通常1付近にある。実験ではk=1
を用い、B0λ 2とB1λ2を検査した。仮にkの本当
の値が1未満であれば、B0λ2とB1λ2は定数にな
らず、ファクターλ(1−k)/2に従って徐々に増加
する。h(l)が定数であれば、例えばファクターはλ
1/2である。しかし、こうした差は閾値B
0thresを正しく設定することによって吸収するこ
とができる。
0,y0)、半径rの円形のオブジェクトであると仮定
する。
半径がrのオブジェクトであるとする。
心(x0,y0)及び(x1,y1)が十分遠い場合、
ヒストグラムh(l)は次式の形となる。
を持つオブジェクトを示す。このオブジェクトは中心が
暗く、周囲にいくに従って明るくなる。k=−1のと
き、画像は曖昧な境界線を持つオブジェクトを表す。こ
のオブジェクトは中心が最も明るく、周囲にいくに従っ
て暗くなる。一般のオブジェクトはこれらふたつのタイ
プのオブジェクトの中間にあると考えてもさして一般性
を失わない。したがって、kは−1≦k≦1として大抵
の場合をカバーでき、式27が一般に減少関数であるこ
とが保障される。
の解像度に影響されること、すなわちrは2mに比例す
ることに注意すべきである。このために[1.4.1]
においてファクター2mを導入した。
η=0とし、最も細かい解像度における最終的な写像f
(n)及びエネルギーC(n) fを計算する。つづい
て、ηをある値Δηだけ増加させ、再び最も細かい解像
度における最終写像f(n)及びエネルギーC(n) f
を計算し直す。この過程を最適値が求まるまで続ける。
ηは写像の剛性を示す。次式の重みだからである。
定され、現在の副写像は弾性的に変形され、過度に歪む
ことになる。一方、ηが非常に大きな値のとき、D
(n) fは直前の副写像によってほぼ完全に決まる。こ
のとき副写像は非常に剛性が高く、画素は同じ場所に射
影される。その結果、写像は単位写像になる。ηの値が
0から次第に増えるとき、後述のごとくC(n) fは徐
々に減少する。しかしηの値が最適値を越えると、図4
に示すとおり、エネルギーは増加し始める。同図のX軸
はη、Y軸はCfである。
ηの値を得ることができる。しかし、λの場合に比べて
いろいろな要素が計算に影響する結果、C(n) fは小
さく揺らぎながら変化する。λの場合は、入力が微小量
変化するたびに副写像を1回計算しなおすだけだが、η
の場合はすべての副写像が計算しなおされるためであ
る。このため、得られたC(n) fの値が最小であるか
どうかを即座に判断することはできない。最小値の候補
が見つかれば、さらに細かい区間を設定することによっ
て真の最小値を探す必要がある。
に、f(m,s)の値域をR×Rに拡張することができ
る(Rは実数の集合)。この場合、終点画像の画素の輝
度が補間され、非整数点、
スーパーサンプリングが行われる。実験では、f
(m,s)は整数及び半整数値をとることが許され、
んでいるとき、写像の計算に元の画素の輝度がそのまま
では利用しにくい。輝度の差が大きいために輝度に関す
るエネルギーC(m,s) fが大きくなりすぎ、正しい
評価がしずらいためである。
る場合を考える。猫の顔は毛で覆われており、非常に明
るい画素と非常に暗い画素が混じっている。この場合、
ふたつの顔の間の副写像を計算するために、まず副画像
を正規化する。すなわち、最も暗い画素の輝度を0、最
も明るいそれを255に設定し、他の画素の輝度は線形
補間によって求めておく。
納的な方法を用いる。始めに、1番上の左端の画素
(i,j)=(0,0)についてf(m,s)の値を決
定する。次にiを1ずつ増やしながら各f
(m,s)(i,j)の値を決定する。iの値が画像の
幅に到達したとき、jの値を1増やし、iを0に戻す。
以降、始点画像のスキャンに伴いf(m,s)(i,
j)を決定していく。すべての点について画素の対応が
決まれば、ひとつの写像f(m,s)が決まる。
f(i,j)が決まれば、つぎにp(i, j+1)の対
応点qf(i,j+1)が決められる。この際、q
f(i,j+1 )の位置は全単射条件を満たすために、
qf(i,j)の位置によって制限される。したがっ
て、先に対応点が決まる点ほどこのシステムでは優先度
が高くなる。つねに(0,0)が最も優先される状態が
つづくと、求められる最終の写像に余計な偏向が加わ
る。本前提技術ではこの状態を回避するために、f
(m,s)を以下の方法で決めていく。
0)を開始点としi及びjを徐々に増やしながら決めて
いく。(s mod 4)が1の場合、最上行の右端点を
開始点とし、iを減少、jを増加させながら決めてい
く。(s mod 4)が2のとき、最下行の右端点を開
始点とし、i及びjを減少させながら決めていく。(s
mod 4)が3の場合、最下行の左端点を開始点と
し、iを増加、jを減少させながら決めていく。解像度
が最も細かい第nレベルには副写像という概念、すなわ
ちパラメータsが存在しないため、仮にs=0及びs=
2であるとしてふたつの方向を連続的に計算した。
射条件を破る候補に対してペナルティを与えることによ
り、候補(k,l)の中からできる限り全単射条件を満
たすf(m,s)(i,j)(m=0,…,n)の値を
選んだ。第3の条件を破る候補のエネルギーD(k、
l)にはφを掛け、一方、第1または第2の条件を破る
候補にはψを掛ける。今回はφ=2、ψ=100000
を用いた。
際の手続として(k,l)=f(m ,s)(i,j)を
決定する際に以下のテストを行った。すなわちf
(m,s)(i,j)の相続四辺形に含まれる各格子点
(k,l)に対し、次式の外積のz成分が0以上になる
かどうかを確かめる。
直交右手座標系において定義される)。もしWが負であ
れば、その候補についてはD(m,s) (k,l )にψ
を掛けることによってペナルティを与え、できるかぎり
選択しないようにする。
する理由を示している。図5(a)はペナルティのない
候補、図5(b)はペナルティがある候補をそれぞれ表
す。隣接画素(i,j+1)に対する写像f(m,s)
(i,j+1)を決定する際、Wのz成分が負であれば
始点画像平面上において全単射条件を満足する画素は存
在しない。なぜなら、q(m,s) (k,l)は隣接す
る四辺形の境界線を越えるためである。
きにはσ(0)=0、σ(1)=1、σ(2)=2、σ
(3)=3、σ(4)=0を用い、奇数のときはσ
(0)=3、σ(1)=2、σ(2)=1、σ(3)=
0、σ(4)=3を用いた。このことで、副写像を適度
にシャッフルした。なお、本来副写像は4種類であり、
sは0〜3のいずれかである。しかし、実際にはs=4
に相当する処理を行った。その理由は後述する。
あう画素の輝度が補間される。実験では、トライリニア
補間を用いた。始点画像平面における正方形p
(i,j)p(i+1,j)p(i,j+1)p
(i+1,j+1)が終点画像平面上の四辺形q
f(i,j)qf(i+1,j)qf(i,j+1)q
f(i +1,j+1)に射影されると仮定する。簡単の
ため、画像間の距離を1とする。始点画像平面からの距
離がt(0≦t≦1)である中間画像の画素r(x,
y,t)(0≦x≦N−1,0≦y≦M−1)は以下の
要領で求められる。まず画素r(x,y,t)の位置
(ただしx,y,t∈R)を次式で求める。
を用いて決定される。
変化する。
決定を述べた。しかし、始点画像と終点画像の特定の画
素間に予め対応関係が規定されているとき、これを拘束
条件としたうえで写像を決定することができる。
素を終点画像の特定の画素に移す大まかな写像によって
始点画像を大まかに変形し、しかる後、写像fを正確に
計算する。
画像の特定の画素に射影し、始点画像の他の画素を適当
な位置に射影する大まかな写像を決める。すなわち、特
定の画素に近い画素は、その特定の画素が射影される場
所の近くに射影されるような写像である。ここで第mレ
ベルの大まかな写像をF(m)と記述する。
ず、いくつかの画素について写像を特定する。始点画像
についてns個の画素、
=0,…,ns−1)の変位に重み付けをして求められ
る平均である。すなわち画素p(i,j)は、終点画像
の以下の画素に射影される。
り少ないエネルギーを持つように、その写像fのエネル
ギーD(m,s) (i,j)を変更する。正確には、D
(m ,s) (i,j)は、
計算プロセスにより、fを完全に決定する。
(m)(i,j)に十分近いとき、つまりそれらの距離
が、
ことに注意すべきである。そのように定義した理由は、
各f(m,s)(i,j)がF(m)(i,j)に十分近い限
り、終点画像において適切な位置に落ち着くよう、その
値を自動的に決めたいためである。この理由により、正
確な対応関係を詳細に特定する必要がなく、始点画像は
終点画像にマッチするように自動的にマッピングされ
る。
は前提技術の全体手順を示すフローチャートである。同
図のごとく、まず多重解像度特異点フィルタを用いた処
理を行い(S1)、つづいて始点画像と終点画像のマッ
チングをとる(S2)。ただし、S2は必須ではなく、
S1で得られた画像の特徴をもとに画像認識などの処理
を行ってもよい。
ートである。ここではS2で始点画像と終点画像のマッ
チングをとることを前提としている。そのため、まず特
異点フィルタによって始点画像の階層化を行い(S1
0)、一連の始点階層画像を得る。つづいて同様の方法
で終点画像の階層化を行い(S11)、一連の終点階層
画像を得る。ただし、S10とS11の順序は任意であ
るし、始点階層画像と終点階層画像を並行して生成して
いくこともできる。
ャートである。もとの始点画像のサイズは2n×2nと
する。始点階層画像は解像度が細かいほうから順に作ら
れるため、処理の対象となる解像度レベルを示すパラメ
ータmをnにセットする(S100)。つづいて第mレ
ベルの画像p(m,0)、p(m,1)、
p(m,2 )、p(m,3)から特異点フィルタを用い
て特異点を検出し(S101)、それぞれ第m−1レベ
ルの画像p(m−1,0)、p(m−1,1)、p
(m−1 ,2)、p(m−1,3)を生成する(S10
2)。ここではm=nであるため、p(m,0)=p
(m,1)=p(m,2)=p(m,3)=p(n)で
あり、ひとつの始点画像から4種類の副画像が生成され
る。
1レベルの画像の一部の対応関係を示している。同図の
数値は各画素の輝度を示す。同図のp(m,s)はp
(m, 0)〜p(m,3)の4つの画像を象徴するもの
で、p(m−1,0)を生成する場合には、p
(m,s)はp(m,0)であると考える。[1.2]
で示した規則により、p(m−1,0)は例えば同図で
輝度を記入したブロックについて、そこに含まれる4画
素のうち「3」、p(m−1,1)は「8」、p
(m−1 ,2)は「6」、p(m−1,3)を「10」
をそれぞれ取得し、このブロックをそれぞれ取得したひ
とつの画素で置き換える。したがって、第m−1レベル
の副画像のサイズは2m−1×2m−1になる。
03)、mが負になっていないことを確認し(S10
4)、S101に戻ってつぎに解像度の粗い副画像を生
成していく。この繰り返し処理の結果、m=0、すなわ
ち第0レベルの副画像が生成された時点でS10が終了
する。第0レベルの副画像のサイズは1×1である。
層画像をn=3の場合について例示している。最初の始
点画像のみが4つの系列に共通であり、以降特異点の種
類に応じてそれぞれ独立に副画像が生成されていく。な
お、図8の処理は図7のS11にも共通であり、同様の
手順を経て終点階層画像も生成される。以上で図6のS
1による処理が完了する。
ッチング評価の準備をする。図11はその手順を示して
いる。同図のごとく、まず複数の評価式が設定される
(S30)。[1.3.2.1]で導入した画素に関す
るエネルギーC(m,s) fと[1.3.2.2]で導
入した写像の滑らかさに関するエネルギーD(m,s)
fがそれである。つぎに、これらの評価式を統合して総
合評価式を立てる(S31)。[1.3.2.3]で導
入した総エネルギーλC(m,s) f+D(m, s) f
がそれであり、[1.3.2.2]で導入したηを用い
れば、 ΣΣ(λC(m,s) (i,j)+ηE0 (m,s) (i,j)+E1 (m ,s) (i,j) ) (式52) となる。ただし、総和はi、jについてそれぞれ0、1
…、2m−1で計算する。以上でマッチング評価の準備
が整う。
ャートである。[1]で述べたごとく、始点階層画像と
終点階層画像のマッチングは互いに同じ解像度レベルの
画像どうしでとられる。画像間の大域的なマッチングを
良好にとるために、解像度が粗いレベルから順にマッチ
ングを計算する。特異点フィルタを用いて始点階層画像
および終点階層画像を生成しているため、特異点の位置
や輝度は解像度の粗いレベルでも明確に保存されてお
り、大域的なマッチングの結果は従来に比べて非常に優
れたものになる。
0、レベルパラメータmを0に設定する(S20)。つ
づいて、始点階層画像中の第mレベルの4つの副画像と
終点階層画像中の第mレベルの4つの副画像のそれぞれ
の間でマッチングを計算し、それぞれ全単射条件を満た
し、かつエネルギーを最小にするような4種類の副写像
f(m,s)(s=0,1,2,3)を求める(S2
1)。全単射条件は[1.3.3]で述べた相続四辺形
を用いて検査される。この際、式17、18が示すよう
に、第mレベルにおける副写像は第m−1レベルのそれ
らに拘束されるため、より解像度の粗いレベルにおける
マッチングが順次利用されていく。これは異なるレベル
間の垂直的参照である。なお、いまm=0であってそれ
より粗いレベルはないが、この例外的な処理は図13で
後述する。
行われる。[1.3.3]の式20のごとく、f
(m,3)はf(m,2)に、f(m,2)はf
(m,1)に、f (m,1)はf(m,0)に、それぞ
れ類似するように決める。その理由は、特異点の種類が
違っても、それらがもともと同じ始点画像と終点画像に
含まれている以上、副写像がまったく異なるという状況
は不自然だからである。式20からわかるように、副写
像どうしが近いほどエネルギーは小さくなり、マッチン
グが良好とみなされる。
いては同一のレベルで参照できる副写像がないため、式
19に示すごとくひとつ粗いレベルを参照する。ただ
し、実験ではf(m,3)まで求まった後、これを拘束
条件としてf(m,0)を一回更新するという手続をと
った。これは式20にs=4を代入し、f(m,4)を
新たなf(m,0)とすることに等しい。f(m,0)
とf(m,3)の関連度が低くなり過ぎる傾向を回避す
るためであり、この措置によって実験結果がより良好に
なった。この措置に加え、実験では[1.7.1]に示
す副写像のシャッフルも行った。これも本来特異点の種
類ごとに決まる副写像どうしの関連度を密接に保つ趣旨
である。また、処理の開始点に依存する偏向を回避する
ために、sの値にしたがって開始点の位置を変える点は
[1.7]で述べたとおりである。
する様子を示す図である。第0レベルでは各副画像がた
だひとつの画素で構成されるため、4つの副写像
f(0,s )はすべて自動的に単位写像に決まる。図1
4は第1レベルにおいて副写像を決定する様子を示す図
である。第1レベルでは副画像がそれぞれ4画素で構成
される。同図ではこれら4画素が実線で示されている。
いま、p(1,s)の点xの対応点をq(1,s)の中
で探すとき、以下の手順を踏む。
a、右上点b、左下点c、右下点dを求める。 2.点a〜dがひとつ粗いレベル、つまり第0レベルに
おいて属する画素を探す。図14の場合、点a〜dはそ
れぞれ画素A〜Dに属する。ただし、画素A〜Cは本来
存在しない仮想的な画素である。 3.第0レベルですでに求まっている画素A〜Dの対応
点A’〜D’をq(1 ,s)の中にプロットする。画素
A’〜C’は仮想的な画素であり、それぞれ画素A〜C
と同じ位置にあるものとする。 4.画素Aの中の点aの対応点a’が画素A’の中にあ
るとみなし、点a’をプロットする。このとき、点aが
画素Aの中で占める位置(この場合、右下)と、点a’
が画素A’の中で占める位置が同じであると仮定する。 5.4と同様の方法で対応点b’〜d’をプロットし、
点a’〜d’で相続四辺形を作る。 6.相続四辺形の中でエネルギーが最小になるよう、点
xの対応点x’を探す。対応点x’の候補として、例え
ば画素の中心が相続四辺形に含まれるものに限定しても
よい。図14の場合、4つの画素がすべて候補になる。
る。同様の処理を他のすべての点について行い、副写像
を決める。第2レベル以上のレベルでは、次第に相続四
辺形の形が崩れていくと考えられるため、図3に示すよ
うに画素A’〜D’の間隔が空いていく状況が発生す
る。
が決まれば、mをインクリメントし(図12のS2
2)、mがnを超えていないことを確かめて(S2
3)、S21に戻る。以下、S21に戻るたびに次第に
細かい解像度のレベルの副写像を求め、最後にS21に
戻ったときに第nレベルの写像f(n)を決める。この
写像はη=0に関して定まったものであるから、f
(n)(η=0)と書く。
く、ηをΔηだけシフトし、mをゼロクリアする(S2
4)。新たなηが所定の探索打切り値ηmaxを超えて
いないことを確認し(S25)、S21に戻り、今回の
ηに関して写像f(n)(η=Δη)を求める。この処
理を繰り返し、S21でf(n)(η=iΔη)(i=
0,1,…)を求めていく。ηがηmaxを超えたとき
S26に進み、後述の方法で最適なη=ηoptを決定
し、f(n)(η=ηopt)を最終的に写像f (n)
とする。
ーチャートである。このフローチャートにより、ある定
まったηについて、第mレベルにおける副写像が決ま
る。副写像を決める際、前提技術では副写像ごとに最適
なλを独立して決める。
る(S210)。つぎに、そのときのλについて(およ
び暗にηについて)エネルギーを最小にする副写像f
(m, s)を求め(S211)、これをf
(m,s)(λ=0)と書く。異なるλに関する写像も
求めるべく、λをΔλだけシフトし、新たなλが所定の
探索打切り値λmaxを超えていないことを確認し(S
213)、S211に戻り、以降の繰り返し処理でf
(m,s)(λ=iΔλ)(i=0,1,…)を求め
る。λがλ maxを超えたときS214に進み、最適な
λ=λoptを決定し、f(m,s )(λ=λopt)
を最終的に写像f(m,s)とする(S214)。
求めるべく、λをゼロクリアし、sをインクリメントす
る(S215)。sが4を超えていないことを確認し
(S216)、S211に戻る。s=4になれば上述の
ごとくf(m,3)を利用してf(m,0)を更新し、
そのレベルにおける副写像の決定を終了する。
がら求められたf(m,s)(λ=iΔλ)(i=0,
1,…)に対応するエネルギーC(m,s) fの挙動を
示す図である。[1.4]で述べたとおり、λが増加す
ると通常C(m,s) fは減少する。しかし、λが最適
値を超えるとC(m,s) fは増加に転じる。そこで本
前提技術ではC(m,s) fが極小値をとるときのλを
λoptと決める。同図のようにλ>λoptの範囲で
再度C(m,s) fが小さくなっていっても、その時点
ではすでに写像がくずれていて意味をなさないため、最
初の極小点に注目すればよい。λoptは副写像ごとに
独立して決めていき、最後にf(n)についてもひとつ
定まる。
たf(n)(η=iΔη)(i=0,1,…)に対応す
るエネルギーC(n) fの挙動を示す図である。ここで
もηが増加すると通常C(n) fは減少するが、ηが最
適値を超えるとC(n) fは増加に転じる。そこでC
(n) fが極小値をとるときのηをηoptと決める。
図17は図4の横軸のゼロ付近を拡大した図と考えてよ
い。ηoptが決まればf(n)を最終決定することが
できる。
が得られる。まずエッジを検出する必要がないため、エ
ッジ検出タイプの従来技術の課題を解消できる。また、
画像に含まれるオブジェクトに対する先験的な知識も不
要であり、対応点の自動検出が実現する。特異点フィル
タによれば、解像度の粗いレベルでも特異点の輝度や位
置を維持することができ、オブジェクト認識、特徴抽
出、画像マッチングに極めて有利である。その結果、人
手作業を大幅に軽減する画像処理システムの構築が可能
となる。
技術も考えられる。 (1)前提技術では始点階層画像と終点階層画像の間で
マッチングをとる際にパラメータの自動決定を行った
が、この方法は階層画像間ではなく、通常の2枚の画像
間のマッチングをとる場合全般に利用できる。
に関するエネルギーE0と画素の位置的なずれに関する
エネルギーE1のふたつを評価式とし、これらの線形和
Et ot=αE0+E1を総合評価式とする。この総合
評価式の極値付近に注目してαを自動決定する。つま
り、いろいろなαについてEtotが最小になるような
写像を求める。それらの写像のうち、αに関してE1が
極小値をとるときのαを最適パラメータと決める。その
パラメータに対応する写像を最終的に両画像間の最適マ
ッチングとみなす。
方法があり、例えば1/E1と1/E2のように、評価
結果が良好なほど大きな値をとるものを採用してもよ
い。総合評価式も必ずしも線形和である必要はなく、n
乗和(n=2、1/2、−1、−2など)、多項式、任
意の関数などを適宜選択すればよい。
ηとλのふたつの場合、それ以上の場合など、いずれで
もよい。パラメータが3以上の場合はひとつずつ変化さ
せて決めていく。
最小になるよう写像を決めた後、総合評価式を構成する
ひとつの評価式であるC(m,s) fが極小になる点を
検出してパラメータを決定した。しかし、こうした二段
回処理の代わりに、状況によっては単に総合評価式の最
小値が最小になるようにパラメータを決めても効果的で
ある。その場合、例えばαE0+βE1を総合評価式と
し、α+β=1なる拘束条件を設けて各評価式を平等に
扱うなどの措置を講じてもよい。パラメータの自動決定
の本質は、エネルギーが最小になるようにパラメータを
決めていく点にあるからである。
類の特異点に関する4種類の副画像を生成した。しか
し、当然4種類のうち1、2、3種類を選択的に用いて
もよい。例えば、画像中に明るい点がひとつだけ存在す
る状態であれば、極大点に関するf(m,3)だけで階
層画像を生成しても相応の効果が得られるはずである。
その場合、同一レベルで異なる副写像は不要になるた
め、sに関する計算量が減る効果がある。
ってレベルがひとつ進むと画素が1/4になった。例え
ば3×3で1ブロックとし、その中で特異点を探す構成
も可能であり、その場合、レベルがひとつ進むと画素は
1/9になる。
合、それらをまず白黒画像に変換し、写像を計算する。
その結果求められた写像を用いて始点のカラー画像を変
換する。それ以外の方法として、RGBの各成分につい
て副写像を計算してもよい。
態]前提技術ではキーフレーム間のマッチングをとって
対応情報を生成し、この対応情報をもとに中間フレーム
を生成した。したがって、この技術は動画の圧縮に利用
でき、現実に実験ではMPEGを超える画質と圧縮率の
両立が確認されはじめている。以下、前提技術を利用し
た画像符号化および復号技術を説明する。この技術は動
画に付随して音声の再生を実現する。
レームとそれらの間の対応点情報で表すことによってデ
ータ量の低減を図る。またそのとき、動画像と同期して
再生すべき音声データも符号化ストリームの中へ組み込
む。このとき、音声データの再生タイミングが維持され
るよう配慮する。音声データは少しのタイミング的ずれ
がユーザに敏感に認識されるためである。なお、音声デ
ータとは、音楽や人の声を含む任意の音データである。
ュージックビデオの編集において特に効果的である。な
ぜなら、音声と映像をいろいろなタイミングで同期させ
るべき要望があるにも拘わらず、一般にはそれが困難だ
からである。音声データの再生タイミングを維持した場
合、音声と映像の同期タイミングをとるべき区間の先頭
と末尾でそれぞれ完全に音声と映像が所望の形で同期し
なければならない。
地するとき、それと音楽を完全に同期させる作業は煩瑣
なだけでなく、音楽のタイミングをずらすことができな
いとすれば、映像を延ばしたり縮めたりする必要があ
る。延ばす場合、フレーム間がスローモーション再生に
なり、そこだけ秒間フレーム数が減る。この問題は音楽
と映像を合わせ込むとき常に発生し、作品の製作が困難
になるだけでなく、場合によっては製作が不可能な場合
もある。
ングによれば、キーフレーム間に任意の枚数の中間フレ
ームを生成することができる。したがって、音楽に合わ
せて画像を延ばす場合はより多い中間フレームを生成す
ればよく、逆の場合は減らせばよい。いずれの場合も、
毎秒のフレーム数が一定になるようフレーム数を決める
ことができるので、確実に作品を制作することができ
る。
るキーフレームを従属的に決めることにより、音楽のタ
イミングは不変のまま、映像でタイミング調整をするこ
とができる。編集者は音楽を再生しながら、同期ポイン
トごとに動画像の側をサーチして最適なフレームをその
同期ポイントに関連づける。すると、このフレームがキ
ーフレームとなる。隣接する同期ポイントの間の映像
は、隣接するキーフレーム間を補間して得られた中間フ
レームによって埋められる。
置10の構成を示す。画像符号化装置10は、原画像で
ある動画像Iを入力する画像入力部12と、入力された
動画像からキーフレームKFを決定するキーフレーム取
得部14と、音声データSを入力する音声入力部16
と、決定されたキーフレームKFに対応する音声データ
の再生時刻T(以下単に再生時刻Tともよぶ)をもと
に、生成すべき中間フレームの数N(この数を以下単に
枚数Nともいう)を算出するフレーム数特定部18と、
決定されたキーフレームKF間で前提技術の画像マッチ
ング処理を施し対応点情報Cを生成するマッチングプロ
セッサ20と、音声データS、キーフレームに格上げさ
れたフレームの番号F(以下単にフレーム番号Fともい
う)、枚数N、再生時刻T、キーフレームのデータK
F、および対応点情報Cをもとに画像の符号化データス
トリームCIを生成し、これを図示しないネットワーク
やストレージへ出力するストリーム生成部22を備え
る。
16はユーザインタフェイスをもち、映像コンテンツを
作成するためのオーサリング部24として機能する。編
集者であるユーザは、まず入力された音声データを再生
し、適宜同期ポイントとなるべき特徴的な音の部分で再
生を停止し、その同期ポイントで同時に再生すべき画像
フレームをキーフレーム取得部14によってサーチして
決定する。
のための画面30を示す。この画面30は、音声再生の
ための第1画面32と、画像再生のための第2画面34
を有する。第1画面32には、楽曲の名前「ABCD」
とその開始からの時間「00:01:23:50」が表
示され、再生や停止などの編集ボタンが設けられてい
る。第2画面34には再生された画像を表示する窓と、
この画像の全体におけるカット番号およびシーン番号の
表示部と、再生や停止のための編集ボタンおよび決定ボ
タンが設けられている。
ず、ストレージやカメラから画像入力部12を介して動
画像が入力される。動画像はキーフレーム取得部14へ
送られる。一方、音声データも音声入力部16へ入力さ
れ、編集のスタンバイが整う。
ータを再生する。一方、第2画面34において動画像を
再生する。つづいて、音声データの同期ポイントに到達
すると第1画面32において音声再生が停止され、第2
画面34で前後のフレームをサーチして同期ポイントに
合うフレームを探索する。探索で所望のフレームが見つ
かったとき決定ボタンが押され、再生時刻Tとフレーム
番号Fがフレーム数特定部18へ通知される。以下、こ
の編集を作品の終了まで繰り返す。
間フレームの枚数を計算する。隣接する同期ポイントの
時刻の差をΔT、表示装置の毎秒の表示フレーム数をn
とすれば、生成すべき中間フレームの数Nは、 N=nΔT となる。この数値はストリーム生成部22へ通知され
る。
6から音声データ、キーフレーム取得部14から再生時
刻Tとフレーム番号FとキーフレームデータKF、マッ
チングプロセッサ20からキーフレーム間の対応点情報
Cが入力されている。ストリーム生成部22はこれらを
適当な順番で組み込み、符号化データストリームCIを
生成して出力する。
一部である音声データ表示40を示す。音声データ表示
40は、その旨を示すヘッダ42と、楽曲のタイトル4
4と、各楽曲の開始時刻46を含む。この例では、楽曲
ABCDは時刻00:00:00:00から開始し、楽
曲EFGHは時刻00:08:03:50から開始して
いる。
一部である同期情報50を示す。同期情報50は、その
旨を示すヘッダ52と、同期ポイントの時刻、すなわち
再生時刻Tの領域54と、それぞれの再生時刻Tに対応
づけられたキーフレームのフレーム番号Fの領域56
と、隣接するキーフレーム間において人工的に生成すべ
き中間フレームの数、すなわち枚数Nの領域58を有す
る。同図の例の場合、最初の同期ポイントは時刻00:
00:00:00で、そのときのキーフレームのフレー
ム番号Fは「1」、つぎの同期ポイントは2.5秒後の
時刻00:00:02:50で、そのときのキーフレー
ムのフレーム番号Fは「50」、それらふたつの同期ポ
イント間に生成すべき中間フレームの枚数は74とされ
る。74は2.5秒×30枚/秒−1による。
報であり省略しても差し支えないが、この情報があれ
ば、キーフレーム間の画像のスピードを計算することが
できる。図21の例では、もともと50枚しかフレーム
がなかったところを75枚に拡張するため、1.5倍の
スローモーションになることがわかる。この数値に上限
や下限などの許容範囲を設け、それを逸脱する場合は警
告を出す警告部を設けてもよい。
体の構造を示す。図示しない全体のヘッダのほかに、同
図のごとく、音声データ表示40、同期情報50、対応
点情報C、および適宜補足的なキーフレームKF’が盛
り込まれる。補足的なキーフレームKF’は、同期ポイ
ント間が遠くてキーフレームが少ない場合、適宜追加さ
れる。以上が符号化側の処理である。画像符号化装置1
0によれば、復号側で容易に再生可能な動画像と音声を
提供できる。
復号装置100の構成を示す。画像復号装置100は、
符号化データストリームCIをネットワークやストレー
ジから入力するストリーム入力部102と、入力した符
号化データストリームCIをその構成要素へ分解するス
トリーム解析部104と、ストリーム解析部104から
キーフレームのデータKF、枚数N、対応点情報Cを受
け、前提技術で示した補間処理によってN枚の中間フレ
ームを生成する中間画像生成部106と、同じくストリ
ーム解析部104から音声データSを受け、これに必要
な復号処理を加える音声復号部108と、同じくストリ
ーム解析部104から図示しない経路で同期情報50を
受け、再生された動画像および音声データの再生の同期
を調整する同期調整部110と、同期調整後の動画像を
音声とともに再生する再生部112とを含む。
声データを再生時刻に沿って理想的な速度で再生する。
同期調整部110はその音声データをいわば時間軸とし
てキーフレームおよび中間フレームを表示装置の毎秒の
表示フレーム数を守って出力する。音声データと画像の
ずれは、同期情報に示された同期ポイントにおけるキー
フレームのフレーム番号Fを用いて補正してもよい。す
なわち、同期ポイントよりキーフレームが早ければ同一
フレームを2回再生したり、その逆の場合はフレームを
一枚スキップする等により、微調整が可能である。
の連携において以下の変形技術がある。まず、実施の形
態ではマッチングプロセッサ20を符号化側に配した
が、これは復号側でもよい。その場合、符号化データス
トリームCIには対応点情報Cが盛り込まれず、これは
復号側で計算される。
18も復号側に設けてもよい。その場合、符号化データ
ストリームCIには枚数Nは盛り込まれず、これは再生
時刻Tをもとに復号側で計算される。
た。なお本発明はこの実施の形態に限定されることな
く、そのさまざまな変形例もまた、本発明の態様として
有効である。たとえば、実施の形態では前提技術のマッ
チング技術を利用したが、これはオプティカルフローや
ブロックマッチングなど、既存の技術を利用してもよ
い。明記しなかったが、音声入力部16は例えばMPE
Gレイヤ3などの手法で音声の圧縮符号化を行ってもよ
い。図20、図21、図22のフォーマットには非常に
高い自由度があり、例えば音声データの再生タイミング
は時刻ではなくサンプリング番号その他の表示であって
もよい。
の顔に平均化フィルタを施して得られる画像、図1
(c)と図1(d)は、ふたりの人物の顔に関して前提
技術で求められるp(5,0)の画像、図1(e)と図
1(f)は、ふたりの人物の顔に関して前提技術で求め
られるp(5,1)の画像、図1(g)と図1(h)
は、ふたりの人物の顔に関して前提技術で求められるp
(5,2)の画像、図1(i)と図1(j)は、ふたり
の人物の顔に関して前提技術で求められるp(5,3)
の画像をそれぞれディスプレイ上に表示した中間調画像
の写真である。
(A)、図2(B)、図2(C)、図2(D)、図2
(E)はそれぞれ相続四辺形を示す図である。
ルと第m−1レベルの関係を相続四辺形を用いて示す図
である。
図である。
写像が全単射条件を満たすか否かを外積計算から求める
様子を示す図である。
ある。
る。
ある。
の画像の一部の対応関係を示す図である。
図である。
準備の手順を示す図である。
ある。
を示す図である。
を示す図である。
トである。
求められたf(m, s)(λ=iΔλ)に対応するエネ
ルギーC(m,s) fの挙動を示す図である。
iΔη)(i=0,1,…)に対応するエネルギーC
(n) fの挙動を示す図である。
である。
ム取得部によって実現されるオーサリングツールによる
画面表示を示す図である。
データ表示を示す図である。
情報を示す図である。
る。
ある。
16 音声入力部、18 フレーム数特定部、 20
マッチングプロセッサ、 22 ストリーム生成部、
100 画像復号装置、 102 ストリーム入力
部、 104ストリーム解析部、 106 中間画像生
成部、 108 音声復号部、 110 同期調整部、
112 再生部。
Claims (34)
- 【請求項1】 キーフレームを取得する工程と、 取得されたキーフレーム間に人工的に生成すべき中間フ
レームの枚数を特定する工程と、 取得されたキーフレーム間の対応点情報、および特定さ
れた枚数を含む形で符号化データを生成する工程と、 を含むことを特徴とする画像符号化方法。 - 【請求項2】 動画像と同期して再生すべき音声データ
を取得する工程と、 取得された音声データを時間軸上の基準として、前記動
画像に含まれるキーフレームをもとに人工的に生成すべ
き中間フレームの枚数を特定する工程と、 を含むことを特徴とする画像符号化方法。 - 【請求項3】 動画像と同期して再生すべき音声データ
を取得する工程と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
記音声データの再生時刻と対応づける工程と、 前記複数のキーフレームのうちそれぞれ隣接しあうキー
フレームのそれぞれに対応づけられた前記再生時刻の差
をもとに、それら隣接しあうキーフレーム間に人工的に
生成すべき中間フレームの枚数を特定する工程と、 を含むことを特徴とする画像符号化方法。 - 【請求項4】 前記キーフレームおよび前記枚数を含む
形で符号化データを生成する工程をさらに含む請求項
2、3のいずれかに記載の方法。 - 【請求項5】 復号時に中間フレームを生成するための
情報として、キーフレームどうしの対応点情報を生成す
るマッチング工程をさらに含む請求項2、3のいずれか
に記載の方法。 - 【請求項6】 前記キーフレーム、前記枚数および前記
対応点情報を含む形で符号化データを生成する工程をさ
らに含む請求項5に記載の方法。 - 【請求項7】 前記再生時刻の差と比例するよう前記枚
数が特定される請求項3に記載の方法。 - 【請求項8】 前記キーフレームと前記音声データの対
応づけを編集処理におけるユーザの指示を取得すること
によって実施する請求項3に記載の方法。 - 【請求項9】 画像の符号化データを取得する工程と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出する工程とを含み、 前記指示にしたがう枚数の中間フレームが表示されるこ
とを特徴とする画像復号方法。 - 【請求項10】 動画像の符号化データを取得する工程
と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出する工程と、 前記動画像の中で定められたキーフレームとキーフレー
ム間の対応点情報をもとに、前記指示にしたがって中間
フレームを生成する工程と、 を含むことを特徴とする画像復号方法。 - 【請求項11】 前記抽出する工程は、前記キーフレー
ムと前記対応点情報もまた、前記符号化データから抽出
する請求項10に記載の方法。 - 【請求項12】 前記抽出する工程は、前記動画像と同
期して再生すべき音声データもまた、前記符号化データ
から抽出する請求項10、11のいずれかに記載の方
法。 - 【請求項13】 前記音声データと前記キーフレームお
よび前記中間フレームを同期して再生する工程をさらに
含む請求項12に記載の方法。 - 【請求項14】 キーフレーム取得部と、 取得されたキーフレーム間に人工的に生成すべき中間フ
レームの枚数を特定するフレーム数特定部と、 取得されたキーフレーム間の対応点情報、および特定さ
れた枚数を含む形で符号化データを生成するストリーム
生成部と、 を含むことを特徴とする画像符号化装置。 - 【請求項15】 動画像と同期して再生すべき音声デー
タを取得する音声入力部と、 取得された音声データを時間軸上の基準として、前記動
画像に含まれるキーフレームをもとに人工的に生成すべ
き中間フレームの枚数を特定するフレーム数特定部と、 を含むことを特徴とする画像符号化装置。 - 【請求項16】 動画像と同期して再生すべき音声デー
タを取得する音声入力部と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
記音声データの再生時刻と対応づけるとともに、前記複
数のキーフレームのうちそれぞれ隣接しあうキーフレー
ムのそれぞれに対応づけられた再生時刻の差をもとに、
それら隣接しあうキーフレーム間に人工的に生成すべき
中間フレームの枚数を特定するフレーム数特定部と、 を含むことを特徴とする画像符号化装置。 - 【請求項17】 前記キーフレームおよび前記枚数を含
む形で符号化データを生成するストリーム生成部をさら
に含む請求項15、16のいずれかに記載の装置。 - 【請求項18】 復号時に中間フレームを生成するため
の情報として、キーフレームどうしの対応点情報を生成
するマッチングプロセッサをさらに含む請求項15、1
6のいずれかに記載の装置。 - 【請求項19】 前記キーフレーム、前記枚数および前
記対応点情報を含む形で符号化データを生成するストリ
ーム生成部をさらに含む請求項18に記載の装置。 - 【請求項20】 前記キーフレーム取得部と前記音声入
力部は、ユーザの指示を入力するためのオーサリングツ
ールとしての機能を備えた請求項15に記載の装置。 - 【請求項21】 前記再生時刻の差と比例するよう前記
枚数が特定される請求項16に記載の装置。 - 【請求項22】 画像の符号化データを取得する画像入
力部と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出するフレーム数抽出部とを含み、 前記指示にしたがう枚数の中間フレームが表示されるこ
とを特徴とする画像復号装置。 - 【請求項23】 動画像の符号化データを取得する画像
入力部と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出するストリーム解析部と、 前記動画像の中で定められたキーフレームとキーフレー
ム間の対応点情報をもとに、前記指示にしたがって中間
フレームを生成する中間画像生成部と、 を含むことを特徴とする画像復号装置。 - 【請求項24】 前記ストリーム解析部は、前記キーフ
レームと前記対応点情報もまた、前記符号化データから
抽出する請求項23に記載の装置。 - 【請求項25】 前記ストリーム解析部は、前記動画像
と同期して再生すべき音声データもまた、前記符号化デ
ータから抽出する請求項23、24のいずれかに記載の
装置。 - 【請求項26】 前記音声データと前記キーフレームお
よび前記中間フレームを同期して再生する再生部をさら
に含む請求項25に記載の装置。 - 【請求項27】 キーフレームを取得する工程と、 取得されたキーフレーム間に人工的に生成すべき中間フ
レームの枚数を特定する工程と、 取得されたキーフレーム間の対応点情報、および特定さ
れた枚数を含む形で符号化データを生成する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。 - 【請求項28】 動画像と同期して再生すべき音声デー
タを取得する工程と、 取得された音声データを時間軸上の基準として、前記動
画像に含まれるキーフレームをもとに人工的に生成すべ
き中間フレームの枚数を特定する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。 - 【請求項29】 動画像と同期して再生すべき音声デー
タを取得する工程と、 前記動画像に含まれる複数のキーフレームをそれぞれ前
記音声データの再生時刻と対応づける工程と、 前記複数のキーフレームのうちそれぞれ隣接しあうキー
フレームのそれぞれに対応づけられた前記再生時刻の差
をもとに、それら隣接しあうキーフレーム間に人工的に
生成すべき中間フレームの枚数を特定する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。 - 【請求項30】 画像の符号化データを取得する工程
と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。 - 【請求項31】 動画像の符号化データを取得する工程
と、 その符号化データから少なくとも中間フレームの枚数に
関する指示を抽出する工程と、 前記動画像の中で定められたキーフレームとキーフレー
ム間の対応点情報をもとに、前記指示にしたがって中間
フレームを生成する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。 - 【請求項32】 動画像の符号化データを取得する工程
と、 その符号化データから復号される動画像と同期して再生
すべき音声データを抽出する工程と、 前記動画像に含まれるキーフレームと前記音声データの
再生タイミングに関する指示をもとに、人工的に生成す
べき中間フレームの数を算出する工程と、 を含むことを特徴とする画像復号方法。 - 【請求項33】 動画像の符号化データを取得する画像
入力部と、 その符号化データから復号される動画像と同期して再生
すべき音声データを抽出するストリーム解析部とを含
み、 このストリーム解析部は、前記動画像に含まれるキーフ
レームと前記音声データの再生タイミングに関する表示
をもとに、人工的に生成すべき中間フレームの数を算出
することを特徴とする画像復号装置。 - 【請求項34】 動画像の符号化データを取得する工程
と、 その符号化データから復号される動画像と同期して再生
すべき音声データを抽出する工程と、 前記動画像に含まれるキーフレームと前記音声データの
再生タイミングに関する表示をもとに、人工的に生成す
べき中間フレームの数を算出する工程と、 をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001290226A JP3827981B2 (ja) | 2001-09-21 | 2001-09-21 | 画像符号化方法と装置および画像復号方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001290226A JP3827981B2 (ja) | 2001-09-21 | 2001-09-21 | 画像符号化方法と装置および画像復号方法と装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003102015A true JP2003102015A (ja) | 2003-04-04 |
JP3827981B2 JP3827981B2 (ja) | 2006-09-27 |
Family
ID=19112569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001290226A Expired - Fee Related JP3827981B2 (ja) | 2001-09-21 | 2001-09-21 | 画像符号化方法と装置および画像復号方法と装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3827981B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009042912A (ja) * | 2007-08-07 | 2009-02-26 | Seiko Epson Corp | グラフィカルユーザインタフェース装置 |
JP2011165197A (ja) * | 2011-02-24 | 2011-08-25 | Seiko Epson Corp | グラフィカルユーザインタフェース装置 |
JP2014064178A (ja) * | 2012-09-21 | 2014-04-10 | Casio Comput Co Ltd | 動画再生装置、動画再生方法、及びプログラム |
-
2001
- 2001-09-21 JP JP2001290226A patent/JP3827981B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009042912A (ja) * | 2007-08-07 | 2009-02-26 | Seiko Epson Corp | グラフィカルユーザインタフェース装置 |
JP4692529B2 (ja) * | 2007-08-07 | 2011-06-01 | セイコーエプソン株式会社 | グラフィカルユーザインタフェース装置 |
US8726156B2 (en) | 2007-08-07 | 2014-05-13 | Seiko Epson Corporation | Graphical user interface device |
JP2011165197A (ja) * | 2011-02-24 | 2011-08-25 | Seiko Epson Corp | グラフィカルユーザインタフェース装置 |
JP2014064178A (ja) * | 2012-09-21 | 2014-04-10 | Casio Comput Co Ltd | 動画再生装置、動画再生方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3827981B2 (ja) | 2006-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3889233B2 (ja) | 画像符号化方法と装置および画像復号方法と装置 | |
WO2005122593A1 (ja) | 動画符号化方法および動画復号方法 | |
JP2002271788A (ja) | 画像符号化方法と装置および画像復号方法および装置 | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP4050472B2 (ja) | 画像生成方法、装置およびシステム | |
JP4157686B2 (ja) | 画像符号化および復号のための方法および装置 | |
JP4039858B2 (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
JP2003037842A (ja) | 画像符号化方法、復号方法および画像符号化装置、復号装置 | |
JP2003102015A (ja) | 画像符号化方法と装置および画像復号方法と装置 | |
JP2007122751A (ja) | 画像処理のための方法、装置、プログラム | |
JP2002232838A (ja) | デジタルカメラ | |
JP2002190020A (ja) | 映像効果方法および装置 | |
JP2004048116A (ja) | 画像データ符号化および復号のための方法および装置 | |
US6959040B2 (en) | Method and apparatus for coding and decoding image data with synchronized sound data | |
JP2002230575A (ja) | 映像効果方法および装置 | |
JP4524412B2 (ja) | 画像符号化方法、復号方法および画像符号化装置、復号装置 | |
JP2003032639A (ja) | 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法 | |
JP2003018557A (ja) | 画像処理方法および装置 | |
JP3839353B2 (ja) | 画像符号化方法と装置および画像復号方法および装置 | |
JP2003274399A (ja) | 画像符号化方法と装置、画像復号方法と装置 | |
JP2003032687A (ja) | 画像処理方法および装置 | |
JP3828048B2 (ja) | 画像符号化方法と装置および画像復号方法および装置 | |
JP2003143541A (ja) | 画像編集方法および装置 | |
JP2003143542A (ja) | 画像編集方法および装置 | |
JP2004048595A (ja) | 画像符号化方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050621 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060705 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |