JP2007316693A - 画像符号化方法および画像符号化装置 - Google Patents

画像符号化方法および画像符号化装置 Download PDF

Info

Publication number
JP2007316693A
JP2007316693A JP2006142361A JP2006142361A JP2007316693A JP 2007316693 A JP2007316693 A JP 2007316693A JP 2006142361 A JP2006142361 A JP 2006142361A JP 2006142361 A JP2006142361 A JP 2006142361A JP 2007316693 A JP2007316693 A JP 2007316693A
Authority
JP
Japan
Prior art keywords
image
key frame
point
images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006142361A
Other languages
English (en)
Inventor
Giyouzo Akiyoshi
仰三 秋吉
Nobuo Akiyoshi
信雄 秋吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Monolith Co Ltd
Original Assignee
Monolith Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Monolith Co Ltd filed Critical Monolith Co Ltd
Priority to JP2006142361A priority Critical patent/JP2007316693A/ja
Priority to TW96118235A priority patent/TW200820744A/zh
Priority to US11/802,565 priority patent/US20070286500A1/en
Publication of JP2007316693A publication Critical patent/JP2007316693A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】マッチング処理を施す画像の組合せの制作を容易なものとすると共にマッチング処理を実施する装置の負担を軽減する。
【解決手段】制作者PC14において、画像入力部20は、複数の静止画像を並置した状態で1枚の画像として形成された第1キーフレームと、第1キーフレームの複数の静止画像の各々に位置的に対応する複数の静止画像を並置した状態で1枚の画像として形成された第2キーフレームとを取得する。マッチングプロセッサ22は、第1キーフレームと第2キーフレームとの間で対応しあう点に関する情報である対応点情報を画像マッチング処理により取得する。ストリーム生成部24は、第1キーフレーム、第2キーフレームおよび対応点情報を符号化データとして出力する。
【選択図】図19

Description

この発明は、画像符号化技術に関し、特にディジタル画像符号化方法およびディジタル画像符号化装置に関する。
現在、インターネットが一般社会に広く浸透している。企業や個人は自身が制作したWebページをインターネット上に公開し、PC(パーソナルコンピュータ)や携帯電話のユーザは気軽にWebページにアクセスして、動画および静止画を含む様々な画像を閲覧している。このように画像を含むWebページを制作する場合に、企業や個人は複数の画像を同一のWebページ上に掲載する場合がある。たとえばインターネットによる電子商取引を行う企業は、多くの場合自身が取り扱う複数の商品の画像を同一のWebページに上に掲載する。一方、例えば特許文献1に記載されるような画像のマッチング処理技術の開発が進められている。このようなマッチング処理技術を利用して、たとえばWebページにアニメーション表示を行うことも可能である。
特開平10−269355号公報
画像のマッチング処理では複数の画像のマッチングを実施するため、たとえば一つのアニメーション表示を行う場合であっても複数の画像が必要となる。このため、たとえば同一のWebページに複数のアニメーション表示を行うためにマッチング処理を利用するような場合、アニメーション表示の各々に対してマッチング処理の対象となる複数の画像を制作する必要がある。以下、図25(a)および(b)を例に更に詳細に説明する。
同一のWebページ上において、図25(a)に示される複数の静止画像から図25(b)に示される複数の静止画像にマッチング処理によるアニメーション表示を行うと仮定する。図25(a)に示される複数の静止画像には、第1キーフレーム62、第2キーフレーム63、および第3キーフレーム64が含まれている。これらのキーフレームは同一の形状、および大きさの長方形に形成されている。第1キーフレーム62は、花のつぼみが表された1枚の静止画像である第1画像68として形成されている。第2キーフレーム63は、右下に飛行機が表された1枚の静止画像である第2画像69として形成されている。第3キーフレーム64は、右側に車が表された1枚の静止画像である第3画像70として形成されている。
図25(b)に示される複数の静止画像には、第4キーフレーム65、第5キーフレーム66、および第6キーフレーム67が含まれている。これらのキーフレームは同一の形状、および大きさの長方形に形成されている。第4キーフレーム65は、花が開いた状態が表された1枚の静止画像である第4画像71として形成されている。第5キーフレーム66は、中央に飛行機が表された1枚の静止画像である第5画像72が含まれている。第6キーフレーム67は、左側に車が表された1枚の静止画像である第6画像73として形成されている。
まず、図25(a)に示される例では、同一のWebページ上に第1キーフレーム62、第2キーフレーム63、および第3キーフレーム64が並置される。また図25(b)に示される例では、同一のWebページ上に第4キーフレーム65、第5キーフレーム66、および第6キーフレーム67が並置される。マッチング処理によって第1キーフレーム62を始点画像、第4キーフレーム65を終点画像として、花が徐々に開いていくようなアニメーション表示がWebページ上において実現される。また、第2キーフレーム63を始点画像、第5キーフレーム66を終点画像として、飛行機が上昇していくようなアニメーション表示がWebページ上において実現される。また、第3キーフレーム64を始点画像、第6キーフレーム67を終点画像として、自動車が右から左に走行するようなアニメーション表示がWebページ上において実現される。
上述の例では3組のキーフレーム同士の間でそれぞれマッチング処理が実施される。このように複数組のキーフレーム同士でマッチング処理を実施するためには、少なくともその組数の2倍以上のキーフレームが必要となるため、キーフレームの制作にかける時間や労力が大きなものとなる。また、複数組のキーフレーム同士のマッチング処理を実施する場合、その装置の負担も大きくなる。
本発明はこうした状況に鑑みてなされたものであり、その目的は、マッチング処理を施す画像の組合せの制作を容易なものとすると共にマッチング処理を実施する装置の負担を軽減することにある。
本発明のある態様の画像符号化方法は、以下の工程を備える。
(1)複数の静止画像を並置した状態で1枚の画像として形成された第1キーフレームと、第1キーフレームの複数の静止画像の各々に位置的に対応する複数の静止画像を並置した状態で1枚の画像として形成された第2キーフレームとを取得する工程、
(2)第1キーフレームと第2キーフレームとの間で対応しあう点に関する情報である対応点情報を画像マッチング処理により取得する工程、
(3)第1キーフレーム、第2キーフレームおよび対応点情報を符号化データとして出力する工程。
この態様によれば、たとえば第1キーフレームと第2キーフレームとの間でマッチング処理を実施することによってキーフレーム間で変遷するアニメーション表示をする場合などにおいて、複数の組合せのキーフレーム同士でそれぞれマッチング処理を実施する場合と同様の視覚的な効果を与えることができる。このため、制作者は容易にキーフレームを制作することが可能となる。なお、前述の画像マッチング処理は、例えば本出願人が先に特許第2927350号にて提案する技術(以下「前提技術」という)が好適である。
第1および第2キーフレームのそれぞれに含まれる複数の静止画像のそれぞれの間には所定の画像分離領域が設けられていてもよい。この「所定の画像分離領域」は、並置された静止画像各々の外周部に設けられてもよい。また、画像分離領域は、複数の静止画像の背景領域を構成してもよい。
背景領域において優勢(dominant)な画素値は、当該背景領域内に置かれた複数の静止画像の所定領域において優勢な画素値の各々と所定の閾値以上異なってもよい。この場合の画素値とは、平均値(モード、メジアン)、最頻値など、画像を特徴づける画素値であってもよい。また、第1キーフレームおよび第2キーフレームの間で画像マッチング処理を実行する工程について、当該工程を1回の課金対象処理として記録する工程をさらに備えてもよい。
なお、本発明は前提技術を必須とはしない。また、以上の各構成、工程を任意に入れ替えたり、方法と装置の間で表現を一部または全部入れ替え、または追加したり、表現をコンピュータプログラム、記録媒体等に変更したものもまた、本発明として有効である。
本発明によれば、マッチング処理を施す画像の組合せの制作を容易なものとすると共にマッチング処理を実施する装置の負担を軽減することができる。
はじめに、実施の形態で利用する多重解像度特異点フィルタ技術とそれを用いた画像マッチング処理を「前提技術」として詳述する。これらの技術は本出願人がすでに特許第2927350号を得ている技術であり、本発明との組合せに最適である。前提技術のようなマッチング技術を用いることによって、キーフレームに配置された複数の静止画像のうち位置的に対応する静止画像同士の中間画像があたかも作成されたようにキーフレーム全体の中間画像を生成することが可能となるからである。ただし、実施の形態で採用可能な画像マッチング技術はこれに限られない。
図18以降、前提技術を利用した画像処理技術を具体的に説明する。
[前提技術の背景]
ふたつの画像の自動的なマッチング、つまり画像領域や画素どうしの対応付けは、コンピュータビジョンやコンピュータグラフィックスにおける最も難しくかつ重要なテーマのひとつである。例えば、あるオブジェクトに関して異なる視点からの画像間でマッチングがとれれば、他の視点からの画像を生成することができる。右目画像と左目画像のマッチングが計算できれば、立体画像を用いた写真測量も可能である。顔の画像のモデルと他の顔の画像のマッチングがとれたとき、目、鼻、口といった特徴的な顔の部分を抽出することができる。例えば人の顔と猫の顔の画像間でマッチングが正確にとられたとき、それらの中割画像を自動的に生成することでモーフィングを完全自動化することができる。
しかし従来一般に、ふたつの画像間の対応点は人がいちいち指定しなければならず、多大な作業工数を要した。この問題を解消するために数多くの対応点自動検出方法が提案されている。例えば、エピポーラ直線を用いることによって対応点の候補の数を減らす考えがある。しかし、その場合でも処理はきわめて複雑である。複雑さを低減するために、左目画像の各点の座標は通常右目画像でもほぼ同じ位置にあると想定される。しかし、こうした制約を設けると、大域的特徴及び局所的特徴を同時に満たすマッチングをとることは非常に困難になる。
ボリュームレンダリングでは、ボクセルを構成するために一連の断面画像が用いられる。この場合、従来一般に、上方の断面画像における画素が下方の断面画像の同一箇所にある画素と対応すると仮定され、これらの画素のペアが内挿計算に用いられる。このようにきわめて単純な方法を用いるため、連続する断面間の距離が遠く、オブジェクトの断面形状が大きく変化する場合、ボリュームレンダリングで構築されたオブジェクトは不明瞭になりがちである。
立体写真測量法など、エッジの検出を利用するマッチングアルゴリズムも多い。しかしこの場合、結果的に得られる対応点の数が少ないため、マッチングのとれた対応点間のギャップを埋めるべく、ディスパリティの値を内挿計算しなければならない。一般にあらゆるエッジ検出器は、それらが用いる局所的なウィンドウの中で画素の輝度が変化したとき、これが本当にエッジの存在を示唆するかどうかを判断することが難しい。エッジ検出器は、本来的にすべてハイパスフィルタであり、エッジと同時にノイズも拾ってしまう。
さらに別の手法として、オプティカルフローが知られている。二枚の画像が与えられたとき、オプティカルフローでは画像内のオブジェクト(剛体)の動きを検出する。その際、オブジェクトの各画素の輝度は変化しないと仮定する。オプティカルフローでは例えば(u,v)のベクトル場の滑らかさといった、いくつかの付加的な条件とともに、各画素の動きベクトル(u,v)を計算する。しかし、オプティカルフローでは画像間の大域的な対応関係を検出することはできない。画素の輝度の局所的な変化に注目するのみであり、画像の変位が大きい場合、システムの誤差は顕著になる。
画像の大域的な構造を認識するために、多重解像度フィルタも数多く提案されてきた。それらは線形フィルタと非線形フィルタに分類される。前者の例としてウェーブレットがあるが、線形フィルタは一般に、画像マッチングにはさして有用ではない。なぜなら、極値をとる画素の輝度に関する情報がそれらの位置情報とともに次第に不鮮明になるためである。図1(a)と図1(b)は顔の画像に対して平均化フィルタを適用した結果を示している。同図のごとく、極値をとる画素の輝度が平均化によって次第に薄れるとともに、位置も平均化の影響でシフトしていく。その結果、目(輝度の極小点)の輝度や位置の情報は、このような粗い解像度レベルで曖昧になり、この解像度では正しいマッチングを計算することができない。したがって、粗い解像度レベルを設けるのが大域的なマッチングのためでありながら、ここで得られたマッチングは画像の本当の特徴(目、つまり極小点)に正確に対応しない。より精細な解像度レベルで目が鮮明に現れたとしても、大域的なマッチングをとる際に混入した誤差は、もはや取り返しがつかない。入力画像にスムージング処理を加えることにより、テクスチャ領域のステレオ情報が落ちてしまうこともすでに指摘されている。
一方、最近地形学の分野で利用されはじめた非線形フィルタとして一次元の「ふるい(sieve)」演算子がある。この演算子は、所定の大きさの一次元ウィンドウ内の極小値(または極大値)を選択することにより、縮尺と空間の因果関係を保存しながら画像にスムージング処理を加える。その結果得られる画像は元の画像と同じ大きさであるが、小さな波の成分が取り除かれているため、より単純になる。画像の情報を落とすという点で、この演算子は広い意味での「多重解像度フィルタ」に分類することはできるが、実際にはウェーブレットのように画像の解像度を変えながら画像を階層化するわけではなく(つまり狭い意味での多重解像度フィルタではなく)、画像間の対応の検出には利用できない。
[前提技術が解決しようとする課題]
以上をまとめれば以下の課題が認められる。
1.画像の特徴を正確に、かつ比較的簡単な処理で把握する画像処理方法が乏しかった。特に、特徴のある点に関する情報、例えば画素値や位置を維持しながら特徴を抽出できる画像処理方法に関する有効な提案が少なかった。
2.画像の特徴をもとに対応点を自動検出する場合、一般に処理が複雑であるか、ノイズ耐性が低いなどの欠点があった。また、処理に際していろいろな制約を設ける必要があり、大域的特徴及び局所的特徴を同時に満たすマッチングをとることが困難だった。
3.画像の大域的な構造または特徴を認識するために多重解像度フィルタを導入しても、そのフィルタが線形フィルタの場合、画素の輝度情報と位置情報が曖昧になった。その結果、対応点の把握が不正確になりやすかった。非線形フィルタである一次元ふるい演算子は画像を階層化しないため、画像間の対応点の検出には利用できなかった。
4.これらの結果、対応点を正しく把握しようとすれば、結局人手による指定に頼るほか有効な手だてがなかった。
前提技術はこれらの課題の解決を目的としてなされたものであり、画像処理の分野において、画像の特徴の的確な把握を可能にする技術を提供するものである。
[前提技術が課題を解決するための手段]
この目的のために前提技術のある態様は、新たな多重解像度の画像フィルタを提案する。この多重解像度フィルタは画像から特異点を抽出する。したがって、特異点フィルタともよばれる。特異点とは画像上特徴をもつ点をいう。例として、ある領域において画素値(画素値とは、色番号、輝度値など画像または画素に関する任意の数値を指す)が最大になる極大点、最小になる極小点、ある方向については最大だが別の方向については最小になるような鞍点がある。特異点は位相幾何学上の概念であってもよい。ただし、その他どのような特徴を有してもよい。いかなる性質の点を特異点と考えるかは、前提技術にとって本質問題ではない。
この態様では、多重解像度フィルタを用いた画像処理が行われる。まず検出工程において、第一の画像に対し、二次元的な探索を行って特異点が検出される。つぎに生成工程において、検出された特異点を抽出して第一の画像よりも解像度の低い第二の画像が生成される。第二の画像には第一の画像のもつ特異点が引き継がれる。第二の画像は第一の画像よりも解像度が低いため、画像の大域的な特徴の把握に好適である。
前提技術の別の態様は特異点フィルタを用いた画像マッチング方法に関する。この態様では、始点画像と終点画像間のマッチングがとられる。始点画像および終点画像とは、ふたつの画像の区別のために便宜的に与えた名称であり、本質的な違いはない。
この態様では、第一工程にて、始点画像に特異点フィルタを施して解像度の異なる一連の始点階層画像が生成される。第二工程では、終点画像に特異点フィルタを施して解像度の異なる一連の終点階層画像が生成される。始点階層画像、終点階層画像とは、それぞれ始点画像、終点画像を階層化して得られる画像群をいい、それぞれ最低2枚の画像からなる。つぎに第三工程において、始点階層画像と終点階層画像のマッチングが解像度レベルの階層の中で計算される。この態様によれば、多重解像度フィルタによって特異点に関連する画像の特徴が抽出され、および/または明確化されるため、マッチングが容易になる。マッチングのための拘束条件は特に必要としない。
前提技術のさらに別の態様も始点画像と終点画像のマッチングに関する。この態様では、予め複数のマッチング評価項目のそれぞれに関して評価式を設け、それらの評価式を統合して総合評価式を定義し、その総合評価式の極値付近に注目して最適マッチングを探索する。総合評価式は、評価式の少なくもひとつに係数パラメータを掛けたうえでそれらの評価式の総和として定義してもよく、その場合、総合評価式またはいずれかの評価式がほぼ極値をとる状態を検出して前記パラメータを決定してもよい。「極値付近」または「ほぼ極値をとる」としたのは、多少誤差を含んでいてもよいためである。多少の誤差は前提技術にはさして問題とならない。
極値自体も前記パラメータに依存するため、極値の挙動、つまり極値の変化の様子をもとに、最適と考えられるパラメータを決定する余地が生じる。この態様はその事実を利用している。この態様によれば、元来調整の困難なパラメータの決定を自動化する途が拓かれる。
[前提技術の実施の形態]
最初に[1]で前提技術の要素技術の詳述し、[2]で処理手順を具体的に説明する。さらに[3]で実験の結果を報告する。
[1]要素技術の詳細
[1.1]イントロダクション
特異点フィルタと呼ばれる新たな多重解像度フィルタを導入し、画像間のマッチングを正確に計算する。オブジェクトに関する予備知識は一切不要である。画像間のマッチングの計算は、解像度の階層を進む間、各解像度において計算される。その際、粗いレベルから精細なレベルへと順に解像度の階層を辿っていく。計算に必要なパラメータは、人間の視覚システムに似た動的計算によって完全に自動設定される。画像間の対応点を人手で特定する必要はない。
本前提技術は、例えば完全に自動的なモーフィング、物体認識、立体写真測量、ボリュームレンダリング、少ないフレームからの滑らかな動画像の生成などに応用できる。モーフィングに用いる場合、与えられた画像を自動的に変形することができる。ボリュームレンダリングに用いる場合、断面間の中間的な画像を正確に再構築することができる。断面間の距離が遠く、断面の形状が大きく変化する場合でも同様である。
[1.2]特異点フィルタの階層
前提技術に係る多重解像度特異点フィルタは、画像の解像度を落としながら、しかも画像に含まれる各特異点の輝度及び位置を保存することができる。ここで画像の幅をN、高さをMとする。以下簡単のため、N=M=2n(nは自然数)と仮定する。また、区間[0,N]⊂RをIと記述する。(i,j)における画像の画素をp(i,j)と記述する(i,j∈I)。
ここで多重解像度の階層を導入する。階層化された画像群は多重解像度フィルタで生成される。多重解像度フィルタは、もとの画像に対して二次元的な探索を行って特異点を検出し、検出された特異点を抽出してもとの画像よりも解像度の低い別の画像を生成する。ここで第mレベルにおける各画像のサイズは2m×2m(0≦m≦n)とする。特異点フィルタは次の4種類の新たな階層画像をnから下がる方向で再帰的に構築する。
Figure 2007316693
ただしここで、
Figure 2007316693
とする。以降これら4つの画像を副画像(サブイメージ)と呼ぶ。minx≦t≦x+1、maxx≦t≦x+1をそれぞれα及びβと記述すると、副画像はそれぞれ以下のように記述できる。
P(m,0)=α(x)α(y)p(m+1,0)
P(m,1)=α(x)β(y)p(m+1,1)
P(m,2)=β(x)α(y)p(m+1,2)
P(m,3)=β(x)β(y)p(m+1,3)
すなわち、これらはαとβのテンソル積のようなものと考えられる。副画像はそれぞれ特異点に対応している。これらの式から明らかなように、特異点フィルタはもとの画像について2×2画素で構成されるブロックごとに特異点を検出する。その際、各ブロックのふたつの方向、つまり縦と横について、最大画素値または最小画素値をもつ点を探索する。画素値として、前提技術では輝度を採用するが、画像に関するいろいろな数値を採用することができる。ふたつの方向の両方について最大画素値となる画素は極大点、ふたつの方向の両方について最小画素値となる画素は極小点、ふたつの方向の一方について最大画素値となるとともに、他方について最小画素値となる画素は鞍点として検出される。
特異点フィルタは、各ブロックの内部で検出された特異点の画像(ここでは1画素)でそのブロックの画像(ここでは4画素)を代表させることにより、画像の解像度を落とす。特異点の理論的な観点からすれば、α(x)α(y)は極小点を保存し、β(x)β(y)は極大点を保存し、α(x)β(y)及びβ(x)α(y)は鞍点を保存する。
はじめに、マッチングをとるべき始点(ソース)画像と終点(デスティネーション)画像に対して別々に特異点フィルタ処理を施し、それぞれ一連の画像群、すなわち始点階層画像と終点階層画像を生成しておく。始点階層画像と終点階層画像は、特異点の種類に対応してそれぞれ4種類ずつ生成される。
この後、一連の解像度レベルの中で始点階層画像と終点階層画像のマッチングがとれらていく。まずp(m,0)を用いて極小点のマッチングがとられる。次に、その結果に基づき、p(m,1)を用いて鞍点のマッチングがとられ、p(m,2)を用いて他の鞍点のマッチングがとられる。そして最後にp(m,3)を用いて極大点のマッチングがとられる。
図1(c)と図1(d)はそれぞれ図1(a)と図1(b)の副画像p(5,0)を示している。同様に、図1(e)と図1(f)はp(5,1)、図1(g)と図1(h)はp(5,2)、図1(i)と図1(j)はp(5,3)をそれぞれ示している。これらの図からわかるとおり、副画像によれば画像の特徴部分のマッチングが容易になる。まずp(5,0)によって目が明確になる。目は顔の中で輝度の極小点だからである。p(5,1)によれば口が明確になる。口は横方向で輝度が低いためである。p(5,2)によれば首の両側の縦線が明確になる。最後に、p(5,3)によって耳や頬の最も明るい点が明確になる。これらは輝度の極大点だからである。
特異点フィルタによれば画像の特徴が抽出できるため、例えばカメラで撮影された画像の特徴と、予め記録しておいたいくつかのオブジェクトの特徴を比較することにより、カメラに映った被写体を識別することができる。
[1.3]画像間の写像の計算
始点画像の位置(i,j)の画素をp(n)(i,j)と書き、同じく終点画像の位置(k,l)の画素をq(n)(k,l)で記述する。i,j,k,l∈Iとする。画像間の写像のエネルギー(後述)を定義する。このエネルギーは、始点画像の画素の輝度と終点画像の対応する画素の輝度の差、及び写像の滑らかさによって決まる。最初に最小のエネルギーを持つp(m,0)とq(m,0)間の写像f(m,0):p(m,0)→q(m,0)が計算される。f(m,0)に基づき、最小エネルギーを持つp(m,1)、q(m,1)間の写像f(m,1)が計算される。この手続は、p(m,3)とq(m,3)の間の写像f(m,3)の計算が終了するまで続く。各写像f(m,i)(i=0,1,2,…)を副写像と呼ぶことにする。f(m,i)の計算の都合のために、iの順序は次式のように並べ替えることができる。並べ替えが必要な理由は後述する。
Figure 2007316693
ここでσ(i)∈{0,1,2,3}である。
[1.3.1]全単射
始点画像と終点画像の間のマッチングを写像で表現する場合、その写像は両画像間で全単射条件を満たすべきである。両画像に概念上の優劣はなく、互いの画素が全射かつ単射で接続されるべきだからである。しかしながら通常の場合とは異なり、ここで構築すべき写像は全単射のディジタル版である。前提技術では、画素は格子点によって特定される。
始点副画像(始点画像について設けられた副画像)から終点副画像(終点画像について設けられた副画像)への写像は、f(m,s):I/2n−m×I/2n−m→I/2n−m×I/2n−m(s=0,1,…)によって表される。ここで、f(m,s)(i,j)=(k,l)は、始点画像のp(m,s)(i,j)が終点画像のq(m,s)(k,l)に写像されることを意味する。簡単のために、f(i,j)=(k,l)が成り立つとき画素q(k,l)をqf(i,j)と記述する。
前提技術で扱う画素(格子点)のようにデータが離散的な場合、全単射の定義は重要である。ここでは以下のように定義する(i,i’,j,j’,k,lは全て整数とする)。まず始めに、始点画像の平面においてRによって表記される各正方形領域、
Figure 2007316693
を考える(i=0,…,2m−1、j=0,…,2m−1)。ここでRの各辺(エッジ)の方向を以下のように定める。
Figure 2007316693
この正方形は写像fによって終点画像平面における四辺形に写像されなければならない。f(m,s)(R)によって示される四辺形、
Figure 2007316693
は、以下の全単射条件を満たす必要がある。
1.四辺形f(m,s)(R)のエッジは互いに交差しない。
2.f(m,s)(R)のエッジの方向はRのそれらに等しい(図2の場合、時計回り)。
3.緩和条件として収縮写像(リトラクション:retractions)を許す。
何らかの緩和条件を設けないかぎり、全単射条件を完全に満たす写像は単位写像しかないためである。ここではf(m,s)(R)のひとつのエッジの長さが0、すなわちf(m,s)(R)は三角形になってもよい。しかし、面積が0となるような図形、すなわち1点または1本の線分になってはならない。図2(R)がもとの四辺形の場合、図2(A)と図2(D)は全単射条件を満たすが、図2(B)、図2(C)、図2(E)は満たさない。
実際のインプリメンテーションでは、写像が全射であることを容易に保証すべく、さらに以下の条件を課してもよい。つまり始点画像の境界上の各画素は、終点画像において同じ位置を占める画素に写影されるというものである。すなわち、f(i,j)=(i,j)(ただしi=0,i=2m−1,j=0,j=2m−1の4本の線上)である。この条件を以下「付加条件」とも呼ぶ。
[1.3.2]写像のエネルギー
[1.3.2.1]画素の輝度に関するコスト
写像fのエネルギーを定義する。エネルギーが最小になる写像を探すことが目的である。エネルギーは主に、始点画像の画素の輝度とそれに対応する終点画像の画素の輝度の差で決まる。すなわち、写像f(m,s)の点(i,j)におけるエネルギーC(m,s)(i,j)は次式によって定まる。
Figure 2007316693
ここで、V(p(m,s)(i,j))及びV(q(m,s)f(i,j))はそれぞれ画素p(m,s)(i,j)及びq(m,s)f(i,j)の輝度である。fのトータルのエネルギーC(m,s)は、マッチングを評価するひとつの評価式であり、つぎに示すC(m,s)(i,j)の合計で定義できる。
Figure 2007316693
[1.3.2.2]滑らかな写像のための画素の位置に関するコスト
滑らかな写像を得るために、写像に関する別のエネルギーDfを導入する。このエネルギーは画素の輝度とは関係なく、p(m,s)(i,j)およびq(m,s)f(i,j)の位置によって決まる(i=0,…,2m−1,j=0,…,2m−1)。点(i,j)における写像f(m,s)のエネルギーD(m,s)(i,j)は次式で定義される。
Figure 2007316693

ただし、係数パラメータηは0以上の実数であり、また、
Figure 2007316693
Figure 2007316693
とする。ここで、
Figure 2007316693
であり、i’<0およびj’<0に対してf(i’,j’)は0と決める。E0は(i,j)及びf(i,j)の距離で決まる。E0は画素があまりにも離れた画素へ写影されることを防ぐ。ただしE0は、後に別のエネルギー関数で置き換える。E1は写像の滑らかさを保証する。E1は、p(i,j)の変位とその隣接点の変位の間の隔たりを表す。以上の考察をもとに、マッチングを評価する別の評価式であるエネルギーDfは次式で定まる。
Figure 2007316693
[1.3.2.3]写像の総エネルギー
写像の総エネルギー、すなわち複数の評価式の統合に係る総合評価式はλC(m,s)f+D(m,s)fで定義される。ここで係数パラメータλは0以上の実数である。目的は総合評価式が極値をとる状態を検出すること、すなわち次式で示す最小エネルギーを与える写像を見いだすことである。
Figure 2007316693
λ=0及びη=0の場合、写像は単位写像になることに注意すべきである(すなわち、全てのi=0,…,2m−1及びj=0,…,2m−1に対してf(m,s)(i,j)=(i,j)となる)。後述のごとく、本前提技術では最初にλ=0及びη=0の場合を評価するため、写像を単位写像から徐々に変形していくことができる。仮に総合評価式のλの位置を変えてC(m,s)f+λD(m,s)fと定義したとすれば、λ=0及びη=0の場合に総合評価式がC(m,s)fだけになり、本来何等関連のない画素どうしが単に輝度が近いというだけで対応づけられ、写像が無意味なものになる。そうした無意味な写像をもとに写像を変形していってもまったく意味をなさない。このため、単位写像が評価の開始時点で最良の写像として選択されるよう係数パラメータの与えかたが配慮されている。
オプティカルフローもこの前提技術同様、画素の輝度の差と滑らかさを考慮する。しかし、オプティカルフローは画像の変換に用いることはできない。オブジェクトの局所的な動きしか考慮しないためである。前提技術に係る特異点フィルタを用いることによって大域的な対応関係を検出することができる。
[1.3.3]多重解像度の導入による写像の決定
最小エネルギーを与え、全単射条件を満足する写像fminを多重解像度の階層を用いて求める。各解像度レベルにおいて始点副画像及び終点副画像間の写像を計算する。解像度の階層の最上位(最も粗いレベル)からスタートし、各解像度レベルの写像を、他のレベルの写像を考慮に入れながら決定する。各レベルにおける写像の候補の数は、より高い、つまりより粗いレベルの写像を用いることによって制限される。より具体的には、あるレベルにおける写像の決定に際し、それよりひとつ粗いレベルにおいて求められた写像が一種の拘束条件として課される。
まず、
Figure 2007316693
が成り立つとき、p(m−1,s)(i’,j’)、q(m−1,s)(i’,j’)をそれぞれp(m,s)(i,j)、q(m,s)(i,j)のparentと呼ぶことにする。[x]はxを越えない最大整数である。またp(m,s)(i,j)、q(m,s)(i,j)をそれぞれp(m−1,s)(i’,j’)、q(m−1,s)(i’,j’)のchildと呼ぶ。関数parent(i,j)は次式で定義される。
Figure 2007316693
p(m,s)(i,j)とq(m,s)(k,l)の間の写像f(m,s)は、エネルギー計算を行って最小になったものを見つけることで決定される。f(m,s)(i,j)=(k,l)の値はf(m−1,s)(m=1,2,…,n)を用いることによって、以下のように決定される。まず、q(m,s)(k,l)は次の四辺形の内部になければならないという条件を課し、全単射条件を満たす写像のうち現実性の高いものを絞り込む。
Figure 2007316693
ただしここで、
Figure 2007316693
である。こうして定めた四辺形を、以下p(m,s)(i,j)の相続(inherited)四辺形と呼ぶことにする。相続四辺形の内部において、エネルギーを最小にする画素を求める。
図3は以上の手順を示している。同図において、始点画像のA,B,C,Dの画素は、第m−1レベルにおいてそれぞれ終点画像のA’,B’,C’,D’へ写影される。画素p(m,s)(i,j)は、相続四辺形A’B’C’D’の内部に存在する画素q(m,s)f(m)(i,j)へ写影されなければならない。以上の配慮により、第m−1レベルの写像から第mレベルの写像への橋渡しがなされる。
先に定義したエネルギーE0は、第mレベルにおける副写像f(m,0)を計算するために、次式に置き換える。
Figure 2007316693
また、副写像f(m,s)を計算するためには次式を用いる。
Figure 2007316693
こうしてすべての副写像のエネルギーを低い値に保つ写像が得られる。式20により、異なる特異点に対応する副写像が、副写像どうしの類似度が高くなるように同一レベル内で関連づけられる。式19は、f(m,s)(i,j)と、第m−1レベルの画素の一部と考えた場合の(i,j)が射影されるべき点の位置との距離を示している。
仮に、相続四辺形A’B’C’D’の内部に全単射条件を満たす画素が存在しない場合は以下の措置をとる。まず、A’B’C’D’の境界線からの距離がL(始めはL=1)である画素を調べる。それらのうち、エネルギーが最小になるものが全単射条件を満たせば、これをf(m,s)(i,j)の値として選択する。そのような点が発見されるか、またはLがその上限のL(m)maxに到達するまで、Lを大きくしていく。L(m)maxは各レベルmに対して固定である。そのような点が全く発見されない場合、全単射の第3の条件を一時的に無視して変換先の四辺形の面積がゼロになるような写像も認め、f(m,s)(i,j)を決定する。それでも条件を満たす点が見つからない場合、つぎに全単射の第1及び第2条件を外す。
多重解像度を用いる近似法は、写像が画像の細部に影響されることを回避しつつ、画像間の大域的な対応関係を決定するために必須である。多重解像度による近似法を用いなければ、距離の遠い画素間の対応関係を見いだすことは不可能である。その場合、画像のサイズはきわめて小さなものに限定しなければならず、変化の小さな画像しか扱うことができない。さらに、通常写像に滑らかさを要求するため、そうした画素間の対応関係を見つけにくくしている。距離のある画素から画素への写像のエネルギーは高いためである。多重解像度を用いた近似法によれば、そうした画素間の適切な対応関係を見いだすことができる。それらの距離は、解像度の階層の上位レベル(粗いレベル)において小さいためである。
[1.4]最適なパレメータ値の自動決定
既存のマッチング技術の主な欠点のひとつに、パレメータ調整の困難さがある。大抵の場合、パラメータの調整は人手作業によって行われ、最適な値を選択することはきわめて難しい。前提技術に係る方法によれば、最適なパラメータ値を完全に自動決定することができる。
前提技術に係るシステムはふたつのパレメータ、λ及びηを含む。端的にいえば、λは画素の輝度の差の重みであり、ηは写像の剛性を示している。これらのパラメータの値は初期値が0であり、まずη=0に固定してλを0から徐々に増加させる。λの値を大きくしながら、しかも総合評価式(式14)の値を最小にする場合、各副写像に関するC(m,s)fの値は一般に小さくなっていく。このことは基本的にふたつの画像がよりマッチしなければならないことを意味する。しかし、λが最適値を超えると以下の現象が発生する。
1.本来対応すべきではない画素どうしが、単に輝度が近いというだけで誤って対応づけられる。
2.その結果、画素どうしの対応関係がおかしくなり、写像がくずれはじめる。
3.その結果、式14においてD(m,s)fが急激に増加しようとする。
4.その結果、式14の値が急激に増加しようとするため、D(m,s)fの急激な増加を抑制するようf(m,s)が変化し、その結果C(m,s)fが増加する。
したがって、λを増加させながら式14が最小値をとるという状態を維持しつつC(m,s)fが減少から増加に転じる閾値を検出し、そのλをη=0における最適値とする。つぎにηを少しづつ増やしてC(m,s)fの挙動を検査し、後述の方法でηを自動決定する。そのηに対応してλも決まる。
この方法は、人間の視覚システムの焦点機構の動作に似ている。人間の視覚システムでは、一方の目を動かしながら左右両目の画像のマッチングがとられる。オブジェクトがはっきりと認識できるとき、その目が固定される。
[1.4.1]λの動的決定
λは0から所定の刻み幅で増加されていき、λの値が変わる度に副写像が評価される。式14のごとく、総エネルギーはλC(m,s)f+D(m,s)fによって定義される。式9のD(m,s)fは滑らかさを表すもので、理論的には単位写像の場合に最小になり、写像が歪むほどE0もE1も増加していく。E1は整数であるから、D(m,s)fの最小刻み幅は1である。このため、現在のλC(m,s)(i,j)の変化(減少量)が1以上でなければ、写像を変化させることによって総エネルギーを減らすことはできない。なぜなら、写像の変化に伴ってD(m,s)fは1以上増加するため、λC(m,s)(i,j)が1以上減少しない限り総エネルギーは減らないためである。
この条件のもと、λの増加に伴い、正常な場合にC(m,s)(i,j)が減少することを示す。C(m,s)(i,j)のヒストグラムをh(l)と記述する。h(l)はエネルギーC(m,s)(i,j)がl2である画素の数である。λl2≧1が成り立つために、例えばl2=1/λの場合を考える。λがλ1からλ2まで微小量変化するとき、
Figure 2007316693
で示されるA個の画素が、
Figure 2007316693
のエネルギーを持つより安定的な状態に変化する。ここでは仮に、これらの画素のエネルギーがすべてゼロになると近似している。この式はC(m,s)fの値が、
Figure 2007316693
だけ変化することを示し、その結果、
Figure 2007316693
が成立する。h(l)>0であるから、通常C(m,s)fは減少する。しかし、λが最適値を越えようとするとき、上述の現象、つまりC(m,s)fの増加が発生する。この現象を検出することにより、λの最適値を決定する。
なお、H(h>0)及びkを定数とするとき、
Figure 2007316693
と仮定すれば、
Figure 2007316693
が成り立つ。このときk≠−3であれば、
Figure 2007316693
となる。これがC(m,s)fの一般式である(Cは定数)。
λの最適値を検出する際、さらに安全を見て、全単射条件を破る画素の数を検査してもよい。ここで各画素の写像を決定する際、全単射条件を破る確率をp0と仮定する。この場合、
Figure 2007316693
が成立しているため、全単射条件を破る画素の数は次式の率で増加する。
Figure 2007316693
従って、
Figure 2007316693
は定数である。仮にh(l)=Hlkを仮定するとき、例えば、
Figure 2007316693
は定数になる。しかしλが最適値を越えると、上の値は急速に増加する。この現象を検出し、B0λ3/2+k/2/2mの値が異常値B0thresを越えるかどうかを検査し、λの最適値を決定することができる。同様に、B1λ3/2+k/2/2mの値が異常値B1thresを越えるかどうかを検査することにより、全単射の第3の条件を破る画素の増加率B1を確認する。ファクター2mを導入する理由は後述する。このシステムはこれら2つの閾値に敏感ではない。これらの閾値は、エネルギーC(m,s)fの観察では検出し損なった写像の過度の歪みを検出するために用いることができる。
なお実験では、副写像f(m,s)を計算する際、もしλが0.1を越えたらf(m,s)の計算は止めてf(m,s+1)の計算に移行した。λ>0.1のとき、画素の輝度255レベル中のわずか「3」の違いが副写像の計算に影響したためであり、λ>0.1のとき正しい結果を得ることは困難だったためである。
[1.4.2]ヒストグラムh(l)
C(m,s)fの検査はヒストグラムh(l)に依存しない。全単射及びその第3の条件の検査の際、h(l)に影響を受けうる。実際に(λ,C(m,s)f)をプロットすると、kは通常1付近にある。実験ではk=1を用い、B0λ2とB1λ2を検査した。仮にkの本当の値が1未満であれば、B0λ2とB1λ2は定数にならず、ファクターλ(1−k)/2に従って徐々に増加する。h(l)が定数であれば、例えばファクターはλ1/2である。しかし、こうした差は閾値B0thresを正しく設定することによって吸収することができる。
ここで次式のごとく始点画像を中心が(x0,y0)、半径rの円形のオブジェクトであると仮定する。
Figure 2007316693
一方、終点画像は、次式のごとく中心(x1,y1)、半径がrのオブジェクトであるとする。
Figure 2007316693
ここでc(x)はc(x)=xkの形であるとする。中心(x0,y0)及び(x1,y1)が十分遠い場合、ヒストグラムh(l)は次式の形となる。
Figure 2007316693
k=1のとき、画像は背景に埋め込まれた鮮明な境界線を持つオブジェクトを示す。このオブジェクトは中心が暗く、周囲にいくに従って明るくなる。k=−1のとき、画像は曖昧な境界線を持つオブジェクトを表す。このオブジェクトは中心が最も明るく、周囲にいくに従って暗くなる。一般のオブジェクトはこれらふたつのタイプのオブジェクトの中間にあると考えてもさして一般性を失わない。したがって、kは−1≦k≦1として大抵の場合をカバーでき、式27が一般に減少関数であることが保障される。
なお、式34からわかるように、rは画像の解像度に影響されること、すなわちrは2mに比例することに注意すべきである。このために[1.4.1]においてファクター2mを導入した。
[1.4.3]ηの動的決定
パラメータηも同様の方法で自動決定できる。はじめにη=0とし、最も細かい解像度における最終的な写像f(n)及びエネルギーC(n)fを計算する。つづいて、ηをある値Δηだけ増加させ、再び最も細かい解像度における最終写像f(n)及びエネルギーC(n)fを計算し直す。この過程を最適値が求まるまで続ける。ηは写像の剛性を示す。次式の重みだからである。
Figure 2007316693
ηが0のとき、D(n)fは直前の副写像と無関係に決定され、現在の副写像は弾性的に変形され、過度に歪むことになる。一方、ηが非常に大きな値のとき、D(n)fは直前の副写像によってほぼ完全に決まる。このとき副写像は非常に剛性が高く、画素は同じ場所に射影される。その結果、写像は単位写像になる。ηの値が0から次第に増えるとき、後述のごとくC(n)fは徐々に減少する。しかしηの値が最適値を越えると、図4に示すとおり、エネルギーは増加し始める。同図のX軸はη、Y軸はCfである。
この方法でC(n)fを最小にする最適なηの値を得ることができる。しかし、λの場合に比べていろいろな要素が計算に影響する結果、C(n)fは小さく揺らぎながら変化する。λの場合は、入力が微小量変化するたびに副写像を1回計算しなおすだけだが、ηの場合はすべての副写像が計算しなおされるためである。このため、得られたC(n)fの値が最小であるかどうかを即座に判断することはできない。最小値の候補が見つかれば、さらに細かい区間を設定することによって真の最小値を探す必要がある。
[1.5]スーパーサンプリング
画素間の対応関係を決定する際、自由度を増やすために、f(m,s)の値域をR×Rに拡張することができる(Rは実数の集合)。この場合、終点画像の画素の輝度が補間され、非整数点、
Figure 2007316693
における輝度を持つf(m,s)が提供される。つまりスーパーサンプリングが行われる。実験では、f(m,s)は整数及び半整数値をとることが許され、
Figure 2007316693
は、
Figure 2007316693
によって与えられた。
[1.6]各画像の画素の輝度の正規化
始点画像と終点画像がきわめて異なるオブジェクトを含んでいるとき、写像の計算に元の画素の輝度がそのままでは利用しにくい。輝度の差が大きいために輝度に関するエネルギーC(m,s)fが大きくなりすぎ、正しい評価がしずらいためである。
例えば、人の顔と猫の顔のマッチングをとる場合を考える。猫の顔は毛で覆われており、非常に明るい画素と非常に暗い画素が混じっている。この場合、ふたつの顔の間の副写像を計算するために、まず副画像を正規化する。すなわち、最も暗い画素の輝度を0、最も明るいそれを255に設定し、他の画素の輝度は線形補間によって求めておく。
[1.7]インプリメンテーション
始点画像のスキャンに従って計算がリニアに進行する帰納的な方法を用いる。始めに、1番上の左端の画素(i,j)=(0,0)についてf(m,s)の値を決定する。次にiを1ずつ増やしながら各f(m,s)(i,j)の値を決定する。iの値が画像の幅に到達したとき、jの値を1増やし、iを0に戻す。以降、始点画像のスキャンに伴いf(m,s)(i,j)を決定していく。すべての点について画素の対応が決まれば、ひとつの写像f(m,s)が決まる。
あるp(i,j)について対応点qf(i,j)が決まれば、つぎにp(i,j+1)の対応点qf(i,j+1)が決められる。この際、qf(i,j+1)の位置は全単射条件を満たすために、qf(i,j)の位置によって制限される。したがって、先に対応点が決まる点ほどこのシステムでは優先度が高くなる。つねに(0,0)が最も優先される状態がつづくと、求められる最終の写像に余計な偏向が加わる。本前提技術ではこの状態を回避するために、f(m,s)を以下の方法で決めていく。
まず(s mod 4)が0の場合、(0,0)を開始点としi及びjを徐々に増やしながら決めていく。(s mod 4)が1の場合、最上行の右端点を開始点とし、iを減少、jを増加させながら決めていく。(s mod 4)が2のとき、最下行の右端点を開始点とし、i及びjを減少させながら決めていく。(s mod 4)が3の場合、最下行の左端点を開始点とし、iを増加、jを減少させながら決めていく。解像度が最も細かい第nレベルには副写像という概念、すなわちパラメータsが存在しないため、仮にs=0及びs=2であるとしてふたつの方向を連続的に計算した。
実際のインプリメンテーションでは、全単射条件を破る候補に対してペナルティを与えることにより、候補(k,l)の中からできる限り全単射条件を満たすf(m,s)(i,j)(m=0,…,n)の値を選んだ。第3の条件を破る候補のエネルギーD(k、l)にはφを掛け、一方、第1または第2の条件を破る候補にはψを掛ける。今回はφ=2、ψ=100000を用いた。
前述の全単射条件のチェックのために、実際の手続として(k,l)=f(m,s)(i,j)を決定する際に以下のテストを行った。すなわちf(m,s)(i,j)の相続四辺形に含まれる各格子点(k,l)に対し、次式の外積のz成分が0以上になるかどうかを確かめる。
Figure 2007316693
ただしここで、
Figure 2007316693
Figure 2007316693
である(ここでベクトルは三次元ベクトルとし、z軸は直交右手座標系において定義される)。もしWが負であれば、その候補についてはD(m,s)(k,l)にψを掛けることによってペナルティを与え、できるかぎり選択しないようにする。
図5(a)、図5(b)はこの条件を検査する理由を示している。図5(a)はペナルティのない候補、図5(b)はペナルティがある候補をそれぞれ表す。隣接画素(i,j+1)に対する写像f(m,s)(i,j+1)を決定する際、Wのz成分が負であれば始点画像平面上において全単射条件を満足する画素は存在しない。なぜなら、q(m,s)(k,l)は隣接する四辺形の境界線を越えるためである。
[1.7.1]副写像の順序
インプリメンテーションでは、解像度レベルが偶数のときにはσ(0)=0、σ(1)=1、σ(2)=2、σ(3)=3、σ(4)=0を用い、奇数のときはσ(0)=3、σ(1)=2、σ(2)=1、σ(3)=0、σ(4)=3を用いた。このことで、副写像を適度にシャッフルした。なお、本来副写像は4種類であり、sは0〜3のいずれかである。しかし、実際にはs=4に相当する処理を行った。その理由は後述する。
[1.8]補間計算
始点画像と終点画像の間の写像が決定された後、対応しあう画素の輝度が補間される。実験では、トライリニア補間を用いた。始点画像平面における正方形p(i,j)p(i+1,j)p(i,j+1)p(i+1,j+1)が終点画像平面上の四辺形qf(i,j)qf(i+1,j)qf(i,j+1)qf(i+1,j+1)に射影されると仮定する。簡単のため、画像間の距離を1とする。始点画像平面からの距離がt(0≦t≦1)である中間画像の画素r(x,y,t)(0≦x≦N−1,0≦y≦M−1)は以下の要領で求められる。まず画素r(x,y,t)の位置(ただしx,y,t∈R)を次式で求める。
Figure 2007316693
つづいてr(x,y,t)における画素の輝度が次の式を用いて決定される。
Figure 2007316693
ここでdx及びdyはパラメータであり、0から1まで変化する。
[1.9]拘束条件を課したときの写像
いままでは拘束条件がいっさい存在しない場合の写像の決定を述べた。しかし、始点画像と終点画像の特定の画素間に予め対応関係が規定されているとき、これを拘束条件としたうえで写像を決定することができる。
基本的な考えは、まず始点画像の特定の画素を終点画像の特定の画素に移す大まかな写像によって始点画像を大まかに変形し、しかる後、写像fを正確に計算する。
まず始めに、始点画像の特定の画素を終点画像の特定の画素に射影し、始点画像の他の画素を適当な位置に射影する大まかな写像を決める。すなわち、特定の画素に近い画素は、その特定の画素が射影される場所の近くに射影されるような写像である。ここで第mレベルの大まかな写像をF(m)と記述する。
大まかな写像Fは以下の要領で決める。まず、いくつかの画素について写像を特定する。始点画像についてns個の画素、
Figure 2007316693
を特定するとき、以下の値を決める。
Figure 2007316693
始点画像の他の画素の変位量は、p(ih,jh)(h=0,…,ns−1)の変位に重み付けをして求められる平均である。すなわち画素p(i,j)は、終点画像の以下の画素に射影される。
Figure 2007316693
ただしここで、
Figure 2007316693
Figure 2007316693
とする。
つづいて、F(m)に近い候補写像fがより少ないエネルギーを持つように、その写像fのエネルギーD(m,s)(i,j)を変更する。正確には、D(m,s)(i,j)は、
Figure 2007316693
である。ただし、
Figure 2007316693
であり、κ,ρ≧0とする。最後に、前述の写像の自動計算プロセスにより、fを完全に決定する。
ここで、f(m,s)(i,j)がF(m)(i,j)に十分近いとき、つまりそれらの距離が、
Figure 2007316693
以内であるとき、E2(m,s)(i,j)が0になることに注意すべきである。そのように定義した理由は、各f(m,s)(i,j)がF(m)(i,j)に十分近い限り、終点画像において適切な位置に落ち着くよう、その値を自動的に決めたいためである。この理由により、正確な対応関係を詳細に特定する必要がなく、始点画像は終点画像にマッチするように自動的にマッピングされる。
[2]具体的な処理手順
[1]の各要素技術による処理の流れを説明する。
図6は前提技術の全体手順を示すフローチャートである。同図のごとく、まず多重解像度特異点フィルタを用いた処理を行い(S1)、つづいて始点画像と終点画像のマッチングをとる(S2)。ただし、S2は必須ではなく、S1で得られた画像の特徴をもとに画像認識などの処理を行ってもよい。
図7は図6のS1の詳細を示すフローチャートである。ここではS2で始点画像と終点画像のマッチングをとることを前提としている。そのため、まず特異点フィルタによって始点画像の階層化を行い(S10)、一連の始点階層画像を得る。つづいて同様の方法で終点画像の階層化を行い(S11)、一連の終点階層画像を得る。ただし、S10とS11の順序は任意であるし、始点階層画像と終点階層画像を並行して生成していくこともできる。
図8は図7のS10の詳細を示すフローチャートである。もとの始点画像のサイズは2n×2nとする。始点階層画像は解像度が細かいほうから順に作られるため、処理の対象となる解像度レベルを示すパラメータmをnにセットする(S100)。つづいて第mレベルの画像p(m,0)、p(m,1)、p(m,2)、p(m,3)から特異点フィルタを用いて特異点を検出し(S101)、それぞれ第m−1レベルの画像p(m−1,0)、p(m−1,1)、p(m−1,2)、p(m−1,3)を生成する(S102)。ここではm=nであるため、p(m,0)=p(m,1)=p(m,2)=p(m,3)=p(n)であり、ひとつの始点画像から4種類の副画像が生成される。
図9は第mレベルの画像の一部と、第m−1レベルの画像の一部の対応関係を示している。同図の数値は各画素の輝度を示す。同図のp(m,s)はp(m,0)〜p(m,3)の4つの画像を象徴するもので、p(m−1,0)を生成する場合には、p(m,s)はp(m,0)であると考える。[1.2]で示した規則により、p(m−1,0)は例えば同図で輝度を記入したブロックについて、そこに含まれる4画素のうち「3」、p(m−1,1)は「8」、p(m−1,2)は「6」、p(m−1,3)を「10」をそれぞれ取得し、このブロックをそれぞれ取得したひとつの画素で置き換える。したがって、第m−1レベルの副画像のサイズは2m−1×2m−1になる。
つづいてmをデクリメントし(図8のS103)、mが負になっていないことを確認し(S104)、S101に戻ってつぎに解像度の粗い副画像を生成していく。この繰り返し処理の結果、m=0、すなわち第0レベルの副画像が生成された時点でS10が終了する。第0レベルの副画像のサイズは1×1である。
図10はS10によって生成された始点階層画像をn=3の場合について例示している。最初の始点画像のみが4つの系列に共通であり、以降特異点の種類に応じてそれぞれ独立に副画像が生成されていく。なお、図8の処理は図7のS11にも共通であり、同様の手順を経て終点階層画像も生成される。以上で図6のS1による処理が完了する。
前提技術では、図6のS2に進むためにマッチング評価の準備をする。図11はその手順を示している。同図のごとく、まず複数の評価式が設定される(S30)。[1.3.2.1]で導入した画素に関するエネルギーC(m,s)fと[1.3.2.2]で導入した写像の滑らかさに関するエネルギーD(m,s)fがそれである。つぎに、これらの評価式を統合して総合評価式を立てる(S31)。[1.3.2.3]で導入した総エネルギーλC(m,s)f+D(m,s)fがそれであり、[1.3.2.2]で導入したηを用いれば、
ΣΣ(λC(m,s)(i,j)+ηE0(m,s)(i,j)+E1(m,s)(i,j)) (式52)
となる。ただし、総和はi、jについてそれぞれ0、1…、2m−1で計算する。以上でマッチング評価の準備が整う。
図12は図6のS2の詳細を示すフローチャートである。[1]で述べたごとく、始点階層画像と終点階層画像のマッチングは互いに同じ解像度レベルの画像どうしでとられる。画像間の大域的なマッチングを良好にとるために、解像度が粗いレベルから順にマッチングを計算する。特異点フィルタを用いて始点階層画像および終点階層画像を生成しているため、特異点の位置や輝度は解像度の粗いレベルでも明確に保存されており、大域的なマッチングの結果は従来に比べて非常に優れたものになる。
図12のごとく、まず係数パラメータηを0、レベルパラメータmを0に設定する(S20)。つづいて、始点階層画像中の第mレベルの4つの副画像と終点階層画像中の第mレベルの4つの副画像のそれぞれの間でマッチングを計算し、それぞれ全単射条件を満たし、かつエネルギーを最小にするような4種類の副写像f(m,s)(s=0,1,2,3)を求める(S21)。全単射条件は[1.3.3]で述べた相続四辺形を用いて検査される。この際、式17、18が示すように、第mレベルにおける副写像は第m−1レベルのそれらに拘束されるため、より解像度の粗いレベルにおけるマッチングが順次利用されていく。これは異なるレベル間の垂直的参照である。なお、いまm=0であってそれより粗いレベルはないが、この例外的な処理は図13で後述する。
一方、同一レベル内における水平的参照も行われる。[1.3.3]の式20のごとく、f(m,3)はf(m,2)に、f(m,2)はf(m,1)に、f(m,1)はf(m,0)に、それぞれ類似するように決める。その理由は、特異点の種類が違っても、それらがもともと同じ始点画像と終点画像に含まれている以上、副写像がまったく異なるという状況は不自然だからである。式20からわかるように、副写像どうしが近いほどエネルギーは小さくなり、マッチングが良好とみなされる。
なお、最初に決めるべきf(m,0)については同一のレベルで参照できる副写像がないため、式19に示すごとくひとつ粗いレベルを参照する。ただし、実験ではf(m,3)まで求まった後、これを拘束条件としてf(m,0)を一回更新するという手続をとった。これは式20にs=4を代入し、f(m,4)を新たなf(m,0)とすることに等しい。f(m,0)とf(m,3)の関連度が低くなり過ぎる傾向を回避するためであり、この措置によって実験結果がより良好になった。この措置に加え、実験では[1.7.1]に示す副写像のシャッフルも行った。これも本来特異点の種類ごとに決まる副写像どうしの関連度を密接に保つ趣旨である。また、処理の開始点に依存する偏向を回避するために、sの値にしたがって開始点の位置を変える点は[1.7]で述べたとおりである。
図13は第0レベルにおいて副写像を決定する様子を示す図である。第0レベルでは各副画像がただひとつの画素で構成されるため、4つの副写像f(0,s)はすべて自動的に単位写像に決まる。図14は第1レベルにおいて副写像を決定する様子を示す図である。第1レベルでは副画像がそれぞれ4画素で構成される。同図ではこれら4画素が実線で示されている。いま、p(1,s)の点xの対応点をq(1,s)の中で探すとき、以下の手順を踏む。
1.第1レベルの解像度で点xの左上点a、右上点b、左下点c、右下点dを求める。
2.点a〜dがひとつ粗いレベル、つまり第0レベルにおいて属する画素を探す。図14の場合、点a〜dはそれぞれ画素A〜Dに属する。ただし、画素A〜Cは本来存在しない仮想的な画素である。
3.第0レベルですでに求まっている画素A〜Dの対応点A’〜D’をq(1,s)の中にプロットする。画素A’〜C’は仮想的な画素であり、それぞれ画素A〜Cと同じ位置にあるものとする。
4.画素Aの中の点aの対応点a’が画素A’の中にあるとみなし、点a’をプロットする。このとき、点aが画素Aの中で占める位置(この場合、右下)と、点a’が画素A’の中で占める位置が同じであると仮定する。
5.4と同様の方法で対応点b’〜d’をプロットし、点a’〜d’で相続四辺形を作る。
6.相続四辺形の中でエネルギーが最小になるよう、点xの対応点x’を探す。対応点x’の候補として、例えば画素の中心が相続四辺形に含まれるものに限定してもよい。図14の場合、4つの画素がすべて候補になる。
以上がある点xの対応点の決定手順である。同様の処理を他のすべての点について行い、副写像を決める。第2レベル以上のレベルでは、次第に相続四辺形の形が崩れていくと考えられるため、図3に示すように画素A’〜D’の間隔が空いていく状況が発生する。
こうして、ある第mレベルの4つの副写像が決まれば、mをインクリメントし(図12のS22)、mがnを超えていないことを確かめて(S23)、S21に戻る。以下、S21に戻るたびに次第に細かい解像度のレベルの副写像を求め、最後にS21に戻ったときに第nレベルの写像f(n)を決める。この写像はη=0に関して定まったものであるから、f(n)(η=0)と書く。
つぎに異なるηに関する写像も求めるべく、ηをΔηだけシフトし、mをゼロクリアする(S24)。新たなηが所定の探索打切り値ηmaxを超えていないことを確認し(S25)、S21に戻り、今回のηに関して写像f(n)(η=Δη)を求める。この処理を繰り返し、S21でf(n)(η=iΔη)(i=0,1,…)を求めていく。ηがηmaxを超えたときS26に進み、後述の方法で最適なη=ηoptを決定し、f(n)(η=ηopt)を最終的に写像f(n)とする。
図15は図12のS21の詳細を示すフローチャートである。このフローチャートにより、ある定まったηについて、第mレベルにおける副写像が決まる。副写像を決める際、前提技術では副写像ごとに最適なλを独立して決める。
同図のごとく、まずsとλをゼロクリアする(S210)。つぎに、そのときのλについて(および暗にηについて)エネルギーを最小にする副写像f(m,s)を求め(S211)、これをf(m,s)(λ=0)と書く。異なるλに関する写像も求めるべく、λをΔλだけシフトし、新たなλが所定の探索打切り値λmaxを超えていないことを確認し(S213)、S211に戻り、以降の繰り返し処理でf(m,s)(λ=iΔλ)(i=0,1,…)を求める。λがλmaxを超えたときS214に進み、最適なλ=λoptを決定し、f(m,s)(λ=λopt)を最終的に写像f(m,s)とする(S214)。
つぎに、同一レベルにおける他の副写像を求めるべく、λをゼロクリアし、sをインクリメントする(S215)。sが4を超えていないことを確認し(S216)、S211に戻る。s=4になれば上述のごとくf(m,3)を利用してf(m,0)を更新し、そのレベルにおける副写像の決定を終了する。
図16は、あるmとsについてλを変えながら求められたf(m,s)(λ=iΔλ)(i=0,1,…)に対応するエネルギーC(m,s)fの挙動を示す図である。[1.4]で述べたとおり、λが増加すると通常C(m,s)fは減少する。しかし、λが最適値を超えるとC(m,s)fは増加に転じる。そこで本前提技術ではC(m,s)fが極小値をとるときのλをλoptと決める。同図のようにλ>λoptの範囲で再度C(m,s)fが小さくなっていっても、その時点ではすでに写像がくずれていて意味をなさないため、最初の極小点に注目すればよい。λoptは副写像ごとに独立して決めていき、最後にf(n)についてもひとつ定まる。
一方、図17は、ηを変えながら求められたf(n)(η=iΔη)(i=0,1,…)に対応するエネルギーC(n)fの挙動を示す図である。ここでもηが増加すると通常C(n)fは減少するが、ηが最適値を超えるとC(n)fは増加に転じる。そこでC(n)fが極小値をとるときのηをηoptと決める。図17は図4の横軸のゼロ付近を拡大した図と考えてよい。ηoptが決まればf(n)を最終決定することができる。
以上、本前提技術によれば種々のメリットが得られる。まずエッジを検出する必要がないため、エッジ検出タイプの従来技術の課題を解消できる。また、画像に含まれるオブジェクトに対する先験的な知識も不要であり、対応点の自動検出が実現する。特異点フィルタによれば、解像度の粗いレベルでも特異点の輝度や位置を維持することができ、オブジェクト認識、特徴抽出、画像マッチングに極めて有利である。その結果、人手作業を大幅に軽減する画像処理システムの構築が可能となる。
なお、本前提技術について次のような変形技術も考えられる。
(1)前提技術では始点階層画像と終点階層画像の間でマッチングをとる際にパラメータの自動決定を行ったが、この方法は階層画像間ではなく、通常の2枚の画像間のマッチングをとる場合全般に利用できる。
たとえば2枚の画像間で、画素の輝度の差に関するエネルギーE0と画素の位置的なずれに関するエネルギーE1のふたつを評価式とし、これらの線形和Etot=αE0+E1を総合評価式とする。この総合評価式の極値付近に注目してαを自動決定する。つまり、いろいろなαについてEtotが最小になるような写像を求める。それらの写像のうち、αに関してE1が極小値をとるときのαを最適パラメータと決める。そのパラメータに対応する写像を最終的に両画像間の最適マッチングとみなす。
これ以外にも評価式の設定にはいろいろな方法があり、例えば1/E1と1/E2のように、評価結果が良好なほど大きな値をとるものを採用してもよい。総合評価式も必ずしも線形和である必要はなく、n乗和(n=2、1/2、−1、−2など)、多項式、任意の関数などを適宜選択すればよい。
パラメータも、αのみ、前提技術のごとくηとλのふたつの場合、それ以上の場合など、いずれでもよい。パラメータが3以上の場合はひとつずつ変化させて決めていく。
(2)本前提技術では、総合評価式の値が最小になるよう写像を決めた後、総合評価式を構成するひとつの評価式であるC(m,s)fが極小になる点を検出してパラメータを決定した。しかし、こうした二段回処理の代わりに、状況によっては単に総合評価式の最小値が最小になるようにパラメータを決めても効果的である。その場合、例えばαE0+βE1を総合評価式とし、α+β=1なる拘束条件を設けて各評価式を平等に扱うなどの措置を講じてもよい。パラメータの自動決定の本質は、エネルギーが最小になるようにパラメータを決めていく点にあるからである。
(3)前提技術では各解像度レベルで4種類の特異点に関する4種類の副画像を生成した。しかし、当然4種類のうち1、2、3種類を選択的に用いてもよい。例えば、画像中に明るい点がひとつだけ存在する状態であれば、極大点に関するf(m,3)だけで階層画像を生成しても相応の効果が得られるはずである。その場合、同一レベルで異なる副写像は不要になるため、sに関する計算量が減る効果がある。
(4)本前提技術では特異点フィルタによってレベルがひとつ進むと画素が1/4になった。例えば3×3で1ブロックとし、その中で特異点を探す構成も可能であり、その場合、レベルがひとつ進むと画素は1/9になる。
(5)始点画像と終点画像がカラーの場合、それらをまず白黒画像に変換し、写像を計算する。その結果求められた写像を用いて始点のカラー画像を変換する。それ以外の方法として、RGBの各成分について副写像を計算してもよい。
[画像符号化と復号に関する実施の形態]
以下、本発明に係る実施の形態(以下「実施形態」という)における以上の前提技術を利用した画像処理技術を具体的に述べる。
(第1の実施形態)
図18は、画像処理システム10の一例の全体構成図である。画像処理システム10には制作者PC14(PC:パーソナル・コンピュータ)、サーバ16、および閲覧者PC18がインターネットやLAN(Local Area Network)やWAN(Wide Area Network)などのネットワーク12に接続されている。
制作者PC14は、ネットワーク12上に公開するWebページを制作する制作者が使用するPCである。サーバ16は、制作者PC14によって制作されたWebページを公開する。閲覧者PC18は、ネットワーク12上に公開されているWebページを閲覧する者が使用するPCである。なお、閲覧者PC18は携帯電話など、Webページを閲覧することができる他の装置であってもよい。
図19は、第1の実施形態に係る制作者PC14の機能ブロック図である。制作者PC14は画像入力部20、マッチングプロセッサ22、ストリーム生成部24、通信部26、検査部28、UI30を備える。制作者PC14は、CPU、ハードディスク、RAM、ROMなどのハードウェアを有している。また制作者PC14は、Webページを制作するためのプログラム、および画像をアニメーション表示させるための画像符号化プログラムが導入されている。図19はこれらのハードウェアおよびソフトウェアの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェアおよびソフトウェアの組合せによって様々な形で実現することができる。
画像入力部20は、キーフレームを取得する。具体的には、画像入力部20は、制作者PC14内に設けられたRAMなどのメモリやハードディスクに格納されたキーフレームを取得する。
マッチングプロセッサ22は、キーフレーム間で前提技術を用いた対応点計算を行う。ストリーム生成部24は、キーフレームおよび対応点情報を組み込んで符号化データストリームを生成する。閲覧者PC18は、符号化データストリームをネットワーク12に向かって送信する。このように制作者PC14は、画像マッチング処理を実施して画像を符号化する画像符号化装置として機能する。検査部28は、対応点情報からキーフレーム間の変化量が大きいか否かを検査する。UI30は画像処理に関するユーザの要求を受け付ける。
公開するWebページにおいて複数のアニメーション表示をしたい場合に複数組のキーフレームを用意するのは、Webページの制作者の労力を必要とし、また装置の負担も大きくなるおそれがある。このため本実施形態では、複数のアニメーションをWebページなどにおいて並置するためのキーフレームのフォームが予め用意されている。
キーフレームフォーム74などのキーフレームのフォームは、制作者PC14にインストールされている画像マッチングソフトウェアにおいて予め用意されている。また、サーバ16内部の記憶領域にもキーフレームのフォームが格納されており、画像にマッチング処理を施す制作者は、サーバ16のWebページにアクセスしてこれらのキーフレームのフォームを自身が使用する制作者PC14にダウンロードすることが可能となっている。
このようなキーフレームのフォームの例を図20(a)に示す。キーフレームフォーム74は横方向に細長い長方形の形状を有している。キーフレームフォーム74内には、長方形の形状を有する第1画像領域76、第2画像領域78、および第3画像領域80(以下、必要に応じてこれらを総称して「画像領域」という)が横方向に一列に並置されている。これらの画像領域の各々は、キーフレームフォーム74の外周とこれらの画像領域との間に幅がゼロより大きい所定の間隔部が設けられるよう配置されている。またこれらの画像領域の各々は、これらの画像領域同士の間に幅がゼロより大きい所定の間隔部が設けられるよう配置されている。キーフレームフォーム74では、これらの画像領域はすべて同一の形状および大きさとなっている。なお、キーフレームフォーム74は一例であり、キーフレームフォームの形状、大きさ、および画像領域の形状、大きさ、および数などが異なる様々なキーフレームフォームが予め用意されている。
制作者は、キーフレームフォーム74内に設けられた画像領域の各々に静止画像を配置する。たとえば制作者は、図20(b)に示すように、第1画像領域76内に第1画像68を配置し、第2画像領域78内に第2画像69を配置し、第3画像領域80内に第3画像70を配置する。こうして複数の静止画像を配置した状態の1枚の画像として第7キーフレーム82が形成される。また、たとえば制作者は、図20(c)に示すように、第1画像領域76内に第4画像71を配置し、第2画像領域78内に第5画像72を配置し、第3画像領域80内に第6画像73を配置する。こうして複数の静止画像を配置した状態の1枚の画像として第8キーフレーム84が形成される。
このように第7キーフレーム82および第8キーフレーム84のそれぞれに静止画像を配置することによって、第7キーフレーム82および第8キーフレーム84のそれぞれに含まれる静止画像のそれぞれの間に間隔部が設けられる。並置された静止画像の各々の外周部にこのように設けられた静止画像同士の間隔部は、複数の静止画像の背景領域を構成し、静止画像同士を分離する画像分離領域として機能する。
このとき制作者は、間隔部の優勢な画素値は、第1画像68乃至第6画像73の外周における優勢な画素値と所定の閾値以上異なるよう、配置する静止画像に応じてキーフレームフォームを選択または作成する。画像入力部20が第7キーフレーム82および第8キーフレーム84を取得すると、マッチングプロセッサ22は、第7キーフレーム82と第8キーフレーム84との間で前提技術を用いた対応点計算を行う。
前提技術では、例えば式49に示されるように、画素値の値、および画素の位置を利用して対応点を特定する。このように各々の画像の間に間隔部が設けられることによって、対応点を特定すべき画像から他の画像を離間させることができる。また、対応点を特定すべき画像と他の画像との間に画素値が異なる領域を設けることができる。このためこのような他の画像内で対応点が特定され対応点情報が生成されることを抑制することができ、対応する静止画像同士の対応点計算をより正確に行うことが可能となる。
なお、制作者は、自身でキーフレームのフォームを制作することが可能である。この場合制作者は、画像領域同士の間に幅がゼロより大きい所定の間隔を設けるよう画像領域の各々を配置する。この場合、キーフレームフォーム74の外周と画像領域との間に幅がゼロより大きい所定の間隔を設けるよう画像領域の各々を配置してもよい。
図21は、第1の実施形態に係るサーバ16の機能ブロック図である。サーバ16は、通信部32、情報受信部34、情報送信部36、記憶部38、および課金部40を備える。サーバ16もまた、CPU、ハードディスク、RAM、ROMなどのハードウェアを有している。図21はこれらのハードウェアおよびソフトウェアの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェアおよびソフトウェアの組合せによって様々な形で実現することができる。
情報受信部34は、制作者PC14など外部からネットワーク12を介して送信された符号化データストリームを通信部32を介して受信する。また情報受信部34は、符号化データストリームに含まれる始点画像および終点画像などを表示するためのWebページ情報を外部からネットワーク12を介して受信する。記憶部38は、受信した符号化データストリームおよびWebページ情報を格納する。サーバ16は格納されたWebページ情報を利用してそのWebページをネットワーク12上に外部から閲覧可能に公開する。
また、情報受信部34は、公開しているWebページのURL(Uniform Resource Locator)が指定されることなどによって閲覧者PC18など外部からネットワーク12を介して指定されたURLのWebページ情報、およびそのWebページに表示する始点画像や終点画像などの情報を含む符号化データストリームの送信要求を受信する。情報送信部36は、このような送信要求を受信した場合に、そのWebページ情報と共に符号化データストリームを要求元に通信部32を介して送信する。
課金部40は、外部から符号化データストリームを受信した場合、1回の符号化データストリームの受信に対して課金対象処理として記録する。すなわち、課金部40は、制作者PC14において2つのキーフレーム同士の間で画像マッチング処理を実行する工程について、その工程を1回の課金対象処理として記録する。さらに換言すると、課金部40は、記憶部38に格納された符号化データストリームの数に応じて、その符号化データストリームを生成した制作者PCに対して課金するよう課金処理を実施する。このように課金処理を実施することによって、画像の符号化処理に対して適切に課金することが可能となる。したがってサーバ16は、外部からの要求に応じて符号化データストリームを要求元に配信する情報配信装置として機能し、また符号化データストリーム生成に対して課金処理を実施する課金装置としても機能する。
図22は、第1の実施形態に係る閲覧者PC18の機能ブロック図である。閲覧者PC18は、通信部42、画像入力部44、中間画像生成部46、バッファメモリ48、表示部50、検査部52、およびUI54を備える。閲覧者PC18もまた、CPU、ハードディスク、RAM、ROMなどのハードウェアを有している。また閲覧者PC18は、Webページを表示するためのプログラム、および画像をアニメーション表示させるための画像復号プログラムが導入されている。図22はこれらのハードウェアおよびソフトウェアの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェアおよびソフトウェアの組合せによって様々な形で実現することができる。
閲覧者PC18の操作者は、サーバ16のWebページのURLを特定することなどによって、Webページ情報および符号化ストリームの送信要求をサーバ16に送信する。通信部42は、送信要求に応答してサーバ16から送信されたWebページ情報および符号化ストリームを受信し、画像入力部44は、受信した符号化ストリームを取得する。中間画像生成部46は、符号化ストリームに含まれるキーフレームのデータおよび対応点情報をもとに補間計算で中間フレームを生成する。バッファメモリ48は、中間画像生成部46が中間フレームを生成する際にワークエリアおよび画像出力のタイミング調整のために利用される。検査部52は、画像入力部44が取得した符号化ストリームから対応点情報を検出したうえでキーフレーム間の変化量の大きさを検証する。UI54は、画像再生に関するユーザの指示を受け付ける。このように閲覧者PC18は、受信した符号化ストリームを復号する画像復号装置として機能する。
表示部50は、指定したURLのWebページを表示する際に、このように符号化ストリームを利用して最終的に得られた画像を表示する。具体的には、Webページ上の第7キーフレーム82および第8キーフレーム84が配置される箇所において、左側で花が徐々に開いていくようにアニメーション表示され、中央で飛行機が上昇していくようにアニメーション表示され、右側で自動車が右から左に走行するようにアニメーション表示される。
このように図20(b)および(c)に示されるキーフレームを利用してアニメーション表示をする場合、図25(a)および(b)に示される複数のキーフレームを利用してアニメーション表示をする場合に比べ少ないキーフレーム数で、Webページの閲覧者に同様の視覚的効果を与えることができる。このためキーフレームを作成する者の労力を軽減することができ、またはマッチング処理を実施する制作者PC14の処理負担を軽減することが可能となる。また、Webページの閲覧者に同様の視覚的効果を与えつつ課金部40によって課金される課金額を低減することができる。
(第2の実施形態)
図23は、第2の実施形態に係るサーバ16の機能ブロック図である。なお、画像処理システム10における他の構成要素については第1の実施形態と同様である。第2の実施形態に係るサーバ16も通信部32、情報受信部34、情報送信部36、および記憶部38を有する点は第1の実施形態に係るサーバ16と同様である。
また、第2の実施形態に係るサーバ16も課金部40を有する点は第1の実施形態に係るサーバ16と同様である。しかし、第2の実施形態に係るサーバ16では、課金部40は、情報送信部36が外部に符号化ストリームを送信するたびに、その符号化ストリームを生成元に課金するよう課金処理を実施する。これによって、符号化ストリームの復号処理に対して適切に課金することができる。
(第3の実施形態)
第3の実施形態に係る画像処理システム10の構成要素は第1の実施形態と同様である。第3の実施形態では、制作者PC14のマッチングプロセッサ22は、生成した対応点情報が適切でない場合にそれを修正する修正部(図示せず)を有している。この修正部の処理を図24(a)および(b)を用いて説明する。
図24(a)は、始点画像である第9キーフレーム86を示す図であり、図24(b)は終点画像である第10キーフレーム88を示す図である。第9キーフレーム86は横方向に細長い長方形に形成されている。
第9キーフレーム86は第1画像領域90、第2画像領域92、および第3画像領域94を有しており、左方向から第1画像領域90、第2画像領域92、第3画像領域94の順に並置されている。各々の画像領域は同一の形状および大きさの長方形に形成されている。第1画像領域90と第2画像領域92との間には、両者を離間させるように上下方向に細長い画像分離領域96が設けられている。第2画像領域92と第3画像領域94との間にも両者を離間させるように上下方向に細長い画像分離領域98が設けられている。第1画像領域90には第1画像102が、第2画像領域92には第2画像104が、第3画像領域94には第3画像106がそれぞれ配置されている。なお、各画像は各画像領域と同一の形状および大きさを有している。
第10キーフレーム88も第1画像領域90、第2画像領域92、第3画像領域94、画像分離領域96、および画像分離領域98を有する点は第9キーフレーム86と同様である。第10キーフレーム88では、第1画像領域90に第4画像108、第2画像領域92に第5画像110、第3画像領域94に第6画像112がそれぞれ配置されている。なお、ここでも各画像は各画像領域と同一の形状および大きさを有している。
例えば、第1画像102の開始点P1の対応点として第5画像110の対応点P2が特定された場合を考える。第1画像102は第4画像108に対応しているため、第1画像102内の開始点は第4画像108内で対応点が特定されるべきである。
マッチングプロセッサ22の修正部は、特定した対応点の位置と対応する画像領域とを比較して、まず対応する画像内で対応点が特定されたか否かを判定する。図24(b)の場合、修正部は第4画像108内で対応点が特定されたか否かを判定する。図24(b)のように対応する画像である第4画像108でなく第5画像110で対応点が特定された場合、修正部は、開始点P1と同じ位置の点を第4画像108内にとり、この点と対応点P2とを結ぶ直線を引く、修正部は、この直線と第4画像108の外周との交点の位置を算出し、この交点を対応点P3として特定する。以下、マッチングプロセッサ22は前提技術と同様な方法で正確な対応点を特定し、対応点情報を生成する。このように修正部は、対応する画像以外の画像同士で対応点が生成されることを抑制する。
以上、画像符号化と復号を説明した。この装置も符号化の場合と同様、ユーザインタラクションを確保することにより、画像編集ツールとして機能する。なお、これらの実施の形態は例示であり、いろいろな変形技術もある。以下、そうした例を挙げる。
制作者PC14はサーバ16としての機能を有していてもよい。これによって、制作者PC14で符号化ストリームの制作および配信を行うことができる。
図24において、修正部は、対応点P3ではなく、開始点P1と同様の位置の第4画像108内の点を対応点として特定してもよい。以下、マッチングプロセッサ22は前提技術と同様な方法で正確な対応点を特定し、対応点情報を生成する。これによっても、対応する画像以外の画像同士で対応点が生成されることを抑制することができる。
図1(a)と図1(b)は、ふたりの人物の顔に平均化フィルタを施して得られる画像、図1(c)と図1(d)は、ふたりの人物の顔に関して前提技術で求められるp(5,0)の画像、図1(e)と図1(f)は、ふたりの人物の顔に関して前提技術で求められるp(5,1)の画像、図1(g)と図1(h)は、ふたりの人物の顔に関して前提技術で求められるp(5,2)の画像、図1(i)と図1(j)は、ふたりの人物の顔に関して前提技術で求められるp(5,3)の画像をそれぞれディスプレイ上に表示した中間調画像の写真である。 図2(R)はもとの四辺形を示す図、図2(A)、図2(B)、図2(C)、図2(D)、図2(E)はそれぞれ相続四辺形を示す図である。 始点画像と終点画像の関係、および第mレベルと第m−1レベルの関係を相続四辺形を用いて示す図である。 パラメータηとエネルギーCfの関係を示す図である。 図5(a)、図5(b)は、ある点に関する写像が全単射条件を満たすか否かを外積計算から求める様子を示す図である。 前提技術の全体手順を示すフローチャートである。 図6のS1の詳細を示すフローチャートである。 図7のS10の詳細を示すフローチャートである。 第mレベルの画像の一部と、第m−1レベルの画像の一部の対応関係を示す図である。 前提技術で生成された始点階層画像を示す図である。 図6のS2に進む前に、マッチング評価の準備の手順を示す図である。 図6のS2の詳細を示すフローチャートである。 第0レベルにおいて副写像を決定する様子を示す図である。 第1レベルにおいて副写像を決定する様子を示す図である。 図12のS21の詳細を示すフローチャートである。 あるf(m,s)についてλを変えながら求められたf(m,s)(λ=iΔλ)に対応するエネルギーC(m,s)fの挙動を示す図である。 ηを変えながら求められたf(n)(η=iΔη)(i=0,1,…)に対応するエネルギーC(n)fの挙動を示す図である。 画像処理システム10の一例の全体構成図である。 第1の実施形態に係る制作者PCの機能ブロック図である。 (a)はキーフレームフォームを示す図であり、(b)は始点画像として形成された第7キーフレームを示す図であり、(c)は終点画像として形成された第8キーフレームを示す図である。 第1の実施形態に係るサーバの機能ブロック図である。 第1の実施形態に係る閲覧者PCの機能ブロック図である。 第2の実施形態に係るサーバの機能ブロック図である。 (a)は始点画像として形成された第9キーフレームを示す図であり、(b)は終点画像として形成された第10キーフレームを示す図である。 (a)は始点画像として形成された第1キーフレーム乃至第3キーフレームを示す図であり、(b)は終点画像として形成された第4キーフレーム乃至第6キーフレームを示す図である。
符号の説明
10 画像処理システム、 12 ネットワーク、 14 制作者PC、 16 サーバ、 18 閲覧者PC、 40 課金部、 74 キーフレームフォーム。

Claims (6)

  1. 複数の静止画像を並置した状態で1枚の画像として形成された第1キーフレームと、第1キーフレームの複数の静止画像の各々に位置的に対応する複数の静止画像を並置した状態で1枚の画像として形成された第2キーフレームとを取得する工程と、
    第1キーフレームと第2キーフレームとの間で対応しあう点に関する情報である対応点情報を画像マッチング処理により取得する工程と、
    第1キーフレーム、第2キーフレームおよび対応点情報を符号化データとして出力する工程と、
    を備えることを特徴とする画像符号化方法。
  2. 第1および第2キーフレームのそれぞれに含まれる複数の静止画像のそれぞれの間には所定の画像分離領域が設けられていることを特徴とする請求項1に記載の画像符号化方法。
  3. 画像分離領域は、複数の静止画像の背景領域を構成することを特徴とする請求項1または2に記載の画像符号化方法。
  4. 背景領域において優勢な画素値は、当該背景領域内に置かれた複数の静止画像の所定領域において優勢な画素値の各々と所定の閾値以上異なることを特徴とする請求項1から3のいずれかに記載の画像符号化方法。
  5. 第1キーフレームおよび第2キーフレームの間で画像マッチング処理を実行する工程について、当該工程を1回の課金対象処理として記録する工程をさらに備えることを特徴とする請求項1から4のいずれかに記載の画像符号化方法。
  6. 複数の静止画像を並置した状態で1枚の画像として形成された第1キーフレームと、第1キーフレームの複数の静止画像の各々に位置的に対応する複数の静止画像を並置した状態で1枚の画像として形成された第2キーフレームとを取得する画像入力部と、
    第1キーフレームと第2キーフレームとの間で対応しあう点に関する情報である対応点情報を画像マッチング処理により取得するマッチングプロセッサと、
    第1キーフレーム、第2キーフレームおよび対応点情報を符号化データとして出力するストリーム生成部と、
    を備えることを特徴とする画像符号化装置。
JP2006142361A 2006-05-23 2006-05-23 画像符号化方法および画像符号化装置 Pending JP2007316693A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006142361A JP2007316693A (ja) 2006-05-23 2006-05-23 画像符号化方法および画像符号化装置
TW96118235A TW200820744A (en) 2006-05-23 2007-05-22 Image encoding method and image encoding apparatus
US11/802,565 US20070286500A1 (en) 2006-05-23 2007-05-23 Image encoding method and image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006142361A JP2007316693A (ja) 2006-05-23 2006-05-23 画像符号化方法および画像符号化装置

Publications (1)

Publication Number Publication Date
JP2007316693A true JP2007316693A (ja) 2007-12-06

Family

ID=38822050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006142361A Pending JP2007316693A (ja) 2006-05-23 2006-05-23 画像符号化方法および画像符号化装置

Country Status (3)

Country Link
US (1) US20070286500A1 (ja)
JP (1) JP2007316693A (ja)
TW (1) TW200820744A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2698771B1 (en) * 2007-03-29 2015-11-18 Glory Ltd. Paper-sheet recognition apparatus, paper-sheet processing apparatus, and paper-sheet recognition method
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
KR102282463B1 (ko) * 2015-09-08 2021-07-27 한화테크윈 주식회사 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치
US11308133B2 (en) * 2018-09-28 2022-04-19 International Business Machines Corporation Entity matching using visual information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
JP2927350B2 (ja) * 1997-03-27 1999-07-28 株式会社モノリス 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
US6145000A (en) * 1998-10-06 2000-11-07 Ameritech Corporation System and method for creating and navigating a linear hypermedia resource program
JP4050472B2 (ja) * 2001-02-06 2008-02-20 株式会社モノリス 画像生成方法、装置およびシステム

Also Published As

Publication number Publication date
TW200820744A (en) 2008-05-01
US20070286500A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
JP2927350B2 (ja) 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
JP3889233B2 (ja) 画像符号化方法と装置および画像復号方法と装置
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
KR100806201B1 (ko) 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
JP2008252860A (ja) 画像処理方法及び画像処理装置
JP3877651B2 (ja) 画像処理方法と装置
JPWO2005122593A1 (ja) 動画符号化方法および動画復号方法
JP4050472B2 (ja) 画像生成方法、装置およびシステム
JP4157686B2 (ja) 画像符号化および復号のための方法および装置
JP2006284704A (ja) 立体地図簡略化装置及び立体地図簡略化方法
JP2007316693A (ja) 画像符号化方法および画像符号化装置
JP2002245455A (ja) 多変量空間処理方法および装置
WO2012172853A1 (ja) 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
JP4039858B2 (ja) 画像マッチング方法と装置、および画像符号化方法と装置
JP2002259979A (ja) 画像補間方法と装置、および画像処理方法と装置
JP2007122751A (ja) 画像処理のための方法、装置、プログラム
US9412188B2 (en) Method and image processing system for removing a visual object from an image
JP2002190020A (ja) 映像効果方法および装置
JP2002095011A (ja) 疑似3次元画像生成方法および装置
JP2005310190A (ja) 画像補間方法と装置
JP2004048116A (ja) 画像データ符号化および復号のための方法および装置
JP2009003656A (ja) 画像処理装置および画像処理方法
JP2002230575A (ja) 映像効果方法および装置
JP3764087B2 (ja) 画像補間方法と装置
JP3839353B2 (ja) 画像符号化方法と装置および画像復号方法および装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080613

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080820