JP2007122751A - 画像処理のための方法、装置、プログラム - Google Patents
画像処理のための方法、装置、プログラム Download PDFInfo
- Publication number
- JP2007122751A JP2007122751A JP2007018963A JP2007018963A JP2007122751A JP 2007122751 A JP2007122751 A JP 2007122751A JP 2007018963 A JP2007018963 A JP 2007018963A JP 2007018963 A JP2007018963 A JP 2007018963A JP 2007122751 A JP2007122751 A JP 2007122751A
- Authority
- JP
- Japan
- Prior art keywords
- image
- corresponding point
- frame
- point information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】マッチングプロセッサ14はフレーム間の対応点情報を検出する。判定部102は対応点情報から動きベクトルを検出し、画像処理装置100はフレームのデータの少なくとも一部の領域を無効化するための情報を生成する。フレームのデータと、対応点情報、および無効化するための情報をもとに、画像処理装置100は不自然な無効領域をカットして表示する。
【選択図】図30
Description
図18以降、前提技術を利用した画像符号化および復号技術を具体的に説明する。
ふたつの画像の自動的なマッチング、つまり画像領域や画素どうしの対応付けは、コンピュータビジョンやコンピュータグラフィックスにおける最も難しくかつ重要なテーマのひとつである。例えば、あるオブジェクトに関して異なる視点からの画像間でマッチングがとれれば、他の視点からの画像を生成することができる。右目画像と左目画像のマッチングが計算できれば、立体画像を用いた写真測量も可能である。顔の画像のモデルと他の顔の画像のマッチングがとれたとき、目、鼻、口といった特徴的な顔の部分を抽出することができる。例えば人の顔と猫の顔の画像間でマッチングが正確にとられたとき、それらの中割画像を自動的に生成することでモーフィングを完全自動化することができる。
以上をまとめれば以下の課題が認められる。
1.画像の特徴を正確に、かつ比較的簡単な処理で把握する画像処理方法が乏しかった。特に、特徴のある点に関する情報、例えば画素値や位置を維持しながら特徴を抽出できる画像処理方法に関する有効な提案が少なかった。
2.画像の特徴をもとに対応点を自動検出する場合、一般に処理が複雑であるか、ノイズ耐性が低いなどの欠点があった。また、処理に際していろいろな制約を設ける必要があり、大域的特徴及び局所的特徴を同時に満たすマッチングをとることが困難だった。
3.画像の大域的な構造または特徴を認識するために多重解像度フィルタを導入しても、そのフィルタが線形フィルタの場合、画素の輝度情報と位置情報が曖昧になった。その結果、対応点の把握が不正確になりやすかった。非線形フィルタである一次元ふるい演算子は画像を階層化しないため、画像間の対応点の検出には利用できなかった。
4.これらの結果、対応点を正しく把握しようとすれば、結局人手による指定に頼るほか有効な手だてがなかった。
この目的のために前提技術のある態様は、新たな多重解像度の画像フィルタを提案する。この多重解像度フィルタは画像から特異点を抽出する。したがって、特異点フィルタともよばれる。特異点とは画像上特徴をもつ点をいう。例として、ある領域において画素値(画素値とは、色番号、輝度値など画像または画素に関する任意の数値を指す)が最大になる極大点、最小になる極小点、ある方向については最大だが別の方向については最小になるような鞍点がある。特異点は位相幾何学上の概念であってもよい。ただし、その他どのような特徴を有してもよい。いかなる性質の点を特異点と考えるかは、前提技術にとって本質問題ではない。
最初に[1]で前提技術の要素技術の詳述し、[2]で処理手順を具体的に説明する。
[1.1]イントロダクション
特異点フィルタと呼ばれる新たな多重解像度フィルタを導入し、画像間のマッチングを正確に計算する。オブジェクトに関する予備知識は一切不要である。画像間のマッチングの計算は、解像度の階層を進む間、各解像度において計算される。その際、粗いレベルから精細なレベルへと順に解像度の階層を辿っていく。計算に必要なパラメータは、人間の視覚システムに似た動的計算によって完全に自動設定される。画像間の対応点を人手で特定する必要はない。
前提技術に係る多重解像度特異点フィルタは、画像の解像度を落としながら、しかも画像に含まれる各特異点の輝度及び位置を保存することができる。ここで画像の幅をN、高さをMとする。以下簡単のため、N=M=2n(nは自然数)と仮定する。また、区間[0,N]⊂RをIと記述する。(i,j)における画像の画素をp(i,j)と記述する(i,j∈I)。
P(m,1)=α(x)β(y)p(m+1,1)
P(m,2)=β(x)α(y)p(m+1,2)
P(m,3)=β(x)β(y)p(m+1,3)
すなわち、これらはαとβのテンソル積のようなものと考えられる。副画像はそれぞれ特異点に対応している。これらの式から明らかなように、特異点フィルタはもとの画像について2×2画素で構成されるブロックごとに特異点を検出する。その際、各ブロックのふたつの方向、つまり縦と横について、最大画素値または最小画素値をもつ点を探索する。画素値として、前提技術では輝度を採用するが、画像に関するいろいろな数値を採用することができる。ふたつの方向の両方について最大画素値となる画素は極大点、ふたつの方向の両方について最小画素値となる画素は極小点、ふたつの方向の一方について最大画素値となるとともに、他方について最小画素値となる画素は鞍点として検出される。
始点画像の位置(i,j)の画素をp(n) (i,j)と書き、同じく終点画像の位置(k,l)の画素をq(n) (k,l)で記述する。i,j,k,l∈Iとする。画像間の写像のエネルギー(後述)を定義する。このエネルギーは、始点画像の画素の輝度と終点画像の対応する画素の輝度の差、及び写像の滑らかさによって決まる。最初に最小のエネルギーを持つp(m,0)とq(m,0)間の写像f(m,0):p(m,0)→q(m,0)が計算される。f(m,0)に基づき、最小エネルギーを持つp(m,1)、q(m,1)間の写像f(m,1)が計算される。この手続は、p(m,3)とq(m,3)の間の写像f(m,3)の計算が終了するまで続く。各写像f(m,i)(i=0,1,2,…)を副写像と呼ぶことにする。f(m,i)の計算の都合のために、iの順序は次式のように並べ替えることができる。並べ替えが必要な理由は後述する。
始点画像と終点画像の間のマッチングを写像で表現する場合、その写像は両画像間で全単射条件を満たすべきである。両画像に概念上の優劣はなく、互いの画素が全射かつ単射で接続されるべきだからである。しかしながら通常の場合とは異なり、ここで構築すべき写像は全単射のディジタル版である。前提技術では、画素は格子点によって特定される。
2.f(m,s)(R)のエッジの方向はRのそれらに等しい(図2の場合、時計回り)。
3.緩和条件として収縮写像(リトラクション:retractions)を許す。
[1.3.2.1]画素の輝度に関するコスト
写像fのエネルギーを定義する。エネルギーが最小になる写像を探すことが目的である。エネルギーは主に、始点画像の画素の輝度とそれに対応する終点画像の画素の輝度の差で決まる。すなわち、写像f(m,s)の点(i,j)におけるエネルギーC(m,s) (i,j)は次式によって定まる。
滑らかな写像を得るために、写像に関する別のエネルギーDfを導入する。このエネルギーは画素の輝度とは関係なく、p(m,s) (i,j)およびq(m,s) f(i,j)の位置によって決まる(i=0,…,2m−1,j=0,…,2m−1)。点(i,j)における写像f(m,s)のエネルギーD(m,s) (i,j)は次式で定義される。
写像の総エネルギー、すなわち複数の評価式の統合に係る総合評価式はλC(m,s) f+D(m,s) fで定義される。ここで係数パラメータλは0以上の実数である。目的は総合評価式が極値をとる状態を検出すること、すなわち次式で示す最小エネルギーを与える写像を見いだすことである。
最小エネルギーを与え、全単射条件を満足する写像fminを多重解像度の階層を用いて求める。各解像度レベルにおいて始点副画像及び終点副画像間の写像を計算する。解像度の階層の最上位(最も粗いレベル)からスタートし、各解像度レベルの写像を、他のレベルの写像を考慮に入れながら決定する。各レベルにおける写像の候補の数は、より高い、つまりより粗いレベルの写像を用いることによって制限される。より具体的には、あるレベルにおける写像の決定に際し、それよりひとつ粗いレベルにおいて求められた写像が一種の拘束条件として課される。
既存のマッチング技術の主な欠点のひとつに、パレメータ調整の困難さがある。大抵の場合、パラメータの調整は人手作業によって行われ、最適な値を選択することはきわめて難しい。前提技術に係る方法によれば、最適なパラメータ値を完全に自動決定することができる。
2.その結果、画素どうしの対応関係がおかしくなり、写像がくずれはじめる。
3.その結果、式14においてD(m,s) fが急激に増加しようとする。
4.その結果、式14の値が急激に増加しようとするため、D(m,s) fの急激な増加を抑制するようf(m,s)が変化し、その結果C(m,s) fが増加する。
したがって、λを増加させながら式14が最小値をとるという状態を維持しつつC(m,s) fが減少から増加に転じる閾値を検出し、そのλをη=0における最適値とする。つぎにηを少しづつ増やしてC(m,s) fの挙動を検査し、後述の方法でηを自動決定する。そのηに対応してλも決まる。
λは0から所定の刻み幅で増加されていき、λの値が変わる度に副写像が評価される。式14のごとく、総エネルギーはλC(m,s) f+D(m,s) fによって定義される。式9のD(m,s) fは滑らかさを表すもので、理論的には単位写像の場合に最小になり、写像が歪むほどE0もE1も増加していく。E1は整数であるから、D(m,s) fの最小刻み幅は1である。このため、現在のλC(m,s) (i,j)の変化(減少量)が1以上でなければ、写像を変化させることによって総エネルギーを減らすことはできない。なぜなら、写像の変化に伴ってD(m,s) fは1以上増加するため、λC(m,s) (i,j)が1以上減少しない限り総エネルギーは減らないためである。
C(m,s) fの検査はヒストグラムh(l)に依存しない。全単射及びその第3の条件の検査の際、h(l)に影響を受けうる。実際に(λ,C(m,s) f)をプロットすると、kは通常1付近にある。実験ではk=1を用い、B0λ2とB1λ2を検査した。仮にkの本当の値が1未満であれば、B0λ2とB1λ2は定数にならず、ファクターλ(1−k)/2に従って徐々に増加する。h(l)が定数であれば、例えばファクターはλ1/2である。しかし、こうした差は閾値B0thresを正しく設定することによって吸収することができる。
パラメータηも同様の方法で自動決定できる。はじめにη=0とし、最も細かい解像度における最終的な写像f(n)及びエネルギーC(n) fを計算する。つづいて、ηをある値Δηだけ増加させ、再び最も細かい解像度における最終写像f(n)及びエネルギーC(n) fを計算し直す。この過程を最適値が求まるまで続ける。ηは写像の剛性を示す。次式の重みだからである。
画素間の対応関係を決定する際、自由度を増やすために、f(m,s)の値域をR×Rに拡張することができる(Rは実数の集合)。この場合、終点画像の画素の輝度が補間され、非整数点、
始点画像と終点画像がきわめて異なるオブジェクトを含んでいるとき、写像の計算に元の画素の輝度がそのままでは利用しにくい。輝度の差が大きいために輝度に関するエネルギーC(m,s) fが大きくなりすぎ、正しい評価がしずらいためである。
始点画像のスキャンに従って計算がリニアに進行する帰納的な方法を用いる。始めに、1番上の左端の画素(i,j)=(0,0)についてf(m,s)の値を決定する。次にiを1ずつ増やしながら各f(m,s)(i,j)の値を決定する。iの値が画像の幅に到達したとき、jの値を1増やし、iを0に戻す。以降、始点画像のスキャンに伴いf(m,s)(i,j)を決定していく。すべての点について画素の対応が決まれば、ひとつの写像f(m,s)が決まる。
インプリメンテーションでは、解像度レベルが偶数のときにはσ(0)=0、σ(1)=1、σ(2)=2、σ(3)=3、σ(4)=0を用い、奇数のときはσ(0)=3、σ(1)=2、σ(2)=1、σ(3)=0、σ(4)=3を用いた。このことで、副写像を適度にシャッフルした。なお、本来副写像は4種類であり、sは0〜3のいずれかである。しかし、実際にはs=4に相当する処理を行った。その理由は後述する。
始点画像と終点画像の間の写像が決定された後、対応しあう画素の輝度が補間される。実験では、トライリニア補間を用いた。始点画像平面における正方形p(i,j)p(i+1,j)p(i,j+1)p(i+1,j+1)が終点画像平面上の四辺形qf(i,j)qf(i+1,j)qf(i,j+1)qf(i+1,j+1)に射影されると仮定する。簡単のため、画像間の距離を1とする。始点画像平面からの距離がt(0≦t≦1)である中間画像の画素r(x,y,t)(0≦x≦N−1,0≦y≦M−1)は以下の要領で求められる。まず画素r(x,y,t)の位置(ただしx,y,t∈R)を次式で求める。
いままでは拘束条件がいっさい存在しない場合の写像の決定を述べた。しかし、始点画像と終点画像の特定の画素間に予め対応関係が規定されているとき、これを拘束条件としたうえで写像を決定することができる。
[1]の各要素技術による処理の流れを説明する。
図6は前提技術の全体手順を示すフローチャートである。同図のごとく、まず多重解像度特異点フィルタを用いた処理を行い(S1)、つづいて始点画像と終点画像のマッチングをとる(S2)。ただし、S2は必須ではなく、S1で得られた画像の特徴をもとに画像認識などの処理を行ってもよい。
ΣΣ(λC(m,s) (i,j)+ηE0 (m,s) (i,j)+E1 (m,s) (i,j)) (式52)
となる。ただし、総和はi、jについてそれぞれ0、1…、2m−1で計算する。以上でマッチング評価の準備が整う。
2.点a〜dがひとつ粗いレベル、つまり第0レベルにおいて属する画素を探す。図14の場合、点a〜dはそれぞれ画素A〜Dに属する。ただし、画素A〜Cは本来存在しない仮想的な画素である。
3.第0レベルですでに求まっている画素A〜Dの対応点A’〜D’をq(1,s)の中にプロットする。画素A’〜C’は仮想的な画素であり、それぞれ画素A〜Cと同じ位置にあるものとする。
4.画素Aの中の点aの対応点a’が画素A’の中にあるとみなし、点a’をプロットする。このとき、点aが画素Aの中で占める位置(この場合、右下)と、点a’が画素A’の中で占める位置が同じであると仮定する。
5.4と同様の方法で対応点b’〜d’をプロットし、点a’〜d’で相続四辺形を作る。
6.相続四辺形の中でエネルギーが最小になるよう、点xの対応点x’を探す。対応点x’の候補として、例えば画素の中心が相続四辺形に含まれるものに限定してもよい。図14の場合、4つの画素がすべて候補になる。
(1)前提技術では始点階層画像と終点階層画像の間でマッチングをとる際にパラメータの自動決定を行ったが、この方法は階層画像間ではなく、通常の2枚の画像間のマッチングをとる場合全般に利用できる。
以上の前提技術を利用した画像符号化技術を説明する。まず、本出願人による同時係属中の特願2001−21098号で提案した技術を基礎技術として実施の形態1で説明し、つぎにそれを用いた、本発明に特徴的な画像トリミングを加えた技術を実施の形態2で説明する。
図18は、キーフレームである第1画像I1、第2画像I2を示し、それらの間で、ある画素p1(x1,y1)とp2(x2,y2)が対応している。これらの対応は前提技術で求められている。
BQ=(1−s){(1−t)BA+tBC}
であり、したがって、
B’Q’=(1−s){(1−t)B’A’+tB’C’}
当然ながら、同様の処理を起点ポリゴンR1の上半分に当たる三角形ACDと、同様に終点ポリゴンR2の上半分にあたる三角形A’C’D’との間についてもなすとする。
実施の形態2は、実施の形態1に加え、中間画像生成の際の誤対応の問題を考慮する。ふたつのキーフレームがあるとき、これらを撮影したカメラの視野空間が完全に一致していれば、中間画像はほぼ自然なものとなる。しかし、カメラがパン、すなわち視線方向を変えたり、ズーム、すなわち視線方向は同一でありながら倍率を変えたりしたとき、ふたつのキーフレームの一方には映し出されていながら他方には存在しない点が生じる。このような点を以下「対応不能点」とよぶ。対応不能点は、例えばカメラを回転させながら周囲の風景をパノラマ的に撮影する場合や、カメラをズームインして遠景を拡大する場合に現れる。
なお、以上の無効領域の確定は、符号化側で行ってもよいし、復号側で行ってもよい。符号化側で行う場合、無効領域の情報は以下の方法で符号化データストリームに組み込むことができる。
1.対応点ファイルFに付随する付加情報として無効領域を座標と処理方法を記述する。処理方法としてたとえば、無効領域をカットして表示する、無効領域を特定の色、たとえば黒などの背景色で埋めて表示する、などがある。前者の場合、有効表示領域が減るので、予め復号側はもとのキーフレームより少ない画素数を表示するよう決めておいてもよい。または、予めキーフレームのサイズを大きめにとっておいて、トリミングの後でも大きな有効表示領域を確保してもよい。後者の場合、特定の色を指定するほか、任意のテクスチャーデータその他の画像データを符号化データストリームに入れておき、復号側が無効領域をこの画像データで置換するよう明示的または暗黙的に指示してもよい。なお、対応点ファイルFのデータのうち、無効領域IVRに入ってしまうような点に関する対応情報は削除してしまってもよく、復号側は「データがない」という事実をもって無効領域の位置と形状を知ることができる。この対応情報の削除は、2.以下でも同様に有効である。
3.付加情報を利用する代わり、無効領域IVRに相当する部分の画像データをカットしていくぶん小さなキーフレームを生成し、これを符号化データストリームへ組み入れる。
3a.符号化データストリームに含まれるキーフレームをそのサイズにしたがって再生表示する。
符号化側の判定部102は、前述の方法で動きベクトルを検出し、カメラの視野変化が大きいと判断したとき無効領域を定めて付加情報を有効に生成し、これをストリーム生成部104へ通知する。視野変化が大きくないと判断した場合、付加情報をまったく生成しなくてもよいし、「トリミングは不要」である旨を積極的に表示してもよい。視野変化が大きくても付加情報を生成せず、単に無効領域の表示、すなわちその形状を定義するための座標情報を通知してもよい。
12 画像データ入力部
14 マッチングプロセッサ
16 対応点ファイル保持部
18 中間画像生成部
20 表示部
22 通信部
102 符号化側の判定部
104 ストリーム生成部
106 復号側の判定部
116 ストリーム保持部
Claims (49)
- フレームのデータの少なくとも一部を無効化する工程と、
少なくとも一部のデータが無効化されたフレームを1以上含むフレーム間の対応点情報を画像マッチングによって検出する工程と、
前記フレームのデータと前記対応点情報をもとに画像を生成する工程と、
を含むことを特徴とする画像処理方法。 - 前記対応点情報を検出する工程は、前記フレームのデータの少なくとも一部を無効化する工程の前に行うことを特徴とする請求項1に記載の方法。
- フレーム間の対応点情報を画像マッチングによって検出する工程と、
前記フレームのデータの少なくとも一部の領域を無効化するための情報を生成する工程と、
前記フレームのデータと前記対応点情報と前記無効化するための情報をもとに画像を生成する工程と、
を含むことを特徴とする画像処理方法。 - フレーム間の対応点情報を画像マッチングによって検出する工程と、
前記対応点情報の少なくとも一部を無効化するための情報を生成する工程と、
前記フレームのデータと前記対応点情報と前記無効化するための情報をもとに画像を生成する工程と、
を含むことを特徴とする画像処理方法。 - 前記無効化するための情報は、無効化すべき領域のデータを強制的に置き換えるための画像データを含む請求項3、4のいずれかに記載の方法。
- 当該方法はさらに、前記対応点情報をもとに無効化すべき領域を判定する工程を含むことを特徴とする請求項2から5のいずれかに記載の方法。
- 前記フレームはカメラで撮影されたものであり、
当該方法はさらに、前記対応点情報をもとにフレームを撮影したカメラの視野変化の大きさを判定する工程を含み、視野変化が大きいと判定された場合にはフレームデータの一部を無効化し、または無効化するための情報を有効に生成し、または無効化するための情報をもとに画像を生成する請求項2から5のいずれかに記載の方法。 - フレーム間の対応点情報を画像マッチングによって検出する工程と、
前記フレームのデータと前記対応点情報をもとに画像を生成する工程と、
前記対応点情報をもとに、生成された画像のうち無効化すべき領域を判定する工程と、
その判定された領域を無効化した画像を生成する工程と、
を含むことを特徴とする画像処理方法。 - 前記フレームはカメラで撮影されたものであり、
前記判定する工程は、前記対応点情報をもとにフレームを撮影したカメラの視野変化の大きさを判定し、視野変化が大きいと判定された場合には前記無効化した画像を生成する請求項8に記載の方法。 - 前記判定する工程は、対応点情報に含まれる対応点間の動きベクトルをもとに、無効化すべき領域または視野変化の大きさを判定する請求項6から9のいずれかに記載の方法。
- 前記判定する工程は、前記動きベクトルの大きさに応じて、無効化すべき領域の幅または視野変化の大きさを判定する請求項10に記載の方法。
- 前記判定する工程は、フレーム間の視野の変化を予め多数通り仮定して、それらの動きベクトルをテンプレート化しておき、テンプレートマッチングによって前記動きベクトルの方向を判定する請求項11に記載の方法。
- 前記判定する工程は、上下辺における無効化すべき領域の幅は動きベクトルの縦方向成分に比例させ、左右辺における無効化すべき領域の幅は動きベクトルの横方向成分に比例させて判定する請求項11、12のいずれかに記載の方法。
- 前記判定する工程は、フレーム間の視野の変化を予め多数通り仮定して、それらの動きベクトルをテンプレート化しておき、テンプレートマッチングによって前記無効化すべき領域を判定する請求項11に記載の方法。
- 前記判定する工程は、フレームの中央付近の動きベクトルを参照する請求項10から14のいずれかに記載の方法。
- 前記判定する工程は、フレームの周辺部の動きベクトルを参照する請求項10から14のいずれかに記載の方法。
- 前記判定する工程は、対応点情報に含まれる対応不能点をもとに、無効化すべき領域または視野変化の大きさを判定する請求項6から9のいずれかに記載の方法。
- 前記判定する工程は、前記対応不能点が存在する領域に対応するフレームのデータをトリミングするように判定する請求項17に記載の方法。
- 前記判定する工程は、前記対応不能点が存在する領域に対応するフレームのデータを他の画像データで置換するように判定する請求項17に記載の方法。
- 前記判定する工程は、前記対応点情報から前記対応不能点の情報を削除するように判定する請求項17に記載の方法。
- 前記判定する工程は、前記対応点情報から前記対応不能点の情報を他の値に置換するように判定する請求項17に記載の方法。
- 前記判定する工程は、対応点情報のうち、あらかじめ固定された範囲を、無効化すべき領域または視野変化の大きさと判定する請求項6から9のいずれかに記載の方法。
- 前記画像マッチングは、各フレームにおいて特異点を抽出することにより、フレーム間で特異点どうしの対応を評価して計算される請求項1から22のいずれかに記載の方法。
- フレームのデータの少なくとも一部を無効化する手段と、
少なくとも一部のデータが無効化されたフレームを1以上含むフレーム間の対応点情報を画像マッチングによって検出するマッチングプロセッサと、
前記フレームのデータと前記対応点情報をもとに画像を生成する手段と、
を含むことを特徴とする画像処理装置。 - フレーム間の対応点情報を画像マッチングによって検出するマッチングプロセッサと、
前記フレームのデータの少なくとも一部の領域を無効化するための情報を生成する手段と、
前記フレームのデータと、前記対応点情報と、前記無効化するための情報をもとに画像を生成する手段と、
を含むことを特徴とする画像処理装置。 - フレーム間の対応点情報を画像マッチングによって検出するマッチングプロセッサと、
前記対応点情報の少なくとも一部を無効化するための情報を生成する手段と、
前記フレームのデータと、前記対応点情報と、前記無効化するための情報をもとに画像を生成する手段と、
を含むことを特徴とする画像処理装置。 - 前記無効化するための情報は、無効化すべき領域のデータを強制的に置き換えるための画像データを含む請求項25、26のいずれかに記載の装置。
- 当該装置はさらに、前記対応点情報をもとに無効化すべき領域を判定する判定部を含むことを特徴とする請求項24から27のいずれかに記載の装置。
- 前記フレームはカメラで撮影されたものであり、
当該装置はさらに、前記対応点情報をもとにフレームを撮影したカメラの視野変化の大きさを判定する判定部を含み、
前記無効化するための情報を生成する手段は、視野変化が大きいと判定部が判定した場合には前記無効化するための情報を有効に生成し、または、
前記画像を生成する手段は、前記無効化するための情報をもとに画像を生成する請求項24から27のいずれかに記載の装置。 - フレーム間の対応点情報を画像マッチングによって検出するマッチングプロセッサと、
前記フレームのデータと前記対応点情報をもとに画像を生成する手段と、
前記対応点情報をもとに、生成された画像のうち無効化すべき領域を判定する判定部と、
判定部の判定結果をもとにフレームの一部を無効化した画像を生成する手段と、
を含むことを特徴とする画像処理装置。 - 前記フレームはカメラで撮影されたものであり、
前記判定部は、前記対応点情報をもとにフレームを撮影したカメラの視野変化の大きさを判定し、
前記画像を生成する手段は、視野変化が大きいと判定部が判定した場合には前記フレームの一部を無効化した画像を生成する請求項30に記載の装置。 - 前記判定部は、対応点情報に含まれる対応点間の動きベクトルをもとに、無効化すべき領域または視野変化の大きさを判定する請求項28から31のいずれかに記載の装置。
- 前記判定部は、前記動きベクトルの大きさに応じて、無効化すべき領域の幅または視野変化の大きさを判定する請求項32に記載の装置。
- 前記判定部は、フレーム間の視野の変化を予め多数通り仮定して、それらの動きベクトルをテンプレート化しておき、テンプレートマッチングによって前記動きベクトルの方向を判定する請求項33に記載の装置。
- 前記判定部は、上下辺における無効化すべき領域の幅は動きベクトルの縦方向成分に比例させて判定し、左右辺における無効化すべき領域の幅は動きベクトルの横方向成分に比例させて判定する請求項33、34のいずれかに記載の装置。
- 前記判定部は、フレーム間の視野の変化を予め多数通り仮定して、それらの動きベクトルをテンプレート化しておき、テンプレートマッチングによって前記無効化すべき領域を判定する請求項33に記載の装置。
- 前記判定部は、フレームの中央付近の動きベクトルを参照する請求項32から36のいずれかに記載の装置。
- 前記判定部は、フレームの周辺部の動きベクトルを参照する請求項32から36のいずれかに記載の装置。
- 前記判定部は、対応点情報に含まれる対応不能点をもとに、無効化すべき領域または視野変化の大きさを判定する請求項28から31のいずれかに記載の装置。
- 前記判定部は、前記対応不能点が存在する領域に対応するフレームのデータをトリミングするように判定する請求項39に記載の装置。
- 前記判定部は、前記対応不能点が存在する領域に対応するフレームのデータを他の画像データで置換するように判定する請求項39に記載の装置。
- 前記判定部は、前記対応点情報から前記対応不能点の情報を削除するように判定する請求項39に記載の装置。
- 前記判定部は、前記対応点情報から前記対応不能点の情報を他の値に置換するように判定する請求項39に記載の装置。
- 前記判定部は、対応点情報のうち、あらかじめ固定された範囲を無効化すべき領域または視野変化の大きさと判定する請求項28から31のいずれかに記載の装置。
- 前記マッチングプロセッサは、各フレームにおいて特異点を抽出することにより、フレーム間で特異点どうしの対応を評価する請求項24から44のいずれかに記載の装置。
- コンピュータを、
フレームのデータの少なくとも一部を無効化する手段と、
少なくとも一部のデータが無効化されたフレームを1以上含むフレーム間の対応点情報を画像マッチングによって検出するマッチング手段と、
前記フレームのデータと前記対応点情報をもとに画像を生成する手段と、
として機能させるためのコンピュータプログラム。 - コンピュータを、
フレーム間の対応点情報を画像マッチングによって検出するマッチング手段と、
前記フレームのデータの少なくとも一部の領域を無効化するための情報を生成する手段と、
前記フレームのデータと、前記対応点情報と、前記無効化するための情報をもとに画像を生成する手段と、
として機能させるためのコンピュータプログラム。 - コンピュータを、
フレーム間の対応点情報を画像マッチングによって検出するマッチング手段と、
前記対応点情報の少なくとも一部の領域を無効化するための情報を生成する手段と、
前記フレームのデータと、前記対応点情報と、前記無効化するための情報をもとに画像を生成する手段と、
として機能させるためのコンピュータプログラム。 - コンピュータを、
フレーム間の対応点情報を画像マッチングによって検出するマッチング手段と、
前記フレームのデータと前記対応点情報をもとに画像を生成する手段と、
前記対応点情報をもとに、生成された画像のうち無効化すべき領域を判定する判定手段と、
判定手段の判定結果をもとにフレームの一部を無効化した画像を生成する手段と、
として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007018963A JP2007122751A (ja) | 2007-01-30 | 2007-01-30 | 画像処理のための方法、装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007018963A JP2007122751A (ja) | 2007-01-30 | 2007-01-30 | 画像処理のための方法、装置、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001144829A Division JP4157686B2 (ja) | 2001-05-15 | 2001-05-15 | 画像符号化および復号のための方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007122751A true JP2007122751A (ja) | 2007-05-17 |
Family
ID=38146441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007018963A Pending JP2007122751A (ja) | 2007-01-30 | 2007-01-30 | 画像処理のための方法、装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007122751A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012022655A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理方法、画像処理装置、およびプログラム |
JP2012022651A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2015181302A (ja) * | 2015-07-10 | 2015-10-15 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110009703A (zh) * | 2019-03-18 | 2019-07-12 | 西南大学 | 一种基于混沌系统的图像加密、解密方法及设备 |
-
2007
- 2007-01-30 JP JP2007018963A patent/JP2007122751A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012022655A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理方法、画像処理装置、およびプログラム |
JP2012022651A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
US9202284B2 (en) | 2010-07-16 | 2015-12-01 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and non-transitory computer-readable storage medium therefor |
JP2015181302A (ja) * | 2015-07-10 | 2015-10-15 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110009703A (zh) * | 2019-03-18 | 2019-07-12 | 西南大学 | 一种基于混沌系统的图像加密、解密方法及设备 |
CN110009703B (zh) * | 2019-03-18 | 2023-04-07 | 西南大学 | 一种基于混沌系统的图像加密、解密方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3889233B2 (ja) | 画像符号化方法と装置および画像復号方法と装置 | |
JP2927350B2 (ja) | 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法 | |
JP2008282377A (ja) | 画像処理方法および装置 | |
JP2008252860A (ja) | 画像処理方法及び画像処理装置 | |
JP2008282376A (ja) | 画像処理方法および装置 | |
JP4157686B2 (ja) | 画像符号化および復号のための方法および装置 | |
JP3877651B2 (ja) | 画像処理方法と装置 | |
JP4050472B2 (ja) | 画像生成方法、装置およびシステム | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP4039858B2 (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
JP3801870B2 (ja) | 多変量空間処理装置 | |
JP2007122751A (ja) | 画像処理のための方法、装置、プログラム | |
JP2003037842A (ja) | 画像符号化方法、復号方法および画像符号化装置、復号装置 | |
JP2002259979A (ja) | 画像補間方法と装置、および画像処理方法と装置 | |
JP2002230543A (ja) | 画像補間方法および装置 | |
JP2002232838A (ja) | デジタルカメラ | |
JP2002190020A (ja) | 映像効果方法および装置 | |
JP2007316693A (ja) | 画像符号化方法および画像符号化装置 | |
JP2009003656A (ja) | 画像処理装置および画像処理方法 | |
JP2002230575A (ja) | 映像効果方法および装置 | |
JP4524412B2 (ja) | 画像符号化方法、復号方法および画像符号化装置、復号装置 | |
JP3839353B2 (ja) | 画像符号化方法と装置および画像復号方法および装置 | |
JP3773417B2 (ja) | 画像データ符号化および復号のための方法および装置 | |
JP2002095011A (ja) | 疑似3次元画像生成方法および装置 | |
JP2002230572A (ja) | 映像効果方法と装置および画像補間方法と装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20070508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080624 |