JP2002312759A - 画像変換装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、撮影時のカメラの傾き角を計測して
おかなくても、どの視点から撮影したものが最適な表示
であるかについて考慮して自動的に最適に画像を変換処
理し、また、対象物体の形状によらずに画像変換できる
アオリ効果自動画像変換装置としての画像変換装置を提
供する。 【解決手段】本発明の一態様によると、実画像データを
入力する実画像入力部と、距離画像データを入力する距
離画像入力部と、上記距離画像入力部によって入力され
た距離画像データから実世界における鉛直方向を推定す
る鉛直方向推定部と、上記鉛直方向推定部によって推定
された鉛直方向に基いて、上記実画像データと上記距離
画像データを用いてアオリ効果を有する変換実画像デー
タを算出する変換画像算出部と、上記変換画像算出手段
によって算出された変換実画像データを出力する画像出
力部とを有することを特徴とする画像変換装置が提供さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像変換装置に係
り、特に、入力された画像に対し、アオリを撮影時に行
なったように画像を変換処理する画像変換装置に関す
る。

【０００２】

【従来の技術】一般に、市販されているカメラ（撮影レ
ンズの光軸がフィルムないしＣＣＤの中心に垂直に交差
している）での撮影では、図１の（ａ）に示すように、
ビルなどの建物を仰ぐようにして撮ると上の方が小さく
狭まって写り、図１の（ｂ）に示すように、逆に立って
いる子供を見下ろすようにして撮ると下の方が狭まって
写る。

【０００３】これは、前述のように撮影レンズの光軸が
フィルムないしＣＣＤの中心に垂直に交差している基本
パターンを採用しているカメラでは防ぎようがない現象
である。

【０００４】そこで、従来は、図２の（ａ）及び図２の
（ｂ）に示すように、アオリ操作を行なえる蛇腹を備え
たカメラを用いて撮影していた（詳しくは「撮影のため
のカメラ・レンズ知識、写真工業出版社、Ｐ．１３９−
Ｐ１４３」）。

【０００５】また、このアオリ効果を画像処理で行う装
置が、特開平５−９１４０９号公報に開示されている。

【０００６】

【発明が解決しようとする課題】上述したような従来技
術の蛇腹を備えたカメラでは、ピント合わせ・光軸合わ
せなどのセッティング操作が複雑であり、一般のユーザ
では使いこなせないという問題点がある。

【０００７】そこで、上述したような特開平５−９１４
０９号公報に開示されているアオリ効果を画像処理で行
う装置にて、蛇腹を備えたカメラでの撮影と同様の効果
が得られるような処理を行うようにしている。

【０００８】しかし、この装置では、様々な視点からみ
たアオリ効果を再現することはできるが、どの視点から
撮影したものが最適な表示であるかについては考慮され
ていない。

【０００９】その場合、ユーザは様々な視点からの写り
方を試行することにより、選択しなければならないの
で、特に画像がたくさんある場合などは１枚ごとに調整
するのは大変面倒である。

【００１０】例えば、図１の（ａ）のようなビルの場
合、一般的には、さまざまな視点からの情報を必要とせ
ず、ビルがまっすぐ建っているものを撮影したい（広告
利用など）とするケースが多い。

【００１１】もし、カメラ撮影時にカメラの傾き角を計
測しておけば、最適な表示を選択するのは可能である
が、撮影時のカメラの傾き角はカメラにジャイロなどの
計測機能を設置しておかなくてはならない。

【００１２】また、特開平５−９１４０９号公報に開示
されているアオリ効果を画像処理で行う装置では、その
画像処理の解析時に画像信号の辺の情報を用いている。

【００１３】しかるに、この方法は、例えば、明確な辺
のない丸みを帯びた物体には、適用することができない
という問題点がある。

【００１４】本発明の目的とするところは、上述の問題
点に鑑みてなされたものであり、入力された画像に対し
アオリを撮影時に行なったように画像を変換処理する画
像変換装置に関し、撮影時のカメラの傾き角を計測して
おかなくても、どの視点から撮影したものが最適な表示
であるかについて考慮して自動的に最適に画像を変換処
理し、また、対象物体の形状によらずに画像変換できる
アオリ効果自動画像変換装置としての画像変換装置を提
供することにある。

【００１５】

【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１） 実画像データを入力する
実画像入力部と、距離画像データを入力する距離画像入
力部と、上記距離画像入力部によって入力された距離画
像データから実世界における鉛直方向を推定する鉛直方
向推定部と、上記鉛直方向推定部によって推定された鉛
直方向に基いて、上記実画像データと上記距離画像デー
タを用いてアオリ効果を有する変換実画像データを算出
する変換画像算出部と、上記変換画像算出手段によって
算出された変換実画像データを出力する画像出力部と、
を有することを特徴とする画像変換装置が提供される。

【００１６】以上において、「実画像入力部」は、カメ
ラやデジタルカメラ等の実画像撮影手段で実画像データ
を入力するＩＦ部分が相当するが、もちろん、実画像撮
影手段を装置に組み込んで、これを実画像入力部として
もよい。

【００１７】また、「距離画像データ」は、各画像部分
までの距離情報を有する画像データが相当する。

【００１８】また、「距離画像入力部」は、赤外線やレ
ーザなどを被写体に照射して各部分までの距離を求める
アクティブ型や、複数視点からの画像をマッチングして
各部分までの距離を求めるパッシブ型等の方法で測定さ
れた距離画像を入力するＩＦ部分が相当する。

【００１９】もちろん、上記アクティブ型の測距機構や
パッシブ型の測距機構を装置に組み込んで、これを距離
画像入力部としてもよい。

【００２０】また、「鉛直方向推定部」は、鉛直方向を
推定するプログラムが動作する演算処理装置が相当す
る。

【００２１】また、「変換画像算出部」は、変換画像を
算出するプログラムが動作する演算処理装置が相当す
る。

【００２２】また、「画像出力部」は、「変換画像算出
部」が演算した変換画像を出力するＩＦ部分が相当す
る。

【００２３】もちろん、「実画像入力部」と「距離画像
入力部」は、実画像情報と距離画像情報を合わせもつデ
ータを入力する１つの部位でもよい。

【００２４】また、本発明によると、上記課題を解決す
るために、（２） 上記鉛直方向推定部は、上記距離画
像データを用いて被写体を抽出する被写体抽出部と、上
記被写体抽出部によって抽出された上記被写体の形状を
解析する被写体解析部と、上記被写体解析部によって解
析された被写体の形状を用いて鉛直方向の角度を設定す
る鉛直角度設定部と、を有することを特徴とする（１）
記載の画像変換装置が提供される。

【００２５】また、本発明によると、上記課題を解決す
るために、（３） 上記鉛直角度設定部は、上記被写体
の上方部と下方部の距離の差に基づいて、鉛直方向の角
度を設定することを特徴とする（２）記載の画像変換装
置が提供される。

【００２６】また、本発明によると、上記課題を解決す
るために、（４） 上記鉛直角度設定部は、上記被写体
の面の方向に基いて鉛直方向の角度を設定することを特
徴とする（２）記載の画像変換装置が提供される。

【００２７】また、本発明によると、上記課題を解決す
るために、（５） 上記鉛直角度設定部は、上記被写体
の表面凹凸が所定の基準以上の場合は、上記被写体の上
方部と下方部の差に基づいて鉛直方向の角度を設定し、
上記被写体が横長の場合には、上記被写体の面の方向に
基づいて鉛直方向の角度を設定することを特徴とする
（２）記載の画像変換装置が提供される。

【００２８】

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。

【００２９】（第１の実施の形態）図３、図４及び図９
を用いて本発明による画像変換装置の第１の実施の形態
を説明する。

【００３０】本実施形態では、図４の（ａ）に示すよう
な円柱を上向きで撮影した実画像から、図４の（ｂ）、
図４の（ｃ）を経て、最終的に、図４の（ｄ）に示すよ
うなアオリ効果自動変換した画像を得る場合について説
明する。

【００３１】すなわち、この場合、図４の（ａ）に示す
ように、円柱を上向きで撮影することを考える。

【００３２】このとき、図４の（ｂ）に示すように、実
画像データａは、上が狭まったような画像になる。

【００３３】また、図４の（ｂ）に示すように、距離画
像データｂは、相対的に上が遠く、下が近い結果が得ら
れる。

【００３４】続いて、図４の（ｃ）に示すように、距離
画像データｂから実世界での鉛直方向を推定する。

【００３５】このとき、例えば、実世界では円柱は鉛直
方向に立っていることが自然であるという先見的知識を
鑑み、円柱側面の接線方向を鉛直方向と推定する。

【００３６】この鉛直方向と距離画像内の基準平面のな
す角が推定鉛直方向角ｃとなる。

【００３７】最後に、図４の（ｄ）に示すように、推定
された推定鉛直方向角度ｃと実画像データａと距離画像
データｂを用いて、変換実画像データｄを算出する。

【００３８】具体的には、まず、図３に示すように、画
像入力部１における実画像入力部１１でアオリ画像自動
変換すべき実画像データａを入力し、距離画像入力部１
２で実画像データａに対応した距離画像データｂを入力
する。

【００３９】ここで、実画像入力部１１は、実画像デー
タａとしての実画像情報が入力できる手段であれば、ど
のようなものでもよく、一般的には、カメラやＣＣＤな
どが考えられる。

【００４０】また、距離画像入力部１２は、距離画像デ
ータｂとしての距離画像情報が入力できる手段であれ
ば、どのようなものでもよく、一般的には、赤外線やレ
ーザなどを照射して測距するアクティブ型、複数視点か
らの画像のマッチングから距離画像を得るパッシブ型な
どがある。

【００４１】本実施形態では、距離画像入力部１２は、
上述したようなアクティブ型であるとともに、実画像デ
ータａとしての実画像情報と距離画像データｂとしての
距離画像情報を同時に取得できる一体型の画像入力装置
とする。

【００４２】続いて、画像変換部２では、まず、鉛直方
向推定部２１にて、距離画像データｂから実世界での鉛
直方向を推定する。

【００４３】このとき、例えば、実世界では、円柱は鉛
直方向に立っていることが自然であるという先見的知識
を鑑み、円柱側面の接線方向を鉛直方向と推定する。

【００４４】このとき、距離画像の画面全体の面を解析
して成分を抽出してもよいし、主要被写体として円柱を
抽出し接線方向を算出してもよいが、主要被写体を抽出
した方が、画像中の微小被写体の有無にかかわらずより
正確に推定鉛直方向角度ｃを推定することができる。

【００４５】この鉛直方向と距離画像内の基準平面のな
す角が推定鉛直方向角ｃとなる。

【００４６】次に、変換画像算出部２２にて、推定され
た推定鉛直方向角度ｃと実画像データａと距離画像デー
タｂを用いて、変換実画像データｄを算出する。

【００４７】具体的には、例えば、図９に示すように、
実画像データａと距離画像データｂに対応するように、
三角形パッチなどを用いて貼り付けることにより、３次
元データを作成する。

【００４８】続いて、この３次元データを推定鉛直方向
ｃだけ回転させ、再び実画像として射影すれば変換実画
像が得られる。

【００４９】なお、画像変換部２での処理は、画像入力
部１内に設置した専用の演算処理装置を用いてもよい
し、画像データをコンピュータに転送した後、プログラ
ムをコンピュータ上で計算させてもよい。

【００５０】最後に、算出された変換実画像データｄを
画像出力部３にて出力する。

【００５１】この画像出力部３は、画像入力部１に設置
した表示部やコンピュータのディスプレイ上に画像表示
させてもよいし、ファイルに書き出してもよい。

【００５２】以上のような本実施形態によれば、鉛直方
向推定部２１にて、実世界では、円柱は、鉛直方向に立
っていることが自然であるという先見的知識を鑑みるな
どして距離画像から鉛直方向を推定し、推定された鉛直
方向角度ｃと実画像データａと距離画像データｂを用い
て、撮影時のカメラの傾き角を計測しておかなくても、
最適なアオリ効果変換画像を自動的に得ることができ
る。

【００５３】また、明確な辺のない丸みを帯びた物体で
も、鉛直方向を推定できるので、対象物体の形状によら
ずに画像変換できるといえる。

【００５４】（第２の実施の形態）図５、図６及び図
７、図１０を用いて本発明による画像変換装置の第２の
実施の形態を説明する。

【００５５】なお、図５において、前述した図３と同一
の構成内容には、同一の参照符号を付してそれらの説明
を省略するものとする。

【００５６】本実施形態では、図５の主要被写体解析部
２１２で、上述した第１の実施形態にける主要被写体の
距離画像データｂ中での上方部と下方部での距離の差を
解析し、この解析結果により鉛直方向角度設定部２１３
で、推定鉛直方向角度ｃを設定するものである。

【００５７】この場合、図７に示す主要被写体におい
て、Ｌだけ離れた上部と下部の点での距離ａ、ｂを用い
て、推定鉛直方向角度ｃは、 鉛直角度ｃ＝ｔａｎ^-1｛（ｂ−ａ）／Ｌ｝ のようにして計算する。

【００５８】具体的には、図５に示すように、画像変換
部２の鉛直方向推定部２１において、まず主要被写体抽
出部２１１で、距離画像データｂを用いて主要被写体を
抽出する。

【００５９】続いて、主要被写体解析部２１２にて、実
世界での鉛直方向を推定するために主要被写体の形状を
解析する。

【００６０】そして、この主要被写体の形状の解析結果
により、鉛直角度設定部２１３にて、推定方向角度ｃを
設定する。

【００６１】次に、図６を用いて、本発明による画像変
換装置の第２の実施の形態の動作を説明する。

【００６２】この場合、主要被写体を抽出してその被写
体に関して解析し、実世界での鉛直方向を以下のように
して推定する。

【００６３】例えば、図６の（ａ）に示すように、距離
画像データｂ中に、微小被写体があるような場合には、
図６の（ｂ）に示すように、画像中でより大きな領域を
占める主要被写体を抽出し解析する。

【００６４】そして、図６の（ｃ）に示すように、その
抽出した被写体に関して実世界での鉛直方向を推定する
ことにより、より正確に推定鉛直方向角度ｃを推定する
ことができる。

【００６５】このように、距離画像データｂの値を用い
て鉛直角度を推定することにより、より正確に推定鉛直
方向角度ｃを推定することができる。

【００６６】特に、図７に示すように、被写体面に多く
の凹凸がある場合、上方部と下方部での距離値の差を解
析すればよいので、より正確に鉛直方向を推定すること
ができる。

【００６７】図１０は、以上のような処理フローの例と
して、被写体を抽出する場合の全体の流れを示してい
る。

【００６８】まず、ステップＳ１にて、実画像データａ
が入力される。

【００６９】次に、ステップＳ２にて、距離画像データ
ｂが入力される。

【００７０】次に、ステップＳ３にて、距離画像データ
ｂから主要な（大きな）被写体を判別して、抽出する。

【００７１】次に、ステップＳ４にて、ステップＳ３で
抽出した被写体において被写体の形状を解析する．この
被写体の形状の解析は、例えば、面を張って形状を求め
たり、被写体に外接する接線群より面の方向を求める等
の手法が用いられる。

【００７２】次に、ステップＳ５にて、例えば、被写体
の表面の接線方向を鉛直方向と推定し、鉛直方向の角度
を設定する。

【００７３】次に、ステップＳ６にて、ステップＳ５で
抽出した被写体に面を張るなどして、３次元化する。

【００７４】次に、ステップＳ７にて、上記３次元化し
た被写体に、実画像における被写体表面の模様を貼る。

【００７５】次に、ステップＳ８にて、上記３次元化し
模様を貼った被写体を、鉛直方向の角度だけ回転させて
傾きを補正する。

【００７６】次に、ステップＳ９にて、上記回転させた
被写体を鉛直平面に投影した画像を求める。

【００７７】次に、ステップＳ１０にて、上記求められ
た画像を出力する。

【００７８】（第３の実施の形態）図５及び図８を用い
て本発明による画像変換装置の第３の実施の形態を説明
する。

【００７９】本実施形態では、第１の実施の形態におい
て、主要被写体の距離画像データｂ中での面の法線を解
析し、この解析結果により図５の鉛直角度設定部２１３
にて、推定鉛直方向角度ｃを設定するものである。

【００８０】具体的には、図８に示したように、まず、
主要被写体の面を平面近似し、近似した平面の法線と水
平線とのなす角度から鉛直角度ｃを設定する。

【００８１】このように、距離画像の値を用いて鉛直角
度を推定すれば、正確に鉛直角度を推定できる。

【００８２】特に、横長の被写体で、上方部と下方部で
の距離値の差が小さいときでも、面の法線を解析すれば
よいのでより正確に鉛直方向を推定できる。

【００８３】すなわち、図５の主要被写体解析部２１２
では、主要被写体の距離画像データｂ中での面の法線を
解析する。

【００８４】そして、この解析結果により、図５の鉛直
角度設定部２１３にて、推定鉛直方向角度ｃを設定す
る。

【００８５】なお、推定鉛直方向角度ｃを設定するに
は、実画像データの値のみから推定することも可能であ
るが、距離画像データの値を用いて鉛直角度を推定すれ
ば、より正確に鉛直角度を推定できるといえる。

【００８６】このように、本実施形態では、非常に簡便
にかつ正確に、最適なアオリ効果変換画像を得ることが
できる。

【００８７】（第４の実施の形態）図５及び図７を用い
て本発明による画像変換装置の第４の実施の形態を説明
する。

【００８８】本実施形態では、第１の実施形態におい
て、まず、図７に示すように、主要被写体面の凹凸が大
きい場合に、主要被写体の上方部と下方部での距離値の
差を解析する。

【００８９】そして、この解析によって主要被写体の形
状が横長の場合に、面の法線を解析する。

【００９０】次に、この解析結果により図５の鉛直角度
設定部２１３にて、推定鉛直方向角度ｃを設定する。

【００９１】このようにすれば、凹凸が大きい被写体で
も、横長の被写体でも、より正確に鉛直方向を推定でき
るので、より対象物体の形状によらずに画像変換できる
といえる。

【００９２】なお、常に、距離値の差と面の法線を両者
算出し、被写体の形状からいずれかを優先して設定して
もよい。

【００９３】なお、これまでの発明と実施の形態の各構
成は、当然、各種の変形、変更が可能である。

【００９４】例えば、実画像データと距離データは同時
に取得されたものでなくてもよく、実画像情報の被写体
ごとに、後から付帯的に添付される距離情報でもよい。

【００９５】また距離データは、精度よくかつ綿密に取
得されたデータでなく、被写体ごとに「距離５０ｃｍ、
角度１５度」といったレベルで添付されている情報であ
ってもよい。

【００９６】また、逆に、距離データとして、さらに進
んで３次元情報として完全な立体情報となっているもの
でもよい。

【００９７】また、画像データは実際に外界から取得し
たデータでなくともよく、コンピュータグラフィック技
術で擬似的に作成した３次元データであってもよい。

【００９８】また、３次元形状画像の検索装置内に組み
込み、アオリ効果を行った画像を標準形とするために変
換する装置として用いてもよい。

【００９９】また、アオリ自動変換後、再度距離データ
を用いて簡単にきれいにオブジェクトを切り出せる「ワ
ンクリック切り出し方法」として用いてもよい。

【０１００】

【発明の効果】従って、以上説明したように、本発明に
よれば、入力された画像に対しアオリを撮影時に行った
ように画像を変換処理する画像変換装置に関し、撮影時
のカメラの傾き角を計測しておかなくても、どの視点か
ら撮影したものが最適な表示であるかについて考慮して
自動的に最適に画像を変換処理し、また、対象物体の形
状によらずに画像変換が可能と成る画像変換装置を提供
することができる。

【図面の簡単な説明】

【図１】図１は、市販されている通常のカメラ（撮影レ
ンズの光軸がフィルムないしＣＣＤの中心に垂直に交差
している）での撮影例を示しており、図１の（ａ）は、
ビルなどの建物を仰ぐようにして撮ると上の方が小さく
狭まって写り、図１の（ｂ）は、逆に立っている子供を
見下ろすようにして撮ると下の方が狭まって写る状態を
示す図である。

【図２】図２は、アオリ操作を行なえる蛇腹を備えたカ
メラを用いて撮影していた従来例を示す図である。

【図３】図３は、本発明による画像変換装置の第１の実
施の形態の構成を説明するためのブロック図である。

【図４】図４は、本発明による画像変換装置の第１の実
施の形態の動作を説明するための図である。

【図５】図３は、本発明による画像変換装置の第２乃至
第４の実施の形態の構成を説明するためのブロック図で
ある。

【図６】図４は、本発明による画像変換装置の第２の実
施の形態の動作を説明するための図である。

【図７】図７は、本発明による画像変換装置の第２及び
第４の実施の形態の動作を説明するための図である。

【図８】図８は、本発明による画像変換装置の第３の実
施の形態の動作を説明するための図である。

【図９】図９は、本発明による画像変換装置の第１の実
施の形態の動作を説明するための図である。

【図１０】図１０は、本発明による画像変換装置の第２
の実施の形態の動作を説明するためのフローチャートで
ある。

【符号の説明】

１…画像入力部、 １１…実画像入力部、 ａ…実画像データ、 １２…距離画像入力部、 ｂ…距離画像データ、 ２…画像変換部、 ２１…鉛直方向推定部、 ｃ…推定鉛直方向角度、 ｄ…変換実画像データ、 ３…画像出力部、 ２１１…主要被写体抽出部、 ２１２…主要被写体解析部、 ２１３…鉛直角度設定部。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA11 CA12 CA19 CB13 CD12 CD14 CH01 DA17 5C022 AB68 5C023 AA01 CA01 5C076 AA23 BA06 BB40 CA10

Claims (5)

【特許請求の範囲】
1. 【請求項１】 実画像データを入力する実画像入力部
   と、 距離画像データを入力する距離画像入力部と、 上記距離画像入力部によって入力された距離画像データ
   から実世界における鉛直方向を推定する鉛直方向推定部
   と、 上記鉛直方向推定部によって推定された鉛直方向に基い
   て、上記実画像データと上記距離画像データを用いてア
   オリ効果を有する変換実画像データを算出する変換画像
   算出部と、 上記変換画像算出手段によって算出された変換実画像デ
   ータを出力する画像出力部と、 を有することを特徴とする画像変換装置。
2. 【請求項２】 上記鉛直方向推定部は、 上記距離画像データを用いて被写体を抽出する被写体抽
   出部と、 上記被写体抽出部によって抽出された上記被写体の形状
   を解析する被写体解析部と、 上記被写体解析部によって解析された被写体の形状を用
   いて鉛直方向の角度を設定する鉛直角度設定部と、 を有することを特徴とする請求項１記載の画像変換装
   置。
3. 【請求項３】 上記鉛直角度設定部は、上記被写体の上
   方部と下方部の距離の差に基づいて、鉛直方向の角度を
   設定することを特徴とする請求項２記載の画像変換装
   置。
4. 【請求項４】 上記鉛直角度設定部は、上記被写体の面
   の方向に基いて鉛直方向の角度を設定することを特徴と
   する請求項２記載の画像変換装置。
5. 【請求項５】 上記鉛直角度設定部は、上記被写体の表
   面凹凸が所定の基準以上の場合は、上記被写体の上方部
   と下方部の差に基づいて鉛直方向の角度を設定し、 上記被写体が横長の場合には、上記被写体の面の方向に
   基づいて鉛直方向の角度を設定することを特徴とする請
   求項２記載の画像変換装置。