JP2013219421A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の原画像から立体画像を作成する技術において、画像の奥行き表現の調整をユーザーが自由に、かつ簡易に行うことができる環境を提供する。
【解決手段】複数の原画像のうち１つを基準原画像として選択し、オブジェクト認識処理を行って所定の特徴を有するオブジェクト領域を抽出する。基準原画像ＩＬをオブジェクト領域を示すマーカーＭＫとともに表示部１０８に表示し、いずれかをユーザーに選択させる。選択された領域と画像内容が類似する領域を他の原画像から検出し、それらの領域が互いに重なるようにシフトさせた画像の重なり部分をトリミングして短冊状に切り出し、それらを交互に並べた合成画像を作成する。
【選択図】図４

Description

この発明は、複数の原画像から立体視可能な合成画像を作成する画像処理装置および画像処理方法に関するものであり、特にレンチキュラーレンズとの組み合わせで立体視が可能な合成画像を作成する処理に関する。

画像を立体的に表現する手法として、両眼の視差を利用したものが実用化されている。例えば、レンチキュラー画像は、互いに異なる視点から撮像した複数の画像の各々から短冊状の画像を切り出してそれらを視点の配置に応じて順番に並べた視差付きの合成画像を作成し、この合成画像をレンチキュラーレンズを介して提示することで、左右の目それぞれに到達する像の間に視差を生じさせて被写体を立体的に見せるようにしている。

そして、このようなレンチキュラー画像などの立体視可能な合成画像を、互いに異なる視点から撮像した複数の原画像から画像処理により自動的に作成する技術についても、従来から提案がなされている（例えば、特許文献１、特許文献２参照）。

特開２００４−１０４３２９号公報（例えば、図８） 特開２００４−１２９１８６号公報（例えば、図７）

このような立体視可能な合成画像を作成するに当たっては、合成する原画像の位置関係を調整することで、画像に含まれる人物や物体等のオブジェクトの奥行き方向の位置、つまり画像面からの飛び出しまたは後退の度合いを加減することが可能である。特に、オブジェクトを画像面と同一面に配置した場合、あたかも当該オブジェクトにフォーカスを合わせたような立体感のある画像を構成することができる。ここで、フォーカスを合わせる対象物をユーザーが任意に選ぶことができる機能があればユーザーにとって便宜である。しかしながら、従来の画像処理技術では、奥行き方向の配置が一義的に固定されてユーザーによる選択の余地がなかったり、ユーザーが手動操作によって画像の位置関係を微調整し良否を判断する必要があるなど、このような機能をユーザーが簡単に利用できるものとはなっていなかった。

この発明にかかるいくつかの態様は、上記課題を解決して、画像の奥行き表現の調整をユーザーが自由に、かつ簡易に行うことができる環境を提供するものである。

この発明の一の態様は、互いに視差を有する複数の原画像に基づいて、レンチキュラーレンズを介して立体視可能な合成画像を作成する画像処理装置であって、前記原画像のうち一の基準原画像内の一部領域を指定するユーザーからの領域指定入力を受け付ける受付手段と、前記基準原画像内で指定された指定領域に対応する対応領域を、前記基準原画像以外の他の原画像から検出する検出手段と、前記複数の原画像の各々から切り出した短冊状画像を並べて、前記指定領域と前記対応領域との間で視差が最も小さくなる前記合成画像を作成する合成画像作成手段とを備えることを特徴としている。

この発明において、基準原画像の指定領域に対応する他の原画像内の「対応領域」とは、他の原画像内の各領域のうち、基準原画像の指定領域内の画像と最も類似の度合いの高い領域を意味する。別の言い方をすれば、指定領域内の各点に対する当該原画像内の対応点を最も多く含む領域が、当該原画像における「対応領域」である。

このように構成された発明では、ユーザーにより一の原画像内の任意の領域が選択されると、当該指定領域と対応する対応領域が他の原画像から検出されるとともに、これらの指定領域と対応領域との間で視差が最も小さくなるようにして合成画像が作成される。その結果、合成画像を立体視すると指定領域内のオブジェクトが最も鮮明に、つまりフォーカスが合っているように表現されることになる。このとき、ユーザーに求められる操作はフォーカスを合わせたいオブジェクトの領域を指定することのみであり、以後の処理は自動的になされる。そのため、この発明によれば、画像の奥行き表現の調整を自由に、かつ簡易に行うための環境をユーザーに提供することができる。

この発明において、例えば、合成画像作成手段は、基準原画像および他の原画像のうち、基準原画像の指定領域と他の原画像の対応領域とを互いに重ね合わせたときの画像の重なり部分から短冊状画像を切り出すようにしてもよい。また例えば、他の原画像の対応領域を基準原画像の指定領域に重ねるために必要な、当該他の原画像の基準原画像に対する画像シフト量を求めるシフト量算出手段を備え、画像作成手段は、他の原画像を基準原画像に対して画像シフト量だけシフトさせて重ねたときの画像の重なり部分から、短冊状画像を切り出すようにしてもよい。

これらのいずれの構成によっても、基準原画像の指定領域と他の原画像の対応領域との間で視差が最小となるように原画像間の位置関係が調整された上で短冊状画像が切り出され合成画像が作成されるので、ユーザーが指定した指定領域に含まれるオブジェクトが最も鮮明に表現されることとなる。

また例えば、検出手段は、他の原画像内に含まれる指定領域と同一サイズの領域のうち指定領域との間の相関が最も高いものを当該他の画像における対応領域としてもよい。このように、指定領域と同一サイズで指定領域との相関が高い領域を対応領域とすることで、高い確率でユーザーの希望するオブジェクトにフォーカスを合わせた画像を作成することができる。そのより具体的な手法としては、例えば面積相関計算により領域間の相関を求めることができる。

また例えば、基準原画像内で画像認識処理により所定の特徴を有する領域を候補領域として抽出する画像認識手段を備え、受付手段は、候補領域を識別可能な態様で基準原画像を表示する表示部を有するとともに、該候補領域のうちユーザーに選択された一の領域を指定領域とするようにしてもよい。これにより、ユーザーは表示部に表示された候補領域を選択するだけで、当該領域にフォーカスを合わせた画像が自動的に得られることとなる。ここで、画像認識処理として例えば公知の顔認識処理技術を適用して、「所定の特徴を有する領域」として人物の顔領域を候補領域とするようにしてもよい。こうすることで、原画像に含まれる特定の人物像にフォーカスを合わせた合成画像が得られる。

また、本発明にかかる画像処理装置は、例えば合成画像を印刷出力する印刷手段を備えたものであってもよい。こうして印刷された画像をレンチキュラーレンズと組み合わせることで、ユーザーに対して、所望の奥行き感が付された立体画像の印刷物を提供することが可能である。

また、この発明の他の態様は、互いに視差を有する複数の原画像に基づいて、レンチキュラーレンズを介して立体視可能な合成画像を作成する画像処理方法であって、前記原画像のうち一の基準原画像内の一部領域を指定領域としてユーザーに指定させる指定受付工程と、前記指定領域に対応する対応領域を、前記基準原画像以外の他の原画像から検出する検出工程と、前記基準原画像および前記他の原画像のうち、前記基準原画像の前記指定領域と前記他の原画像の前記対応領域とを互いに重ね合わせたときの画像の重なり部分から切り出した短冊状画像を並べて前記合成画像を作成する画像作成工程とを備えることを特徴としている。

このように構成された発明では、上記した画像処理装置の発明と同様に、ユーザーが指定した指定領域に含まれるオブジェクトを最も鮮明に表現することのできる合成画像を提供することができ、ユーザーは領域を指定するのみでそのような画像を得ることが可能である。

本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。 この実施形態における立体画像印刷モードを示すフローチャート。 原画像の例を示す図。 表示画像の例を示す図。 対応領域の探索処理の原理を示す図。 対応領域の探索処理の具体的な動作例を示すフローチャート。 画像シフトおよびトリミングの概念を説明する図。 立体画像印刷モードの他の態様を示す図。

図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ（Universal Serial Bus）ケーブルや無線ＬＡＮ（Local Area Network）等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することが可能である。さらに、このようなデジタルカメラ２００および印刷装置１００を共に備えるシステムに限定されず、画像データに対して種々の処理を施す画像処理装置全般に対して、本発明を適用可能である。

デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４Ｌ，２０４Ｒ、グラフィックプロセッサー（Graphic Processor；ＧＰ）２０５およびインターフェース（Interface；Ｉ／Ｆ）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。

また、ＣＣＤ２０４Ｌ，２０４Ｒは、光学系２０８Ｌ，２０８Ｒによって集光された被写体からの光学像を電気信号に変換して出力する。より具体的には、光学系２０８Ｌにより集光された光学像はＣＣＤ２０４Ｌに入射する一方、光学系２０８Ｒにより集光された光学像はＣＣＤ２０４Ｒに入射する。光学系２０８Ｌ，２０８Ｒはデジタルカメラ２００の筐体に左右に離間して配置されている。より詳しくは、光学系２０８Ｌはデジタルカメラ２００筐体前面の被写体に向かって左寄りに、光学系２０８Ｒは被写体に向かって右寄りに設けられている。そのため、ＣＣＤ２０４Ｌ，２０４Ｒにより撮像される画像の間には視差が生じる。

光学系２０８Ｌ，２０８Ｒは、それぞれ複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってそれぞれＣＣＤ２０４Ｌ，２０４Ｒの受光面に結像する。

このデジタルカメラ２００は、２つのＣＣＤ２０４Ｌ，２０４Ｒを用いて視差のある１対の画像を撮像するステレオ撮像モードと、いずれか一方のＣＣＤのみを用いて撮像を行う通常撮像モードとを選択的に実行可能である。ステレオ撮像モードで撮像された１対の画像データは互いに関連付けられて保存され、後に説明する立体視用の合成画像を作成する処理においては、ＣＣＤ２０４Ｌにより撮像された画像が左眼用原画像、ＣＣＤ２０４Ｒにより撮像された画像が右眼用原画像としてそれぞれ適用される。

さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データを液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）２０９に供給して表示させる。

Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。

なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。さらに、ステレオ撮像モードに適したファイル形式として、複数枚の静止画像データを１つの画像ファイルに記録するＭＰ（Multi Picture）フォーマットに基づく画像ファイル（ＭＰＯファイル）を作成、記録する機能を有している。

また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインターフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。

印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果を表示部１０８に供給して表示させる。

Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。

表示部１０８は例えばＬＣＤからなるディスプレイの表面にタッチパネルが設けられたものであり、ＧＰ１０５から与えられる画像データをディスプレイに表示するほか、ユーザーによるタッチパネルへの操作入力データをＩ／Ｆ１０６に出力する。

そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下では、デジタルカメラ２００のステレオ撮像モードで撮像された左右１対の原画像に対応する画像データから立体視用の合成画像を作成し、これをレンチキュラーレンズを組み合わせた記録シートに印刷することでレンチキュラー画像を作成する立体画像印刷モードについて説明する。

これ以外に、この種のプリンターで実施されている種々の印刷動作を実行することが可能であるが、そのような印刷動作については種々の公知技術があり、本実施形態にも同技術を適用することができるので、本明細書ではそれらの説明を省略する。また、レンチキュラー画像により立体視を可能とする原理や、複数の原画像からそのような画像を作成する原理的な方法についても公知であるので、ここでは説明を省略する。

図２はこの実施形態における立体画像印刷モードを示すフローチャートである。また、図３は原画像の例を示す図である。この印刷モードでは、最初に立体画像の元となる原画像を取得する（ステップＳ１０１）。原画像としては、互いの間に視差を有する複数の画像が必要であり、例えば上記したデジタルカメラ２００のステレオ撮像モードで撮像された１対の画像を用いることができる。なお、原画像としてはこれに限定されず、同じ撮像対象物を異なる視点から撮像した複数の画像の組や、例えばコンピューターグラフィックス技術により作成された画像の組についても、以下に説明する技術を適用することが可能である。また１組の原画像を構成する画像の枚数についても、２以上で任意である。

ここではデジタルカメラ２００のステレオ撮像モードで撮像された２枚の画像を用いる場合を例として説明する。図３に示すように、ステレオ撮像モードでは、図３に示すように、同じ撮像対象物を僅かに異なる視点で撮像した２枚の画像ＩＬ，ＩＲが得られる。画像ＩＬは、デジタルカメラ２００において左側に配置されたＣＣＤ２０４Ｌにより撮像された画像であり、レンチキュラー画像を作成するに際しては左眼用画像の原画像として用いられる。一方、画像ＩＲはＣＣＤ２０４Ｌにより右側に配置されたＣＣＤ２０４Ｒにより撮像された画像であり、レンチキュラー画像の作成に際しては右眼用画像の原画像として用いられる。

これらの画像に共通して含まれる主なオブジェクトは、左右２人の人物、中央のヨット、左上の山などである。左眼用原画像ＩＬと右眼用原画像ＩＲとの間では、撮像時のカメラと被写体との距離に応じてオブジェクトの位置が微妙に異なっている。すなわち、遠方にある被写体については左右の原画像ＩＬ，ＩＲ間で位置の差はほとんどなく、カメラに近づくほど、被写体に対応するオブジェクトの位置の差が大きくなる。

図３の例では、向かって右側の人物が最も手前におり、横方向における左右の原画像間での位置の差Ｄ1が最も大きく、より奥側にいる左側の人物の位置の差Ｄ2、さらに奥のヨットの位置の差Ｄ3の順に小さくなる。遠方の山については位置の差はほぼない。なお、実際の画像では、この他に例えばカメラの傾きに起因する位置の差が加わる場合がある。また、複数の原画像を個別のカメラにより撮像した場合や、単眼のカメラでステレオアダプタを介して撮像した場合には、これらの位置ずれに起因する位置の差が加わる場合もあり得る。

このようにして取得した原画像をトリミングせずそのまま使用して立体視用の合成画像を作成すると、撮像時と同様に、一番奥にあるオブジェクト（山）において視差がゼロとなり、手前のオブジェクトほど視差が大きくなり手前に飛び出して見えるようになる。一方、オブジェクトの鮮明さという点では、視差のない遠方のオブジェクトが最も鮮明であり、手前のオブジェクトほど画像がぼやけて見える傾向がある。この種の立体画像では視差のないオブジェクトが画面と同一面に定位して鮮明に見える一方、視差のあるオブジェクトは画面より前方（または後方）に定位して奥行き感が表現される反面、表現可能な前後関係の範囲が限定的であるため撮像時の奥行きを忠実に再現することができず、このようにオブジェクトが不鮮明となることがある。

以下に説明するように、この実施形態では、鮮明に表示させるオブジェクトをユーザーが選択することができるようになっている。そのためユーザーは、撮像時にオートフォーカス機能によるピント合わせを行うのと同様の感覚で、鮮明に表示させたいオブジェクトを選択入力するだけで、ユーザー操作による画像の微調整作業を行うことなく所望のオブジェクトにフォーカスを合わせたような立体画像を得ることが可能となっている。

そのための動作を、図２に戻って説明する。上記のようにして取得した複数の原画像のうち任意の一を選択し、当該原画像について、当該原画像に含まれるオブジェクトの認識処理を行う（ステップＳ１０２）。ここでは、左眼用原画像ＩＬを選択したとする。オブジェクト認識処理としては公知の技術を適用することができ、例えば人物の顔の特徴を有する領域を抽出する顔認識処理や、各画素の画素値を所定の閾値で２値化して閉領域を抽出する処理などを適用することができる。そして、こうして原画像ＩＬから抽出されたオブジェクトの領域を示す情報（例えばオブジェクト領域の輪郭を示す枠）と共に、原画像ＩＬを表示部１０８に表示させる（ステップＳ１０３）。

図４は表示画像の例を示す図である。表示部１０８には選択された原画像ＩＬが表示され、これに、オブジェクトとして認識された矩形領域の４隅を示す鉤形のマーカーＭＫが重畳表示されている。この例では、左右の人物それぞれの顔と、中央上方のヨットとがオブジェクトとして認識されたことが示されている。

ここで、ユーザーは、認識されたオブジェクトのうち最も鮮明に表示させたいと希望するオブジェクトを、表面がタッチパネルとなった表示部１０８に表示された当該オブジェクトに触れることによって選択することができる。このため、画像の下部には、ユーザーに対してオブジェクトの選択を促すメッセージが表示される。

この状態で、ユーザーによるオブジェクト選択の操作入力がなされるのを待つ（ステップＳ１０４）。ユーザーがタッチパネルに触れることでいずれかのオブジェクトが有効に選択されると、当該オブジェクトの領域を左眼用原画像ＩＬの指定領域として、もう１つの原画像、すなわち右眼用原画像ＩＲの中で、指定領域の画像内容と類似する画像内容を有する対応領域を探索する（ステップＳ１０５）。ここでは、図４において右側の人物の顔領域がユーザーにより選択されたものとする。

図５は対応領域の探索処理の原理を示す図であり、図６はその具体的な動作例を示すフローチャートである。左眼用原画像ＩＬにおいて選択された指定領域Ｒ1は、横方向の画素数Ｐｘ、縦方向の画素数Ｐｙの矩形領域である。これに対応する右眼用原画像ＩＲにおける対応領域を検出するために、右眼用原画像ＩＲの左上隅を原点（０，０）とし、画像の横方向をＸ軸、縦方向をＹ軸とする座標平面内に、指定領域Ｒ1と同一サイズを有するウィンドウＷ2を設定する。すなわち、ウィンドウＷ2の横方向（Ｘ方向）の画素数はＰｘ、縦方向（Ｙ方向）の画素数はＰｙである。

こうして右眼用原画像ＩＲにおいて設定したウィンドウＷ2内の画像内容と、左眼用画像ＩＬにおいて指定された指定領域Ｒ1内の画像内容との類似度を求める。類似度は両画像内容の相関の高さによって定量的に評価することができ、例えば公知の面積相関計算により求めることができる。

ウィンドウＷ2の位置は右眼用画像ＩＲ内において種々に設定可能であり、そのうちウィンドウＷ2内の画像内容と指定領域Ｒ1内の画像内容との間の類似度が最も高くなるときのウィンドウＷ2によって特定される右眼用画像ＩＲ内の領域が、指定領域Ｒ1に対応する対応領域であるということができる。対応領域は、そのときのウィンドウＷ2の４隅の座標を特定し得る情報によって特定することが可能であり、例えば４隅および重心のいずれか１点の座標位置とウィンドウサイズとにより、または矩形の対角線上に位置する２つの頂点の座標などにより表すことができる。

具体的な処理例について、図６を参照しながら説明する。最初に、ウィンドウの位置を指定する座標パラメータｘ、ｙをそれぞれ初期値（０）に設定し（ステップＳ２０１、Ｓ２０２）、これらの座標パラメータにより特定される座標（ｘ，ｙ）を左上隅の頂点位置とし、指定領域Ｒ1と同サイズ（横方向画素数Ｐｘ、縦方向画素数Ｐｙ）のウィンドウＷ2を右眼用画像ＩＲ内に設定する（ステップＳ２０３）。

こうして設定されたウィンドウＷ2内の各画素と、指定領域Ｒ1内の各画素との間で面積相関計算を行い、画像内容の類似度を求める（ステップＳ２０４）。より具体的には、例えば以下のようにすることができる。指定領域Ｒ1内から選択した一の画素と、ウィンドウＷ2内でこれに対応する位置にある画素との間で画素値の差分を求める計算を領域内の全画素について行い、差分の絶対値の積算値を求める。この積算値が小さいほど画像内容の相関が高いと言える。すなわち、画像内容が完全に一致しているとき、対応する画素間の画素値の差分は全てゼロであり、積算値もゼロである。画像内容の類似度が低いほど、画素間の差分が大きくなり、その絶対値の積算値も大きくなる。このような演算により、画像内容の類似度を求めることができる。

続いて、こうして求めた積算値を、記憶保存されている最小値と比較する（ステップＳ２０５）。図６に示すように、この探索処理ではループ処理が行われており、上記した積算値の算出が繰り返し実行されて、各ループで算出された積算値のうちの最小値と、該最小値が算出されたときに設定されていたウィンドウの座標位置（ｘ，ｙ）が記憶保存されている。そして、新たなループで算出された積算値が記憶されている最小値よりも小さければ（ステップＳ２０５においてＹＥＳ）、記憶されている最小値を当該積算値によって更新するとともに、そのときのウィンドウの座標位置（ｘ，ｙ）が更新記憶される（ステップＳ２０６）。一方、新たなループで算出された積算値が記憶されている最小値以上であれば（ステップＳ２０５においてＮＯ）、最小値およびウィンドウ座標位置は更新されない。

ステップＳ２０２〜Ｓ２０６の処理を、ウィンドウが画像ＩＲの右端に到達するまで（ステップＳ２０７）、座標パラメータｘを１ずつインクリメントしながら（ステップＳ２１１）実行するとともに、ステップＳ２０２〜Ｓ２０７の処理を、ウィンドウが画像ＩＲの下端に到達するまで（ステップＳ２０８）、座標パラメータｙを１ずつインクリメントしながら（ステップＳ２１２）実行することにより、指定領域Ｒ1と最も類似度の高い画像内容を有する領域が、右眼用画像ＩＲの全体から探索される。

すなわち、ループ終了時点で記憶保存されているウィンドウの座標位置とウィンドウサイズとによって特定されるウィンドウ内の領域が、指定領域Ｒ1の画像内容に対応する画像内容を右眼用画像ＩＲ内において有する「対応領域」として検出される。以下では、左眼用画像ＩＬにおいて指定された指定領域Ｒ1に対応する右眼用画像ＩＲ内対応領域を、符号Ｒ2によって表す。

図２に戻って、次に、こうして求められた指定領域Ｒ1と対応領域Ｒ2とをぴったり重ね合わせるために必要な、左眼用画像ＩＬに対する右眼用画像ＩＲの画像シフト量を算出する（ステップＳ１０６）。そして、こうして求められた画像シフト量だけ右眼用画像ＩＲをシフトさせた状態で左眼用画像ＩＬと重ねたときに重複する領域から、作成すべき合成画像のサイズに応じた領域をトリミングにより抽出する（ステップＳ１０７）。

図７は画像シフトおよびトリミングの概念を説明する図である。図７（ａ）に示す例では、左眼用原画像ＩＬに対して右眼用原画像ＩＲを（−Ｘ）方向にΔＸ画素、（−Ｙ）方向に（−ΔＹ）画素だけシフトさせたときに、左眼用原画像ＩＬの指定領域Ｒ1と、右眼用原画像ＩＲの対応領域Ｒ2とがぴったり重なり合う。すなわち、求めるべき画像シフト量の値は、Ｘ軸方向についてΔＸ、Ｙ軸方向についてΔＹであり、これらを符号付きの値とすることで正負両方向への画像シフト量を表すことができる。この画像シフト量は、左眼用原画像ＩＬにおける指定領域Ｒ1の座標位置と、右眼用原画像ＩＲにおける対応領域Ｒ2の座標位置とから求めることができる。

例えば、左眼用原画像ＩＬにおける指定領域Ｒ1の左上隅の座標を（ｘ1，ｙ1）、右眼用原画像ＩＲにおける対応領域Ｒ2の左上隅の座標を（ｘ2，ｙ2）としたとき、左眼用原画像ＩＬに対する右眼用原画像ＩＲのＸ方向における画像シフト量Ｓｘ、Ｙ方向における画像シフト量Ｓｙはそれぞれ、
Ｓｘ＝ｘ1−ｘ2
Ｓｙ＝ｙ1−ｙ2
により表すことができる。画像シフト量が正の値であれば座標軸の正方向に沿った画像シフト、負の値であれば座標軸の負方向に沿った画像シフトを行うことで、左眼用原画像ＩＬの指定領域Ｒ1と右眼用原画像ＩＲの対応領域Ｒ2とが重なり合う。

このように右眼用原画像ＩＲをシフトさせて左眼用原画像ＩＬに重ねたときに重複する領域内の画像が、立体画像の作成に利用可能である。このような重複領域から、印刷すべき画像のアスペクト比に応じた領域をトリミング抽出することにより、該領域を合成画像に使用する有効印刷領域ＲＰとして設定することができる。

図２に戻って、左眼用原画像ＩＬおよび右眼用原画像ＩＲのうちこうしてそれぞれトリミングされた有効印刷領域ＲＰ内の画像から、それぞれ左眼用画像および右眼用画像となる短冊状画像を切り出してそれらを交互に配列することにより、合成画像を作成する（ステップＳ１０８）。トリミング後の複数の原画像から短冊状画像を切り出して合成し立体視に適した画像を作成する技術は公知であるので、これについては説明を省略する。

こうして作成された合成画像を表示部１０８に表示して（ステップＳ１０９）、ユーザーに画像内容を確認させる。操作入力によりＯＫの意思表示がなされれば（ステップＳ１１０）、プリンターエンジン１１３を動作させて、当該合成画像を記録材たるレンチキュラーシートに印刷して（ステップＳ１１１）、処理を終了する。一方、表示された画像内容にユーザーが不満の意思表示（ステップＳ１１０においてＮＯ）をした場合には、ステップＳ１０３に戻って、ユーザーに再度オブジェクトの選択を行わせる。

なお、合成画像を立体画像（レンチキュラー画像）として提供するためには、平坦な記録材上に合成画像を印刷した上でレンチキュラーレンズを貼り合わせてもよく、また一方面にレンチキュラーレンズが配されたシート状の記録材（本明細書における「レンチキュラーシート」はこれを指している）の平坦な他方面に合成画像を印刷するようにしてもよい。後者の場合、短冊状画像の長手方向とレンチキュラーレンズの長手方向とが一致する必要があることは当然である。それに加えて、画像が立体的に表現されるためには印刷面の裏側からレンチキュラーレンズを介して印刷面が見られることとなるので、印刷面が透明であること、および表示部１０８に表示された合成画像を裏返した状態の印刷データがプリンターエンジン１１３に送られることが必要である。

以上のように、この実施形態では、視点の異なる複数の原画像から立体視用の合成画像を作成するのに際して、最も鮮明に表示させたいオブジェクトの領域を一の原画像内でユーザーに選択指定させる。そして、当該原画像における指定領域と類似する画像内容を有する対応領域を他の原画像内から検出し、それらの領域が互いに重なり合うようにしたときの原画像間の重なり部分をトリミングして合成画像を作成する。これにより、合成画像を立体視したとき、一の原画像における指定領域と、他の原画像における対応領域との間で視差が最も小さくなる。そのため、指定領域内の画像オブジェクトが画面と同一面に定位して最も鮮明に表示され、他の画像オブジェクトは視差に応じてより手前側または奥側に奥行きを持って表示されることとなる。

例えば図７（ａ）に示すように、右側の人物の顔領域を指定領域Ｒ1とした場合には、画像シフトと重ね合わせの結果、右側の人物の顔領域は比較的鮮明となる一方で、他の距離にあった被写体（左側の人物、ヨット、遠方の山など）に対応するオブジェクトでは位置ずれが大きくなる。そのため、この状態から得られる合成画像では、右側の人物の顔付近が画面と同一面に定位して鮮明に表現される一方、他のオブジェクトはこれより手前側または奥側に、ただし幾分ぼやけた状態で表現される。

また例えば、図７（ｂ）に示すように、左側の人物の顔領域Ｒ3が指定領域として指定された場合には、合成画像では当該人物が鮮明に表現される一方で、右側の人物では左眼用画像と右眼用画像との間で位置ずれ量が大きくなり当該人物はぼやけた画像となる。このように、ユーザーは好みに応じて画像の奥行き表現を自由に調整することが可能である。

このような画像を得るためにユーザーに求められる操作は、一の原画像内から指定領域を指定することのみであり、手動操作で画像シフト量を調整する必要はない。このため、この実施形態では、ユーザーが自由に、かつ簡単な操作で画像を調整し、好みの立体画像を得ることが可能となっている。このことは原画像の枚数が多くなっても同じである。特に、原画像に対するオブジェクト認識処理によって認識された領域を原画像と共に表示し、タッチパネルによりそれらをユーザーに選択させるようにしているので、ユーザーは表示された領域から好みのものを選んで画面に触れることで選択操作が完了するので、操作は極めて簡単である。

また、一の原画像における指定領域に対応する対応領域を他の原画像から検出するための処理は、他の原画像から取り出した領域と指定領域との間で画素値の差分を求めて積算し、その積算値が最小となる領域を探索するという極めて簡単な演算によって行うことができるので、高い処理能力を持たないプロセッサーでも十分に対応可能な処理内容である。このため、この技術を搭載することが装置コストを圧迫することがなく、低価格の製品においても上記機能を実現することが可能である。

ところで、上記実施形態では、一の原画像においてユーザーにより指定されたオブジェクトに対応する指定領域と、この指定領域に対応する他の原画像における対応領域との位置が合成画像において一致するように、画像シフト量の設定を行っている。つまり、指定されたオブジェクトが画像面に鮮明に定位するように合成画像を作成する。しかしながら、レンチキュラー画像における奥行きの表現方法としては、上記以外にも例えば次のようにすることが可能である。

図８は立体画像印刷モードの他の態様を示す図である。図８（ａ）は左眼用画像と右眼用画像との間における対応オブジェクトの左右方向の位置ずれ量と、それにより画像面から飛び出してあるいは引っ込んで見える当該オブジェクトの飛び出し量との関係を示している。横軸において（＋）方向は、左眼用画像におけるオブジェクトに対し、右眼用画像における対応オブジェクトが合成画像においてより右側に位置する場合を示し、（−）方向はその反対である。また、縦軸の（＋）方向は、立体視した際に当該オブジェクトが画像面よりも手前側に飛び出す状態を示し、（−）方向は画像面から奥に引っ込んだ状態を示す。図８（ａ）に示すように、右眼用画像と左眼用画像との間における対応オブジェクトの左右ずれ量に応じて当該オブジェクトの画像面からの飛び出し量が変化する。

ここで、オブジェクトの左右ずれ量が大きくなりすぎると、鑑賞者にとっては左右それぞれの眼に入射するオブジェクトの像が同一オブジェクトのものであると認識できなくなり二重に見えるようになる。つまり、両眼に入射するオブジェクトの像をぼやけさせることなく１つのオブジェクトとして鑑賞者に認識させることが可能な奥行き方向の距離範囲（融像可能範囲）は限定的である。レンチキュラーシートを用いた立体画像表現では、レンチキュラーレンズの特性や印刷の精度等によって融像可能範囲が制限される。

逆に言えば、ユーザーにより指定されたオブジェクトの右眼用画像と左眼用画像との間における左右ずれ量が融像可能範囲に収まっていれば、当該オブジェクトの鮮明さを犠牲にすることなく種々の立体表現が可能である。例えば融像可能範囲の下限値に対応する左右ずれ量Ｑ1を当該オブジェクトに与えたとき、当該オブジェクトは融像可能範囲内において最も奥に定位する。逆に、融像可能範囲の上限値に対応する左右ずれ量Ｑ2を当該オブジェクトに与えたとき、当該オブジェクトは融像可能範囲内において最も手前側に定位する。左右ずれ量をこれ以上大きくするとオブジェクトの像がぼやけてしまうが、左右ずれ量の値をＱ1からＱ2までの間で適宜に設定することで、当該レンチキュラーシートで表現可能な奥行きを最大限に活用することが可能である。特に、奥行き方向の配置が種々に異なった状態で撮像された複数の被写体に対応するオブジェクトを含む画像において、それらの前後関係を効果的に表現することができる。

このような画像飛び出し量の設定をユーザーに行わせることで、ユーザーの好みに応じた奥行き表現のレンチキュラー画像を提供することが可能となる。なお、簡単なユーザー操作でこのような機能を実現するためには、例えば次のようにすることができる。第１の例では、ユーザーに選ばせる選択肢を限定し、指定したオブジェクトの奥行き方向位置を、例えば融像可能範囲の最も手前、最も奥、および画像面と同一面のいずれかから選ばせるようにする。第２の例では、ユーザーにオブジェクトを指定させるための表示画面（図４）に融像可能範囲に対応したＧＵＩ（Graphical User Interface）パーツとしてのスライダーを表示する。そして、該スライダーのノブをユーザーに操作させることで、融像可能範囲（Ｑ1〜Ｑ2）内で左右ずれ量を連続的に設定可能とする。もちろん操作方法はこれらに限定されない。

こうしてユーザーにより選択された奥行き表現での画像印刷を可能とするための処理は、図２に示した立体画像印刷モードの動作の一部を変更することによって可能である。すなわち、図２のステップＳ１０６に代えて、図８（ｂ）に示すステップＳ１０６ａを設ける。ステップＳ１０６ａでは、ユーザーにより設定された画像飛び出し量を実現するための右眼用画像と左眼用画像との間の左右ずれ量を図８（ａ）の関係から求め、合成画像において指定領域Ｒ1と対応領域Ｒ2との位置ずれ量が求めた値と一致するような画像シフト量を算出する。こうして得られた画像シフト量に基づき、上記実施形態と同様に合成画像の作成および印刷を行うことにより、ユーザーの好みに応じた奥行き表現でのレンチキュラー画像を作成することが可能となる。

このように、ユーザーが指定した指定領域に対応するオブジェクトの画像面からの飛び出し量を、印刷装置および記録媒体の特性に応じて定まる融像可能範囲内でユーザー設定可能とし、その設定に応じた左右ずれ量を実現するための画像シフト量を求めて合成画像を作成することにより、ユーザーに対し、その好みに応じたレンチキュラー画像を提供することが可能となる。上記実施形態は、指定されたオブジェクトの飛び出し量をゼロに固定したものに相当している。

以上説明したように、この実施形態では、印刷装置１００が本発明の「画像処理装置」として機能しており、表示部１０８が本発明の「表示部」および「受付手段」としての機能を有する一方、プリンターエンジン１１３が本発明の「印刷手段」として機能している。また、ＣＰＵ１０１が所定の制御プログラムを実行することにより、本発明の「検出手段」、「シフト量算出手段」、「合成画像作成手段」および「画像認識手段」としての各機能が実現されている。

また、上記実施形態においては、左眼用原画像ＩＬが本発明の「基準原画像」に相当する一方、右眼用原画像ＩＲが本発明の「他の原画像」に相当し、これらがそれぞれ本発明の「原画像」に相当している。また、図４に示す画像例において、マーカーＭＫによって特定される各画像領域（左右の人物の顔およびヨット）が、本発明の「候補領域」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では左右２つの視点からの原画像ＩＬ，ＩＲを用いてレンチキュラー画像を作成しているが、原画像の枚数は２以上であれば任意であり、より多視点の原画像から合成画像を作成する場合にも上記技術を適用することが可能である。具体的には、それらの原画像の一を基準として該原画像で指定領域が指定されると、他の原画像のそれぞれにおいて対応領域を検出し、基準となる原画像に対する画像シフト量を各原画像ごとに算出して、全ての原画像の重なり部分からトリミングした画像に基づき合成画像を作成すればよい。

この場合、原理的には複数の原画像のいずれを基準としても構わないが、各視点のうち中央に近い視点からの原画像を基準とすることが実用上は好ましい。外側の視点からの原画像を基準として指定領域を指定した場合、これと反対側の視点からの原画像との画像内容の乖離が大きくなり、指定領域に対応する対応領域を他の原画像から検出する際の検出精度が低下するおそれがあるからである。

また、上記実施形態では、オブジェクト認識処理によって認識されたオブジェクト領域の中から指定領域をユーザーに選択させるようにしているが、これに代えて、あるいはこれと併用して、例えば対角線上の２頂点を指定させる等の方法により、任意の領域を指定領域とすることができるようにしてもよい。また、認識されたオブジェクト領域の提示方法についても、その４隅をマーカーＭＫによって示すものに限られず、例えば矩形の枠で当該領域を囲んだり、当該領域の輝度を変化させる等の方法によってもよい。また、その操作入力の受付方法もタッチパネルによるものに限定されず、キーボードやマウスからの入力によるものなど、任意のものを適用することが可能である。

また、上記実施形態では、デジタルカメラ２００とともに印刷システムを構成する印刷装置１００上で本発明にかかる画像処理方法を実行しているが、本発明の適用対象はこれに限定されない。例えば単体のデジタルカメラやプリンター、携帯用端末機器、パーソナルコンピューター上などでも同様の画像処理方法を実行することが可能である。

また、上記実施形態では、作成後の合成画像を表示部１０８に表示してユーザーに画像内容を確認させた後に記録シートへの印刷を行うようにしているが、このような画像の表示や確認作業は必須のものではない。

本発明にかかる画像処理装置および画像処理方法は、例えばレンチキュラーレンズを介して立体視可能な合成画像を作成するのに好適に適用することができ、画像を記録シートに印刷出力する場合のほか、画面上に表示してレンチキュラーレンズと共に提示する場合にも利用可能である。

１００…印刷装置（画像処理装置）、 １０１…ＣＰＵ（検出手段、シフト量算出手段、合成画像作成手段、画像認識手段）、 １０８…表示部（表示部、受付手段）、 １１３…プリンターエンジン（印刷手段）、 ２００…デジタルカメラ ２０４Ｌ…（左眼用原画像用の）ＣＣＤ、 ２０４Ｒ…（右眼用原画像用の）ＣＣＤ、 ＩＬ…左眼用原画像（基準原画像、原画像）、 ＩＲ…右眼用原画像（他の原画像、原画像）

Claims (8)

1. 互いに視差を有する複数の原画像に基づいて、レンチキュラーレンズを介して立体視可能な合成画像を作成する画像処理装置において、
   前記原画像のうち一の基準原画像内の一部領域を指定するユーザーからの領域指定入力を受け付ける受付手段と、
   前記基準原画像内で指定された指定領域に対応する対応領域を、前記基準原画像以外の他の原画像から検出する検出手段と、
   前記複数の原画像の各々から切り出した短冊状画像を並べて、前記指定領域と前記対応領域との間で視差が最も小さくなる前記合成画像を作成する合成画像作成手段と
   を備えることを特徴とする画像処理装置。
2. 前記合成画像作成手段は、前記基準原画像および前記他の原画像のうち、前記基準原画像の前記指定領域と前記他の原画像の前記対応領域とを互いに重ね合わせたときの画像の重なり部分から前記短冊状画像を切り出す請求項１に記載の画像処理装置。
3. 前記他の原画像の前記対応領域を前記基準原画像の前記指定領域に重ねるために必要な、当該他の原画像の前記基準原画像に対する画像シフト量を求めるシフト量算出手段を備え、
   前記画像作成手段は、前記他の原画像を前記基準原画像に対して前記画像シフト量だけシフトさせて重ねたときの画像の重なり部分から、前記短冊状画像を切り出す請求項２に記載の画像処理装置。
4. 前記検出手段は、前記他の原画像内に含まれる前記指定領域と同一サイズの領域のうち前記指定領域との間の相関が最も高いものを当該他の画像における前記対応領域とする請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記検出手段は、面積相関計算により前記他の原画像内の領域と前記指定領域との間の相関を求める請求項４に記載の画像処理装置。
6. 前記基準原画像内で画像認識処理により所定の特徴を有する領域を候補領域として抽出する画像認識手段を備え、
   前記受付手段は、前記候補領域を識別可能な態様で前記基準原画像を表示する表示部を有するとともに、該候補領域のうちユーザーに選択された一の領域を前記指定領域とする請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記合成画像を印刷出力する印刷手段を備える請求項１ないし６のいずれかに記載の画像処理装置。
8. 互いに視差を有する複数の原画像に基づいて、レンチキュラーレンズを介して立体視可能な合成画像を作成する画像処理方法において、
   前記原画像のうち一の基準原画像内の一部領域を指定領域としてユーザーに指定させる指定受付工程と、
   前記指定領域に対応する対応領域を、前記基準原画像以外の他の原画像から検出する検出工程と、
   前記基準原画像および前記他の原画像のうち、前記基準原画像の前記指定領域と前記他の原画像の前記対応領域とを互いに重ね合わせたときの画像の重なり部分から切り出した短冊状画像を並べて前記合成画像を作成する画像作成工程と
   を備えることを特徴とする画像処理方法。

Images