JP2012151667A - 携帯機器及びマイクロコンピュータ - Google Patents

Abstract

【課題】機械的構造及び制御の点で規模とコストを抑えて立体表示を可能にする携帯機器を提供する。
【解決手段】操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データをカメラ部に取得させ、取得された前記複数の撮像データの焦点距離に応じて相違する合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行って画像データを生成する。焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて複数の撮像データを３次元表示データ化する処理を行うことによって、３次元表示データを生成することが可能になる。
【選択図】図１

Description

本発明は、撮像データを立体的に表示する３次元表示機能を持つ携帯機器、更にはその制御を行うマイクロコンピュータに関し、例えば、デジタルカメラ、携帯電話、カメラ付き携帯機器などに適用して有効な技術に関する。

携帯電話などのカメラ付きの携帯機器においても撮像データを用いてその画像を立体的に表示する技術が提供されている。本明細書において画像の立体的表示を単に３Ｄ表示（３次元表示）とも記す。

特許文献１には、立体表示のために２個のカメラを用いる場合にはコストが上昇し且つ電力消費も増大するという点を解消するために、１個のカメラを用いて撮像した撮像データに視差情報を持たせて３Ｄ画像を生成することが記載される。視差情報の付加に関しては、撮像画像から人の目や鼻などの構成部品を抽出し、抽出した構成部品に応じた視差情報を自動的に又は人の入力操作によって付加するものとされる。従って、画像処理プログラムが顔や鼻などの所定の画像構成部品を認識してその部分を立体的に表示し、或いは、撮像画像のモニタ画面で人が指示した画像構成部品を立体的に表示することができる。

特許文献２には、一対の鏡などの受像部を対向配置し、受像部に映った画像を、首振り可能に設けた１個の撮像手段で撮影して、視差を持つ左側画像データと右側画像データを生成して３Ｄ表示を行う事が記載される。

特開平６−３０４４６号公報 特開２００４−４０４４５号公報

特許文献１では画像処理プログラムが顔や鼻などの所定の画像構成部品を認識してその部分を立体的に表示するか否かを判別して処理したり、或いは、撮像画像のモニタ画面から立体表示位置を人がしなければならない。前者において、種々の画像構成部品を認識しなければならず、認識対象が増えるに従ってそのデータ処理が重くなり、処理プログラムも複雑になり、規模が大きくなり過ぎることが想定される。後者の場合には自動化できず、操作が煩雑になる虞がある。

特許文献２では一対に受像部の配置に合わせて撮像手段を首振り可能に配置すると共に位置決め制御を行わなければならず、撮像手段を２個必要としないが、機械的構造及び制御機構の点で構成が複雑になる。

本発明の目的は、機械的構造及び制御の点で規模とコストを抑えて立体表示を可能にする携帯機器、更にはその立体表示制御に好適なマイクロコンピュータを提供することにある。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データをカメラ部に取得させ、取得された前記複数の撮像データの焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行って画像データを生成する。

焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて複数の撮像データを３次元表示データ化する処理を行うことによって、３次元表示データを生成することが可能になる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、機械的構造及び制御の点で規模とコストを抑えて立体表示を可能にすることができる。

図１はカメラ部による撮像画像を立体表示するためのマイクロコンピュータによるデータ処理である３次元表示データ化処理の原理的な処理手順を示す説明図である。 図２は本発明の実施の形態１に係る携帯機器としての携帯電話の構成を例示するブロック図である。 図３はフォーカスレンズのＡＦ制御を位相検出によるアクティブ方式で行うカメラ部の構成を例示するブロック図である。 図４はフォーカスレンズのＡＦ制御を位相検出によるパッシブ方式で行う場合の構成を例示するブロック図である。 図５はマイクロコンピュータの具体例を示すブロック図である。 図６は背景画像に合焦点画像を合成したときの合成後の合焦画像と合成前の合焦画像との配置ずれ量を図１との対応で例示する説明図である。 図７は図１で説明した実距離や配置ずれ量を取得するためのルックアップテーブルを用いるシステム構成例を示すブロック図である。 図８はカメラ部による撮像画像に対する３次元表示データ化処理を更に具体的に例示する説明図である。 図９は処理Ａの詳細な処理手順を例示するフローチャートである。 図１０は処理Ｂの詳細な処理手順を例示するフローチャートである。 図１１は処理Ｃの詳細な処理手順を例示するフローチャートである。 図１２は実距離変換テーブルを例示する説明図である。 図１３はワークテーブルの説明図である。 図１４は３次元表示方式としてフレームシーケンシャル方式、レンチキュラー方式、及び２画面方式の概要を示す説明図である。 図１５は２画面方式に対応する処理Ｄの詳細な処理手順を例示するフローチャートである。 図１６はレンチキュラー方式に対応する処理Ｄの詳細な処理手順を例示するフローチャートである。 図１７はＡＦポイントに対して近傍及び遠望の各焦点距離を複数とする実施の形態２の説明図である。 図１８は高速で移動する物体を被写体とする施の形態３の説明図である。 図１９は本発明思想は静止画だけでなく動画にも適用する実施の形態４の説明図である。 図２０はＡＦポイントにおける距離の測定で測距領域を９分割して分割領域毎に行う分割ＡＦ制御機能を併用する実施の形態５の説明図である。 図２１はＡＦポイントにおける距離の測定で測距領域を５分割して分割領域毎に行う分割ＡＦ制御機能を併用する実施の形態５の別の説明図である。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕＜焦点距離を変えた撮像データを焦点距離との相関で３次元表示データ化＞
本発明の代表的な実施の形態に係る携帯機器（１）は、カメラ部（１０）、操作部（１３）、及びデータ処理部（５）を有する。前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された前記複数の撮像データの焦点距離に応じて相違する合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行う。

焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて複数の撮像データを３次元表示データ化する処理を行うことによって、３次元表示データを生成することが可能になる。合焦画像は非合焦画像に対して画像境界の検出度合いが相違されるから、その検出度合に応じて画像の検出若しくは抽出が可能になり、検出対象とする画像の特徴や輪郭を予め登録してパターンマッチングのような手法で画像を認識する処理を採用することを要しないから、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更に複数のカメラ部を用意することを要しないのはもとより、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要としない。

〔２〕＜焦点距離を変えた撮像データを焦点距離との相関で３Ｄデータ化＞
本発明の別の実施の形態に係る携帯機器（１）は、カメラ部（１０）と、操作部（１３）と、前記操作部の操作に基づいて前記カメラ部を制御すると共に前記カメラ部による撮像データのデータ処理を行うデータ処理部（５）と、前記データ処理部で生成された画像データを用いて３次元表示を行う表示部（１１）と、を有する。前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された複数の撮像データから、合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像（ＢＣＫＧ）のデータとを区別し、前記合焦画像に応じた焦点距離を３次元表示の奥行きに反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像（ＲＦＲＭ，ＬＦＲＭ）のデータを生成する。

焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像までの距離を３次元表示の奥行きに反映して夫々の合焦画像を背景画像に合成することにより、撮像動作の指示に応答して焦点距離を変えた複数の撮像データから３次元表示の右目用画像及び左目用画像のデータを生成することができる。合焦画像は非合焦画像に対して画像境界の検出度合いが相違されるから、その検出度合に応じて画像の検出若しくは抽出が可能になり、検出対象とする画像の特徴や輪郭を予め登録してパターンマッチングのような手法で画像を認識する処理を採用することを要しない。よって、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更に複数のカメラ部を用意することを要しないのはもとより、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要としない。

〔３〕＜合焦、非合焦＞
項２の携帯機器において、前記データ処理部は、エッジ検出及び色差検出を行って、検出度の高い境界を有する画像を合焦画像、検出度の低い境界を有する画像を非合焦画像とする。

容易に合焦画像と非合焦画像を区別して検出することができる。

〔４〕＜指示焦点、その近傍及び遠望の撮像位置＞
項２の携帯機器において、前記データ処理部は、操作部の操作によって指示された焦点距離を中心として、それよりも所定焦点距離分だけ近傍、及びそれよりも所定焦点距離分だけ遠望とする、それぞれ近傍、中心、遠望の各焦点距離で前記カメラ部に撮像を指示する。

撮像目的とする画像を中心に立体画像を生成することができる。

〔５〕＜近傍・遠望の撮影頻度＞
項４の携帯機器において、前記中心に対する近傍の所定焦点距離は単数又は複数の焦点距離であり、前記中心に対する遠望の所定焦点距離は単数又は複数の焦点距離である。

近傍及び遠望の焦点距離の種類を増やせば３次元化のデータ処理時間は増えるが立体画像の臨場感を高くすることができ、逆に、近傍及び遠望の焦点距離の種類を減らせば立体画像の臨場感は低くなるが３次元化のデータ処理時間を短縮することができる。

〔６〕＜近傍、中間、遠望の撮像順＞
項４の携帯機器において、前記データ処理部は、前記焦点距離を変えて撮像する複数の撮像データの撮像順序を、前記近傍、中心、遠望の順に制御する。

カメラ部が合焦する動作方向を一方向に制限でき、中心を基点に行う場合のように動作方向を往復方向にしなくてもよいから、焦点距離を変えて複数の撮像データを取得する動作の高速化と安定性を増すことができる。

〔７〕＜移動量で参照される実距離のルックアップテーブル＞
項２の携帯機器において、前記データ処理部は、カメラ部の合焦位置の焦点を移動したときの移動量と実距離との対応を格納する、移動量による実距離のルックアップテーブル（９０）を有し、合焦位置を基点に焦点距離を変えて撮像したとき、前記基点の合焦位置に対する焦点の移動量に基づいて前記ルックアップテーブルから取得した実距離と、前記基点の合焦位置の焦点距離とに基づいて、前記焦点距離を変えて取得した複数の撮像データに関する前記基点以外の焦点距離を取得する。

複数の撮像データの焦点距離を容易に取得することが出来る。

〔８〕＜焦点距離で参照される配置ずれ量のルックアップテーブル＞
項７の携帯機器において、前記データ処理部は、前記焦点距離が反映される奥行きを決定するために前記左目用画像及び右目用画像における合焦画像の配置ずれ量を前記焦点距離と対応させて格納する、焦点距離による配置ずれ量のルックアップテーブル（９１）を有し、前記焦点距離によりルックアップテーブルを参照して前記左目用画像及び右目用画像における合焦画像の配置を決定する。

焦点距離に応ずる配置ずれ量を容易に取得することができる。

〔９〕＜複数画像データ間での同一合焦画像（高速移動体）の競合＞
項２の携帯機器において、前記データ処理部は、複数の撮像データの間で合焦画像が競合するとき、競合する合焦画像のうちで焦点距離が最も短い撮像データの合焦画像を前記背景画像に合成する対象とする。

撮像データの焦点距離の変化方向に移動する物体は焦点距離を変えた複数の撮像データのそれぞれにおいて合焦画像になる可能性が高く、そのような状況で複数の撮像データの間で合焦画像が競合することになり、競合する合焦画像の内の一つを選んで背景画像に合成しなければならないが、そのとき、焦点距離が最も短い撮像データの合焦画像を選ぶことにより、移動する物体を正面側から張り出して目立つように立体表示することができる。

〔１０〕＜焦点距離を変えた撮像データを焦点距離との相関で３次元表示データ化＞
本発明の更に別の実施の形態に係る携帯機器（１）は、カメラ部（１０）と、操作部（１３）と、前記操作部の操作に基づいて前記カメラ部を制御すると共に前記カメラ部による撮像データのデータ処理を行うデータ処理部（５）と、前記データ処理部で生成された画像データを用いて３次元表示を行う表示部（１１）と、を有する。前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された複数の撮像データから、合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を当該合焦画像の３次元表示のための配置ずれ量に反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像（ＲＦＲＭ，ＬＦＲＭ）のデータを生成する。

項２と同様の作用により、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済み、更に複数のカメラ部を用意することを要しないのはもとより、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要としない。

〔１１〕＜合焦、非合焦＞
項１０の携帯機器において、前記データ処理部は、エッジ検出及び色差検出を行って、検出度の高い境界を有する画像を合焦画像、検出度の低い境界を有する画像を非合焦画像とする。

容易に合焦画像と非合焦画像を区別して検出することができる。

〔１２〕＜指示焦点、その近傍及び遠望の撮像位置＞
項１０の携帯機器において、前記データ処理部は、操作部の操作によって指示された焦点距離を中心として、それよりも所定焦点距離分だけ近傍、及びそれよりも所定焦点距離分だけ遠望の、それぞれ近傍、中心、遠望の各焦点距離で前記カメラ部に撮像を指示する。

撮像目的とする画像を中心に立体画像を生成することができる。

〔１３〕＜近傍・遠望の撮影頻度＞
項１２の携帯機器において、前記中心に対する近傍の所定焦点距離は単数又は複数の焦点距離であり、前記中心に対する遠望の所定焦点距離は単数又は複数の焦点距離である。

近傍及び遠望の焦点距離の種類を増やせば３次元化のデータ処理時間は増えるが立体画像の臨場感を高くすることができ、逆に、近傍及び遠望の焦点距離の種類を減らせば立体画像の臨場感は低くなるが３次元化のデータ処理時間を短縮することができる。

〔１４〕＜近傍、中間、遠望の撮像順＞
項１２の携帯機器において、前記データ処理部は、前記焦点距離を変えて撮像する複数の撮像データの撮像順序を、前記近傍、中心、遠望の順に制御する。

カメラ部が合焦する動作方向を一方向に制限でき、中心を基点に行う場合のように動作方向を往復方向にしなくてもよいから、焦点距離を変えて複数の撮像データを取得する動作の高速化と安定性を増すことができる。

〔１５〕＜移動量で参照される実距離のルックアップテーブル＞
項１０の携帯機器において、前記データ処理部は、カメラ部の合焦位置の焦点を移動したときの移動量と実距離との対応を格納する、移動量による実距離のルックアップテーブル（９０）を有し、合焦位置を基点に焦点距離を変えて撮像したとき、前記基点の合焦位置に対する焦点の移動量に基づいて前記ルックアップテーブルから取得した実距離と、前記基点の合焦位置の焦点距離とに基づいて、前記焦点距離を変えて取得した複数の撮像データに関する前記基点以外の焦点距離を取得する。

複数の撮像データの焦点距離を容易に取得することが出来る。

〔１６〕＜焦点距離で参照される配置ずれ量のルックアップテーブル＞
項１５の携帯機器において、前記データ処理部は、前記合焦画像の３次元表示のための配置ずれ量を決定するために前記左目用画像及び右目用画像における合焦画像の配置ずれ量を前記焦点距離と対応させて格納する、焦点距離による配置ずれ量のルックアップテーブル（９１）を有し、前記焦点距離によりルックアップテーブルを参照して前記左目用画像及び右目用画像における合焦画像の配置を決定する。

焦点距離に応ずる配置ずれ量を容易に取得することができる。

〔１７〕＜複数画像データ間での同一合焦画像（高速移動体）の競合＞
項１０の携帯機器において、前記データ処理部は、複数の撮像データの間で合焦画像が競合するとき、競合する合焦画像のうちで焦点距離が最も短い撮像データの合焦画像を前記背景画像に合成する対象とする。

撮像データの焦点距離の変化方向に移動する物体は焦点距離を変えた複数の撮像データのそれぞれにおいて合焦画像になる可能性が高く、そのような状況で複数の撮像データの間で合焦画像が競合することになり、競合する合焦画像の内の一つを選んで背景画像に合成しなければならないが、そのとき、焦点距離が最も短い撮像データの合焦画像を選ぶことにより、移動する物体を正面側から張り出して目立つように立体表示することができる。

〔１８〕＜焦点距離を変えた撮像データを焦点距離との相関で３次元表示データ化＞
本発明の更に別の実施の形態に係るマイクロコンピュータ（５）は、カメラ部への制御出力と撮像データの入力を行うカメラインタフェース（７７、７８）と、カメラ部に対する操作指示を入力する入力インタフェース（７６）と、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行うプログラム処理部（７０，８０，８１，８２，８３）と、を有する。前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得した前記複数の撮像データの焦点距離に応じて相違する合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行う。

焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて複数の撮像データを３次元表示データ化する処理を行うことによって、３次元表示データを生成することが可能になる。合焦画像は非合焦画像に対して画像境界の検出度合いが相違されるから、その検出度合に応じて画像の検出若しくは抽出が可能になり、検出対象とする画像の特徴や輪郭を予め登録してパターンマッチングのような手法で画像を認識する処理を採用することを要しないから、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更にこのマイクロコンピュータを採用することにより、複数のカメラ部を用意することなく、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要とせずに、撮像機能を備えた携帯機器を実現可能になる。

〔１９〕＜焦点距離を変えた撮像データを焦点距離との相関で３次元表示データ化＞
本発明の更に別の実施の形態に係るマイクロコンピュータ（５）は、カメラ部への制御出力と撮像データの入力を行うカメラインタフェース（７７，７８）と、カメラ部に対する操作指示を入力する入力インタフェース（７６）と、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行うプログラム処理部（７０，８０，８１，８２，８３）と、を有する。前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得した複数の撮像データから、合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を３次元表示の奥行きに反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する。

焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像までの距離を３次元表示の奥行きに反映して夫々の合焦画像を背景画像に合成することにより、撮像動作の指示に応答して焦点距離を変えた複数の撮像データから３次元表示の右目用及び左目用の画像データを生成することができる。合焦画像は非合焦画像に対して画像境界の検出度合いが相違されるから、その検出度合に応じて画像の検出若しくは抽出が可能になり、検出対象とする画像の特徴や輪郭を予め登録してパターンマッチングのような手法で画像を認識する処理を採用することを要しない。よって、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更にこのマイクロコンピュータを採用することにより、複数のカメラ部を用意することなく、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要とせずに、撮像機能を備えた携帯機器を実現可能になる。

〔２０〕＜焦点距離を変えた撮像データを焦点距離との相関で３次元表示データ化＞
本発明の更に別の実施の形態に係るマイクロコンピュータ（５）は、カメラ部への制御出力と撮像データの入力を行うカメラインタフェース（７７，７８）と、カメラ部に対する操作指示を入力する入力インタフェース（７６）と、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行プログラム処理部（７０，８０，８１，８２，８３）と、を有する。前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得された複数の撮像データから、合焦画像（ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４）のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を当該合焦画像の３次元表示のための配置ずれ量に反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する。

項１９と同様の作用により、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更にこのマイクロコンピュータを採用することにより、複数のカメラ部を用意することなく、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要とせずに、撮像機能を備えた携帯機器を実現可能になる。

２．実施の形態の詳細
実施の形態について更に詳述する。

＜実施の形態１＞
図２には本発明の実施の形態１に係る携帯機器としての携帯電話の構成が例示される。携帯電話１はパワーマネージメントユニット（ＰＭＩＣ）２による電源管理のもとでバッテリ（ＢＴＲＹ）３の電圧を動作電源として動作する。携帯電話１は、移動体通信のための高周波部（ＲＦ）４を有し、高周波部４による送受信信号のベースバンド処理及びその他の機能ユニットの制御処理などを行うためのマイクロコンピュータ（ＭＣＵ）５を備える。マイクロコンピュータ５は、特に制限されないが、単結晶シリコンのような１個の半導体基板にＣＭＯＳ集積回路製造技術により形成され、あるいは、ベースバンドプロセッサ部と、アプリケーションプロセッサ部に分けてマルチチップで構成される。

携帯電話１はその他の機能ユニットとして、例えばオートフォーカス（ＡＦ）機能を備えたカメラ部（ＣＭＲ）１０、液晶ディスプレイパネル（ＬＣＤ）１１、液晶ディスプレイパネル１１のバックライトユニット（ＢＬＧＨＴ）１２、キーマトリクスまたはタッチパネルなどの入力操作ユニット（ＩＮＰＴＯＰ）１３、ＵＳＢインタフェースコネクタ（ＵＳＢＩＦＣ）１４、赤外線通信ユニット（ＩｒＤＡ）１５、ＳＩＭなどのセキュリティカードが挿入（接続）されるためのセキュリティーカードスロット（ＳＩＭＣ）１６、メモリカードが挿入（接続）されるためのメモリカードスロット（ＭＲＹＣ）１７、ＳＤＲＡＭやフラッシュメモリなどの外付けメモリデバイス（ＭＲＹＤ）１８、スピーカやマイクロホンに接続されるオーディオコーデック（ＣＯＤＥＣ）１９、ブルートゥース通信ユニット（ＢＬＵＴＨ）２０、無線ＬＡＮ通信ユニット（ＷＲＬＳＬＡＮ）２１、全地球無線測位システム（ＧＰＳ）２２、近接非接触通信ユニット（ＮＣＮＴＣＴ）２３、及び地上波テレビチューナ（ＤＴＶ）２４を有する。液晶ディスプレイパネル１１はケーシング２６の外側から視認可能に配置され、入力操作ユニット１３は操作面がケーシング２６から露出されている。

図３にはカメラ部１０の構成が例示される。カメラ部１０は駆動素子３０の駆動力で焦点深度方向に往復動可能に支持されたフォーカスレンズ３１を有し、フォーカスレンズ３１の位置はエンコーダ３２で検出される。フォーカスレンズ３０のＡＦ制御は例えばマイクロコンピュータ５が赤外線検出器４０を用いてアクティブ方式で行う。赤外線検出器４０は、ＬＥＤドライバ４１で点燈駆動されるＬＥＤ４２からの光をフォーカスレンズ３１を通して被写体４３に照射する。そして、その反射光を受光レンズ４４を通して受光素子４５で受けて差動の光電変換信号を生成し、光電変換信号をセンスアンプ４６，４７で前置増幅させる。その後、これを差動増幅回路４８で増幅した検出信号をサンプルホールド回路４９に一時的に保持して、保持された検出信号をＡ／Ｄコンバータ５０で順次ディジタル変換してマイクロコンピュータ５に与える。マイクロコンピュータ５はその検出信号に基づいて反射光の戻り時間に対応して被写体４３までの距離を判別し、判別した距離にフォーカスレンズ３１の焦点距離を合わせるように駆動素子３０を駆動し、検出信号の強度に基づいてフォーカスレンズ３１が合焦したか否かを確認する。マイクロコンピュータ５のＡＦ制御において、フォーカスレンズ３１が合焦したときの焦点距離は、前記赤外線検出器４０を用いて計測した被写体４３までの距離とみなすことができ、この焦点距離はマイクロコンピュータ５のワークメモリ若しくはメモリデバイス１８等のメモリ領域に保持され、カメラ部１０による撮像画像を立体表示するためのデータ処理（３次元表示データ化処理）などに用いられる。

図４にはフォーカスレンズ３０のＡＦ制御を位相検出によるパッシブ方式で行う場合の構成が例示される。図４では赤外線検出器４０に代えて位相検出器４０Ａを用いる。位相検出器４０Ａはフォーカスレンズ３１から入った光は撮像系とＡＦ系に分けられ、ＡＦ系に分けられた光が位相検出器４０Ａに導かれる。位相検出器４０Ａは、入射した光をセパレータレンズ６０で分けて２つの画像を撮像ラインセンサ６１に結像させ、結像した２つの画像データをサンプルホールド回路６２で保持する。さらに、位相検出器４０Ａは、保持したデータを順次オートゲインコントロール（ＡＧＣ）アンプ６３で増幅して再度サンプルホールド回路６４でホールドし、ホールドされた検出信号をＡ／Ｄコンバータ６５で順次ディジタル変換してマイクロコンピュータ５に与える。マイクロコンピュータ５はその検出信号に基づいて上記結像された２つの画像の間隔から合焦する焦点位置の方向と移動量を判別してＡＦ制御を行う。マイクロコンピュータ５のＡＦ制御において、フォーカスレンズ３１が合焦したときの焦点距離は、前記赤外線検出器４０Ａを用いて計測した被写体４３までの距離とみなすことができ、この焦点距離はマイクロコンピュータ５のワークメモリ若しくはメモリデバイス１８に保持され、カメラ部１０による撮像画像を立体表示するためのデータ処理（３次元表示データ化処理）などに用いられる。撮像ラインセンサ６１はクロックジェネレータ６７から出力されるクロック信号に同期して撮像素子制御装置６８が生成する駆動信号により電荷転送による検出動作を行う。

図５にはマイクロコンピュータの具体例が示される。マイクロコンピュータ５は、プログラムを実行するＣＰＵ（中央処理装置）７０と共に、ＣＰＵ７０と一緒にメインバス（ＭＢＵＳ）７１を共有するバスステートコントローラ（ＢＳＣ）７２及び内部メモリ（ＭＥＲＡＭ）７３を備える。ＢＳＣ７２には前記メモリデバイス１８として例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が接続され、ＣＰＵ７０のプログラムやＣＰＵ７０のデータ処理に用いられるデータテーブルなどの記憶領域として用いられる。内部メモリ７３はＣＰＵ７０のワーク領域などに用いられる。

メインバス７１はバスブリッジ回路（ＢＲＤＧ）７４を介して周辺バス（ＰＢＵＳ）７５に接続する。周辺バス７５には、入力操作ユニット（ＩＮＰＴＯＰ）１３に接続される入出力ポート（ＰＯＲＴ）７６、カメラ部１０に接続する入出力ポート（ＰＯＲＴ）７７、カメラ部１０に接続するキャプチャ回路（ＣＥＵ）７８、液晶ディスプレイパネル１１に接続してその表示制御を行う液晶表示制御回路（ＬＣＤＣ）７９、補正回路（ＤＩＳＰ）８０、回転処理回路（２ＤＲ）８１、ブレンド処理回路（ＢＥＵ）８２、及びリサイズ回路（ＶＥＵ）８３などが接続される。補正回路８０、回転処理回路（２ＤＲ）８１、ブレンド処理回路（ＢＥＵ）８２、及びリサイズ回路（ＶＥＵ）８３はＣＰＵ７１の指示に基づいて画像データを処理するアクセラレータであり、補正回路８０は画像強調処理などを行い、回転処理回路（２ＤＲ）８１は画像データのＤＭＡ転送を用いて画像の回転処理を行い、ブレンド処理回路（ＢＥＵ）８２は複数の画像や色などの重ねあわせの処理を行い、リサイズ回路（ＶＥＵ）８３は画像サイズの拡大又は縮小を行う回路である。

カメラ部１０に対するＡＦ動作の指示、フォーカスロック指示及び撮像動作の指示は、入力操作ユニット１３が備えるボタンなどの操作によって入出力ポート（ＰＯＲＴ）７６に与えられる。例えば入力操作ユニット１３が備えるシャッターボタンＢＴＮの押下によってＡＦ動作の開始が指示され、中間部まで押し込んだ状態を維持することによってＡＦ動作された焦点距離を維持するフォーカスロック状態が指示され、更に奥に押し込むことによって撮像が指示される。この入出力ポート７６はカメラ部１０に対する操作指示を入力する入力インタフェースの一例である。入出力ポート７７に与えられたフォーカスロック指示及び撮像動作の指示などに応答してＣＰＵ７０等がカメラ部１０に与える撮像のためのＡＦ動作などを制御する制御信号は入出力ポート（ＰＯＲＴ）７７からカメラ部１０に出力される。これによってカメラ部１０で撮像された撮像データはキャプチャ回路７８がカメラ部１０から取り込む。入出力ポート７７及びキャプチャ回路（ＣＥＵ）７８は、カメラ部１０への制御出力と撮像データの入力を行うカメラインタフェースの一例である。

図１にはカメラ部１０による撮像画像を立体表示するためのマイクロコンピュータ５によるデータ処理である３次元表示データ化処理の原理的な処理手順が例示される。

ＳＣＮは撮像対象とされる実風景であり、例えば被写体ＳＢＪ＿１乃至ＳＢＪ＿５が存在する。この実風景ＳＣＮに対して焦点距離を変えた複数の撮像データを前記カメラ部で取得する。ここではＡＦ動作で実風景ＳＣＮの被写体ＳＢＪ＿２に合焦された焦点距離に対して、それぞれ所定の遠距離及び近距離で合焦する焦点距離で撮像する場合を一例とする。ＡＦ動作で合焦された焦点距離による中距離での撮像画像ＦＲＭｍのデータ、前記中距離よりも遠い遠距離に合焦された撮像画像ＦＲＭｆのデータ、及び前記中距離よりも近い近距離に合焦された撮像画像ＦＲＭｎのデータを取得する。夫々の撮像画像において合焦された被写体以外は輪郭がぼける。したがって、カメラ部の１０焦点距離を近傍、中間、遠望（または、遠望、中間、近傍、若しくはそれ以外の順）とずらしながら撮像することで、ピントが合う対象物と合わない対象物に分かれる。例えば、中距離撮像画像ＦＲＭｍにおける合焦画像はＦＰＣＴ＿２、近距離撮像画像ＦＲＭｎにおける合焦画像はＦＰＣＴ＿１、遠距離撮像画像ＦＲＭｆにおける合焦画像はＦＰＣＴ＿４である。

３次元表示データ化処理では、取得された前記複数の撮像データの焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する。

更に詳しくは、例えばエッジ検出及びコントラスト検出によって夫々の撮像画像から合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４とそれらに対応する非合焦画像を抽出する。一の撮像画像において抽出された合焦画像は他の撮像画像において当該合焦画像に対応する非合焦画像となる。例えば、撮像画像ＦＲＭｎにおいてＦＰＣＴ＿１が合焦画像であるとき、他の撮像画像ＦＲＭｆ、ＦＲＭｍにおいて被写体ＳＢＪ＿１の画像が当該合焦画像ＦＰＣＴ＿１に対応する非合焦画像になる。抽出された全ての合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４に対応する被写体ＳＢＪ＿１，ＳＢＪ＿２，ＳＢＪ＿４以外の被写体ＳＢＪ＿３，ＳＢＪ＿５に対応する画像は背景画像に含まれる背景を構成する。合焦画像は中距離に焦点距離を有する画像ＦＰＣＴ＿２、近距離に焦点距離を有する画像ＦＰＣＴ＿１、及び遠距離に焦点距離を有する画像ＦＰＣＴ＿４である。３次元表示データ化処理では、合焦画像、非合焦画像及び背景画像を区別し、中距離に焦点距離を有する画像ＦＰＣＴ＿２を中心とし、それに対する遠近夫々の焦点距離における合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿４を、３次元表示の奥行きが反映された配置ずれ量をもって夫々前記背景画像に合成した右目用画像ＲＦＲＭ及び左目用画像ＬＦＲＭのデータを生成する。右目用画像ＲＦＲＭは合焦画像ＲＰＣＴ＿１，ＲＰＣＴ＿４を持ち、左目用画像ＬＦＲＭは合焦画像ＬＰＣＴ＿１，ＬＰＣＴ＿４を持つ。右目用画像ＲＦＲＭ（左目用画像ＲＦＲＭ）において合成後の合焦画像ＲＰＣＴ＿１，ＲＰＣＴ＿４（ＬＰＣＴ＿１，ＬＰＣＴ＿４）と合成前の合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿４との配置ずれの状態を理解し易くするために、実際には合成後存在しない合成前の合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿４の位置も参考として図示してある。

図６には背景画像に合焦点画像を合成したときの合成後の合焦画像と合成前の合焦画像との配置ずれ量が図１との対応で例示される。

右目用画像ＲＦＲＭにおいて近距離合焦画像ＦＰＣＴ＿１と合成後の合焦画像ＲＰＣＴ＿１との配置ずれ量はＧＰＲｎで示され、遠距離合焦画像ＦＰＣＴ＿４と合成後の合焦画像ＲＰＣＴ＿４との配置ずれ量はＧＰＲｆで示される。左目用画像ＬＦＲＭにおいて近距離合焦画像ＦＰＣＴ＿１と合成後の合焦画像ＬＰＣＴ＿１との配置量はＧＰＬｎで示され、遠距離合焦画像ＦＰＣＴ＿４と合成後の合焦画像ＬＰＣＴ＿４との配置ずれ量はＧＰＬｆで示される。その配置ずれ量は画像の焦点距離によって相違される。例えば、被写体からカメラ部１０までの距離に応ずる焦点距離が短いほど配置ずれ量が大きくなる。従って、配置ずれ量は、夫々の合焦画像ＦＰＣＴ＿１，ＦＰＣＴ＿２，ＦＰＣＴ＿４が得られたときの焦点距離を把握して行われる。具体的には、ＡＦ制御によって中距離合焦画像ＦＰＣＴ＿２の焦点距離を把握し、これを基準に所定距離だけ焦点距離を近くした近距離合焦画像ＦＰＣＴ＿１、所定距離だけ焦点距離を遠くした遠距離合焦画像ＦＰＣＴ＿４、及びＡＦ制御で得れた焦点距離の中距離合焦画像ＦＰＣＴ＿２を取得するものであり、近距離合焦画像の焦点距離は、カメラ部１０の合焦位置の焦点を近方に移動したときの光学系の移動量（若しくは駆動量）から実際の焦点距離の変化分である実距離を演算し、演算された実距離に、中距離合焦画像の撮像のためのＡＦ制御によって得られる焦点距離を加算することで取得する。遠距離合焦画像の焦点距離は、カメラ部１０の合焦位置の焦点を遠くへ移動したときの光学系の移動量（若しくは駆動量）から実際の焦点距離の変化分である実距離を演算し、演算された実距離に、中距離合焦画像の撮像のためのＡＦ制御によって得られる焦点距離を加算することで取得する。焦点距離に応じてどの程度の配置ずれ量を与えるかは、表示画像のサイズや必要な立体化の度合いを考慮して適宜の画像立体化アルゴリズムに従って決定すればよい。配置ずれ量は左目用画像と右目用画像との間で絶対値を等しく設定してもよいし、所要の表示特性を得るためにその絶対値を相違させてもよい。

図７には図１で説明した実距離や配置ずれ量を取得するのにルックアップテーブルを用いる例が示される。図７において９０は、カメラ部１０の光学系の移動量（若しくは駆動量）から実際の焦点距離の変化分である実距離を取得するための実距離変換テーブルであり、９１は合焦画像の焦点距離から前記配置ずれ量を取得するための配置ずれ量変換テーブルである。

実距離変換テーブル９０は、カメラ部１０の合焦位置の焦点を移動したときの移動量と実距離との対応を格納する、移動量による実距離のルックアップテーブルを構成する。マイクロコンピュータ５は、中距離合焦画像の焦点位置を基点に焦点距離を変えて撮像したとき、前記基点の焦点位置に対する焦点の移動量に基づいて前記実距離変換テーブル９０から取得した実距離と、前記中距離合焦画像の焦点距離とに基づいて、前記焦点距離を変えて取得した遠距離合焦画像及び近距離合焦画像の焦点距離を取得する。複数の撮像データにおける夫々の合焦画像の焦点距離を容易に取得することができ、ＣＰＵ７０の演算処理負担を軽減することができる。

配置ずれ量変換テーブル９１は、合焦画像の配置ずれ量を焦点距離と対応させて格納するルックアップテーブルを構成する。マイクロコンピュータ５は、焦点距離により変換テーブル９１から配置ずれ量を参照して、中距離合焦画像に対する前記左目用画像及び右目用画像における合焦画像の配置を決定する。配置ずれ量を容易に取得することができ、ＣＰＵの演算処理負担を軽減することができる。

図８にはカメラ部１０による撮像画像に対する３次元表示データ化処理を更に具体的に例示する説明図である。マイクロコンピュータによる処理フローと対応する画像イメージが例示される。図１とは実風景は相違されるが、便宜上参照符号については図１と同じとして以下説明する。中距離撮像画像（焦点画像）ＦＲＭｍに対してＡＦ制御によって焦点距離を取得し、それに対して遠方に焦点距離を持つ遠距離撮像画像（遠方画像）ＦＲＭｆ、近方に焦点距離を持つ近距離撮像画像（近接画像）ＦＲＭｎ、及びＡＦ制御で測距された中距離撮像画像（焦点画像）ＦＲＭｍの３個の２次元撮像画像データを用いて３次元表示データ化処理を行う点は図１と同じである。近接画像における合焦画像を近接要素ＦＰＣＴ＿１、焦点画像における合焦画像を焦点要素ＦＰＣＴ＿２、遠方画像における合焦画像を遠方要素ＦＰＣＴ＿４とも記す。近接要素ＦＰＣＴ＿１、焦点要素ＦＰＣＴ＿２、及び遠方要素ＦＰＣＴ＿４に対応する画像を除外した背景の背景画像を背景要素ＢＣＫＧと記す。

図８において３次元表示データ化処理は、シャッターボタンの押下に応答するＡＦ制御などの画像取り込み前処理（処理Ａ）、ＡＦ制御で確定された焦点距離とその前後の焦点距離で複数の撮像データを取得する画像取り込み処理（処理Ｂ）、取り込まれた複数の撮像データから合焦画像のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を３次元表示の奥行きに反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像（ＲＦＲＭ）及び左目用画像（ＬＦＲＭ）のデータを生成する、画像抽出及び合成処理（処理Ｃ）、及び画像表示処理（処理Ｄ）に大別される。

図９には処理Ａの詳細な処理手順が例示される。シャッターボタンＢＴＮを中間まで押下（中押し）されると（Ｓ１）、カメラ部１０でＡＦ制御が開始され（Ｓ２）、フォーカスエリアの被写体に対する距離を計測して光学系の焦点距離をその計測距離にあわせる処理が行われる（Ｓ４）。光学系の焦点距離が確定されるとカメラ部１０でモニタ画像が撮像され（Ｓ５）、撮像されたモニタ画像のデータがキャプチャ回路７８に入力され、入力されたモニタ画像データは補正回路８０で必要な手振れ補正などが施され（Ｓ６）、ワークメモリ７３に格納される（Ｓ７）。ワークメモリに格納されたモニタ画像のデータに対する表示処理が開始され（Ｓ８）、予め設定されている表示形態のオプション指定などに従って、ブレンド処理回路８２による色変換及びブレンド処理（Ｓ９）、リサイズ回路８３による画像のサイズ変更処理（Ｓ１０）、回転処理回路８１による画像の回転処理（Ｓ１１）、ブレンド処理回路８２による電池残量などの別の色変換及びブレンド処理（Ｓ１２）、及び液晶表示成魚回路７９による液晶ディスプレイ１１の出力調整などが必要に応じて行われ、それらの処理が施された画像データが液晶ディスプレイ１１に表示され（Ｓ１４)、モニタ画像の表示処理が完了される（Ｓ１５）。撮影者はその表示状態を確認し、不都合であればシャッターボタンＢＴＮの中押し状態を開放することにより、ステップＳ１から処理をやり直すことができる。その表示状態でよければシャッターボタンＢＴＮを奥まで押し込むことにより（Ｓ２０）、次の処理Ｂが開始されて、そのモニタ画像の構図で撮像が行われる。

図１０には処理Ｂの詳細な処理手順が例示される。シャッターボタンＢＴＮが奥まで押し込まれると（Ｓ２０）、被写体の移動を補正するために再度カメラ部１０でＡＦ制御が開始され（Ｓ２１）、フォーカスエリアの被写体に対する距離を計測して光学系の焦点距離をその計測距離にあわせる処理が行われる（Ｓ２２）。光学系の焦点距離が確定されると、光学系の焦点距離をその確定距離から近接距離に変更し（Ｓ２３）、近接画像ＦＲＭｎを撮像してそのデータをバッファメモリ７３に格納する（Ｓ２４）。ステップＳ２４の処理は図９のステップＳ４乃至Ｓ６の処理に対応される。次に、光学系の焦点距離をＡＦ制御による確定距離に変更し（Ｓ２５）、焦点画像ＦＲＭｍを撮像してそのデータをバッファメモリ７３に格納する（Ｓ２６）。ステップＳ２６の処理は図９のステップＳ４乃至Ｓ６の処理に対応される。最後に、光学系の焦点距離を確定距離から遠方距離に変更し（Ｓ２７）、遠方画像ＦＲＭｆを撮像してそのデータをバッファメモリ７３に格納する（Ｓ２８）。これによりＡＦ制御で測定された距離を中心にその前後と併せて、焦点距離を変えた近接画像ＦＲＭｎ、焦点画像ＦＲＭｍ、遠方画像ＦＲＭｆの３枚の画像の撮像データをワークメモリ７３に取得する。

特に、焦点距離を変えて撮像する複数の撮像データの撮像順序を、近接位置（近傍位置）、ＡＦ焦点位置（中心位置）、遠方位置（遠望位置）の順に制御するから、カメラ部１０が合焦する動作方向を一方向に制限でき、ＡＦ焦点位置を基点に行う場合のように動作方向を往復方向にしなくてもよいから、焦点距離を変えて複数の撮像データを取得する動作の高速化と安定性を増すことができる。

図１１には処理Ｃの詳細な処理手順が例示される。画像抽出処理を開始すると（Ｓ３０）、先に取得されている遠方画像ＦＲＭｆ、近接画像ＦＲＭｎ、及び焦点画像ＦＲＭｍの３個の２次元撮像画像データに一つを読み込み（Ｓ３１）、読み込んだ画像データに対してエッジ検出を行うと共に（Ｓ３２）、色検出並びにコントラストの検出を行って（Ｓ３３）、検出したエッジや色に基づいて物体の画像が存在するか否かを判別する（Ｓ３４）。例えば、エッジで囲まれた領域、色のコントラストの大きな色境界で囲まれた領域に物体の画像が存在すると判定する。物体の画像であると存在された領域に対してはそのデータの切り出しが行われる（Ｓ３５）。物体の判別ではエッジやコントラストの検出強度を変えることによって合焦画像と非合焦画像を区別する。物体の画像として合焦画像と非合焦画像を切り出した後に残った背景のデータに対しては、切り出した部分を背景のデータを用いて補間処理を行う（Ｓ３６）。ステップＳ３１からＳ３６までの処理を全ての撮像画像データに対して行う（Ｓ３７）。抽出された画像データはワークテーブル９２に蓄積される。

ワークテーブル９２に蓄積された画像データの合焦画像である近接要素ＦＰＣＴ＿１と遠方要素ＦＰＣＴ＿４のデータに対しては実距離変換テーブル９０を用いて焦点距離を演算する。更に、近接要素ＦＰＣＴ＿１と遠方要素ＦＰＣＴ＿４のそれぞれに対して、立体表示のための左目用画像における配置ずれ量とを右目用画像における配置ずれ量とを上記演算された焦点距離に基づいて配置ずれ量変換テーブル９１から求める処理が行われる（Ｓ３８）。

実距離変換テーブル９０には、例えば図１２に例示されるように、カメラ部１０における光学系の遠方方向への単位移動量（単位駆動時間）に対応する焦点距離の遠方への変化量として０．０２５ｍ／ｍｓｅｃと、カメラ部１０における光学系の近接方向への単位移動量（単位駆動時間）に対応する焦点距離の近接への変化量として０．０３１ｍ／ｍｓｅｃとのデータが格納されている。単位移動量は単位駆動時間に限定されない。

ワークテーブル９２は、例えば図１３に例示されるように、ステップＳ３４で存在すると判別された合焦画像の物体、即ち画像要素毎に、焦点距離（単位ｍ）、画像サイズ（Ｘ軸画素数、Ｙ軸画素数）、及び撮像データのビットマップ上における合焦画像の配置アドレス（バッファメモリアドレス）を保有する。焦点距離に応じて配置ずれ量変換テーブル９１から求めた配置ずれ量は、特に図示はしないがワークテーブル９２の遠方要素用の記憶領域及び近接要素用の記憶領域に保持される。

図１１のステップ３９ではステップ３８でワークテーブル９２に格納されたデータを用いて、背景画像に、焦点要素ＦＰＣＴ＿２を配置アドレスの位置にマッピングすると共に、近接要素ＦＰＣＴ＿１及び遠方要素ＦＰＣＴ＿４を夫々の配置アドレスに対して配置ずれ量分ずらした位置にマッピングして、左目用画像ＬＦＲＭのデータと右目用画像ＲＦＲＭのデータを生成する。左目用画像ＬＦＲＭのデータと右目用画像ＲＦＲＭのデータはワークメモリ７３上の図示を省略するフレームバッファに格納される。これによって画像抽出処理が完了される（Ｓ４０）。

前記処理Ｄの画像表示の詳細が画像の３次元表示方式に応じて相違される。３次元表示方式には図１４に例示されるフレームシーケンシャル方式、レンチキュラー方式、及び２画面方式がある。フレームシーケンシャル方式は左目用画像と右眼用画像を交互に切り替え表示し、切り替えに同期する切り替え信号によってメガネの左目用シャッタと右眼用シャッタを画面表示に同期させてオン・オフ制御することによって、立体画像を認識可能にする。レンチキュラー方式は、シート状のレンチキュラーレンズを用いて、見る角度によって絵柄が変化したり、立体感が得られたりする方式である。レンチキュラー方式に用いるレンチキュラー画像は、２つ以上の画像を細長く短冊状に切り、切った画像をインターレース状に順番に並べて１枚の画像にされるものであり、画像の１つの細片ごとに1つの凸レンズが載るように対応されることが必要になる。
２画面方式は左目用画像と右目用画像を２個のディスプレイに並列に表示し、２画面が重なるように視認して立体感を得るようにするものである。

図１５には２画面方式に対応する処理Ｄの詳細な処理手順が例示される。画像表示処理が指示されると（Ｓ５０）、ワークメモリ７３から前記左目用画像ＬＦＲＭのデータと右目用画像ＲＦＲＭのデータをリードして表示用の画像処理を行って（Ｓ５１）、液晶ディスプレイ１１への表示制御を行う（Ｓ５２）。Ｓ５１の表示用の画像処理では図９で説明したステップＳ９乃至Ｓ１３に対応する処理が行われる。表示処理を完了することにより（Ｓ５３）、一連の立体表示のための処理を完了する（Ｓ５４）。

図１６にはレンチキュラー方式に対応する処理Ｄの詳細な処理手順が例示される。画像表示処理が指示されると（Ｓ５０）、ワークメモリ７３の前記左目用画像ＬＦＲＭのデータと右目用画像ＲＦＲＭのデータをレンチキュラーレンジの幅に合わせて短冊状に細分化し（Ｓ６０）、細分化した左右のデータを交互に合成して、レンチキュラー対応画像データを生成する（Ｓ６１）。レンチキュラー対応画像データはワークメモリ７３からリードされて表示用の画像処理が行われて（Ｓ６２）、処理液晶ディスプレイ１１に表示される（Ｓ５２）。Ｓ６２の表示用の画像処理では図９で説明したステップＳ１０、Ｓ１１，Ｓ１３に対応する処理が行われる。表示処理を完了することにより（Ｓ５３）、一連の立体表示のための処理を完了する（Ｓ５４）。

以上説明した実施の形態１によれば、焦点距離を変えて撮像された複数の撮像データのそれぞれにおいてその焦点距離に応じて合焦画像が相違するから、焦点距離に応じて相違する合焦画像までの距離を３次元表示の奥行きに反映して夫々の合焦画像を背景画像に合成することにより、撮像動作の指示に応答して焦点距離を変えた複数の撮像データから３次元表示の右目用画像及び左目用画像のデータを生成することができる。合焦画像は非合焦画像に対して画像境界の検出度合いが相違されるから、その検出度合に応じて画像の検出若しくは抽出が可能になり、検出対象とする画像の特徴や輪郭を予め登録してパターンマッチングのような手法で画像を認識する処理を採用することを要しない。よって、３次元化のデータ処理が簡単になり、データ容量やプログラム容量も小さくて済む。更に複数のカメラ部を用意することを要しないのはもとより、カメラ部の首振り位置決め機構のような複雑な機械構造や位置決め制御機構を全く必要としない。

＜実施の形態２＞
実施の形態１では、３次元表示データ化処理対象の対象とする撮像データは焦点距離を図１で説明したように近距離、中距離、遠距離の３か所に変更したデータとした。すなわち、図１７のＡに示されるようにＡＦ制御による焦点距離（ＡＦポイント）を中心として、それよりも所定焦点距離分だけ近傍、及びそれよりも所定焦点距離分だけ遠望の、それぞれ近傍、中心、遠望の各焦点距離とした。実施の形態２は焦点距離を変更した撮像回数の点で実施の形態１と相違する。図１７のＢ、Ｃに例示されるように、前記中心（ＡＧＦポイント）に対する近傍の所定焦点距離を複数の焦点距離とし、前記中心（ＡＦポイント）に対する遠望の所定焦点距離を複数の焦点距離とする。その他の点については実施の形態１と同様であるからその詳細な説明は省略する。

近傍及び遠望の焦点距離の種類を増やせば３次元化のデータ処理時間は増えるが立体画像の臨場感を高くすることができ、逆に、近傍及び遠望の焦点距離の種類を減らせば立体画像の臨場感は低くなるが３次元化のデータ処理時間を短縮することができる。

＜実施の形態３＞
実施の形態３では特に高速で移動する物体を被写体とする場合について考慮したものである。ここで想定する高速とは、３次元化のデータ処理に必要な複数の撮像データを得るために焦点距離を変えるときの光学系による焦点距離の変更速度に匹敵する移動速度である。要するに、そのような被写体をその移動方向と同じ方向に焦点距離を延ばして撮像すると、どの撮像画面でも当該被写体は合焦画像になり、これに対処しようとするものである。そこで、複数画像データ間で同一合焦画像が競合するとき、その同一合焦画像を高速移動体として把握することによって対処しようとするものである。例えば図１８のＡに例示されるように移動物体ＭＶＯが焦点深度の前から奥方に高速移動する場合には、移動物体ＭＶＯの合焦画像とし、近傍、ＡＦポイント、及び遠望のどれを採用してもよいが、立体視の観点に立つと、競合する合焦画像のうちで焦点距離が最も短い撮像データ、即ち近傍の合焦画像を前記背景画像に合成する対象とする。合焦画像が競合するか否かの判別は、各撮像画像データから抽出した画像形状の合同だけでなく相似についての判別も行えばよい。

図１８のＢに例示されるように、焦点深度方向に対して傾いて奥方向に高速移動する移動物体を一つの被写体とする場合にも、同一合焦画像が競合する場合にはＡと同様に処理を行えばよい。

図１８のＣに例示されるように、高速移動物体ＭＶＯが横方向をよぎる場合には理論的に合焦画像の競合は生じないから、高速移動を考慮しなくてもよく、合焦した一つの画像を用いればよい。その他の場合も含めて、何らかの理由で合焦画像が競合した場合には最も焦点距離の短い画像データを採用して処理すれば足りる。

実施の形態３によれば、撮像データの焦点距離の変化方向に移動する物体は焦点距離を変えた複数の撮像データのそれぞれにおいて合焦画像になる可能性が高く、そのような状況で複数の撮像データの間で合焦画像が競合することになり、競合する合焦画像の内の一つを選んで背景画像に合成しなければならないが、そのとき、焦点距離が最も短い撮像データの合焦画像を選ぶことにより、移動する物体を正面側から張り出して目立つように立体表示することができる。

＜実施の形態４＞
本発明思想は静止画だけでなく動画にも適用することができる。動画は複数フレームの静止画によって構成されるから、各フレームをＦＡポイントの画像データと位置付けて適用すればよい。即ち、各フレームの前後に立体視のための近傍および遠望のフレームデータを取得して、上述の合焦画像の抽出と背景画像への合成の処理を行って、表示フレームのデータを生成すればよい。

例えば、図１９のＡのようにＡＦポイントのフレーム毎にその前後で近傍のフレームデータと遠望のフレームデータを取得することにより、フレーム単位で焦点距離を変えた複数の撮像データを取得すればよい。静止画の場合と同じシーケンスを繰り緒返せばよいから処理が単純で、処理野最適化も図り易い。

一方、動画の場合には前後のフレームで画像の相関が高いから、相関が高い範囲で、近傍（又は遠望）のフレームデータを隣のフレームの近傍（又は遠望）のフレームデータを流用するようにして、各フレームの前後に立体視のための近傍および遠望のフレームデータを取得してもよい。例えば、第１フレームに関しては近傍及びＡＦポイントの撮像データを取得し、第2フレームでは遠望及びＡＦポイントの撮像データを取得し、第３フレームでは近傍及びＡＦポイントの撮像データを取得する。この場合、第１フレームに対する立体視の表示フレームは、第１フレームに関する近傍及びＡＦポイントの撮像データと第２フレームに関する遠望の撮像データを用いて生成する。同様に、第２フレームに対する立体視の表示フレームは、第２フレームに関する遠望及びＡＦポイントの撮像データと第３フレームに関する近傍の撮像データを用いて生成する。図１９のＢの方法によればＡに比べて撮像データの取得処理時間を短縮でき、且つ使用メモリ容量を減らすことができる。従って、高速処理と低消費電力に優れ、リアルタイム性と点で動画撮影に好適である。

その他の点は実施の形態１と同様に適用することができるからその詳細な説明は省略する。

＜実施の形態５＞
ＡＦポイントにおける距離の測定は測距領域を分割して分割領域毎に行う分割ＡＦ制御機能を併用することも可能である。図２０の例示されるように、撮像エリアに対して測距領域の全体を９分割し、測距できた被写体に対してそれによって得られる焦点距離を用いて配置ずれ量を演算するようにしてもよい。図２１のように、撮像エリアに対して測距領域の中心部分を５分割し、測距できた被写体の合焦画像に対してそれによって得られる焦点距離を用いて配置ずれ量を演算し、測距できない被写体の合焦画像については実施の形態１で説明した手法によって配置ずれ量を演算すればよい。

その他の点については実施の形態１と同様であるからその詳細な説明は省略する。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、位相検知によるＡＦ制御のほかにコントラストによるＡＦ制御を採用してもよい。コントラストＡＦとは、撮像素子に映った映像をもとに、ピントレンズを動かしながら明暗差（コントラスト）が大きなところを探してピントを合わせる方式です。

マイコンとＳＤＲＡＭは個別パッケージされた半導体装置に限定されず、ＰＯＰ（(Package on Package）ＳｉＰ（System in Package）として単一モジュール化されても用意し、ＳｏＣ（System on a chip）として単一ＬＳＩかされてもよい。

本発明は携帯電話やスマートフォンに代表されるＰＤＡだけでなく、ディジタルスチルカメラ、ビデオカメラなど、撮像機能を有する携帯機器に広く適用することができる。

１ 携帯機器（携帯電話）
２ パワーマネージメントユニット（ＰＭＩＣ）
３ バッテリ（ＢＴＲＹ）
４ 高周波部（ＲＦ）
５ マイクロコンピュータ（ＭＣＵ）
１０ カメラ部（ＣＭＲ）
１１ 液晶ディスプレイパネル（ＬＣＤ）
１２ バックライトユニット（ＢＬＧＨＴ）
１３ 入力操作ユニット（ＩＮＰＴＯＰ）
１４ ＵＳＢインタフェースコネクタ（ＵＳＢＩＦＣ）
１５ 赤外線通信ユニット（ＩｒＤＡ）
１６ セキュリティーカードスロット（ＳＩＭＣ）
１７ メモリカードスロット（ＭＲＹＣ）
１８ 外付けメモリデバイス（ＭＲＹＤ）
１９ オーディオコーデック（ＣＯＤＥＣ）
２０ ブルートゥース通信ユニット（ＢＬＵＴＨ）
２１ 無線ＬＡＮ通信ユニット（ＷＲＬＳＬＡＮ）
２２ 全地球無線測位システム（ＧＰＳ）
２３ 近接非接触通信ユニット（ＮＣＮＴＣＴ）
２４ 地上波テレビチューナ（ＤＴＶ）
２６ ケーシング
３１ フォーカスレンズ
３２ エンコーダ
４０ 赤外線検出器
４１ ＬＥＤドライバ
４３ 被写体
４４ 受光レンズ
４５ 受光素子
４６，４７ センスアンプ
４８ 差動増幅回路
４９ サンプルホールド回路
５０ Ａ／Ｄコンバータ
７０ ＣＰＵ（中央処理装置）
７１ メインバス（ＭＢＵＳ）
７２ バスステートコントローラ（ＢＳＣ）
７３ 内部メモリ（ＭＥＲＡＭ）
７４ バスブリッジ回路（ＢＲＤＧ）
７５ 周辺バス（ＰＢＵＳ）
７６ 入出力ポート（ＰＯＲＴ）
７７ 入出力ポート（ＰＯＲＴ）
７８ キャプチャ回路（ＣＥＵ）
７９ 液晶表示制御回路（ＬＣＤＣ）
８０ 補正回路（ＤＩＳＰ）
８１ 回転処理回路（２ＤＲ）
８２ ブレンド処理回路（ＢＥＵ）
８３ リサイズ回路（ＶＥＵ）
ＳＣＮ 実風景
ＳＢＪ＿１乃至ＳＢＪ＿５ 被写体
ＦＲＭｍ 中距離での撮像画像
ＦＲＭｆ 遠距離での撮像画像
ＦＲＭｎ 近距離での撮像画像
ＦＰＣＴ＿２ 中距離撮像画像ＦＲＭｍにおける合焦画像
ＦＰＣＴ＿１ 近距離撮像画像ＦＲＭｎにおける合焦画像
ＦＰＣＴ＿４ 遠距離撮像画像ＦＲＭｆにおける合焦画像
９０ 実距離変換テーブル
９１ 配置ずれ量変換テーブル
９２ ワークテーブル

Claims (20)

1. カメラ部と、操作部と、データ処理部と、を有する携帯機器であって、
   前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された前記複数の撮像データの焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行う、携帯機器。
2. カメラ部と、操作部と、前記操作部の操作に基づいて前記カメラ部を制御すると共に前記カメラ部による撮像データのデータ処理を行うデータ処理部と、前記データ処理部で生成された画像データを用いて３次元表示を行う表示部と、を有する携帯機器であって、
   前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された複数の撮像データから、合焦画像のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を３次元表示の奥行きに反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する、携帯機器。
3. 前記データ処理部は、エッジ検出及び色差検出を行って、検出度の高い境界を有する画像を合焦画像、検出度の低い境界を有する画像を非合焦画像とする、請求項２記載の携帯機器。
4. 前記データ処理部は、操作部の操作によって指示された焦点距離を中心として、それよりも所定焦点距離分だけ近傍、及びそれよりも所定焦点距離分だけ遠望の、それぞれ近傍、中心、遠望の各焦点距離で前記カメラ部に撮像を指示する、請求項２記載の携帯機器。
5. 前記中心に対する近傍の所定焦点距離は単数又は複数の焦点距離であり、前記中心に対する遠望の所定焦点距離は単数又は複数の焦点距離である、請求項４記載の携帯機器。
6. 前記データ処理部は、前記焦点距離を変えて撮像する複数の撮像データの撮像順序を、前記近傍、中心、遠望の順に制御する、請求項４記載の携帯機器。
7. 前記データ処理部は、カメラ部の合焦位置の焦点を移動したときの移動量と実距離との対応を格納する、移動量による実距離のルックアップテーブルを有し、合焦位置を基点に焦点距離を変えて撮像したとき、前記基点の合焦位置に対する焦点の移動量に基づいて前記ルックアップテーブルから取得した実距離と、前記基点の合焦位置の焦点距離とに基づいて、前記焦点距離を変えて取得した複数の撮像データに関する前記基点以外の焦点距離を取得する、請求項２記載の携帯機器。
8. 前記データ処理部は、前記焦点距離が反映される奥行きを決定するために前記左目用画像及び右目用画像における合焦画像の配置ずれ量を前記焦点距離と対応させて格納する、焦点距離による配置ずれ量のルックアップテーブルを有し、前記焦点距離によりルックアップテーブルを参照して前記左目用画像及び右目用画像における合焦画像の配置を決定する、請求項７記載の携帯機器。
9. 前記データ処理部は、複数の撮像データの間で合焦画像が競合するとき、競合する合焦画像のうちで焦点距離が最も短い撮像データの合焦画像を前記背景画像に合成する対象とする、請求項２記載の携帯機器。
10. カメラ部と、操作部と、前記操作部の操作に基づいて前記カメラ部を制御すると共に前記カメラ部による撮像データのデータ処理を行うデータ処理部と、前記データ処理部で生成された画像データを用いて３次元表示を行う表示部と、を有する携帯機器であって、
    前記データ処理部は、前記操作部による撮像動作の指示に応答して焦点距離を変えた複数の撮像データを前記カメラ部に取得させ、取得された複数の撮像データから、合焦画像のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を当該合焦画像の３次元表示のための配置ずれ量に反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する、携帯機器。
11. 前記データ処理部は、エッジ検出及び色差検出を行って、検出度のが高い境界を有する画像を合焦画像、検出度の低い境界を有する画像を非合焦画像とする、請求項１０記載の携帯機器。
12. 前記データ処理部は、操作部の操作によって指示された焦点距離を中心として、それよりも所定焦点距離分だけ近傍、及びそれよりも所定焦点距離分だけ遠望の、それぞれ近傍、中心、遠望の各焦点距離で前記カメラ部に撮像を指示する、請求項１０記載の携帯機器。
13. 前記中心に対する近傍の所定焦点距離は単数又は複数の焦点距離であり、前記中心に対する遠望の所定焦点距離は単数又は複数の焦点距離である、請求項１２記載の携帯機器。
14. 前記データ処理部は、前記焦点距離を変えて撮像する複数の撮像データの撮像順序を、前記近傍、中心、遠望の順に制御する、請求項１２記載の携帯機器。
15. 前記データ処理部は、カメラ部の合焦位置の焦点を移動したときの移動量と実距離との対応を格納する、移動量による実距離のルックアップテーブルを有し、合焦位置を基点に焦点距離を変えて撮像したとき、前記基点の合焦位置に対する焦点の移動量に基づいて前記ルックアップテーブルから取得した実距離と、前記基点の合焦位置の焦点距離とに基づいて、前記焦点距離を変えて取得した複数の撮像データに関する前記基点以外の焦点距離を取得する、請求項１０記載の携帯機器。
16. 前記データ処理部は、前記合焦画像の３次元表示のための配置ずれ量を決定するために前記左目用画像及び右目用画像における合焦画像の配置ずれ量を前記焦点距離と対応させて格納する、焦点距離による配置ずれ量のルックアップテーブルを有し、前記焦点距離によりルックアップテーブルを参照して前記左目用画像及び右目用画像における合焦画像の配置を決定する、請求項１５記載の携帯機器。
17. 前記データ処理部は、複数の撮像データの間で合焦画像が競合するとき、競合する合焦画像のうちで焦点距離が最も短い撮像データの合焦画像を前記背景画像に合成する対象とする、請求項１０記載の携帯機器。
18. カメラ部への制御出力と撮像データの入力を行うカメラインタフェースと、カメラ部に対する操作指示を入力する入力インタフェースと、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行うプログラム処理部と、を有するマイクロコンピュータであって、
    前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得した前記複数の撮像データの焦点距離に応じて相違する合焦画像とその焦点距離との相関に基づいて前記複数の撮像データを３次元表示データ化する処理を行う、マイクロコンピュータ。
19. カメラ部への制御出力と撮像データの入力を行うカメラインタフェースと、カメラ部に対する操作指示を入力する入力インタフェースと、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行うプログラム処理部と、を有するマイクロコンピュータであって、
    前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得した複数の撮像データから、合焦画像のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を３次元表示の奥行きに反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する、マイクロコンピュータ。
20. カメラ部への制御出力と撮像データの入力を行うカメラインタフェースと、カメラ部に対する操作指示を入力する入力インタフェースと、入力した前記操作指示に基づいて前記カメラ部への制御出力を生成すると共に前記カメラインタフェースから入力した撮像データのデータ処理を行プログラム処理部と、を有するマイクロコンピュータであって、
    前記プログラム処理部は、前記入力インタフェースからの操作指示に応答して焦点距離を変えた複数の撮像データを前記カメラインタフェースから取得し、取得された複数の撮像データから、合焦画像のデータと前記合焦画像に対応する非合焦画像のデータと前記合焦画像及び前記非合焦画像を除いた背景画像のデータとを区別し、前記合焦画像に応じた焦点距離を当該合焦画像の３次元表示のための配置ずれ量に反映して夫々の前記合焦画像を前記背景画像に合成した３次元表示の右目用画像及び左目用画像のデータを生成する、マイクロコンピュータ。

Images