JP2015181065A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】立体表示した操作用の表示アイテムに対する操作と、２次元表示した操作用の表示アイテムに対する操作の操作性を向上させる。
【解決手段】画像処理装置１００は、指７０３が表示部１０２に接触することなく操作可能な３次元表示アイテムを表示部１０２に立体表示し、指７０３が表示部１０２に接触することで操作可能な２次元表示アイテムを表示部１０２に平面表示する表示制御手段と、指７０３と表示部１０２との距離を算出する手段２２１と、算出された距離が第２の閾値より大きい場合、２次元表示アイテムに対する指７０３の入力を無効にし、算出された距離が第２の閾値より小さい場合、２次元表示アイテムに対する指７０３の入力を有効にする入力制御手段を備え、表示制御手段は、算出された距離が第１の閾値より小さい場合、３次元表示アイテムを表示し、算出された距離が第２の閾値より小さい場合、３次元表示アイテムを表示しないように制御し、前記第１の閾値は前記第２の閾値よりも大きい。
【選択図】図９

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、操作用の表示アイテムを表示する画像処理装置及びその制御方法、並びにプログラムに関する。

タッチパネルを備えたデジタルカメラが知られている。タッチパネルでは、操作用の表示アイテムを画面に表示することで、操作部品の削減と操作性の向上を図っている。例えばデジタルカメラでは、表示部に画像を表示した状態で、ユーザがタッチパネル上で画像が表示されている領域でフリック操作をすると、画像送りをする機能が実現されている。また、操作用の表示アイテムを立体表示してタッチパネルの操作性の向上を図る方法も開示されている（例えば、特許文献１、特許文献２参照）。

特許文献１では操作用の表示アイテムを立体的に表示し、表示アイテムに対してユーザの操作が行われた場合には、状態を立体的に変化させている。これにより、ユーザは操作が確実に行われたことを認識することが可能である。

特許文献２では、ユーザがタッチパネルに触れる以前にタッチパネルへの接近を検知するセンサを設け、センサの検知に応じて表示部に表示させる操作用の表示アイテムを立体表示から２次元表示に切り替えている。これによって操作性の向上を図っている。

特開平１０−１０５７３５号公報 特開２００４−２８０４９６号公報

しかし、特許文献１や特許文献２による方法では、画面上に立体表示した表示アイテムを平面的なタッチパネルを介して操作するため、ユーザにとって違和感なく操作可能な表示アイテムがボタンなど一部に限定される。

また、立体表示した表示アイテムをタッチパネルで操作した場合、従来のように、さらに画像送りもタッチパネルで操作すると、立体表示した表示アイテムと、表示画像のような２次元表示した表示アイテムの両方をタッチパネルで操作することになる。このような操作方法は、ユーザにとって分かりにくい。

本発明の目的は、立体表示した操作用の表示アイテムに対する操作と、２次元表示した操作用の表示アイテムに対する操作の操作性を向上させる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１記載の画像処理装置は、操作子がタッチパネルに接触することなく操作可能な３次元表示アイテムを前記タッチパネルの表示部に立体表示し、操作子がタッチパネルに接触することで操作可能な２次元表示アイテムを前記タッチパネルの表示部に平面表示するように制御する表示制御手段と、前記操作子と前記タッチパネルとの距離を算出する算出手段と、前記算出手段により算出された距離が第２の閾値より大きい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を無効にするよう制御し、前記算出手段により算出された距離が前記第２の閾値より小さい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を有効にするよう制御する入力制御手段を備え、前記表示制御手段は、前記算出手段により算出された距離が第１の閾値より小さい場合、前記３次元表示アイテムを表示するように制御し、前記算出手段により算出された距離が前記第２の閾値より小さい場合、前記３次元表示アイテムを表示しないように制御し、前記第１の閾値は前記第２の閾値よりも大きいことを特徴とする。

本発明によれば、立体表示した操作用の表示アイテムに対する操作と、２次元表示した操作用の表示アイテムに対する操作の操作性を向上させる画像処理装置及びその制御方法、並びにプログラムを提供することができる。

本発明の実施の形態に係る画像処理装置の一例としてのデジタルカメラの外観図を示す図である。 図１におけるデジタルカメラの構成例を示すブロック図である。 表示部から指までの距離と、表示部１０２の表示画面の領域に対する指の位置を検出する原理を説明するための図である。 図４（Ａ）は、視差バリア方式における構成を示し、（Ｂ）は、レンチキュラー方式における構成を示す図である。 表示部を視差分割方式を利用して実現した場合の、図２の表示画像生成部の構成の一例を示した図である。 図２における非接触操作検出部が、連続的に取得した複数の操作子画像データから、操作子である操作者の指の動きを検出する方法について説明するための図である。 図２におけるシステム制御部が、記録媒体に保存されている画像データを操作者の指示にしたがって表示部に閲覧の目的で表示する再生モードにおいて、表示部に表示する画面内容を示した図である。 デジタルカメラを表示部の側から斜め方向から俯瞰した図である。 第１の実施の形態において図２におけるシステム制御部により実行される切り替え処理の手順を示すフローチャートである。 表示部を２次元表示のみ可能な液晶ディスプレイで実現した場合の、図２における表示画像生成部の構成の一例を示す図である。 立体表示アイテムの表現方法を示す図であり、（Ａ）〜（Ｃ）のいずれも直方体の表現方法を示す図である。 第２の実施の形態において図２におけるシステム制御部により実行される切り替え処理の手順を示すフローチャートである。 （Ａ）は、立体表示アイテムの輪郭を画像表示データの表示にオーバーラップ表示した図を示し、（Ｂ）は、立体表示アイテムの影を画像表示データの表示に上書きして表示した図を示す図である。

以下、本発明の実施の形態について図面を参照しながら詳述する。

［第１の実施の形態］
図１は、本発明の実施の形態に係る画像処理装置の一例としてのデジタルカメラ１００の外観図を示す図である。

図１において、表示部１０２は画像や各種情報を表示する表示部（表示手段）であり、指である操作子により操作される表示アイテムを表示する。この表示アイテムの詳細については後述する。シャッターボタン１０３は、撮影指示を行うための操作部である。電源スイッチ１０４は、撮影モードでの電源オン、再生モードでの電源オン、電源オフを切り替える。操作入力用撮像部Ｌ、及び操作入力用撮像部Ｒは、デジタルカメラ１００を操作する指の位置、動作等を撮影するための撮像部である。そして、操作入力用撮像部Ｌ、及び操作入力用撮像部Ｒは、表示部１０２の上部に一定の間隔を空けて配置されている。記録媒体１０７はメモリカードやハードディスク等の記録媒体であり、デジタルカメラ１００の本体から着脱可能な構成となっている。

図２は、図１におけるデジタルカメラ１００の構成例を示すブロック図である。

図２において、撮影レンズ２０９はフォーカスレンズを含む。シャッター２１０は絞り機能を備える。撮像部２１１は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器２１２は、アナログ信号をデジタル信号に変換する。また、Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア２０８は、デジタルカメラ１００の撮影レンズ２０９を含む撮像部を覆うことにより、撮影レンズ２０９、シャッター２１０、撮像部２１１を含む撮像系の汚れや破損を防止する。

画像処理部２１３は、Ａ／Ｄ変換器２１２からのデータ、又は、メモリ制御部２１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２１３では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２２１が露光制御、測距制御を行う。

これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２１３では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２１２からの出力データは、画像処理部２１３及びメモリ制御部２１５を介して、或いは、メモリ制御部２１５を介してメモリ２１９に直接書き込まれる。メモリ２１９は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０２に表示するための画像データを格納する。

メモリ２１９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ２１９は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２１８は、メモリ２１９に格納されている画像表示用のデータをアナログ信号に変換して表示部１０２に供給する。

こうして、メモリ２１９に書き込まれた表示用の画像データはＤ／Ａ変換器２１８を介して表示部１０２により表示される。表示部１０２は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２１８からのアナログ信号に応じた表示を行う。

不揮発性メモリ２２６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２２６には、システム制御部２２１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施の形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２２１は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ２２６に記録されたプログラムを実行することで、後述する本実施の形態の各処理を実現する。

システムメモリ２２７は、本実施の形態ではＲＡＭが用いられている。システムメモリ２２７には、システム制御部２２１の動作用の定数、変数、不揮発性メモリ２２６から読み出したプログラム等を展開する。また、システム制御部はメモリ２１９、Ｄ／Ａ変換器２１８、表示部１０２等を制御することにより表示制御も行う。

シャッターボタン１０３は、第１シャッタースイッチ、第２シャッタースイッチを備えており、システム制御部２２１に各種の動作指示を入力するための操作手段である。

第１シャッタースイッチは、デジタルカメラ１００に設けられたシャッターボタン１０３の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチは、シャッターボタン１０３の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２２１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２１１からの信号読み出しから記録媒体１０７に画像データを書き込むまでの一連の撮影処理の動作を開始する。

電源制御部２２４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２２４は、その検出結果及びシステム制御部２２１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０７を含む各部へ供給する。

電源部２２５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ２２０（以下、インターフェースという）はメモリカードやハードディスク等の記録媒体１０７とのインターフェースである。記録媒体１０７は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

その他の操作部として、表示部１０２に対する接触を検知可能なタッチパネル２２３を有する。タッチパネル２２３は表示部１０２と一体化して形成されている。タッチパネル制御部２２２は、指が表示部１０２（タッチパネル２２３）に接触することにより操作した操作内容を認識する第２認識手段に対応し、具体的にはタッチパネル２２３への以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンという）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンという）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブという）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップという）。

タッチパネルに何も触れていない状態（以下、タッチオフという）。これらの操作や、タッチパネル上に指やペンが触れている位置座標はタッチパネル制御部２２２からシステム制御部２２１に通知され、システム制御部２２１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。

ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。

フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。

また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。

操作入力用撮像部Ｌ、及び操作入力用撮像部は、操作者の指などの操作子を撮像するためのものである。操作入力用撮像部Ｌと操作入力用撮像部Ｒとで撮像された操作子画像データは画像処理部２１３及びメモリ制御部２１５を介して、或いは、メモリ制御部２１５を介してメモリ２１９に直接書き込まれる。

距離・位置検出部２１６は、指と表示部１０２との距離を導出する導出手段である。この距離・位置検出部２１６は、操作子画像データから操作子である操作者の指を検出し、表示部１０２から指までの距離と、表示部１０２の表示画面の領域に対する指の位置を検出してシステム制御部２２１に通知する。システム制御部２２１は、表示部１０２から指までの距離や表示部１０２の領域に対する指の位置に応じて、表示部１０２に表示する形態を変えるよう制御している。

非接触操作検出部２１７は連続的に取得した複数の操作子画像データから、操作子である操作者の指の位置の一定間隔ごとの変化量を演算することによって、指の動きを検出してシステム制御部２２１に通知する。従って、非接触操作検出部２１７は、指が表示部１０２に接触することなく操作した操作内容を認識する第１認識手段に対応する。

システム制御部２２１は、操作者の指が表示部１０２に触れていない状態での、指の動きの軌跡を基にしてデジタルカメラ１００に対する操作指示を認識して、認識した操作指示に基づいてデジタルカメラ１００全体を制御している。

表示画像生成部２１４は、表示部１０２に表示する表示データを生成する。システム制御部２２１が距離・位置検出部２１６を制御することによって、操作入力用撮像部Ｌと操作入力用撮像部Ｒとで撮像された操作子画像データから操作子である操作者の指を検出する。

図３は、表示部１０２から指までの距離と、表示部１０２の表示画面の領域に対する指の位置を検出する原理を説明するための図である。

図３において、ｘｙｚ空間を想定したときに、操作入力用撮像部Ｌと操作入力用撮像部Ｒの仮想的な視点位置となる中心位置Ｐ_Ｌ、Ｐ_Ｒがいずれもｘｚ平面上にあるものとする。また、操作入力用撮像部Ｌと操作入力用撮像部ＲのＣＣＤ等の撮像面３０１、３０２が、いずれもｘｙ平面上にあるものとする。

操作者の指がＰの位置にあるときの、操作入力用撮像部Ｌと操作入力用撮像部Ｒの仮想的な視点位置Ｐ_Ｌ、Ｐ_ＲとＰを結ぶ直線と、撮像面との交点の３次元座標をそれぞれＱ_Ｌ、Ｑ_Ｒとする。この交点の撮像面上の２次元座標を、それぞれ（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）、操作入力用撮像部Ｌと６の操作入力用撮像部Ｒの視点位置間の距離を２ｗ、視点位置Ｐ_Ｌ、Ｐ_Ｒから撮像面までの距離をｄとする。

また、ｘ軸方向の単位ベクトルをｉ、ｙ軸方向の単位ベクトルをｊ、ｚ軸方向の単位ベクトルをｋとする。この場合、次の式が成立する。
Ｐ_Ｌ＝−ｗｉ−ｄｋ
Ｐ_Ｒ＝ｗｉ−ｄｋ
Ｑ_Ｌ＝（ｘ_Ｌ−ｗ）ｉ＋ｙ_Ｌｊ
Ｑ_Ｒ＝（ｘ_Ｒ＋ｗ）ｉ＋ｙ_Ｒｊ
Ｐ_ＬとＱ_Ｌを結ぶ直線と、Ｐ_ＲとＱ_Ｒを結ぶ直線は、Ｐで交差するため、次式が成立する。
Ｐ＝Ｐ_Ｌ＋ｍ（Ｑ_Ｌ−Ｐ_Ｌ）＝Ｐ_Ｒ＋ｎ（Ｑ_Ｒ−Ｐ_Ｒ）
この式をｍ，ｎに関して解くと、次式が得られる。
ｍ＝ｎ＝２ｗ／（ｘ_Ｌ−ｘ_Ｒ）
その結果、ｘｙ平面上での指の位置Ｐｘｙは、次式により求めることができる。
Ｐｘｙ＝（ｍｘ_Ｌ−ｗ）ｉ＋ｍｙ_Ｌｊ
また、表示部１０２から指までの距離Ｐｚは、次式により求めることができる。
Ｐｚ＝（ｍ−１）ｄ
本実施の形態では、上記式より表示部１０２から指までの距離を求めるようになっている。

次いで表示部１０２について説明する。表示部１０２は、裸眼立体視が可能な液晶ディスプレイにより構成される。裸眼立体視が可能な表示部１０２は、例えばパララックスバリア（視差バリア）方式、レンチキュラー方式など、視線の視差分割方式を利用して実現してもよいし、ＤＦＤ（Depth Focus 3D）方式を利用して実現してもよい。

図４（Ａ）は、視差バリア方式における構成を示し、（Ｂ）は、レンチキュラー方式における構成を示す図である。

図４（Ａ）において、視差バリア方式の場合、表示部１０２は、ＴＦＴ液晶で構成された画素列の横方向に交互に左眼用画素領域４０１Ｌおよび、右眼用画素領域４０１Ｒが設定される。この図において、観測者の右眼４０４、観測者の左眼４０３とする。画素列の前面に設置され、縦方向のスリットで構成された視差バリア４０２により、左眼用画素領域４０１Ｌからの光が左眼４０３だけに到達する。そしてかつ右眼用画素領域４０１Ｒからの光が右眼４０４だけに到達するように構成される。

視差バリア４０２は、電子制御可能なスイッチ液晶により構成されてもよい。また視差バリア４０２は、画素列の背後でかつ光源の手前側に設定されてもよい。

図４（Ｂ）において、レンチキュラー方式の場合には、表示部１０２は、画面の横方向に交互に左眼用画素領域４０５Ｌおよび右眼用画素領域４０５Ｒが設定される。そして、かまぼこ状のレンチキュラーレンズ４０６により左眼用画素領域４０５Ｌからの光が左眼だけに到達し、かつ右眼用画素領域４０５Ｒからの光が右眼だけに到達するように構成される。このように視差分割方式では、人間の左右の目にそれぞれ異なる画像を映すことにより奥行き感を出すことができる。

また、ＤＦＤ方式の場合、表示部１０２は２枚のＴＦＴ液晶を適当な間隔を空けて前後に配置し、２枚のＴＦＴ液晶に遠近に対応した明るさの割合の画像を表示する。具体的には、近くにある物体ほど、前部におかれたＴＦＴ液晶に表示する対応する画像部分の輝度を高くする。これにより前後のＴＦＴ液晶の間に連続的な奥行き感を出すことができる。

図５は、表示部１０２を視差分割方式を利用して実現した場合の、図２の表示画像生成部２１４の構成の一例を示した図である。

表示画像生成部２１４は、背景画像生成部５０１、右目用表示アイテム生成部５０２、左目用表示アイテム生成部５０３、２次元表示アイテム生成部５０４、立体視画像生成部５０５を含む。

背景画像生成部５０１は、メモリ制御部２１５を介してメモリ２１９から画像データを読み出して画像表示データを生成し、立体視画像生成部５０５に出力する。

右目用表示アイテム生成部５０２は、メモリ制御部２１５を介してメモリ２１９から立体視対応表示アイテムの右目用ビットマップデータを読み出して右目用表示データを生成し、立体視画像生成部５０５に出力する。

左目用表示アイテム生成部５０３は、メモリ制御部２１５を介してメモリ２１９から立体視対応表示アイテムの左目用ビットマップデータを読み出して左目用表示データを生成し、立体視画像生成部５０５に出力する。

ここで立体視対応表示アイテムとは、裸眼立体視が可能な液晶ディスプレイで表示したときに、奥行き感を出すよう構成された表示イメージである。例えば操作用のスイッチやボタン、ダイヤルやアイコンを、表示部１０２の表示領域から一定距離離れた空間上に仮想的に表現したものである。

本実施の形態のデジタルカメラ１００では、操作者の指がタッチパネル２２３に非接触の状態での指の動きを認識して、この立体視対応表示アイテムに対する操作指示におきかえることでデジタルカメラ１００を操作することができる。

２次元表示アイテム生成部５０４は、メモリ制御部２１５を介してメモリ２１９から２次元表示アイテム用のビットマップデータを読み出して２次元表示アイテム用表示データを生成し、立体視画像生成部５０５に出力する。

２次元表示アイテムとは、裸眼立体視が可能な液晶ディスプレイで表示したときに、奥行き感が出ないように構成された表示イメージである。または、奥行き感が立体視対応表示アイテムと比べて明らかに少なくなるように構成された表示イメージでもよい。

本実施の形態のデジタルカメラ１００では、操作者が指を表示部１０２に表示された２次元表示アイテムに対して、タッチパネル２２３上でフリック操作したり、タッチダウン操作したりすることで操作指示を入力することができる。

立体視画像生成部５０５は、画像表示データ、右目用表示データ、左目用表示データ、２次元表示アイテム用表示データから立体視画像を生成して、メモリ制御部２１５を介してメモリ２１９に書き出す。

具体的には、画像表示データに、右目用表示データ、及び２次元表示アイテム用表示データを重ね合わせ、右目用立体視画像を生成する。また、画像表示データに、左目用表示データ、及び２次元表示アイテム用表示データを重ね合わせ、左目用立体視画像を生成する。

そして、立体視画像生成部５０５は、右目用立体視画像と左目用立体視画像を画面の縦方向に短冊領域に分割し、分割した右目用立体視画像と左目用立体視画像を画面の横方向に交互に配列して生成する。

このとき、画像データに対する右目用立体視画像と左目用立体視画像は、同一のものが生成され、この状態では操作者には平面表示された平面的な画像として見える。

２次元表示アイテムに対する右目用立体視画像と左目用立体視画像は、同一のものが生成され、この状態では操作者には平面的な表示アイテムとして見える。

また、立体視対応表示アイテムに対する右目用立体視画像と左目用立体視画像は視差を持っているため、操作者には立体的な表示アイテムとして見える。

本実施の形態のデジタルカメラ１００では、画像データと、２次元表示アイテムと、立体視対応表示アイテムを表示するか、又は表示しないかを、それぞれ独立して制御することができる。

図６は、図２における非接触操作検出部２１７が、連続的に取得した複数の操作子画像データから、操作子である操作者の指の動きを検出する方法について説明するための図である。

図６において、（Ａ）は、連続的に取得した複数の操作子画像データから操作子である操作者の指を検出して、その軌跡を算出する方法を説明したものである。図６（Ｂ）〜（Ｅ）は不揮発性メモリ２２６に記録された軌跡パターンを示している。

図６（Ａ）において、非接触操作検出部は連続する２フレームの操作子画像データにおける画面上の小さな画素ブロック間での相関値を算出して、操作者の指の動きベクトルを算出する。

図６（Ａ）では、一定時間間隔で算出した動きベクトルをＶ（ｔ）、Ｖ（ｔ＋１）、Ｖ（ｔ＋２）、・・・、Ｖ（ｔ＋７）で示している。システム制御部２２１は、連続する複数のベクトルの集合を操作者の指の軌跡と認識する。

また、図６（Ｂ）〜（Ｅ）における軌跡パターン６０１〜６０４は不揮発性メモリ２２６に記録された軌跡パターンを示している。各々の軌跡パターン６０１〜６０４は立体対応表示アイテムに対する操作指示と対応づけられている。

例えばシステム制御部２２１は、Ｖ（ｔ）〜Ｖ（ｔ＋３）のベクトルの集合を軌跡パターン６０１〜６０４とマッチングした結果、軌跡パターン６０１と一致すると判断する。その結果、システム制御部２２１は、軌跡パターン６０１に対応付けられた操作指示を実行する。

同様に、システム制御部２２１は、Ｖ（ｔ＋４）〜Ｖ（ｔ＋６）のベクトルの集合を軌跡パターン６０４と一致すると判断して、軌跡パターン６０４に対応付けられた操作指示を実行する。

図７は、図２におけるシステム制御部２２１が、記録媒体１０７に保存されている画像データを操作者の指示にしたがって表示部１０２に閲覧の目的で表示する再生モードにおいて、表示部１０２に表示する画面内容を示した図である。

図７（Ａ）は、表示部１０２に、画像データから生成した画像表示データを表示した内容を示す表示７０２が表示された様子を示している。図７（Ｂ）は、立体視対応表示アイテムの輪郭７０４を画像表示データの表示７０２にオーバーラップ表示した様子を示している。図７（Ｃ）は、立体視対応表示アイテム７０５を画像表示データの表示７０２に上書きして表示した様子を示している。図７（Ｄ）は、操作指示を入力するための２次元表示アイテムを表示した様子を示している。

図７（Ａ）において、操作者が指７０３をタッチパネル２２３上でフリック操作することで、操作指示を入力することができる。

操作者が表示７０２に対してフリックすると、システム制御部２２１は画像送りの操作指示が操作者によって指示されたと判断して、表示７０２を現在表示している画像データに対して撮影時刻がひとつ前、あるいはひとつ後の画像データの表示に更新する。

図７（Ｂ）において、立体視対応表示アイテムの輪郭７０４のみを表示するため、画像表示データの表示７０２を遮る領域を小さくすることができ、操作者による画像データの閲覧行為に対する妨げを軽減することができる。輪郭７０４は操作者には立体的な表示アイテムとして見える。

図７（Ｃ）において、立体視対応表示アイテム７０５は操作者には立体的な表示アイテムとして見える。撮影年月日７０８は立体視対応表示アイテム７０５の表示の一部で、表示する画像データの撮影年月日を示した表示である。矢印７０６，７０７は立体視対応表示アイテム７０５の表示の一部で、立体視対応表示アイテム７０５を操作者が操作するためのガイダンスを示す矢印の表示である。

操作者の指７０３が矢印７０６、又は７０７の方向に動いたことをシステム制御部２２１が認識して、図６の軌跡パターン６０１〜６０４と一致すると判断すると、日付を指定しての画像送りの操作指示が操作者によって指示されたと判断する。そして、画像データの撮影年月日を示した撮影年月日７０８の内容を、現在表示されている撮影年月日の以前の撮影日、あるいは以降の撮影日に変えるとともに、表示７０２を次の撮影年月日に対応する画像データの表示に更新する。

図７（Ｄ）において、操作者が２次元表示アイテム７０９をタッチダウンすると、システム制御部２２１は拡大指示が入力されたと判断して、表示７０２を画像データの一部分の領域を拡大したものとする。また、操作者が２次元表示アイテム７１０をタッチダウンすると、システム制御部２２１は表示７０２が示す画像データの削除指示が入力されたと判断する。

前述したとおり、本実施の形態のデジタルカメラ１００のシステム制御部２２１は、表示部１０２から指までの距離に応じて、表示部１０２に表示する形態を変えるよう制御する。

図８は、デジタルカメラ１００を表示部１０２の側から斜め方向から俯瞰した図である。

図８において、表示部１０２と操作者の指７０３までの距離に応じて表示をどのように制御するかを説明する。

表示部１０２と操作者の指７０３の距離をｄｘで表す。まず、システム制御部２２１は、ｄｘがある決められた閾値であるｄ１（第１閾値）以下となったと判断すると、立体視対応表示アイテムを表示する。

このときさらに、操作者の指７０３が立体視対応表示アイテムに近接していると判断した場合、非接触での操作指示の入力を有効にする。すなわち、システム制御部２２１は、非接触操作検出部２１７が検出した操作者の指７０３の動きのデータの軌跡を基にしてデジタルカメラ１００に対する操作指示を認識する。このとき、誤動作を防ぐためにタッチパネルの操作による操作指示の入力を無効にするよう制御する。

さらにｄｘが、ｄ１より小さい閾値であるｄ２（第２閾値）以下となったと判断すると、システム制御部２２１は、立体視対応表示アイテムを消去して、２次元表示アイテムを表示する。すなわち、表示アイテムの表示態様を切り替える。また、このとき、システム制御部２２１は、非接触での操作指示の入力を無効にする。また、タッチパネルの操作による操作指示の入力を有効にするよう制御する。

図９は、第１の実施の形態において図２におけるシステム制御部２２１により実行される切り替え処理の手順を示すフローチャートである。

図９のフローチャートに示す処理は、システム制御部２２１により、システムメモリ２２７に読み出されたプログラムに基づいて実行される。操作者が電源スイッチ１０４を再生モードでの電源オンに切り替えることで、図９のフローチャートが開始される。

図９において、記録媒体１０７に保存されている画像データを読み出して、メモリ２１９に展開し、図７（Ａ）に示すように、画像データから生成した画像表示データを表示部１０２に表示する（ステップＳ９０１）。

また、操作入力用撮像部Ｌと操作入力用撮像部Ｒを起動制御し、これらが撮影した操作子画像データに基づいて、距離・位置検出部２１６で検出される操作者の指と表示部１０２までの距離と、表示部１０２の領域に対する指の位置の検出動作を開始する。

次いで、操作者の指７０３と表示部１０２の距離がｄ１以下か否かを判別する（ステップＳ９０２）。ステップＳ９０２の判別の結果、指７０３が検知できないか、又は検知できても距離がｄ１以下と判別されたとき（ステップＳ９０２でＮＯ）、ステップＳ９０３を繰り返す。

一方、距離がｄ１以下のとき（ステップＳ９０２でＹＥＳ）、図７（Ｂ）に示すように、立体視対応表示アイテムの輪郭７０４を画像表示データの表示７０２にオーバーラップ表示する（ステップＳ９０３）。

立体視対応表示アイテムが輪郭で表示されている状態では、操作者はその立体視対応表示アイテムに対して操作指示を入力することはできない。しかし、操作者は、さらに指を近づけると立体視対応表示アイテムが操作可能になることを理解できる。また、どの位置に立体視対応表示アイテムが配置されるかを認識できるので、立体視対応表示アイテムを使って操作指示を入力する場合には、指７０３をどの位置に移動すればよいかが把握できる。

次いで、操作者の指７０３と表示部１０２の距離がｄ２以下か、又は操作者の指７０３が表示部１０２（タッチパネル２２３）に接触したかを判別する（ステップＳ９０４）。

ステップＳ９０４の判別の結果、否定判別したとき（ステップＳ９０４でＮＯ）、指７０３と表示部１０２の距離がｄ１以上か否か判別する（ステップＳ９０６）。ｄ１以上と判別されたとき（ステップＳ９０６でＹＥＳ）、立体視対応表示アイテムの輪郭７０４の表示を消去して（ステップＳ９０７）、ステップＳ９０２に戻る。

一方、ステップＳ９０６の判別の結果、距離がｄ１未満と判別されたとき（ステップＳ９０６でＮＯ）、指７０３が立体視対応表示アイテムの輪郭７０４に近接したか否かを判別する（ステップＳ９０８）。これは、距離・位置検出部２１６での表示部１０２の領域に対する指の位置の検出結果と立体視対応表示アイテムの表示位置の関係から判別できる。

ステップＳ９０８の判別の結果、指７０３が立体視対応表示アイテムの輪郭７０４に近接したと判別したとき（ステップＳ９０８でＮＯ）、ステップＳ９０４に戻る。

一方、ステップＳ９０８の判別の結果、輪郭７０４に近接したとき（ステップＳ９０８でＹＥＳ）、図７（Ｃ）に示すように、立体視対応表示アイテム７０５を画像表示データの表示７０２に上書きして表示する（ステップＳ９０９）。

この立体視対応表示アイテム７０５は操作者には立体的な表示アイテムとして見える。また、同時に、立体視対応表示アイテム７０５の表示の一部である、画像データの撮影年月日を示した撮影年月日７０８と、立体視対応表示アイテム７０５の操作のための矢印７０６，７０７を表示する。

その後、システム制御部２２１は非接触での操作指示の入力を有効にして、非接触操作検出部２１７での指の動きの検出動作を開始する。このとき、誤動作を防ぐためにタッチパネルの操作による操作指示の入力を無効にするよう制御する。立体視対応表示アイテム７０５を画像表示データの表示７０２の前面に表示することで、立体視対応表示アイテムを操作することによる非接触での操作指示の入力が有効であることを認識可能な表示を実現している。

上記ステップＳ９０９で、図７（Ｂ）の立体視対応表示アイテムの輪郭７０４をオーバーラップ表示した位置と同じ場所に、立体視対応表示アイテム７０５を表示することで、操作者はそのまま指７０３の位置をずらすことなく操作指示の入力が可能となる。

次いで、指７０３の動きの軌跡を基にして、立体視対応表示アイテム７０５に対する操作指示の入力の認識動作を行い、立体視対応表示アイテム７０５に対する操作があったか否かを判別する（ステップＳ９１３）。

ステップＳ９１３の判別の結果、立体視対応表示アイテムに対する操作があったとき（ステップＳ９１３でＹＥＳ）、操作に従った処理を実行し（ステップＳ９１４）、ステップＳ９１３に戻る。

上記操作とは、上述したように、操作者の指７０３が矢印７０６、又は９０７の方向にある決められた軌跡で動いたことなどの操作である。その操作をシステム制御部２２１が認識すると、日付を指定しての画像送りの操作があったと判別する。

より具体的には、図７（Ｃ）の表示状態では、撮影年月日７０８を、現在表示されている撮影年月日の以前の撮影日、あるいは以降の撮影日に変えるとともに、表示７０２を次の撮影年月日に対応する画像データの表示に更新する。

一方、ステップＳ９１３の判別の結果、操作がなかったとき（ステップＳ９１３でＮＯ）、指７０３と立体視対応表示アイテム７０５との近接が解除されたか否かを判別する（ステップＳ９１５）。これは、距離・位置検出部２１６での表示部１０２の領域に対する指の位置の検出結果と立体視対応表示アイテムの表示位置の関係から判別することができる。

ステップＳ９１５の判別の結果、近接が解除されていないとき（ステップＳ９１５でＮＯ）、ステップＳ９１３に戻る。一方、近接が解除されたとき（ステップＳ９１５でＹＥＳ）、立体視対応表示アイテム７０５を消去する。そして図７（Ｂ）に示すように、立体視対応表示アイテムの輪郭７０４を画像表示データの表示７０２にオーバーラップ表示して（ステップＳ９１６）、ステップＳ９０４に戻る。さらにこのとき、非接触での入力を無効にして、非接触操作検出部２１７での指の検出動作を停止する。また、ステップＳ９０９でタッチパネルの操作による操作指示の入力を無効にしていた場合、再び有効に戻すよう制御してもよい。

上記ステップＳ９０４の判別の結果、肯定判別したとき（ステップＳ９０４でＹＥＳ）、輪郭７０４、又は立体視対応表示アイテム７０５の表示を消去して、２次元表示アイテム７０９，７１０を表示し（ステップＳ９０５）、図７（Ｄ）の表示に切り替る。

次いで、操作者によるタッチパネル操作を認識し、操作があったか否かを判別する（ステップＳ９１０）。ステップＳ９１０の判別の結果、タッチパネル操作があったとき（ステップＳ９１０でＹＥＳ）、タッチパネルの操作に従って、画像データ、あるいは２次元表示アイテムに対する操作を実行する。より具体的には、操作者が表示７０２に対してフリックすると、システム制御部２２１は画像送りの操作指示が操作者によって指示されたと判断する。そして表示７０２を現在表示している画像データに対して撮影時刻がひとつ前、又はひとつ後の画像データの表示に更新する。或いは、操作者が２次元表示アイテム７０９、又は２次元表示アイテム７１０をタッチダウンすると、システム制御部２２１は、それぞれ拡大表示、削除の操作を実行する。

一方、ステップＳ９１０の判別の結果、タッチパネル操作がないとき（ステップＳ９１０でＮＯ）、指７０３と表示部１０２の距離がｄ１以上か否か判別し、ｄ１未満のとき（ステップＳ９１２でＮＯ）、ステップＳ９１０に戻る。ｄ１以上のとき（ステップＳ９１２でＹＥＳ）、ステップＳ９０２に戻る。

上述した処理において、ステップＳ９０３，９０９が、表示部１０２に指７０３が接触することなく操作可能な表示アイテムを３次元表示するように表示部１０２を制御する第１表示制御手段に対応する。また、ステップＳ９０５が、表示部１０２に指７０３が接触することで操作可能な表示アイテムを２次元表示するように表示部１０２を制御する第２表示制御手段に対応する。また、ステップＳ９０３，９０９では、表示アイテムの視差像を生成することにより、表示アイテムを３次元表示するように表示部１０２を制御することには、図５で説明した通りである。

以上説明したように、本実施の形態によれば、操作者は立体視対応表示アイテムについては、指をタッチパネル２２３に接触させることなく、指の動きを認識させることで操作可能である。また、２次元表示アイテムについては、表示部１０２と一体化したタッチパネルに接触して操作可能なので、直感的な操作方法を実現できる。

また、操作者の指の位置に応じて、立体視対応表示アイテムを使っての操作と、２次元表示アイテムを使っての操作を切り替えるため、操作者にとって分かりやすい操作方法を実現できる。

さらに、操作子である操作者の指が表示部１０２からｄ１の距離以下に近づくと、立体視対応表示アイテムの輪郭を画像表示データの表示にオーバーラップして表示する。これにより操作者は、さらに指を近づけると立体視対応表示アイテムが操作可能になることを理解できるとともに、どの位置に立体視対応表示アイテムが配置されるかを認識できる。その結果、立体視対応表示アイテムを使って操作指示を入力する場合には、指をどの位置に移動すればよいかが把握できる。

また、指が立体視対応表示アイテムに近接すると、立体視対応表示アイテムを画像表示データの表示の前面に表示することで、立体視対応表示アイテムに対する操作指示の入力が有効であることを、操作者が認識可能に表示することができる。

さらに、操作子である操作者の指がさらに近接して、表示部１０２からｄ２の距離以下に近づくと、立体視対応表示アイテムを消去するので、２次元表示アイテムに対する操作や、表示している画像データに対する操作がしやすくなる。

上述した図９の処理によれば、表示部１０２に指７０３が接触することなく操作可能な表示アイテムを３次元表示するように表示部１０２を制御する（ステップＳ９０３，９０９）。そして、表示部１０２に指７０３が接触することで操作可能な表示アイテムを２次元表示するように表示部１０２を制御する。次いで指７０３が表示部１０２に接触することなく操作した操作内容を認識する（ステップＳ９１０）。また指７０３が表示部１０２に接触することにより操作した操作内容を認識する。この結果、立体表示した操作用の表示アイテムに対する操作と、２次元表示した操作用の表示アイテムに対する操作との違いが明確になるので、操作性を向上させることができる。

さらに、図９の処理によれば、指７０３と表示部１０２との距離が予め定められたｄ１以下（第１閾値以下）と導出されたときに、表示アイテムを３次元表示するように表示部１０２を制御する。また、距離がｄ１よりも小さいｄ２以下（第２閾値以下）と導出されたときに、３次元表示している表示アイテムを消去するように表示部１０２を制御する。これにより、立体表示した操作用の表示アイテムに対する操作と、２次元表示した操作用の表示アイテムに対する操作の操作性を向上させることができる。

なお、本実施の形態の説明では、操作入力用撮像部Ｌと操作入力用撮像部Ｒの２つの撮像部で撮像された操作子画像データから操作子である操作者の指を検出する。そして表示部１０２から指までの距離と、表示部１０２の表示画面の領域に対する指の位置を検出することとしている。しかし、どちらか一方の操作入力用撮像部で撮像された操作子画像データから操作者の指を検出して、その指の大きさの情報を基に、表示部１０２から指までの距離を算出するようにしてもよい。この場合、操作入力用撮像部を１つにすることができる。

また、本実施の形態の説明では、距離・位置検出部２１６が、操作入力用撮像部Ｌと操作入力用撮像部Ｒで撮像された操作子画像データから操作子である操作者の指を検出している。そして、表示部１０２から指までの距離と、表示部１０２の表示画面の領域に対する指の位置を検出することとしている。

しかし、特開２００９−２５８９０３号公報に記載されているような、タッチパネル装置を使用して、複数電極結合を行って信号検出を行うようにしてもよい。これにより、操作者の指が表示部１０２に近接していることを検出し、さらに近接状態において表示部１０２の表示画面の領域に対する指の位置を検出するようにすることも可能である。

また指の位置を連続的に検出することによって指の動きを検出して、その軌跡を基にして、立体視対応表示アイテムに対する操作指示を認識することも可能である。この場合、操作入力用撮像部Ｌと操作入力用撮像部Ｒを不要とすることができる。

なお、図９のフローチャートでは、２次元表示アイテム７０９，７１０を、操作者の指７０３が表示部１０２からｄ２の距離以下に近づいたタイミングで表示している。しかし、ステップＳ９０１で画像表示データを表示部１０２に表示するタイミングで同時に表示してもよい。この場合、操作者が指を近づける動作をしなくても、操作者がタッチパネル操作で可能な操作を認識することができる。

また、図９のフローチャートでは、ステップＳ９０４で、システム制御部２２１は操作者の指７０３と表示部１０２の距離がｄ２以下に近接したか、又は操作者の指７０３がタッチパネル２２３に接触したか否かを判別する。そして肯定判別したとき、ステップＳ９０５に進み、システム制御部２２１は立体視対応表示アイテムの輪郭７０４、又は立体視対応表示アイテム７０５の表示を消去している。しかし、消去せずに、２次元表示アイテムや画像データに対する操作が優先的であることが識別可能な程度に、立体視対応表示アイテムを縮小して表示するなどしてもよい。この場合、タッチパネルに接触して操作が可能な状態であっても、非接触状態で操作可能な内容を操作者が認識することができる。

［第２の実施の形態］
第２の実施の形態では、表示部１０２は裸眼立体視が不可能で、２次元表示のみ可能な液晶ディスプレイで構成する場合について述べる。また、以下の説明では、第１の実施の形態と異なる構成のみを説明する。

図１０は、表示部１０２を２次元表示のみ可能な液晶ディスプレイで実現した場合の、図２における表示画像生成部２１４の構成の一例を示す図である。

図１０において、表示画像生成部２１４は、背景画像生成部１００１、立体表示アイテム生成部１００２、２次元表示アイテム生成部１００３、表示画像合成部１００４を含む。

背景画像生成部１００１は、メモリ制御部２１５を介してメモリ２１９から画像データを読み出して画像表示データを生成し、表示画像合成部１００４に出力する。

立体表示アイテム生成部１００２は、メモリ制御部２１５を介してメモリ２１９から立体表示アイテム用のビットマップデータを読み出して立体表示アイテム用表示データを生成し、表示画像合成部１００４に出力する。

ここで立体表示アイテムとは、立体物であると操作者が認識するように、２次元表示の液晶ディスプレイ上に表現された表示イメージであり、例えば操作用のスイッチやボタン、ダイヤルやアイコンを立体表示アイテムで表現する。

図１１は、立体表示アイテムの表現方法を示す図であり、（Ａ）〜（Ｃ）のいずれも直方体の表現方法を示す図である。

図１１（Ａ）は、直方体１１０１を表示したもので、直方体１１０１の稜線のうち、一方向から観測可能な線のみを表示することで、立体物として操作者が認識できる。

図１１（Ｂ）は、ある光源のもとで直方体１１０２を観察したことを想定して、直方体１１０２の面の向きと光の照射方向に合わせて面に陰影を加える方法で表現したものである。稜線のみの表現より写実性が増すため、図１１（Ａ）の場合と比べて、より立体物として操作者が認識できる。

図１１（Ｃ）は、図１１（Ｂ）の立体物に陰影をつける方法に加えて、光源からの直射光が直方体１１０３により当たらない部分に生じる影１１０４をつける方法で表現したものである。写実性がさらに増すため、図１１（Ｂ）の場合と比べて、より立体物として操作者が認識できる。

本実施の形態のデジタルカメラ１００では、操作者の指の動きを認識させてこの立体表示アイテムを操作することで、操作指示を入力することができる。

図１０の説明に戻り、２次元表示アイテム生成部１００３は、メモリ制御部２１５を介してメモリ２１９から２次元表示アイテム用のビットマップデータを読み出して２次元表示アイテム用表示データを生成し、表示画像合成部１００４に出力する。

２次元表示アイテムとは、２次元表示の液晶ディスプレイで表示したときに、奥行き感や立体感が出ないように構成された表示イメージである。或いは、奥行き感や立体感が、立体表示アイテムと比べて明らかに少なくなるように構成された表示イメージでもよい。

本実施の形態のデジタルカメラ１００では、操作者が指７０３を表示部１０２に表示された２次元表示アイテムに対して、タッチパネル２２３上でフリック操作したり、タッチダウン操作したりすることで操作指示を入力することができる。

表示画像合成部１００４は、画像表示データに、立体表示アイテム用表示データ、および２次元表示アイテム用表示データを重畳して、メモリ制御部２１５を介してメモリ２１９に書き出す。このとき、画像データと、２次元表示アイテムと、立体表示アイテムを表示するか否かを、それぞれ独立して制御できる。

図１２は、第２の実施の形態において図２におけるシステム制御部２２１により実行される切り替え処理の手順を示すフローチャートである。

なお、図１２のフローチャートは、図９で示したフローチャートで立体視対応表示アイテムを表示する代わりに、立体表示アイテムを表示する点以外は同様の処理であるため、その部分については説明を省略する。

図１２において、ステップＳ１２０１、Ｓ１２０２は、図９のステップＳ９０１、Ｓ９０２と同様である。

図１２において、操作者の指７０３と表示部１０２の距離がｄ１以下か否かを判別する（ステップＳ１２０２）。ステップＳ１２０２の判別の結果、指７０３が検知できないか、又は検知できても距離がｄ１以下と判別されたとき（ステップＳ１２０２でＮＯ）、ステップＳ１２０３を繰り返す。

一方、距離がｄ１以下のとき（ステップＳ１２０２でＹＥＳ）、図１３（Ａ）に示すように、立体表示アイテムの輪郭１３０１を画像表示データの表示７０２にオーバーラップ表示する（ステップＳ１２０３）。

図１２のステップＳ１２０４〜Ｓ１２０８は、図９のステップＳ９０４〜Ｓ９０８と同様である。

ステップＳ１２０８の判別の結果、指７０３が輪郭１３０１に近接したとき（ステップＳ１２０８でＹＥＳ）、図１３（Ｂ）に示すように、立体表示アイテムの影１３０３を画像表示データの表示７０２に上書きして表示する（ステップＳ１２０９）。なお、ステップＳ１２０８では、距離・位置検出部２１６での表示部１０２の領域に対する指の位置の検出結果と輪郭の表示位置の関係から判別できる。

図１２のステップＳ１２１０〜Ｓ１２１６は、図９のステップＳ９１０〜Ｓ９１６と同様である。

以上、表示部１０２が裸眼立体視が不可能で、２次元表示のみ可能な液晶ディスプレイで構成されていた場合でも、操作者は立体表示アイテムを表示部１０２に非接触で操作できる。さらに２次元表示アイテムは表示部１０２と一体化したタッチパネルに接触して操作するので、直感的な操作方法を実現できる。立体表示アイテムと、２次元表示アイテムの両方を使って操作可能な画像処理装置を実現できる。

また、操作者の指の位置に応じて、立体表示アイテムを使っての操作と、２次元表示アイテムを使っての操作を切り替えるため、操作者にとって分かりやすい操作方法を実現できる。

以上説明したように、本実施の形態によれば、立体表示した操作用の表示アイテムは表示部に非接触で操作し、２次元表示した操作用の表示アイテムは表示部に接触して操作するので、直感的に操作が可能になり操作性が向上する。

また、操作子の位置に応じて、立体表示された表示アイテムに対する操作と、２次元表示された表示アイテムに対する操作を切り替えるため、操作者にとって分かりやすい操作方法を実現できる。

さらに、操作子である操作者の指が画面に近づくと、立体表示された表示アイテムの表示を抑制しつつ、画像表示データの表示にオーバーラップして表示する。これによって操作者は、さらに指を近づけると立体表示された表示アイテムが操作可能になることを理解できる。また、どの位置に立体表示の表示アイテムが配置されるかを認識できるので、立体表示された表示アイテムを使って操作指示を入力する場合には、指をどの位置に移動すればよいかが把握できる。

また、指が立体表示された表示アイテムに近接すると、立体表示された表示アイテムを画像表示データの前面に表示することで、立体表示した表示アイテムに対する操作指示の入力が有効であることを、操作者が認識可能に表示することができる。

さらに、操作子である操作者の指がさらに近接すると、立体表示した表示アイテムを消去するので、２次元表示アイテムに対する操作や、表示している画像データに対する操作がしやすくなる。

なお、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

１００ デジタルカメラ
１０２ 表示部
２１３ 画像処理部
２１４ 表示画像生成部
２１５ メモリ制御部
２１６ 距離・位置検出部
２１７ 非接触操作検出部
２２１ システム制御部
２２２ タッチパネル制御部
２２３ タッチパネル
５０１，１００１ 背景画像生成部
５０２ 右目用表示アイテム生成部
５０３ 右目用表示アイテム生成部
５０４ ２次元表示アイテム生成部
５０５ 立体視画像生成部
７０３ 指
７０４ 輪郭
７０５ 立体視対応表示アイテム
７０６，７０７ 矢印
７０９，７１０ ２次元表示アイテム
１００２ 立体表示アイテム生成部
１００３ ２次元表示アイテム生成部
１００４ 表示画像合成部
Ｌ，Ｒ 操作入力用撮像部

Claims (6)

1. 画像処理装置であって、
   操作子がタッチパネルに接触することなく操作可能な３次元表示アイテムを前記タッチパネルの表示部に立体表示し、操作子がタッチパネルに接触することで操作可能な２次元表示アイテムを前記タッチパネルの表示部に平面表示するように制御する表示制御手段と、
   前記操作子と前記タッチパネルとの距離を算出する算出手段と、
   前記算出手段により算出された距離が第２の閾値より大きい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を無効にするよう制御し、前記算出手段により算出された距離が前記第２の閾値より小さい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を有効にするよう制御する入力制御手段を備え、
   前記表示制御手段は、前記算出手段により算出された距離が第１の閾値より小さい場合、前記３次元表示アイテムを表示するように制御し、前記算出手段により算出された距離が前記第２の閾値より小さい場合、前記３次元表示アイテムを表示しないように制御し、
   前記第１の閾値は前記第２の閾値よりも大きいことを特徴とする画像処理装置。
2. 前記入力制御手段は、前記算出手段により算出された距離が前記第１の閾値より小さい場合、前記３次元表示アイテムに対する前記操作子の指示の入力を有効にするよう制御することを特徴とする請求項１記載の画像処理装置。
3. 前記３次元表示アイテムまたは前記２次元表示アイテムはそれぞれ異なる処理が対応付けられ、前記３次元表示アイテムまたは前記２次元表示アイテムに対する操作があったと判別されれば、前記操作された３次元表示アイテムまたは前記２次元表示アイテムに対応付けられた処理を実行する処理手段を備えることを特徴とする請求項１または２記載の画像処理装置。
4. 前記表示制御手段は、前記３次元表示アイテムの視差像を生成することにより、前記３次元表示アイテムを前記タッチパネルの表示部に立体表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 画像処理装置の制御方法であって、
   操作子がタッチパネルに接触することなく操作可能な３次元表示アイテムを前記タッチパネルの表示部に立体表示し、操作子がタッチパネルに接触することで操作可能な２次元表示アイテムを前記タッチパネルの表示部に平面表示するように制御する表示制御ステップと、
   前記操作子と前記タッチパネルとの距離を算出する算出ステップと、
   前記算出ステップにより算出された距離が第２の閾値より大きい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を無効にするよう制御し、前記算出ステップにより算出された距離が前記第２の閾値より小さい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を有効にするよう制御する入力制御ステップを備え、
   前記表示制御ステップでは、前記算出ステップで算出された距離が第１の閾値より小さい場合、前記３次元表示アイテムを表示するように制御し、前記算出ステップで算出された距離が前記第２の閾値より小さい場合、前記３次元表示アイテムを表示しないように制御し、
   前記第１の閾値は前記第２の閾値よりも大きいことを特徴とする画像処理装置の制御方法。
6. 画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記画像処理装置の制御方法は、
   操作子がタッチパネルに接触することなく操作可能な３次元表示アイテムを前記タッチパネルの表示部に立体表示し、操作子がタッチパネルに接触することで操作可能な２次元表示アイテムを前記タッチパネルの表示部に平面表示するように制御する表示制御ステップと、
   前記操作子と前記タッチパネルとの距離を算出する算出ステップと、
   前記算出ステップにより算出された距離が第２の閾値より大きい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を無効にするよう制御し、前記算出ステップにより算出された距離が前記第２の閾値より小さい場合、前記２次元表示アイテムに対する前記操作子の指示の入力を有効にするよう制御する入力制御ステップを備え、
   前記表示制御ステップでは、前記算出ステップで算出された距離が第１の閾値より小さい場合、前記３次元表示アイテムを表示するように制御し、前記算出ステップで算出された距離が前記第２の閾値より小さい場合、前記３次元表示アイテムを表示しないように制御し、
   前記第１の閾値は前記第２の閾値よりも大きいことを特徴とするプログラム。