JP2009294850A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 従来までは画像に処理をおこなうためには、操作ボタンやタッチパネルを使用していたため、直感的でなく操作が煩わしいという問題点があった。また、直感的な操作を用いた画像処理装置においても可能な処理に制限があった。画像に記録メディアの容量が大きくなっていき、撮影画像の枚数はどんどん増えていく中で、撮影後の画像に対する処理を簡単な動作で行えることが求められている。本願発明はこのような問題点を解決する画像処理装置を提供することを目的とする。
【解決手段】 画像を表示し、前記画像の画像データにたいして処理を行う画像処理装置において、前記画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを画面に表示し、該画像処理装置の姿勢の変化を検知し、前記画像に対応する画像データに対して前記検知の結果に応じた処理を行うよう制御することを特徴とする。
【選択図】 図１

Description

本願発明は、画像処理装置に関し、画像と項目とが同一画面上に表示されていて、装置の姿勢の変化によって選択された項目に基づいた処理を画像に対して行う画像処理装置、および、画像処理方法に関する発明である。

従来のデジタルカメラ等の画像処理装置は、筐体にレリーズボタンやズームレバー等の操作部を有し、この操作部を操作することで各種動作をさせることができる。また、液晶表示器等の表示部が設けられ、該表示部に撮影画像を表示することができるものも広く知られている。また、近年ではデジタルカメラの画像を表示する表示画面の前面にタッチパネルを設け、タッチパネルのタッチ操作によってデジタルカメラを制御するシステムが提案されている。

特許文献１ではデジタルカメラで撮影した映像を表示する表示装置にデジタルカメラの操作項目を重ねて表示するとともに画像表示部にタッチパネルを設け、操作項目を指で触ってデジタルカメラを操作する方法が提案されている。

一方、画像処理装置の姿勢の変化を利用し、画像に対して処理を行うといったシステムも提案されている。特許文献２ではデジタルカメラの傾きを検知し、その検知結果に基づいて画像をスライドさせることにより、直感的なスライドショーやコマ送りといった画像の閲覧方法が提案されている。
特開平１１―１４６３１７号公報 特開２００７−４９４８４号公報

しかしながら、従来までは画像に対して色や明るさの補正を行う作業や画像を削除するといった処理をおこなうためには、操作ボタンやタッチパネルを手やタッチペン等の補助具を使用して決定していたため、直感的でなく操作が煩わしいという問題点があった。また、直感的な操作を用いた画像処理装置においても、その用途は画像の閲覧に使用されており、可能な処理に制限があった。画像に対する記録メディアの容量が大きくなっていき、撮影画像の枚数はどんどん増えていく中で、撮影後の画像に対する処理を簡単な動作で行えることが求められている。

本願発明はこのような事情に鑑みてなされたもので、処理対象である画像と処理内容を示した項目を同一画面上に表示することで画像に対して直感的に処理をおこなうことができる画像処理装置、および、画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明では、画像を表示し、前記画像の画像データにたいして処理を行う画像処理装置において、前記画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを画面に表示し、該画像処理装置の姿勢の変化を検知し、前記画像に対応する画像データに対して前記検知の結果に応じた処理を行うよう制御することを特徴とする。

本願発明によれば、画像に対する様々な処理を直感的かつ簡単な操作により選択することが可能な画像処理装置、および、画像処理方法を提供することができる。

（第１の実施形態）
次に、添付図面を参照しながら本願発明に適用される画像処理装置の実施の形態について説明する。図１は本願発明に適用される画像処理装置の第１の実施形態の背面図である。以下の説明では、本願発明の画像処理装置をデジタルカメラに適用した例について説明する。

図１において、１００は画像処理装置であり本実施例では具体的にはデジタルカメラを表している。

１０１は撮影画像や再生画像、各種のデータ、操作メニュー、アイコン等を表示するための表示部であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等である。また表示部を複数用意し、複数の表示部間を１つの画面のように使用するといったことも可能である。１０２は電源のＯＮ／ＯＦＦを切り替えるパワーボタンである。１０３は記録装置から画像を読み出す再生モードに切り替える再生ボタンである。１０４はメニュー等の選択において上下左右にカーソルを移動させるための四方向キーである。

１０５はメニューの内容などを決定するＯＫボタンである。１０６は表示部１０１の画面の表示内容を切り替えて処理モードのアイコンの表示・非表示を行う表示ボタンである。１０９は切替ボタンである。１０７は装置の各種設定を変更するためのメニューボタンである。１０８は撮影動作開始の指示入力をするレリーズボタンであり、半押しと全押しとからなる２段ストローク式の２段スイッチで構成される。このレリーズボタン１０８の半押しで第一のスイッチがオン状態となってカメラはＡＥ／ＡＦが作動し、全押しで第二のスイッチがオン状態となって被写体の撮影が行なわれる。

表示部１０１には、撮影画像のサムネイル画像２０１が表示されており、２０２〜２０９にはサムネイル画像２０１の元となる保存用の画像データ２１１に対する処理の内容を表す項目としてのアイコンが表示されている。サムネイル画像２０１は、保存用の画像データ２１１に対して、画素数を減少させるリサイズ処理を行うことで生成される。

２０２は画像をフォルダに保存する保存アイコンである。２０３は画像をメールにて送信するメールアイコンである。２０４は画像に対してプロテクトをかけるプロテクトアイコンである。２０５は画像を削除する処理を実施するごみ箱アイコンである。２０６は保存用の画像データ２１１から人物の顔を検出し、検出した顔の明るさや色が最適な値となるよう、画像データ２１１に対して輝度補正および色補正を行う顔優先補正アイコンである。２０７は保存用の画像データ２１１から人物の顔を検出し、検出した顔の部分の画像データを拡大表示する顔拡大表示アイコンである。２０８は保存用の画像データ２１１から人物の赤目を検出し、この赤目を自然な色に補正する赤目補正アイコンである。２０９は予め設定しておいた補正モードに沿って、保存用の画像データ２１１の色を補正するカスタム色処理アイコンである。

図１においては各種アイコン２０２〜２０９が全てに表示されているが、切替ボタン１０９により用途別、種類別に分類したカテゴリごとにアイコンを切り替えてもよい。例えば画像データに対して局所的な補正を行うカテゴリ、画像データに対して削除・プロテクトといった全体的な処理を行うカテゴリにアイコンを分類し、切り替えるといったことも可能である。尚、本願発明に用いる項目はその形状に関わらず、処理内容、命令を示すものであればよく、例えば上記の処理以外にもその他一般的に画像に対して行う処理全般に対応した項目を使用してもよい。また、項目の形状の例としては上記のアイコンに限らず、幾何学模様、図形などのマーク、その他文字または色によって処理内容を分類したものも、本願発明の項目として使用可能である。

次に、本願発明に適用される画像処理装置１００のブロック図を図２に示す。まず構成について説明する。

３０１はレンズ３０２の制御を行うレンズ制御部である。３０２はズームレンズやフォーカスレンズを含むレンズである。３０３はレンズ３０２を透過した被写体光を受け、被写体光の光量に応じた電荷を蓄積することで画像データを生成し、出力する撮像素子としてのＣＣＤである。撮像素子としては、ＣＣＤの代わりにＣＭＯＳセンサーを用いてもよい。３０４は信号処理を行う映像エンジンである。３０６は画像及び属性や撮影日時など画像に関する付加情報が記録される記録装置である。３０７は映像信号を出力するＶＩＤＥＯ ＯＵＴ端子である。３０８は音声信号を主力するＡＵＤＩＯ ＯＵＴ端子である。３０９は音声を入力するためのマイクである。３１０はアナログからデジタルへの変換を行うＡ／Ｄ変換器である。３１１はＣＰＵであり内部にモード切換え部３１５、制御部３１９、アイコン表示指示部３２０が内蔵されている。

３１２はデジタルからアナログへの変換を行うＤ／Ａ変換器である。３１３は音声信号を音声として出力するスピーカである。３１４は外部との転送を行う通信端子である。３１５は各種モードの切り換えを行うモード切換え部である。３１６は操作部であり、内部に前述の各種ボタンが含まれる。３１７は画像処理装置１００の傾きの程度を検知する傾き検知部、３１８は画像処理装置１００の角速度を検知する角速度検知部である。３１９はメモリー３２１に記録されているプログラムに基づいて画像処理装置１００の制御を行う制御部である。３２０はアイコン表示指示部である。３２１はメモリーであり図３の流れを示すプログラムが記録されている。

次に、上記の構成の簡単な流れについて説明する。

レンズ制御部３０１により駆動されるレンズ３０２を通した被写体の光がＣＣＤ３０３の撮像面上に結像する。その光がＣＣＤ３０３により光電変換され、その出力が信号処理部である映像エンジン３０４により信号処理され、かつ、保存用の画像データ２１１と画像データ２１１から生成されたサムネイル画像データ２１２に分けられて記録装置３０６に出力される。

また、撮影時と再生時に、映像エンジン３０４から表示部１０１やＶＩＤＥＯ ＯＵＴ端子３０７に映像信号が出力され、音声信号はＡＵＤＩＯ ＯＵＴ端子３０８に出力される。

また、動画撮影時やアノテーションのためにマイク３０９が装備されており、Ａ／Ｄ変換器３１０を通してマイク３０９により入力された音声がＡ／Ｄ変換されてデジタル信号となり、ＣＰＵ３１１に入力されて記録装置３０６に記録される。再生時には、記録装置３０６からＣＰＵ３１１が読み取った信号を、Ｄ／Ａ変換器３１２に送り、その先につながるスピーカー３１３を鳴らすことにより音声を再生できる。

この他、ＣＰＵ３１１と通信するための通信端子３１４があり、ＵＳＢ等により外部機器と通信することができるようになっている。前述のように、記録装置３０６に記録された映像や音声のデジタルデータをＣＰＵ３１１が読み込んで、通信端子３１４を通してパソコンに転送できる。モード切換え部３１５は操作部３１６の操作に応じて、画像処理装置の撮影モードや再生モード、画像データに対して各種処理を行う、また属性を付加させるといった処理モードなどの各種モードの切り換えを行い、ＣＰＵ３１１に接続されている。

画像処理装置１００の姿勢の変化を検知するための手段として、傾きの程度を検知する傾き検知部３１７と角速度を検知する角速度検知部３１８がＣＰＵ３１１内部の制御部３１９に接続されている。例えば傾き検知部３１７は重力の方向を検出するための加速度センサーを備え、制御部３１９は、加速度センサーにより検出した重力方向に基づいて、画像処理装置１００の姿勢を検出する。

また、角速度検知部３１８は例えばジャイロセンサを備え、Ｘ軸ジャイロセンサ、Ｙ軸ジャイロセンサ、およびＺ軸ジャイロセンサを備える。Ｘ軸ジャイロセンサは、ＣＣＤ３０３の撮像面の幅方向に設定された軸（以下、Ｘ軸と称する）を中心とした方向の回転動作を検出する。Ｙ軸ジャイロセンサは、ＣＣＤ３０３の撮像面の高さ方向に設定された軸（以下、Ｙ軸と称する）を中心とした方向の回転動作を検出する。また、Ｚ軸ジャイロセンサは、ＣＣＤ３０３の撮像面に垂直に設定された軸（以下、Ｚ軸と称する）を中心とした回転動作を検出する。

これらの各ジャイロセンサは、回転動作を検出した場合に、その角速度に応じた電圧値の角速度検出信号を制御部３１９に出力する。そして、制御部３１９は傾き検知部３１７の検知結果に応じた方向に、また角速度検知部３１８の検知結果に応じた速度で、表示部１０１に表示されている表示物であるサムネイル画像２０１を表示部１０１上で移動させる。

操作部３１６によりアイコン決定の操作が行われたときに、表示部１０１上でサムネイル画像２０１が設定されているアイコンに対応した処理の実施及び属性の関連付けを行い、作成された画像データを記録装置３０６に記録させる。

さらに、画像処理装置１００は撮像を指示するレリーズボタン１０８、表示ボタン１０６、再生ボタン１０３、ＯＫボタン１０５、四方向キー１０４、パワーボタン１０２、メニューボタン１０７からなる操作部３１６を有している。この操作部３１６の操作結果に応じて制御部３１９は検知結果に応じた位置に存在するアイコンに応じた処理を行う。

また、操作部３１６はアイコンを表示することを指示するためのアイコン表示指示部３２０に接続されており、操作部３１６の操作に応じてアイコン表示指示部３２０はアイコン２０２〜２０９を表示や切り替えを行う。また図１における画像処理装置１００に対して左右方向をＸ軸、上下方向をＹ軸と定義する。

図３は本願発明の第１の実施形態において、撮影モードで撮影した画像に対して画像処理装置１００の傾きの変化を角速度検知部３１８により検知し、その検知結果に応じて選択されたアイコンが示す処理を行う手順の例を示す図である。この図３に示す手順は、メモリー３２１から読み出された制御プログラムに基づいて、制御部３１９によって制御される。

また、図４は図３により示される手順を実際の装置の動きで図示したシステム図である。

以下に制御部３１９による制御の流れをステップごとに詳細に説明する。レリーズボタン１０８が半押しされることによって、図３に示される手順が開始されるものとする。

ステップＳ４０１では、レリーズボタン１０８が半押し状態となり第一のスイッチがオン状態となったことが確認される。

ステップＳ４０２では、レンズ制御部３０１によってＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＡＷＢ（オートホワイトバランス）が設定され画像処理装置１００が撮影準備状態になる。

ステップＳ４０３では、レリーズボタン１０８が全押し状態となり第ニのスイッチがオン状態となったことが確認される。

ステップＳ４０４では、レンズ３０２を透過した被写体像がＣＣＤ３０３により光電変換され、その出力が信号処理部である映像エンジン３０４により信号処理されて保存用の画像データ２１１が出力される。

ステップＳ４０５では、映像エンジン３０４により、画像データ２１１をリサイズすることで表示部１０１全画面大の大きさの画像が作成され、表示部１０１に表示される。

ステップＳ４０６では、映像エンジン３０４において画像データ２１１をリサイズしてサムネイル画像２０１が生成される。

ステップＳ４０７では、レリーズボタン１０８の第二のスイッチが一定時間以上全押し状態にあるか否かを制御部３１９が判定し、第二のスイッチが一定時間以上全押し状態でなければステップＳ４０１に戻り、撮影モードを続行する。第二のスイッチが一定時間以上全押し状態であればステップＳ４０８に進む。

ステップＳ４０８では、モード切換え部３１５において画像処理装置のモードを、画像データ２１１に画像処理行う、あるいは、画像データ２１１に属性を付加させるといった処理モードに移行する。

ステップＳ４０９では、画像データ２１１に対する処理内容を示すアイコン２０２〜２０９を表示部１０１に表示する。

ステップＳ４１０では、映像エンジン３０４により表示部１０１にサムネイル画像２０１を表示する。

ステップＳ４１１では、角速度検知部３１８によって画像処理装置１００の角速度を検知し、その検知結果が制御部３１９へ送信される。

ステップＳ４１２では、映像エンジン３０４において、画像処理装置１００が傾けられた方向にサムネイル画像２０１を動かし、サムネイル画像２０１をアイコン２０２から２０９のいずれかの位置に移動させる。例えば、画像処理装置１００の上部を奥に倒せば角速度検知部３１８によりＸ軸方向の傾きが検知されサムネイル画像２０１が表示部１０１の上方側に移動し、右部を奥に倒した場合にはＹ軸方向の傾きが検知され右方向に移動する。さらに画像処理装置１００を斜めに傾けた場合には検知された各軸の角速度を足し合わせた方向にサムネイル画像２０１を移動させる。また、サムネイル画像２０１を角速度検知部３１８で検知された方向と全く同じ方向に移動させるのではなく、アイコンの配置に合わせて、角速度検知部３１８が検知した角速度の方向に最も適するアイコンに向かって移動させてもよい。

尚、図４にはアイコンとサムネイル画像２０１が重なった際に、アイコンを前面に表示しているが、サムネイル画像２０１を前面に表示してもよい。または一方を透過させ両方を見ることが出来るように表示してもよく、それらの表示方法を任意で選択できるようにしてもよい。

ステップＳ４１３では、レリーズボタン１０８の第二のスイッチがオフ状態にあるか否かを制御部３１９が判定し、第二のスイッチがオフ状態になっていなければＳ４１１に移行し、画像処理装置１００の姿勢を検知し続ける。すなわち、第二のスイッチがオンされている間は、画像処理装置１００を傾けることで何度でもサムネイル画像２０１を表示部１０１内で移動させる方向を変更することができる。そして、第二のスイッチがオフ状態となったと判定されると、ステップＳ４１４に進む。

ステップＳ４１４では、レリーズボタン１０８の第二のスイッチがオフ状態になったときに、サムネイル画像２０１が重なっているアイコンを１つ選択し、そのアイコンに対応する処理を保存用の画像データ２１１に対して行う。例えば、サムネイル画像２０１がごみ箱アイコン２０５に重畳していたのであれば、制御部３１９の制御によりごみ箱アイコン２０５の位置に設定されているサムネイル画像２０１に対応した保存用の画像データ２１１が削除される。またサムネイル画像２０１が顔拡大表示アイコン２０７に重畳していたのであれば保存用の画像データ２１１から人物の顔を検出し、検出した顔の部分の画像データが拡大表示される。このアイコンの処理を行うことで撮影した画像に含まれる顔の詳細な表情やピント状態を確認することができる。このとき処理を行う前に画像データ２１１に対してアイコンが示す処理を本当に実行するかどうかをユーザに選択させてもよい。

ステップＳ４１５では、処理モードを終了する。

このように処理対象である画像データ２１１に対応するサムネイル画像２０１と、画像データ２１１に対する処理内容を示すアイコンとを共に表示させ、サムネイル画像２０１を画像処理装置１００の姿勢の変化に応じて移動させる。そして移動した後の位置にあるアイコンに基づき処理を行うことで、タッチパネルや装置に付随されているボタンを操作するといった煩わしい操作をすることなく、直感的な操作により画像に対して処理を行うことができる。

次に、図４のステップＳ４１３において、サムネイル画像２０１が複数のアイコン上に位置していた場合にどのように対処するかについて説明する。この場合例えばサムネイル画像２０１がアイコンと重なっている面積をそれぞれのアイコンで映像エンジン３０４の情報を基にＣＰＵ３１１によって算出し、重なっている面積がより大きいほうのアイコンに基づいた処理を行うといった方法が考えられる。その他、面積ではなくサムネイル画像２０１及びアイコンの重心間距離をＣＰＵ３１１によって算出し、重心間距離の短いアイコンが優先的に処理されるようにしてもよい。また、サムネイル画像２０１と重なっているアイコン全ての処理を行ってもよい。さらに以上説明した複数の方法を任意に切り替え使用状況に適した処理を行うことも可能である。

また、はじめからアイコンもしくはサムネイル画像２０１の大きさをアイコン表示指示部によって制御することで、サムネイル画像２０１が複数のアイコンに重ならないようにしてもよい。この場合、図５に示すようにサムネイル画像のＸ軸方向の長さをＸ軸方向のアイコンの間隔より小さく、Ｙ軸方向の長さをＹ軸方向のアイコンの間隔より小さくすることで、サムネイル画像２０１と複数のアイコンが重なるのを防ぐことが可能である。このようにアイコンの大きさを制御することで、常に一意のアイコンが選択され処理を行うことができる。

本実施形態ではレリーズボタン１０８の第二のスイッチがオフ状態にあるか否かが制御部３１９に確認されることにより、処理モードを終了し処理を行った。しかし、処理モードの開始後、サムネイル画像２０１が移動し、アイコンに重なったことが制御部３１９に確認された時点で処理モードを終了し最初に重なったアイコンが示す処理を画像データ２１１に対して行うような仕様でもかまわない。

（第２の実施形態）
次に本願発明の第２の実施形態について説明する。

第１の実施形態ではデジタルカメラを例としてデジタルカメラの姿勢の変化に応じて処理対象となる画像を移動させることで直感的な操作を可能にした。対して第２の実施形態においてはデジタルカメラの姿勢の変化に応じて処理内容示す項目を選択するためのカーソルを移動させることで直感的な操作を可能にする。第２の実施形態において本願発明に適用する画像処理装置としても、第１の実施形態と同じくデジタルカメラを使用する。尚、図１の背面図及び図２のブロック図に示した第１の実施形態としてのデジタルカメラと同じ機能を有する構成には同じ符番を付す。尚、メモリー３２１には図６の流れを示すプログラムが記録されている。

図６は本願発明に適用される画像処理装置１００において、再生モードで再生している画像に対して、角速度検知部３１８の検知結果に応じて選択されたアイコンが示す処理を行う手順を示す図である。

図７は図６により示される手順を実際の装置の動きで図示したシステム図である。図７における２１０は本実施形態におけるカーソルとしての矢印である。カーソルは第１の実施形態におけるサムネイル画像２０１と同様に表示部１０１上に表示物として表示され、傾き検知部３１７、角速度検知部３１８の検知結果を受けて制御部３１９の制御により表示部１０１上を移動する。２１４は処理内容を示す項目としての画像切替マークであり、矢印２１０によって画像切替マーク２１４が選択された場合に処理対象である画像の切り替えを行う。この図６に示す手順は、メモリー３２１から読み出された制御プログラムに基づいて、制御部３１９によって制御される。

以下に制御部３１９による制御の流れをステップごとに詳細に説明する。再生ボタン１０３が押されることによって、図６に示される手順が開始されるものとする。

ステップＳ５０１では、再生ボタン１０３が押されたことが確認される。

ステップＳ５０２では、モード切換え部３１５により画像処理装置１００のモードが再生モードに変更される。

ステップＳ５０３では、記録装置３０６に保存されている画像データ２１１をＣＰＵ３１１が読み込み、映像エンジン３０４によりリサイズされ表示部１０１に表示される。

ステップＳ５０４では、レリーズボタン１０８、或いはパワーボタン１０２が押されたことが確認された場合は再生モードを終了する。押されたボタンがレリーズボタン１０８であれば撮影モードに移行し、パワーボタン１０２であれば画像処理装置１００の電源をオフにする。レリーズボタン１０８、或いはパワーボタン１０２が押されない場合は再生モードが続行され、ステップＳ５０５に移行する。

ステップＳ５０５では、表示ボタン１０６をボタンを押されたことが確認されると、処理モードに移行する。それ以外の場合は再生モードを続行する。

ステップＳ５０６では、表示ボタン１０６の操作に対応して、アイコン表示指示部３２０が表示部１０１に画像データ２１１に対する処理内容を示すアイコン２０２〜２０９を表示させる。

ステップＳ５０７では、映像エンジン３０４が表示部１０１にサムネイル画像２０１及び矢印２１０を表示させる。尚、サムネイル画像２０１は四方向キー１０４の操作により処理対象の画像切替を行うことができる。また四方向キー１０４による操作の他、画像切替マーク２１４の位置に矢印２１０が移動した場合にも画像切替が行われる。

ステップＳ５０８では、角速度検知部３１８によって画像処理装置の角速度を検知し、検知結果が制御部３１９に送信される。

ステップＳ５０９では、映像エンジン３０４において、画像処理装置１００が傾けられた方向に矢印２１０を動かし、矢印２１０をアイコン２０２から２０９のいずれかの位置に移動させる。例えば、画像処理装置１００の上部を奥に倒せば角速度検知部３１８によりＸ軸方向の傾きが検知され矢印２１０が表示部１０１の上方側に移動し、右部を奥に倒した場合にはＹ軸方向の傾きが検知され右方向に移動する。さらに画像処理装置１００を斜めに傾けた場合には検知された各軸の角速度を足し合わせた方向に矢印２１０を移動させる。また、矢印２１０を角速度検知部３１８で検知された方向と全く同じ方向に移動させるのではなく、アイコンの配置に合わせて、角速度検知部３１８が検知した角速度の方向に最も適するアイコンに向かって移動させてもよい。

尚、図６にはアイコンと矢印２１０が重なった際に、矢印２１０を前面に表示しているが、アイコンを前面に表示する、または一方を透過させ両方を見ることが出来るように表示してもよく、またそれらの表示方法を任意で選択できるようにしてもよい。

ステップＳ５１０では、ＯＫボタン１０５が押されてオフ状態になっているか否かを制御部３１９が判定し、オフ状態なっていなければ画像処理装置１００の姿勢を検知し続ける。すなわち、ＯＫボタン１０５が押されるまでの間は画像処理装置１００を傾けることで何度でも矢印２１０を表示部１０１内で移動させる方向を変更することができる。そして、ＯＫボタンが押されたと判定されると、ステップＳ５１１に進む。

ステップＳ５１１では、ＯＫボタン１０５がオフ状態になった時に、矢印２１０が重なっているアイコンを１つ選択し、そのアイコンに対応する処理を保存用の画像データ２１１に対して行う。例えば、矢印２１０がプロテクトアイコン２０４に４重畳していたのであれば、制御部３１９の制御により表示部１０１に表示されているサムネイル画像２０１に対応した保存用の画像データ２１１に対してプロテクトがかけられる。また矢印２１０が顔優先補正アイコン２０６に重畳していたのであれば保存用の画像データ２１１から人物の顔を検出され、検出された顔の明るさや色が最適な値となるよう、画像データ２１１に対して輝度補正および色補正が行われる。このとき処理を行う前に画像データ２１１に対してアイコンが示す処理を本当に実行するかどうかをユーザに選択させてもよい。

ステップＳ５１２では、処理モードを終了する。

このように、処理対象である画像データ２１１に対応するサムネイル画像２０１と、画像データ２１１に対する処理内容を示すアイコンとを共に表示させ、矢印２１０を画像処理装置１００の姿勢の変化に応じて移動させる。そして、動かした後の位置にあるアイコンに基づき処理を行うことで、タッチパネルや装置に付随されているボタンを操作するといった煩わしい操作をすることなく、直感的な操作により画像に対して処理を行うことができる。なお、第１の実施形態ではサムネイル画像２０１が複数のアイコンに重なった場合には、重なっている面積や、重心間距離によっていずれかのアイコンを選択していたが、本実施形態では矢印２１０の先端部が重なっているアイコンを優先する仕様としても構わない。

（第３の実施形態）
次に本願発明の第３の実施形態について説明する。

第１及び第２の実施形態ではデジタルカメラを例としてデジタルカメラの角速度に応じて処理対象となる画像またはカーソルを移動させ処理を選択した。対して第３の実施形態においてはデジタルカメラの傾きの程度及び角速度の両方の変化に応じて、画像またはカーソルが移動した軌跡に存在するアイコンが示す処理を画像データに対して行う。第３の実施形態において本願発明に適用する画像処理装置としても、第１の実施形態と同じくデジタルカメラを使用する。尚、図１の背面図及び図２のブロック図に示した第１の実施形態としてのデジタルカメラと同じ機能を有する構成には同じ符番を付す。２１４は処理内容を示す項目としての画像切替マークであり、サムネイル画像２０１によって画像切替マーク２１４が選択された場合に処理対象である画像の切り替えを行う。尚、メモリー３２１には図８の流れを示すプログラムが記録されている。

図８は本願発明に適用される画像処理装置（デジタルカメラ）１００において、角速度検知部３１８と傾き検知部３１７を両方使用した場合の説明図である。図９は図８により示される手順を実際の装置の動きで図示したシステム図である。

本実施例において図１の画像処理装置１００の姿勢を正位置とし、図９の画像処理装置１００の姿勢を縦位置と称する。正位置から縦位置に画像処理装置１００を左回転で回動させた場合（図９において画像処理装置１００を正位置Ａから縦位置Ｂに回動させた操作）、傾き検知部の検出のみの場合はサムネイル画像２０１はメールアイコン２０３の位置に移動することになる。この際、角速度検知部３１８を併用し角速度を検知させ、その速度の大きさに応じて、サムネイル画像２０１をメールアイコン２０３に移動させる速度を変えることも出来る。図８に示す手順は、メモリー３２１から読み出された制御プログラムに基づいて、制御部３１９によって制御される。

以下に制御部３１９による制御の流れをステップごとに詳細に説明する。再生ボタン１０３が押されることによって、図６に示される手順が開始されるものとする。

ステップＳ６０１では、再生ボタン１０３が押されたことが確認される。

ステップＳ６０２では、モード切換え部３１５が画像処理装置１００のモ―ドを再生モード６０２に変更される。

ステップＳ６０３では、記録装置３０６に保存されている画像データ２１１をＣＰＵ３１１が読み込み、映像エンジン３０４を介して表示部１０１に表示される。

ステップＳ６０４では、レリーズボタン１０８、或いはパワーボタン１０２が押されたことが確認された場合は再生モードを終了する。押されたボタンがレリーズボタン１０８であれば撮影モードに移行し、パワーボタン１０２であれば画像処理装置１００の電源をオフにする。レリーズボタン１０８、或いはパワーボタン１０２が押されない場合は再生モードが続行され、ステップＳ６０５に移行する。

ステップＳ６０５では、表示ボタン１０６をボタンを押されたことが確認されると処理モードに移行する。それ以外の場合は再生モードを続行する。

ステップＳ６０６では、表示ボタン１０６の操作に対応してアイコン表示指示部３２０が表示部１０１に画像データ２１１に対する処理内容を示すアイコン２０２〜２０９を表示させる。

ステップＳ６０７では、表示部１０１にサムネイル画像２０１を表示する。尚、サムネイル画像２０１は四方向キー１０４の操作により処理対象の画像切替を行うことができる。また四方向キー１０４による操作の他、画像切替マーク２１４の位置にサムネイル画像２０１が移動した場合にも画像切替が行われる。

ステップＳ６０８では、傾き検知部３１７及び角速度検知部３１８がそれぞれ画像処理装置１００の傾きの程度と角速度を検知し、検知結果を制御部３１９に送信する。

ステップＳ６０９では、映像エンジン３０４において、画像処理装置１００が傾けられた方向にサムネイル画像２０１を動かし、サムネイル画像２０１をアイコン２０２から２０９のいずれかの位置に移動させる。例えば、画像処理装置１００を水平な状態から下部を奥に倒せば、角速度検知部３１８によりＸ軸方向の傾きが検知されると共に、傾き検知部３１７により重力が加わり、サムネイル画像２０１が表示部１０１の下方側に移動する。さらに、Ｙ軸方向が地面に対して垂直な状態から、Ｚ軸回りに回転させた場合、サムネイル画像２０１はその場に留まった後、傾き検知部３１７により重力が加わり表示部１０１の回転後における下方側に移動する。また、サムネイル画像２０１を角速度検知部３１８で検知された方向と全く同じ方向に移動させるのではなく、アイコンの配置に合わせて、角速度検知部３１８が検知した角速度の方向に最も適するアイコンに向かって移動させてもよい。

ステップＳ６１０では、ＯＫボタン１０５が押されてオフ状態になっているか否かを制御部３１９が判定し、オフ状態なっていなければ画像処理装置１００の姿勢を検知し続ける。すなわち、ＯＫボタン１０５が押されるまでの間は画像処理装置１００を傾けることで何度でもサムネイル画像２０１を表示部１０１内で移動させる方向を変更することができる。そして、ＯＫボタンが押されたと判定されると、ステップＳ６１１に進む。

ステップＳ６１１では、ＯＫボタンがオフ状態になったと確認されたときに、サムネイル画像２０１が重なっているアイコンを１つ選択し、そのアイコンに対応する処理を保存用の画像データ２１１に対して行う。例えば、サムネイル画像２０１がメールアイコン２０３に重畳していたのであれば、制御部３１９の制御によりごみ箱アイコン２０５の位置に設定されているサムネイル画像２０１に対応した保存用の画像データ２１１をメールで指定のアドレスに送信する。またサムネイル画像２０１がカスタム色処理アイコン２０９に重畳していたのであれば、予め設定されていた補正モードに沿って、保存用の画像データ２１１の色が補正される。補正モードとしては、例えば、赤を強めてシャープネスを弱めるポートレートモードや、緑や青を強めてシャープネスを強める風景モード、あるいは、色をモノトーンに変更するモノクロモードなどがある。このとき処理を行う前に画像データ２１１に対してアイコンが示す処理を本当に実行するかどうかをユーザに選択させてもよい。

ステップＳ６１２では、処理モード６０３を終了する。

このように処理対象である画像データ２１１に対応するサムネイル画像２０１と、画像データ２１１に対する処理内容を示すアイコンとを共に表示させ、サムネイル画像２０１を画像処理装置１００の傾きの程度と角速度、両方の変化に応じて動かす。そして、動かした後の位置にあるアイコンに基づき処理を行うことで、タッチパネルや装置に付随されているボタンを操作するといった煩わしい操作をすることなく、直感的な操作により画像に対して処理を行うことができる。

本実施形態ではサムネイル画像２０１を移動させたが、第２の実施例と同じくカーソルを処理の選択に用いてもよい。さらに、サムネイル画像２０１が複数のアイコン上に位置していた場合においても、第１及び第２の実施形態と同様に対処することが可能である。

（第４の実施形態）
次に本願発明の第４の実施形態について説明する。第１、第２及び第３の実施形態ではデジタルカメラを例としてデジタルカメラの姿勢の変化に応じて処理対象となる画像またはカーソルを移動させ１つの処理を選択した。対して第３の実施形態においてはデジタルカメラの姿勢の変化に応じて、画像またはカーソルが移動した軌跡に存在するアイコンが示す処理を画像データに対して行う。第３の実施形態において本願発明に適用する画像処理装置としても、第１の実施形態と同じくデジタルカメラを使用する。尚、図１の背面図及び図２のブロック図に示した第１の実施形態としてのデジタルカメラと同じ機能を有する構成には同じ符番を付す。尚、メモリー３２１には図１０の流れを示すプログラムが記録されている。

図１０は本願発明に適用される画像処理装置（デジタルカメラ）１００において、画像処理装置の姿勢の変化に応じて画像が移動した軌跡に基づいた処理を行った場合の説明図である。図１１は図１０により示される手順を実際の装置の動きで図示したシステム図である。この図１０に示す手順は、メモリー３２１から読み出された制御プログラムに基づいて、制御部３１９によって制御される。

以下に制御部３１９による制御の流れをステップごとに詳細に説明する。本実施形態では第１の実施形態のＳ４０８において処理モードとなった後の処理手順について説明をする。

ステップＳ７０１では、表示ボタン１０６の操作に対応してアイコン表示指示部３２０が表示部１０１にアイコン２０２〜２０９を表示させる。

ステップＳ７０２では、映像エンジン３０４が表示部１０１にサムネイル画像２０１を表示させる。

ステップＳ７０３では、画像処理装置１００の姿勢の変化が角速度検知部３１８により検知され制御部３１９に送信される。

ステップＳ７０４では、映像エンジン３０４において、画像処理装置１００が傾けられた方向にサムネイル画像２０１を動かし、サムネイル画像２０１をアイコン２０２から２０９のいずれかの位置に移動させる。例えば、画像処理装置１００の上部を奥に倒せば角速度検知部３１８によりＸ軸方向の傾きが検知されサムネイル画像２０１が表示部１０１の上方側に移動し、右部を奥に倒した場合にはＹ軸方向の傾きが検知され右方向に移動する。さらに画像処理装置１００を斜めに傾けた場合には検知された各軸の角速度を足し合わせた方向にサムネイル画像２０１を移動させる。また、サムネイル画像２０１を角速度検知部３１８で検知された方向と全く同じ方向に移動させるのではなく、アイコンの配置に合わせて、角速度検知部３１８が検知した角速度の方向に最も適するアイコンに向かって移動させてもよい。

ステップＳ７０５では、サムネイル画像２０１の移動中にアイコンと重なったかどうかが制御部３１９により判断される。重なっていると判断された場合はステップＳ７０６に移行し、重なっていない場合はステップＳ７０７に移行する。

ステップＳ７０６では、記録装置３０６にステップＳ７０５においてサムネイル画像２０１が重なったと判断されたアイコンの処理内容が記録される。

ステップＳ７０７では、レリーズボタン１０８の第二のスイッチがオフ状態にあるか否かを制御部３１９が判定する。第二のスイッチがオフ状態になっていなければステップＳ７０４に移行し、画像処理装置１００の姿勢を検知し続ける。すなわち、第２のスイッチがオンされている間は、画像処理装置１００を傾けることで何度でもサムネイル画像２０１を表示部１０１内で移動させることができる。そして、第二のスイッチがオフ状態になったと確認されるとステップＳ７０８に移行する。

ステップＳ７０８では、記録装置３０６に処理内容が記録されているかどうかが確認される。処理内容が記録されていない場合はステップＳ７１０へ移行する。処理内容が記録されていた場合はステップＳ７０９へ移行する。

ステップＳ７０９では、記録装置３０６に記録されている処理内容に基づいて、サムネイル画像２０１に対応する画像データ２１１に対して処理を行う。例えば、図１０の用にサムネイル画像が移動し、赤目補正アイコン２０８、保存アイコン２０２の処理内容が記録装置３０６に記録されている場合、保存用の画像データ２１１から検出された赤目が自然な色に補正され、補正された画像データがフォルダに保存される。このとき処理を行う前に画像データ２１１に対してアイコンが示す処理を本当に実行するかどうかをユーザに選択させてもよい。尚、サムネイル画像の移動軌跡に伴って記録される処理内容は、上記の例のように２つに限ることなく、１つ以上であればよい。

ステップＳ７１０では、処理モードを終了する。

以上の流れにより、アイコンと同一画面上に表示されているサムネイル画像２０１に対応する画像データ２１１に対して、画像処理装置１００の姿勢の変化によってサムネイル画像２０１が移動した軌跡に基づいた処理がなされる。

このように処理対象である画像データ２１１に対応するサムネイル画像２０１と、画像データ２１１に対する処理内容を示すアイコンとを共に表示させ、サムネイル画像２０１を画像処理装置１００の姿勢の変化に応じて移動させる。そして、移動の軌跡上の位置にあるアイコンに基づき処理を行うことで、タッチパネルや装置に付随されているボタンを操作するといった煩わしい操作をすることなく、直感的な操作により画像に対して複数の処理をまとめて行うことができる。

本実施形態ではサムネイル画像２０１を移動させたが、第２の実施例と同じくカーソルを処理の選択に用いてもよい。さらに、サムネイル画像２０１が複数のアイコン上に位置していた場合においても、第１及び第２の実施形態と同様に対処することが可能である。

以上の第１から第４の実施形態においては本願発明に適用する画像処理装置としてデジタルカメラを例に挙げて説明した。しかし、デジタルカメラのほか、例えばＤＶＤ再生装置（ＤＶＤデッキ、ポータブルテレビ）や、携帯情報端末（ＰＤＡ）、携帯電話等の画像再生機能を有する装置一般に適用することができる。また、サムネイル画像２０１及び矢印２１０の移動は画像処理装置１００の姿勢の変化に対応して行われたが、さらに、四方向キー１０４を操作することにより移動ができ、その移動結果に基づいて画像データ２１１に対する処理が選択されるようにしてもよい。

また本願発明のその他の実施形態として、処理内容を示す項目を表示しの選択を行う部分と選択された処理を実行する部分が分離されていてもよい。例えばアイコンを表示する表示部と傾き検知部及び角速度検知部といった姿勢の変化を検知する機能が画像処理装置とは別体の可搬装置内にあり、可搬装置で選択された処理を画像処理装置において行うといった構成が考えられる。その場合、可搬装置の姿勢の変化の検知または可搬装置の操作部の操作によって画像データ２１１に対する処理内容を示す項目の選択を行う。そして可搬装置において選択された情報が画像処理装置へ送信され、制御部の制御により画像処理装置において画像データ２１１に対して可搬装置で選択された処理が行われる。

また、前述の実施例において、プログラムで発明を実現する例を示したが、プログラムで実現する機能の一部又は全部をハードウエアに置き換えることも容易に考えられる。

本願発明に適用される画像処理装置の背面図 本願発明に適用される画像処理装置のブロック図 本願発明の第１の実施形態に適用される画像処理装置の処理手順を示す図 本願発明の第１の実施形態に適用される画像処理装置の処理手順のシステム図 サムネイル画像の大きさを複数のアイコンと重ならないように制御した図 本願発明の第２の実施形態に適用される画像処理装置の処理手順を示す図 本願発明の第２の実施形態に適用される画像処理装置の処理手順のシステム図 本願発明の第３の実施形態に適用される画像処理装置の処理手順を示す図 本願発明の第３の実施形態に適用される画像処理装置の処理手順のシステム図 本願発明の第４の実施形態に適用される画像処理装置の処理手順を示す図 本願発明の第４の実施形態に適用される画像処理装置の処理手順のシステム図

符号の説明

１００ 画像処理装置
１０１ 表示部
２０１ サムネイル画像
２０２ 保存アイコン
２０３ メールアイコン
２０４ プロテクトアイコン
２０５ ごみ箱アイコン
２０６ 顔優先補正アイコン
２０７ 顔拡大表示アイコン
２０８ 赤目補正アイコン
２０９ カスタム色処理アイコン
２１１ 画像データ
３０４ 映像エンジン
３０６ 記録装置
３１１ ＣＰＵ
３１７ 傾き検知部
３１８ 角速度検知部
３１９ 制御部
３２０ アイコン表示指示部
３２１ メモリー

Claims (22)

1. 画像を表示する画像処理装置において、
   画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを表示する表示手段と、
   該画像処理装置の姿勢の変化を検知する検知手段と、
   前記項目の示す処理内容を前記画像データに対して行う処理手段と、
   前記検知手段の検知結果に応じて前記画像に対応する前記画像データに対して前記項目が示す処理を行うよう処理手段を制御する制御手段とを有することを特徴とする画像処理装置。
2. 前記表示手段により表示されている表示物を移動させる移動手段を有し、
   前記移動手段は前記検知手段の検知結果に応じて前記表示手段に表示された前記表示物を画面上で移動させ、
   前記制御手段は、前記移動手段によって移動した前記表示物の位置に存在する前記項目の示す処理内容に基づいて前記画像データに対して処理を行うよう前記処理手段を制御することを特徴とする請求項１に記載の画像処理装置。
3. 画像を表示する画像処理装置において、
   画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを表示する表示手段と、
   前記表示手段により表示されている表示物を移動させる移動手段と、
   該画像処理装置の姿勢の変化を検知する検知手段と、
   前記項目の示す処理内容を前記画像データに対して行う処理手段と、
   前記移動手段の移動結果及び前記検知手段の検知結果のうち少なくとも１つ以上の結果に応じて前記画像に対応する前記画像データに対して前記項目が示す処理を行うよう前記処理手段を制御する制御手段とを有することを特徴とする画像処理装置。
4. 前記表示手段と、前記検知手段とが、前記画像処理装置とは別体の可搬装置内にあることを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
5. 前記移動手段により移動される表示物は前記画像であることを特徴とする請求項２ないし４のいずれか一項に記載の画像処理装置。
6. 前記表示手段はさらに前記項目を選択するためのカーソルを表示し、前記移動手段により移動される表示物は前記カーソルであることを特徴とする請求項２ないし４のいずれか一項に記載の画像処理装置。
7. 前記制御手段は、前記移動手段により移動した前記表示物が最初に重なった前記項目の示す処理を前記画像データに対して行うよう前記処理手段を制御することを特徴とする請求項２ないし６のいずれか一項に記載の画像処理装置。
8. 前記制御手段は、前記移動手段により移動した前記表示物の軌跡上に複数の前記項目が存在する場合に、前記画像データに対して前記複数の項目の示す処理を行うよう前記処理手段を制御することを特徴とする請求項２ないし６のいずれか一項に記載の画像処理装置。
9. 前記表示手段が表示する前記表示物が２つ以上の前記項目に重ならない大きさであることを特徴とする請求項２ないし８のいずれか一項に記載の画像処理装置。
10. 前記移動手段により移動した前記表示物が少なくとも２つ以上の前記項目と重なった位置に存在する場合、前記画像データに対していずれの前記項目の示す処理を行うかを判断する判断手段を有することを特徴とする請求項２ないし８のいずれか一項に記載の画像処理装置。
11. 前記表示手段により表示されている処理対象である前記画像を切り替える画像切替手段を有することを特徴とする請求項１ないし１０のいずれか一項に記載の画像処理装置。
12. 被写体を撮像する撮像手段と、
    前記撮像手段により撮像された前記画像データを記録する記録手段とを有する事を特徴とする請求項１ないし１１のいずれか一項に記載の画像処理装置。
13. 前記記録手段により記録された前記画像データを再生する再生モードを持ち、
    前記再生モードにおいて前記画像データに基づく前記画像を前記項目による処理対象として表示することを特徴とする請求項１２に記載の画像処理装置。
14. 該画像処理装置を操作するための操作手段を有し、
    前記制御手段は前記操作手段の操作に応じて前記処理手段を制御することを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記撮像手段により撮像を行う撮影モード及び前記項目が示す処理を前記画像データに対して行う処理モードを有し、
    前記撮影モードにおいて撮像を行った後に前記操作手段の操作により前記処理モードに移行することを特徴とする請求項１４に記載の画像処理装置。
16. 前記操作手段は撮像を行うための半押し及び全押しの２段スイッチからなるレリーズボタンであり、
    前記レリーズボタンの状態により前記制御手段による制御を行うことを特徴とする請求項１４または１５に記載の画像処理装置。
17. 前記撮影モードにおいて撮像を行った後に前記レリーズボタンが一定時間以上全押し状態である場合は前記処理モードに移行することを特徴とする請求項１６に記載の画像処理装置。
18. 前記項目が示す処理は前記画像データの削除であることを特徴とする請求項１ないし１７のいずれか一項に記載の画像処理装置。
19. 前記項目はアイコンであることを特徴とする請求項１ないし１８のいずれか一項に記載の画像処理装置。
20. 前記検知手段の検知する前記姿勢の変化には該画像処理装置の傾きの程度及び角速度のうち少なくとも１つ以上を含むことを特徴とする請求項１ないし１９のいずれかに一項に記載の画像処理装置。
21. 画像を表示する画像処理装置の画像処理方法において、
    画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを表示する表示ステップと、
    該画像処理装置の姿勢の変化を検知する検知ステップと、
    前記検知ステップでの検知結果に応じて前記画像に対応する前記画像データに対して前記項目が示す処理を行う処理ステップとを有することを特徴とする画像処理方法。
22. 画像を表示する画像処理装置の画像処理方法において、
    画像データを基に生成された前記画像と前記画像データに対する処理内容を示した項目とを表示する表示ステップと、
    前記表示ステップで表示されている表示物を移動させる移動ステップと、
    該画像処理装置の姿勢の変化を検知する検知ステップと、
    前記移動ステップでの移動結果及び前記検知ステップでの検知結果のうち少なくとも１つ以上の結果に応じて前記画像に対応する前記画像データに対して前記項目が示す処理を行う処理ステップとを有することを特徴とする画像処理方法。

Images