JP2017135544A - 撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】適切なタイミングで画像を撮影できる撮像装置を提供する。【解決手段】表示手段と撮像手段を備えた撮像装置であって、表示手段の起動中に、撮像装置の状態に基づいて、撮像装置が撮影可能な状態か否かを判定する撮影判定部２０３と、撮影判定部による判定結果に基づいて、撮像手段による撮影を行うか否かを制御する撮影制御部２０２とを有する。撮影判定部は、撮像装置の状態に係る判定条件と、撮像装置の状態との比較結果に基づいて、撮影可能な状態か否かを判定する。【選択図】図２

Description

本発明は、画像の撮像を制御する撮像装置、制御方法及びプログラムに関する。

従来、スマートフォンやタブレット等のデバイスを用いて、日常のユーザの行動データを記録することが行われており、ライフログ等と呼ばれている。スマートフォン等のデバイスはＧＰＳ、加速度センサ、ジャイロセンサ等の様々なセンサを備えており、常時ユーザに携帯される。こうした特性から、ライフログを記録するためのデバイスとして活用されている。例えば、加速度センサ等を用いて１日の歩数を記録して、健康管理に役立てること等が行われている。

インカメラを用いてデバイスの所有者の顔を日常的にロギングする場合には、インカメラでの撮像を制御する必要がある。特許文献１には、撮像装置の撮像を制御する処理として、異常音が発生したときだけ、その異常音の発生位置に向けて、カメラをパンチルトして撮影する技術が開示されている。特許文献１の技術は、主に監視カメラを想定した技術である。監視カメラを用いたシステムでは、通常、監視カメラにて撮影した画像がテープ等の記録媒体に記録されるが、このような記録を常時行っていたのでは、膨大な量の記録媒体が必要となり、また、消費電力も多くなる。そこで、異常音の発生したときに、その周辺のみを撮影することで、記憶量を減らすことを行っている。また、特許文献２には、スマートフォン等のデバイスのロック解除の方法として、デバイスの起動と同時にインカメラを起動して、所有者であることを顔で認証する技術が開示されている。

特開２００６−９４２５１号公報 特表２０１４−５３５０９０号公報

インカメラを用いてデバイスの所有者の顔を日常的にロギングする場合、特許文献２のように、ディスプレイの起動に連動して、インカメラでの撮影を制御することが考えられる。しかし、ディスプレイが起動していても、顔が画角内に入らないことがある。そのため、顔が画角外にあるとき、無駄な撮影を行うことになる。加えて、カメラの起動に伴い無駄な電力の消費も発生する。また、特許文献１では、異常音を用いることで、撮影や電力の無駄を減らしている。しかし、異常音を用いることは、日常的な顔の撮影には適していない。

本発明はこのような問題点に鑑みなされたもので、適切なタイミングで画像を撮影することを目的とする。

そこで、本発明は、表示手段と撮像手段を備えた撮像装置であって、前記表示手段の起動中に、前記撮像装置の状態に基づいて、前記撮像装置が撮影可能な状態か否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮像手段による撮影を行うか否かを制御する撮像制御手段とを有することを特徴とする。

本発明によれば、適切なタイミングで画像を撮影することができる。

撮像装置を示す図である。 撮像装置を示す図である。 判定条件の説明図である。 撮像制御処理を示すフローチャートである。 判定結果の一例を示す図である。 第２の実施形態に係る撮像装置を示す図である。 判定条件学習処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１（ａ）、（ｂ）は、本実施形態に係る撮像装置１００の外観図である。図１（ａ）は撮像装置１００の表面を表しており、図１（ｂ）はその反対の裏面を表している。タッチパネル１０１は、データの表示と、その画面上を指等でタッチする操作とを行う手段である。本実施形態においては、表示と操作入力のための手段がタッチパネル１０１としてまとめられているが、ディスプレイと操作入力ボタン等のように、表示と操作入力の手段を分けてもよい。インカメラ１０２は、タッチパネル１０１を閲覧するユーザを撮影する撮像手段である。メインカメラ１０３は、インカメラ１０２と反対側を撮影するための撮像手段である。切替ボタン１０４は、タッチパネル１０１の画面の点灯と消灯の切り替えの指示を受け付けるためのボタンである。受話部１０５は、通話を行う際に受信した音声を出力するスピーカーである。送話部１０６は、通話を行う際に相手側に送る音声を入力するマイクである。明るさセンサ１０７は、周囲の環境光を得るためのセンサである。

図１（ｃ）は、撮像装置１００のハードウェア構成を示す図である。図１（ｃ）において、ＣＰＵ１１１は撮像装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。ＲＯＭ１１２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙである。ＲＡＭ１１３は、外部装置等から供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。外部記憶部１１４は、撮像装置１００に固定して設置されたハードディスクやメモリカード等の記憶装置である。なお、外部記憶部１１４は、撮像装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含んでもよい。なお、後述する撮像装置１００の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又は外部記憶部１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

操作入力部１１５は、ユーザの操作を受ける。具体的には、操作入力部１１５は、タッチパネル１０１からの入力や、切替ボタン１０４からの入力を受け付ける。表示部１１６は、ユーザに対するデータ等の表示を行う。具体的には、表示部１１６は、タッチパネル１０１への出力等を行う。表示部１１６はまた、タッチパネル１０１を点灯と消灯の切り替えの制御も行う。背面撮像部１１７は、メインカメラ１０３での撮影を制御する。内面撮像部１１８は、インカメラ１０２での撮影を制御する。音声出力部１１９は、受話部１０５で出力する音声を出力する。音声入力部１２０は、送話部１０６から入力される音声を入力する。通信部１２１は、移動体通信網等の通信回線との接続を行う。計時部１２２は、日時を計測する。

センサ部１２３は、各種センサからの出力を得る。例えば、センサとしては環境光を得る明るさセンサ１０７以外にも次のようなものがある。すなわち、位置情報を得るＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度を得る加速度センサ、角速度を得るジャイロセンサ、地磁気の方向を得る地磁気センサ、環境の温度を得る温度センサ等がある。これらのセンサの出力は予め合成したセンサ値にされていてもよい。例えば、重力方向に対するデバイスの傾きは加速度と角速度の２つを合成して求めることが考えられる。システムバス１２４は１１１〜１２３の各ユニットを通信可能に接続する伝送路である。

撮像装置１００の外部記憶部１１４やＲＯＭ１１２には、アプリケーションソフトウェアが格納されており、撮像装置１００ではアプリケーションを起動して使用することができる。加えて、撮像装置１００は操作入力が一定時間ないときに、タッチパネル１０１を自動的に消灯する。また、通話の着信やアラーム等によってタッチパネル１０１を自動的に点灯するように構成してもよい。

図２は、撮像装置１００のソフトウェア構成を示す図である。本実施形態においては、ユーザが、撮像装置１００を用いて、自身の顔を日常的に撮影する場合を例に、撮像装置１００の処理について説明する。撮像装置１００は、タッチパネル１０１が点灯しており、かつ顔がインカメラ１０２に映る可能性が高いと判定されるとき、インカメラ１０２によって撮像を行えるように撮像制御を行う。

表示起動判定部２０１は、表示部１１６によってタッチパネル１０１が点灯しているか否かを判定する。タッチパネル１０１が点灯していれば起動していると判定し、消灯していれば停止していると判定する。なお他の例としては、ユーザ操作によって点灯されたときのみ起動と判定するように構成してもよい。例えば、切替ボタン１０４により点灯されたときは起動と判定するが、着信等による撮像装置１００の自動的な点灯のときは停止と判定する。このように、ユーザの起動と停止の意図を判定するように判断するように構成してもよい。起動と停止はタッチパネル１０１の点灯と消灯に必ずしも連動する必要はない。

撮影制御部２０２は、後述する撮影判定部２０３の判定結果に基づいて、撮影を行うか否かを制御する。具体的には、撮影制御部２０２は、撮影可能な状態（開始）と判定されているときに、撮影要求があれば撮影を行うよう制御する。一方で、撮影制御部２０２は、撮影できない状態（停止）と判定されているときは、撮影要求を拒否し、撮影を行わないよう制御する。撮影要求の発行は後述するロギング制御部２２０が行う。なお、他の例としては、撮影制御部２０２は、撮影判定部２０３により撮影可能な状態（開始）と判定されている場合には、定期的に撮影を行うように制御することとしてもよい。

撮影判定部２０３は、撮影可能な状態にあるか否かを判定する。具体的には、起動アプリ判定部２０４、姿勢判定部２０５、動き判定部２０６及び蓄積データ判定部２０７による判定結果を用いて、撮影可能な状態か否かを判定する。

起動アプリ判定部２０４は、撮像装置１００で起動しているアプリケーションの種類に基づいて、顔を撮影可能な状態にあるか否かを判定する。ユーザがタッチパネル１０１を見ながらアプリケーションを使用している場合、ユーザの顔はインカメラ１０２の撮影範囲に含まれる可能性が高い。そこで、ユーザがタッチパネル１０１を見ながら利用することの多いアプリケーションを撮像装置１００において予め登録しておく。そして、起動アプリ判定部２０４は、そのアプリケーションが起動しているか否かに基づいて、顔を撮影可能な状態にあるか否かを判定する。

起動アプリ判定部２０４は、例えば、図３（ａ）に示すようなアプリケーションリストを判定条件として参照する。起動アプリ判定部２０４は、図３（ａ）の１行目に従い、通話アプリケーションが起動しているときは、撮像できない状態（停止）であると判定する。これは、通話アプリケーションの起動中は、撮像装置１００はユーザの耳元にあてられており、インカメラ１０２からはユーザの顔を撮影することができないためである。

また、起動アプリ判定部２０４は、図３（ａ）の２行目及び３行目に従い、ブラウザやビデオプレイヤーのアプリケーションが起動しているときは、撮影可能な状態（開始）であると判定する。これは、ブラウザやビデオプレイヤー等のアプリケーションは、起動中は画面を見ている可能性が高く、インカメラ１０２からユーザの顔を撮影できる可能性が高いためである。このように、起動アプリ判定部２０４は、アプリケーションリストを判定条件とし、判定条件と、実際に起動中のアプリケーションの種類との比較結果に基づいて、撮影可能な状態か否かを判定する。

なお、撮像装置１００において起動するアプリケーションが多い場合には、すべてのアプリケーションをアプリケーションリストに登録しておくことは難しい。そこで、本実施形態においては、起動アプリ判定部２０４は、アプリケーションリストに登録されていないアプリケーションについては、操作頻度に基づいて、撮影可能な状態（開始）か否かを判定する。アプリケーションを高頻度で操作している場合、ユーザはタッチパネル１０１を凝視している可能性が高い。そこで、起動アプリ判定部２０４は、アプリケーションの操作頻度が閾値以上の場合には、撮影可能な状態（開始）と判定し、閾値未満の場合には、撮影できない状態（停止）と判定することとする。

起動アプリ判定部２０４は、図３（ｂ）に示すようにアプリケーションの操作頻度を求める。そして、起動アプリ判定部２０４は、閾値以上の操作頻度であるときに、撮影可能な状態（開始）であると判断する。例えば、３０回／分の操作頻度を閾値とした場合、図３（ｂ）の例では、シューティングゲームの起動中及びメモ帳の起動中に、撮影可能な状態（開始）と判定される。一方、音楽プレイヤーの起動中は、撮影できない状態（停止）と判定される。このように、起動アプリ判定部２０４は、判定条件として予め設定された閾値と、実際に得られた操作頻度との比較結果に基づいて、撮影可能な状態か否かを判定する。

起動アプリ判定部２０４は、アプリケーション毎に記録した操作履歴を用いて、図３（ｂ）に示すようなアプリケーション毎の操作頻度を生成する。具体的には、起動アプリ判定部２０４は、アプリケーションの起動時間と、タッチパネル１０１のタッチパネルでアプリケーションにタッチ入力を行った回数を記録しておく。そして、起動アプリ判定部２０４は、アプリケーションの操作回数を起動時間で割ることで操作頻度を求める。

さらに、起動アプリ判定部２０４は、操作の内容も記録しておき、操作内容を判定して操作頻度を求めてもよい。例えば、キーボード入力等は画面を見ている可能性が高い。そこで、このような場合には、起動アプリ判定部２０４は、通常の操作よりも重みをつけてもよい。起動アプリ判定部２０４は、図３（ｂ）に示すアプリケーション毎の操作頻度を、定期的に生成してもよく、また他の例としては、判定時に生成してもよい。なお、生成タイミングは、実施形態に限定されるものではない。

姿勢判定部２０５は、撮像装置１００の姿勢に基づいて、顔を撮影可能な状態か否かを判定する。具体的には、センサ部１２３から得られる重力方向に対する角度が、予め定められた範囲内の値の場合に、撮影可能な状態（開始）と判定する。動き判定部２０６は、例えば、図３（ｃ）に示すように、姿勢が４０度〜５０度の姿勢範囲内の値の場合に、撮影可能な状態（開始）と判定し、姿勢が姿勢範囲外の値の場合に、撮影できない状態（停止）と判定する。このように、姿勢判定部２０５は、判定条件として予め設定された姿勢範囲と、実際に得られた姿勢との比較結果に基づいて、撮影可能な状態か否かを判定する。

タッチパネル１０１が起動していても、撮像装置１００が、ユーザの胸ポケットに収容された状態や、机の上に置かれた状態では、ユーザの顔を撮影できる可能性は低い。また、これらの状態における姿勢と、ユーザが撮像装置１００を保持してタッチパネル１０１を見ている場合の姿勢とには差がある。加えて、ユーザが撮像装置１００を保持してタッチパネル１０１を見ているときの姿勢は、ある程度の同じであると考えられる。そのため、姿勢に基づいて撮影可能な状態であるか否かを決定することは有効であると考えらえられる。なお、撮像装置１００の姿勢として、重力方向以外の回転軸を用いてもよい。また、姿勢として、角度に加えて、地面や床からの高さを用いてもよい。姿勢は重力方向に対する角度に限定されるものではない。

動き判定部２０６は、撮像装置１００の動きの安定性に基づいて、撮影可能な状態か否かを判定する。具体的には、動き判定部２０６は、センサ部１２３から得られる加速度や角速度を用いて、これらの計測値が予め定められた動き範囲内の値の場合に撮影可能な状態と判定し、動き範囲外の値の場合に撮影できない状態と判定する。このように、動き判定部２０６は、判定条件として予め設定された動き範囲と、実際に得られた動きとの比較結果に基づいて、撮影可能な状態か否かを判定する。

図３（ｄ）は、動き範囲の一例を示す図である。１行目は加速度の安定性の条件としての動き範囲を表している。なお、加速度は重力方向の成分を除いたときの値として記述されている。２行目は角速度の安定性の条件としての動き範囲を表している。撮像装置１００の動きが大きいときは、撮影を行ってもぶれた画像になってしまう。そこで、動きが安定的でないときは、撮像を停止することを行うことで、無駄な撮影を行わないようにしている。

蓄積データ判定部２０７は、例えば外部記憶部１１４等の記憶部に蓄積されている顔画像のデータ量に基づいて、撮影可能な状態か否かを判定する。具体的には、蓄積データ判定部２０７は、図３（ｅ）に示すように、保有データ数を画像データのメタデータ毎に分類して記憶部に記録しておく。そして、蓄積データ判定部２０７は、十分なデータ量、すなわち閾値以上の枚数の撮影画像が蓄積されている場合には、同じメタデータになる状況では撮影を行わない（停止）と判定する。すなわち、蓄積データ判定部２０７は、判定条件として予め定められた撮影画像の枚数閾値と、実際に蓄積されている撮影枚数との比較結果に基づいて、撮影可能な状態か否かを判定する。これによって、ある条件下で、十分なデータ量をロギングできたとき、それ以上のデータ取得を行わないように制御することができる。

例えば、データ保有数が８０以上であるとき、蓄積データ判定部２０７は、同じメタデータになる状況では撮影を行わない（停止）とする。図３（ｅ）では１行目と２行目が該当するため、天気が晴れで場所が屋内か屋外の場合においては、撮影を行わないと判定される。

また、他の例としては、蓄積データ判定部２０７は、メタデータ毎のデータ量のバランスに基づいて、撮影可能な状態か否かを判定してもよい。具体的には、蓄積データ判定部２０７は、予め定めたバランスから大きく外れるとき、保有枚数が多い状況での撮影を行わない（停止）とする。これによって、保有枚数が偏りを防ぐことができる。

図３（ｅ）は、画像データのメタデータとして天気・場所によって画像データの保有数を分類して記録した場合の例を示す図である。蓄積データ判定部２０７は、これらのメタデータを、撮影時のセンサ部１２３や計時部１２２から得られる情報を用いて決定する。場所については、位置情報からビル等を参照できるデータベース（ＤＢ）を用意する。そして、蓄積データ判定部２０７は、このＤＢを参照し、ビル内に位置する場合に、屋内と判定する。また、蓄積データ判定部２０７は、環境光を用いて、太陽光下か否かに基づいて、屋内か屋外かを判定してもよい。また、天気については、位置と時刻から天気を特定参照できるＤＢを用意する。そして、蓄積データ判定部２０７は、このＤＢを参照して、天気を特定する。なお、これらのＤＢは、外部記憶部１１４が保持してもよく、また、他の例としては、撮像装置１００の外部に用意し、通信部１２１を介してアクセスするようにしてもよい。

ロギング制御部２２０は、ユーザの顔を撮影するタイミングを制御して、撮影要求を発行する。撮影要求は撮影制御部２０２によって処理される。具体的には、撮影制御部２０２が撮影を行える状態であるときは、撮影要求に従った撮影が行われる。しかし、撮影を行わない状態であるときは、撮影要求は拒否され撮影は行われない。ロギング制御部２２０が撮影要求を発行するタイミングとしては、タッチパネル１０１が点灯したとき、アプリケーションが起動したとき等をトリガーとしたタイミングがある。また、タッチパネル１０１が点灯している間は一定間隔で撮影することも考えられる。また、撮影要求には撮影時間も含まれる。撮影時間としては画像を１枚撮影することもあれば、一定時間の動画を撮影することも考えられる。

これら撮影タイミングや撮影時間はログの利用目的によって変わってくる。例えば、日常の心拍数をロギングすることで健康に役立てることが考えられる。心拍数は顔を１０秒程度撮影することによって、計測することができる。そのため、撮影時間としては１０秒程度の動画を撮影することになる。あるいは、アプリケーションに対するユーザのリアクションを表情として計測することも考えられる。ゲーム中のユーザの表情変化をとることで、ゲームに対する感情等を分析することができる。このとき、撮影タイミングとしてはアプリケーションが起動しているときに定期的に計測することや、操作等をタイミングとして取得していくことが考えられる。表情認識には１枚の画像があれば十分なので、各撮影のタイミングで１枚の画像を撮影していくことになる。撮影タイミングと撮影時間は、実施形態に限定されるものではない。データ蓄積部２２１は、ロギング制御部２２０によって取得された顔画像データやアプリケーションの操作履歴を蓄積する。具体的には、外部記憶部１１４に蓄積する。

図４は、撮像装置１００による撮像制御処理を示すフローチャートである。撮像制御処理の開始タイミングはいくつかある。タッチパネル１０１が点灯や消灯したとき、アプリケーションが起動したとき、ロギング制御部２２０によって撮影要求が発生したとき等である。また、他の例としては、撮像制御処理は、定期的に実行されるものとしてもよい。撮像制御処理の開始タイミングは、実施形態に限定されるものではない。

Ｓ４０１において、表示起動判定部２０１は、タッチパネル１０１が起動したか否かを判定する。表示起動判定部２０１は、起動している場合には（Ｓ４０１で起動）、処理をＳ４０２へ進める。表示起動判定部２０１は、起動していない場合には（Ｓ４０１で停止）、処理をＳ４０４へ進める。

Ｓ４０２において、撮影判定部２０３は、撮影可能な状態か否かを判定する。前述の通り、撮影判定部２０３は、起動アプリ判定部２０４、姿勢判定部２０５、動き判定部２０６及び蓄積データ判定部２０７それぞれの判定結果を総合して最終的な判定を行う。例えば、図５に示すような判定結果が得られたとする。なお、図５の１列目は判定部を示している。２列目は、判定条件の概要を示している。３列目は、判定条件に一致したときの判定内容を示している。４列目は、各判定部によって２列目の条件に一致したか否かの判定結果を示している。図５の例では、２行目と８行目において、判定条件に一致したという結果が出ている。この場合、撮影判定部２０３は、この２つの結果を用いて、最終的な判定結果とする。具体的には、撮影判定部２０３は、判定条件に予め優先度を関連付けておき、優先度の高い判定結果を採用する。図５の例では、優先度の高い条件が上側に記載されている。したがって、図５の例では、撮影判定部２０３は、２行目の判定結果「停止」を採用し、撮影できない状態と判定することとなる。

なお、撮影判定部２０３が参照する、起動中のアプリケーションの種類、起動中のアプリケーションの操作頻度、撮像装置１００の姿勢や動き、撮影画像の蓄積量は、いずれも撮像装置１００の状態を示す状態情報の一例である。また、Ｓ４０２の処理は、撮像装置１００の状態に基づいて、撮像可能な状態か否かを判定する判定処理の一例である。

図４に戻り、Ｓ４０２において、撮影判定部２０３は、撮影可能な状態（開始）と判定した場合には（Ｓ４０２で開始）、処理をＳ４０３へ進める。撮影判定部２０３は、撮影できない状態（停止）と判定した場合には（Ｓ４０２で停止）、処理をＳ４０４へ進める。撮影判定部２０３は、いずれの判定部も適合する条件がない場合は、継続と判定し（Ｓ４０２で継続）、撮像制御処理を終了する。

Ｓ４０３において、撮影制御部２０２は、撮影開始状態にする。撮影開始状態とは、撮影を行える状態である。撮影開始状態において、ロギング制御部２２０から撮影要求が出されると、撮影制御部２０２は、撮影を行うようインカメラ１０２を制御する。そして、インカメラ１０２は、撮影制御部２０２の制御に従い、撮影を行う。Ｓ４０４において、撮影制御部２０２は、撮影停止状態撮影を行わない状態にする。撮影停止状態とは、撮影を行わない状態である。この状態においては、ロギング制御部２２０から撮影要求が出されても、撮影制御部２０２は、撮影を行わないようインカメラ１０２を制御する。したがって、インカメラ１０２による撮影は行われない。なお、Ｓ４０３及びＳ４０４の処理は、判定結果に基づいて、撮影を行うか否かを制御する撮像制御処理の一例である。

以上のように、撮像装置１００の撮影制御部２０２は、撮影可能な状態か否かに従い、インカメラ１０２による撮影を行うか否かを制御する。このため、ロギング制御部２２０により撮影要求が出された場合であっても、撮影できない状態においては撮影が抑制される。したがって、顔が映らない場合等の無駄な撮影を減らすことができる。このように、撮像装置１００は、適切なタイミングで画像を撮影することができる。

第１の実施形態の変更例としては、撮影制御部２０２は、撮影可能な状態（開始）と判定された場合には、内面撮像部１１８を起動するよう制御し、撮影できない状態（停止）と判定された場合には、内面撮像部１１８を停止するよう制御してもよい。これによって、必要なときのみ内面撮像部１１８を起動するため、電力消費を抑えることができる。

（第２の実施形態）
第２の実施形態に係る撮像装置１００は、学習により姿勢の判定条件を決定し、決定した判定条件を用いた判定を行う。この点で、姿勢の判定条件が予め設定されている、第１の実施形態に係る撮像装置１００と異なっている。以下、第２の実施形態に係る撮像装置１００について、第１の実施形態に係る撮像装置１００と異なる点について説明する。

ディスプレイをみるときの撮像装置の姿勢はユーザによって個人差があると考えられる。そのため、姿勢の判定条件は利用する過程で獲得されることが望ましい。しかし、試行錯誤的にインカメラ１０２を起動して、顔が映る姿勢を学習することとした場合、インカメラ１０２の起動に伴う電力消費が大きくなってしまう。そこで、本実施形態の撮像装置１００は、操作頻度の高いアプリケーションを特定し、操作頻度の高いアプリの起動時の撮像装置１００の姿勢から、姿勢判定部２０５で用いる姿勢の判定条件（姿勢範囲）を決定する。

図６は、第２の実施形態に係る撮像装置１００のソフトウェア構成を示す図である。第２の実施形態に係る撮像装置１００は、第１の実施形態に係る撮像装置１００の構成に加えて、学習部２０８を有している。学習部２０８は、操作頻度が閾値以上のアプリケーションの起動時の、撮像装置１００の姿勢から、姿勢判定部２０５において用いる姿勢の判定条件（姿勢範囲）を決定する。具体的には、学習部２０８は、センサ部１２３から重力方向に対する角度を得て、これを姿勢としてアプリケーション毎に定期的に記録する。そして、学習部２０８は、姿勢の平均と分散を求め、「平均から分散を引いた値」から「分散に分散を加算した値」の範囲を、撮影可能な状態と判定する姿勢範囲として推定する。

なお、他の例としては、学習部２０８は、混合正規分布等を当てはめて、所定の確率値以上の範囲を姿勢範囲として推定してもよい。また、他の例としては、学習部２０８は、ヒストグラムを作成して、所定の度数以上を有する範囲を姿勢範囲として抽出してもよい。なお、アプリケーション毎の姿勢の記録方法や、記録された姿勢から姿勢条件を獲得する方法は、これらに限定されるものではない。以下、姿勢の記録から推定された姿勢範囲を推定姿勢範囲と称する。

さらに、本実施形態においては、学習部２０８は、撮影画像に基づいて、姿勢の記録から得られた推定姿勢範囲を修正することにより、姿勢範囲を決定する。撮影画像を参照することにより、得られた姿勢において、顔が映るか否かを検証することができるためである。学習部２０８は、推定姿勢範囲内の小範囲毎に、小範囲内の姿勢で撮影された撮影画像群において顔が映る数と映らない数を数え上げ、顔が映る割合を算出する。そして、学習部２０８は、この割合が閾値以下の場合には、この小範囲を、推定姿勢範囲から除外する。加えて、学習部２０８は、小範囲内で撮影された撮影画像の数が所定以下の場合も、この小範囲を、推定姿勢範囲から除外する。また、学習部２０８は、撮影画像から、所定の頻度以上の割合で顔が映らない姿勢があるときは、その範囲を推定姿勢範囲から除外する。なお、撮影画像を用いた推定姿勢範囲の修正方法は実施形態に限定されるものではない。

図７は、第２の実施形態に係る撮像装置１００による、判定条件学習処理を示すフローチャートである。なお、学習部２０８は、本処理の開始時に、撮像装置１００において起動するアプリケーション毎の操作頻度を得ておくものとする。Ｓ７０１において、学習部２０８は、撮像装置１００のすべてのアプリケーションを処理したか否かを判定する。学習部２０８は、未処理のアプリケーションがある場合には（Ｓ７０１でＹＥＳ）、処理をＳ７０２へ進める。学習部２０８は、すべてのアプリケーションの処理を完了した場合には（Ｓ７０１でＮＯ）、判定条件学習処理を終了する。

Ｓ７０２において、学習部２０８は、未処理のアプリケーションを処理対象として一つ選択する。次に、Ｓ７０３において、学習部２０８は、Ｓ７０２で選択した処理対象のアプリケーションの操作頻度が、閾値以上が否かを判定する。学習部２０８は、操作頻度が閾値以上の場合には（Ｓ７０３でＹＥＳ）、処理をＳ７０４へ進める。学習部２０８は、操作頻度が閾値未満の場合には（Ｓ７０３でＮＯ）、処理をＳ７０１へ進める。本処理により、撮影頻度が閾値以上のアプリケーションのみが学習の対象となる。ここで、Ｓ７０３の処理は、操作頻度に基づいてアプリケーションを選択する選択処理の一例である。

Ｓ７０４において、学習部２０８は、処理対象のアプリケーションの起動時の姿勢の記録が閾値以上存在するか否かを判定する。学習部２０８は、姿勢の記録が閾値以上存在する場合には（Ｓ７０４でＹＥＳ）、処理をＳ７０５へ進める。学習部２０８は、姿勢の記録が閾値未満の場合には（Ｓ７０４でＮＯ）、処理をＳ７０１へ進める。Ｓ７０５において、学習部２０８は、アプリケーション起動時の姿勢の記録からす姿勢範囲を推定する。次に、Ｓ７０６において、学習部２０８は、撮影画像群を用いて推定姿勢範囲を検証・修正する。ここで、Ｓ７０５及びＳ７０６の処理は、判定条件を決定する条件学習処理の一例である。

次に、Ｓ７０７において、学習部２０８は、姿勢判定部２０５が判定条件として用いる姿勢範囲を更新する。具体的には、学習部２０８は、Ｓ７０６において決定された姿勢範囲を姿勢判定部２０５の判定条件として登録する。なお、Ｓ７０６において得られた姿勢範囲がこれまでの判定条件の姿勢範囲に含まれる場合には、学習部２０８は、判定条件の更新は行わなくともよい。また、Ｓ７０６において得られた姿勢範囲がこれまでの判定条件の姿勢範囲と矛盾する場合には、学習部２０８は、顔の写る割合が高い方の姿勢範囲を判定条件として登録してもよい。なお、第２の実施形態に係る撮像装置１００のこれ以外の構成及び処理は、第１の実施形態に係る撮像装置１００の構成及び処理と同様である。

以上のように、第２の実施形態に係る撮像装置１００においては、ユーザに応じた姿勢の判定条件を設定することができる。これにより、撮像装置１００は、適切なタイミングで画像を撮影することができる。

例えば、うつむき加減でよく使うユーザと、目の前に持ち上げて使うユーザであれば、撮像装置１００の姿勢は前者の方が地面に対して水平に近くなると予想できる。また、寝ながら使うときと、座りながら使うときでは、異なる姿勢になると考えられる。例えば、仰向けに寝て使うときは、ディスプレイ面が地面側を向くと予想できる。本実施形態の撮像装置１００においては、こうした様々な姿勢を判定条件として予め指定しておかなくとも、ユーザによる撮像装置１００の利用を通して、判定条件を自動的に設定することができる。

加えて、撮像装置１００は、操作頻度の高いアプリケーションの起動時の姿勢から、姿勢判定部２０５で利用する判定条件を得る。そのため、姿勢条件を獲得するためにインカメラ１０２を起動して試行錯誤する処理量を少なく抑えることができる。その結果、無駄な撮影が減り、電力消費も抑えることができる。また、撮像装置１００は、獲得した姿勢条件を起動アプリケーションに基づく条件とは独立に用いる。したがって、撮像装置１００は、アプリケーションが起動していなくても、撮影判定を行うことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等が実際の処理の一部または全部を行ってもよい。また、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。さらに、その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

１００ 撮像装置
２０１ 表示起動判定部
２０２ 撮影制御部
２０３ 撮影判定部

Claims (11)

1. 表示手段と撮像手段を備えた撮像装置であって、
   前記表示手段の起動中に、前記撮像装置の状態に基づいて、前記撮像装置が撮影可能な状態か否かを判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記撮像手段による撮影を行うか否かを制御する撮像制御手段と
   を有することを特徴とする撮像装置。
2. 前記判定手段は、前記撮像装置の状態に係る判定条件と、前記撮像装置の状態との比較結果に基づいて、撮影可能な状態か否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御手段は、前記判定結果に基づいて、前記撮像手段を起動又は停止するよう制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記判定手段は、前記撮像装置のユーザの顔画像を撮影可能な状態か否かを判定することを特徴とする請求項１に記載の撮像装置。
5. 前記判定手段は、前記撮像装置が起動中のアプリケーションの種類に基づいて、撮影可能な状態か否かを判定することを特徴とする請求項１乃至４何れか１項に記載の撮像装置。
6. 前記判定手段は、前記撮像装置が起動中のアプリケーションの操作頻度に基づいて、撮影可能な状態か否かを判定することを特徴とする請求項１乃至５何れか１項に記載の撮像装置。
7. 前記判定手段は、前記撮像装置の姿勢及び動きのうち少なくとも１つに基づいて、撮影可能な状態か否かを判定することを特徴とする請求項１乃至６何れか１項に記載の撮像装置。
8. 前記判定手段は、前記撮像装置に蓄積されている撮影画像に基づいて、撮影可能な状態か否かを判定することを特徴とする請求項１乃至７何れか１項に記載の撮像装置。
9. 操作頻度に基づいてアプリケーションを選択する選択手段と、
   前記選択手段により選択された前記アプリケーションの起動時の前記撮像装置の姿勢に基づいて、撮影可能な姿勢に係る判定条件を決定する条件学習手段と
   をさらに有し、
   前記判定手段は、前記姿勢の判定条件と、前記姿勢と、の比較結果に基づいて、撮影可能な状態か否かを判定することを特徴とする請求項２に記載の撮像装置。
10. 表示手段と撮像手段を備えた撮像装置が実行する制御方法であって、
    前記表示手段の起動中に、前記撮像装置の状態に基づいて、前記撮像装置が撮影可能な状態か否かを判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて、前記撮像手段による撮影を行うか否かを制御する撮像制御ステップと
    を含むことを特徴とする制御方法。
11. 表示手段と撮像手段を備えた撮像装置のコンピュータを、
    前記表示手段の起動中に、前記撮像装置の状態に基づいて、前記撮像装置が撮影可能な状態か否かを判定する判定手段と、
    前記判定手段による判定結果に基づいて、前記撮像手段による撮影を行うか否かを制御する撮像制御手段と
    として機能させるためのプログラム。

Images