JP2023003156A - 端末機器及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】ユーザが鞄やポケットの中に端末機器を入れた場合に精度よく節電モードに遷移することができる端末機器及びその制御方法並びにプログラムを提供する。【解決手段】デジタルカメラ１００は、その周辺の輝度分布を取得する輝度分布取得部１２０と、輝度分布取得部１２０で取得された輝度分布を含む時系列の情報から生成したモデルデータを記憶する記憶領域１４２と、この時系列の情報及び記憶領域１４２に記憶されるモデルデータに基づいて、デジタルカメラ１００に対してユーザは操作終了しているか、操作途中であるかを判断する判断部１５４と、判断部１５４で判断された結果に応じてデジタルカメラ１００を節電モードに移行させる制御部１５３とを備える。【選択図】図３

Description

本発明は、端末機器及びその制御方法並びにプログラムに関し、特に節電モードを有する端末機器及びその制御方法並びにプログラムに関する。

カメラなどの端末機器の使用時間を延ばすには消費電力を低減する必要があるが、ユーザは端末機器の操作をしていないときに意図せず電源をＯＮのままにしてしまうことがある。その結果、端末機器のバッテリーの持ちが悪くなってしまうという問題があった。

特に端末機器を鞄の中やポケットの中に入れて持ち歩いている場合に電源をＯＮのままにすると、明らかにユーザは端末機器の操作をしていないにも関わらず、余計な電力を消費し、端末機器の使用時間に影響を与える。

ここで、一定期間、端末機器への操作が無かった場合に端末機器を節電モードに移行させる従来技術が存在する。しかし、鞄の中で端末機器の操作部が何かに触れたり、端末機器の近接センサが反応したりすると、端末機器への操作が有ったと判断されてタイマーカウントがクリアされてしまい、端末機器が節電モードに入れないといった問題が生じていた。

そこで、特許文献１では、端末機器に設けられた照度センサにより測定された照度が予め定められた閾値以下となった場合、端末機器を節電モードに移行させる技術を提示している。

また、特許文献２では、端末機器の姿勢情報をバッファに蓄積し、蓄積された姿勢情報をもとに判別された端末機器の動きに基づき、端末機器を節電モードに移行させる技術を提示している。

特開２０１４－１４７１２５号公報 特開２０１２－１６５２４３号公報

しかしながら、特許文献１の技術は、照度センサで取得した照度が予め定められた閾値以下であるか否かという判断のみで端末機器を節電モードに移行させている。しかし、かかる判断のみを用いると、ユーザが端末機器の操作をしている途中に環境光が暗くなった場合等、意図しないタイミングで節電モードへ移行してしまう。更に、端末機器を鞄などに入れている場合、ユーザが必ず鞄を閉めるとは限らない為、かかる判断のみを用いると、的確に意図したタイミングで端末機器を節電モードへ移行させることができない場合がある。

一方、特許文献２の技術で判別された端末機器の動きが、操作終了の合図かまだ操作途中かが判断できかねる場合がある。更には特許文献２では、端末機器の周囲の明るさは考慮していない為、電源ＯＮの状態で端末機器を鞄の中に入れた際、節電モードへ移行させることができない場合もある。

そこで本発明の目的は、ユーザが鞄やポケットの中に端末機器を入れた場合に精度よく節電モードに遷移することができる端末機器及びその制御方法並びにプログラムを提供することである。

上記課題を解決するため、本発明に係る端末機器は、端末機器の周辺の輝度分布を取得する輝度分布取得手段と、前記輝度分布取得手段で取得された輝度分布を含む時系列の情報から生成したモデルデータを記憶する記憶領域と、前記時系列の情報及び前記モデルデータに基づいて、前記端末機器に対してユーザは操作終了しているか、操作途中であるかを判断する判断手段と、前記判断手段で判断された結果に応じて前記端末機器を節電モードに移行させる電源制御手段とを備えることを特徴とする。

本発明によれば、ユーザが鞄やポケットの中に端末機器を入れた場合に精度よく節電モードに遷移することができる。

本発明の実施形態に係る端末機器としてのデジタルカメラのハードウェア構成例を示すブロック図である。 図１におけるシステム制御部、システムメモリ、及びメモリの詳細な構成を示すブロック図である。 図１における判断部で実行される学習済モデルを用いた推定処理の概念図である。 図１における学習部で実行される学習処理に用いられる入力データと教師データの関係を示す概念図である。 デジタルカメラにおける推定フェーズでの処理を説明するための図である。 デジタルカメラにおける、推定フェーズでの処理、及び学習フェーズでの処理の詳細フローチャートである。 図６Ａのフローチャートの続きである。 周辺輝度が明るいシーンからデジタルカメラを鞄の中にＹ軸方向から入れた際の輝度分布時系列情報とモーションセンサ時系列情報の例を示す図である。 周辺輝度が暗いシーンからデジタルカメラを鞄の中にＹ軸方向から入れた際の輝度分布時系列情報とモーションセンサ時系列情報の例を示す図である。 図１におけるモーションセンサのＸ，Ｙ，Ｚ軸の向きを示す図である。

以下、本発明を実施するための端末機器の最良の形態について図面を用いて説明する。尚、以下説明する本発明の実施形態においては、端末機器としてデジタルカメラ１００を例示しているがこれに限定されない。すなわち、ユーザが端末機器に対して操作終了しているか、操作途中であるかを判定し、その判定結果に応じて節電モードに移行させることができる端末機器であればよい。例えば、端末機器は、スマートフォン、ワイヤレスイヤホン、タブレット、ノートパソコン等であってもよい。

図１は、本実施形態に係る端末機器としてのデジタルカメラ１００のハードウェア構成を示すブロック図である。

デジタルカメラ１００は、モーションセンサ１１０、輝度分布取得部１２０、表示部１３０、通信部１３１、システムタイマー１３２、操作部１３３、メモリ１４０、システムメモリ１４１、システム制御部１５０、及び電源部１６０を備える。

モーションセンサ１１０（動き検知手段）は、加速度センサやジャイロスコープセンサなどで構成され、デジタルカメラ１００自身の動きを検知し、モーション情報として出力する。図８に、モーションセンサ１１０のＸ軸、Ｙ軸、Ｚ軸の向きを示す。

輝度分布取得部１２０（輝度分布取得手段）は、撮像センサなどで構成され、デジタルカメラ１００の周辺の輝度分布を取得する。輝度分布取得部１２０は、不図示のレンズ、絞り、シャッター等を介して被写体の光学像を結像し、その光学像を電気信号に変換する。また、輝度分布取得部１２０は、表示部１３０と同一面にも配置される。これにより、鞄やポケットの中にデジタルカメラ１００を入れた際に、鞄やポケットの中で反射する表示部１３０のバックライト照明による発光を僅かではあるが輝度分布取得部１２０が輝度分布として検出する。

表示部１３０（表示手段）は、ディスプレイ及びバックライト照明等から構成される。ディスプレイは、有機ＥＬ型や液晶ディスプレイ型等により構成される。例えば液晶ディスプレイ型の場合、薄膜トランジスタアクティブマトリクス駆動方式の透過型液晶パネルを有する。また、バックライト照明は、ディスプレイの背面に固定され、ディスプレイを背面から投光する照明である。例えば、バックライト照明は、ＬＥＤ、蛍光管、有機ＥＬ等の光源、及びその光源からの光をディスプレイ全体で面発光させるための導光板、反射板、拡散板等から構成される。この面発光は、デジタルカメラ１００がＯＮ状態であって、且つ節電モードには移行していない場合に行われる。

通信部１３１は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。また、通信部１３１は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。

システムタイマー１３２は、各種制御に用いる時間や、内蔵された時計の時間を計測する。

操作部１３３は、システム制御部１５０に各種所定の動作指示を入力する操作手段である。操作部１３３は、電源スイッチの他、スイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等のいずれか一つ又はそれらの組み合わせにより構成される。電源スイッチ（操作手段）の状態は、ユーザ操作に応じてＯＮ状態又はＯＦＦ状態に切り替えられる。ここで、電源スイッチは、ＯＮ状態となったとき、デジタルカメラ１００を電源ＯＮに切り替え、ＯＦＦ状態となったとき、デジタルカメラ１００を電源ＯＦＦに切り替える。

メモリ１４０は、電気的に消去・記憶可能な不揮発性メモリであるＲＯＭが用いられ、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態の後述する各種フローチャートを実行するためのプログラムのことである。また、メモリ１４０は、輝度分布取得部１２０からの輝度分布の情報及びモーションセンサ１１０からのモーション情報の夫々の時系列情報から生成した、後述する学習済モデル３０１（図３）からなるモデルデータを記憶する機能も担う。

システムメモリ１４１は、ＲＡＭにより構成され、メモリ１４０から読み出した、システム制御部１５０の動作用の定数、プログラム等を展開する。また、システムメモリ１４１は、輝度分布取得部１２０からの輝度情報の情報及びモーションセンサ１１０からのモーション情報の時系列情報を蓄積する機能も担う。

システム制御部１５０は、ＣＰＵやＧＰＵなどの少なくとも一つのプロセッサーを有する構成であり、デジタルカメラ１００全体の動作を制御する。なお、ＧＰＵはデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。そこで本実施形態では、システム制御部１５０の一部である、後述する学習部１５５（図２）による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部１５５の処理はＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、システム制御部１５０の一部である、後述する判断部１５４（図２）による処理においても同様にＧＰＵを用いても良い。

電源部１６０は、電池、電池検出回路、保護回路、電源回路等から構成される。電源部１６０は、システム制御部１５０の指令に基づき、所望の電源電圧を所望の期間、デジタルカメラ１００の各部に供給する。また、電源部１６０は、電池装着の有無や電池種類、残量検出などが検出であり、検出結果をシステム制御部１５０に通知する機能を有する。更には、電源部１６０は、過電流・過電圧などの電源異常を検出した際には電源を遮断することにより電源回路に接続された負荷回路を保護する機能を有する。電源回路は、ＤＣＤＣコンバータ、特にＬＤＯレギュレータにより構成される。

次に、図２を用いて、システム制御部１５０、システムメモリ１４１、及びメモリ１４０の詳細な構成について説明する。

システム制御部１５０は、データ送受信部１５１、センサデータ取得部１５２、制御部１５３、判断部１５４、及び学習部１５５を備える。

センサデータ取得部１５２（生成手段）は、輝度分布取得部１２０からの輝度分布の情報及びモーションセンサ１１０からのモーション情報（以下各センサ検出情報」という）を所定のサンプリングレートで周期的に取得し、これらの時系列情報を生成する。センサデータ取得部１５２は、更に、この生成した各センサ検出情報の時系列情報を、データ送受信部１５１を介してシステムメモリ１４１の蓄積領域１４３に送信し、貯蓄させる制御を行う。

データ送受信部１５１は、システム制御部１５０と、デジタルカメラ１００の、輝度分布取得部１２０及びモーションセンサ１１０以外のブロックとの間のデータの送受信を担う。例えば、データ送受信部１５１は、推定に用いる学習済モデル３０１を判断部１５４に受け渡すために、メモリ１４０の記憶領域１４２から学習済モデル３０１を受信し、判断部１５４に送信する制御を行う。また、データ送受信部１５１は、システムメモリ１４１の蓄積領域１４３に保存された各センサ検出情報の時系列情報を受信し、学習部１５５や判断部１５４に送信する制御を行う。更には、データ送受信部１５１は、判断部１５４から節電モードへ遷移させる指令を受信し、これを電源部１６０に送信する。

システムメモリ１４１の蓄積領域１４３は、有限バッファなどで構成され、センサデータ取得部１５２から送信された各センサ検出情報の時系列情報を格納する。また、蓄積領域１４３は、判断部１５４からのデータ送信要求に応じて、各センサ検出情報の時系列情報を判断部１５４に送信する。

メモリ１４０の記憶領域１４２は、デジタルカメラ１００全体を制御する動作用の定数、プログラム、学習済モデル３０１を記憶する。記憶領域１４２は、システム制御部１５０の判断部１５４からの学習済モデル３０１の送信要求に応じて、その内部に記憶する学習済モデル３０１をデータ送受信部１５１を介して送信する。尚、記憶領域１４２は、学習済モデル３０１ではなく、その内部パラメータを記憶してもよい。また記憶領域１４２は、学習済モデル３０１に準ずるルールベースのリストを記憶し、判断部１５４が推定処理を行う際に送信するようにしてもよい。

制御部１５３は、デジタルカメラ１００を制御する為のプログラムをメモリ１４０から読み出し、プログラムの一部をシステムメモリ１４１に展開する事で、デジタルカメラ１００全体を制御する。また、制御部１５３は所定の条件を満たした際には学習部１５５（追加学習手段）に対して、学習済モデル３０１の追加学習を行うように指令を出す。

判断部１５４（判断手段）は、ユーザがデジタルカメラ１００を鞄の中に入れたか否か（操作終了か操作途中か）を判定する推定処理をＣＰＵ又はＧＰＵを用いて実施する。この推定処理は、システムメモリ１４１の蓄積領域１４３にある各センサ検出情報の時系列情報と、メモリ１４０の記憶領域１４２にある学習済モデル３０１とに基づいて、実行される。判断部１５４は、この推定処理の結果を制御部１５３に通知する。制御部１５３（電源制御手段）は、ユーザがデジタルカメラ１００を鞄の中に入れたとの推定処理の結果が判断部１５４から通知された場合、データ送受信部１５１を介して、節電モードへ遷移させる指令を電源部１６０に送信する。

また、判断部１５４は、システムメモリ１４１の蓄積領域１４３に貯蓄された各センサ検出情報の時系列情報が所定の条件を満たしたか否かについても判定する。判断部１５４においてこの所定の条件を満たしていると判定された場合、制御部１５３は、学習部１５５で追加学習を行う為の条件を満たしているかを判断する。制御部１５３は、追加学習を行う為の条件を満たしていると判断した場合、学習部１５５に追加学習を行うよう指令を行う。この処理の流れの詳細については図６Ａ、図６Ｂにて説明する。

学習部１５５は、制御部１５３から（追加）学習処理の指令を受け取った場合に、システムメモリ１４１の蓄積領域１４３に蓄積された各センサ検出情報の時系列情報を入力データとして受信して、ＣＰＵ又はＧＰＵを用いて（追加）学習処理を実行する。

また、学習部１５５は、誤差検出部と、更新部と、を備えてもよい。

誤差検出部は、入力層に入力される入力データ（学習データ）に応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。

更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

なお、上記推定処理に用いられる学習済モデル３０１がメモリ１４０の記憶領域１４２に記憶されておればよく、この学習済モデル３０１を生成するための学習処理を実行する学習部１５５がなくても本発明の動作は成立する。また、以下後述する学習部１５５による追加学習処理は、本発明の精度を向上させるために必要であるが、本発明に必須の構成ではない。

電源部１６０は、制御部１５３からの指令に基づいて電源制御を実行する。

次に図３と図４を用いて、判断部１５４において学習済モデル３０１を用いて推定する内容について説明する。

図３は、判断部１５４で実行される学習済モデル３０１を用いた推定処理の概念図である。

学習済モデル３０１は、学習部１５５で実行される学習処理（機械学習）により学習済のニューラルネットワークである。尚、学習済モデル３０１は、機械学習により得られれば、ニューラルネットワークに限定されず、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどであってもよい。また、その学習方法は、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）を用いてもよい。また本実施形態においては、時間的に変化する各センサ検出情報の時系列データが入力データとして用いられるため、ＲＮＮ（再帰的ニューラルネットワーク）を用いることも好ましい。

輝度分布時系列情報３０２は、学習済モデル３０１への入力データの一つであって、デジタルカメラ１００の輝度分布取得部１２０で取得した輝度分布情報の時系列情報である。

モーションセンサ時系列情報３０３は、学習済モデル３０１への入力データの一つであって、デジタルカメラ１００のモーションセンサ１１０で取得したモーション情報の時系列情報である。

出力データ３０４は、判断部１５４が、輝度分布時系列情報３０２とモーションセンサ時系列情報３０３を学習済モデル３０１に入力し、学習済モデル３０１で推定処理を実行したとき出力されるデータである。出力データ３０４には、ユーザがデジタルカメラ１００を鞄（又はポケット等）の中に入れて操作終了しているか、それとも操作途中かを示す判定結果が含まれる。

図４は、学習部１５５で実行される学習処理に用いられる入力データ（学習データ）と教師データの関係を示す概念図である。

図４に示すように、入力データである輝度分布時系列情報３０２とモーションセンサ時系列情報３０３は、例えば、図４の行４０１に示すように、輝度分布時系列情報（ＢＤ＿０１）とモーションセンサ時系列情報（ＡＣＣ＿０１）のセットとなっている。

この、輝度分布時系列情報（ＢＤ＿０１）とモーションセンサ時系列情報（ＡＣＣ＿０１）は夫々、同時刻に輝度分布取得部１２０とモーションセンサ１１０で取得された情報である。

教師データ４０２は、行４０１の入力データが輝度分布取得部１２０及びモーションセンサ１１０で取得された期間において、ユーザがデジタルカメラ１００を鞄やポケット等に入れて操作終了していたか、操作途中であったかを示すデータである。具体的には、教師データ４０２のようなＴｒｕｅという教師データは、デジタルカメラ１００が操作終了していることを示す。一方、Ｆａｌｓｅというという教師データは、デジタルカメラ１００が操作途中であることを示す。

次に、デジタルカメラ１００を鞄の中に入っているか否かの判定を行う学習済モデルへの入力データとして用いる輝度分布時系列情報３０２とモーションセンサ時系列情報３０３の関係について、図７Ａ、図７Ｂに示す例を用いて説明する。

図７Ａは、周辺輝度が明るいシーンからデジタルカメラ１００を鞄の中にＹ軸（図８）方向から入れた際の輝度分布時系列情報３０２とモーションセンサ時系列情報３０３の例を示す図である。ここで、時刻ｔ０～ｔ３は、センサデータ取得部１５２が所定のサンプリングレートで輝度分布取得部１２０及びモーションセンサ１１０からの各センサ検出情報を取得した時刻である。また、図７Ａの例では、ユーザは時刻ｔ０の直後にデジタルカメラ１００を鞄の中に入れ、その後時刻ｔ１～ｔ３では、デジタルカメラ１００はそのまま鞄の中に入っている。

周辺輝度が明るい場合、鞄の中に入れる前の時刻ｔ０においては、輝度分布取得部１２０で取得される輝度分布７０１は明の状態である。一方、鞄の中に入れた後である時刻ｔ１～ｔ３においては、輝度分布取得部１２０で取得される輝度分布７０２～７０４に示すように、デジタルカメラ１００を鞄の中に挿入した方向（以下単に挿入方向という）から徐々に暗くなる。その後、最終的には、時刻ｔ３の輝度分布７０４に示すように全面が暗の状態になる。

一方、時刻ｔ０～ｔ３において、モーションセンサ時系列情報３０３では、挿入方向であるＹ軸の加速度変化が顕著に検出される。

このように、鞄の中にデジタルカメラ１００を入れると、輝度分布時系列情報３０２とモーションセンサ時系列情報３０３には特徴的な時系列変化が発生する。この為、この特徴的な時系列変化を用いて、ユーザがデジタルカメラ１００を鞄の中に入れたか否かを判定する事が可能となる。

一方で、図７Ｂは、周辺輝度が暗いシーンからデジタルカメラ１００を図７Ａと同様に鞄の中にＹ軸方向から入れた際の輝度分布時系列情報３０２とモーションセンサ時系列情報３０３の例を示す図である。尚、図７Ｂの例も、図７Ａと同様に、ユーザは時刻ｔ０の直後にデジタルカメラ１００を鞄の中に入れ、その後時刻ｔ１～ｔ３では、デジタルカメラ１００はそのまま鞄の中に入っている。

周辺輝度が暗い場合、鞄の中に入れる前の時刻ｔ０においては、輝度分布取得部１２０で取得される輝度分布８０１は完全に暗の状態である。一方、鞄の中に入れた後である時刻ｔ１～ｔ３においては、輝度分布取得部１２０で取得される輝度分布８０２～８０４に示すように、挿入方向から徐々に輝度分布が若干明るくなる。その後、最終的には、時刻ｔ３の輝度分布８０４に示すように全面が若干明るい状態になる。これは、デジタルカメラ１００を鞄やポケットの中に入れた際、表示部１３０のバックライト照明による光の鞄やポケットの中での反射光を、表示部１３０と同一面に配置される輝度分布取得部１２０が検出する事ができる為である。

一方、時刻ｔ０～ｔ３において、モーションセンサ時系列情報３０３では、図７Ａと同様図７Ｂにおいても挿入方向であるＹ軸の加速度変化が顕著に検出される。

このように、暗所シーンからデジタルカメラ１００を鞄の中に入れた場合も、輝度分布時系列情報３０２とモーションセンサ時系列情報３０３に特徴的な時系列変化が発生する。この為、この特徴的な時系列変化を用いて、ユーザがデジタルカメラ１００を鞄の中に入れたか否かを判定する事が可能となる。

次に図５を用いて、デジタルカメラ１００における推定フェーズでの処理を説明する。

まず、ステップＳ５０１において、センサデータ取得部１５２は、輝度分布取得部１２０及びモーションセンサ１１０からの各センサ検出情報を所定のサンプリングレートで周期的に取得し、蓄積領域１４３に保存する。

ステップＳ５０２において、判断部１５４は、蓄積領域１４３に対して、入力データ、すなわち、蓄積領域１４３に保存される各センサ時系列情報（輝度分布時系列情報３０２、モーションセンサ時系列情報３０３）の送信要求を行う。

ステップＳ５０３において、蓄積領域１４３は、ステップＳ５０２の判断部１５４からの送信要求に応じて、蓄積領域１４３に保存される各センサ時系列情報（輝度分布時系列情報３０２、モーションセンサ時系列情報３０３）を判断部１５４に送信する。

ステップＳ５０４において、判断部１５４は、記憶領域１４２に対して、学習済モデル３０１の送信要求を行う。

ステップＳ５０５において、記憶領域１４２は、ステップＳ５０４の判断部１５４からの送信要求に応じて、判断部１５４に対して、学習済モデル３０１を送信する。

ステップＳ５０６において、判断部１５４は、記憶領域１４２から受信した学習済モデル３０１と、ステップＳ５０３で受信した入力データとに基づき推定処理を行う。この推定処理により、ユーザがデジタルカメラ１００を鞄（又はポケット）の中に入れた（操作終了である）か、否（操作途中である）かが判定される。その後、判断部１５４は、この推定処理の判定結果を制御部１５３に送信する。

ステップＳ５０７において、制御部１５３は、ステップＳ５０６で判断部１５４よりユーザがデジタルカメラ１００を鞄の中に入れた（操作終了である）という判定結果が送信された場合、電源部１６０に対して節電モードに遷移するように指令を出す。

ステップＳ５０８において、電源部１６０は、ステップＳ５０７の制御部１５３からの指令に基づき電源制御を実行し、節電モードに移行する。

このように学習済モデル３０１と入力データを用いた推定処理の結果、ユーザがデジタルカメラ１００を鞄（又はポケット）の中に入れた（操作終了である）と判定された際、電源部１６０を即座に節電モードに移行できる。このためバッテリー（電池）の持ちの改善が可能となると言った効果が得られる。

次に図６Ａ、図６Ｂのフローチャートを用いて、デジタルカメラ１００における、推定フェーズでの処理、及び推定フェーズでの処理で節電モードに遷移しなかった場合に実行される学習フェーズでの処理（追加学習処理）についての説明を行う。

図６Ａにおいてまず、ステップＳ６０１で、制御部１５３は、操作部１３３の電源スイッチの状態がＯＮ状態かＯＦＦ状態かを判定する。ＯＮ状態であると判定された場合（ステップＳ６０１でＹＥＳ）、ステップＳ６０２に移行する。一方、ユーザ操作に応じて電源スイッチの状態をＯＮ状態からＯＦＦ状態に切り替えた場合（ステップＳ６０２でＮＯ）、ステップＳ６２１（図６Ｂ）に遷移する。

ステップＳ６０２で、制御部１５３は、モーションセンサ１１０が所定の閾値以上のモーション情報の変化を検出したかの判定を行う。検出したと判定された場合（ステップＳ６０２でＹＥＳ）、ステップＳ６０３に移行する。一方、検出していないと判定された場合（ステップＳ６０２でＮＯ）、ステップＳ６０４に移行する。

ステップＳ６０３で、制御部１５３は、輝度分布取得部１２０及びモーションセンサ１１０からの各センサ検出情報をセンサデータ取得部１５２が取得する際のサンプリングレートを初期値から上げる。尚、本実施形態では、輝度分布取得部１２０及びモーションセンサ１１０の双方に対するサンプリングレートを上げたが、少なくとも１方に対するサンプリングレートを上げる構成であれば、これに限定されない。

ここで、ステップＳ６０３でサンプリングレートを上げる理由は、ユーザがデジタルカメラ１００を鞄やポケットの中に入れる際、所定の閾値以上のモーション情報変化（加速度変化）が生じる可能性が高い為である。これにより、判断部１５４による推定処理の精度を向上させることができる。一方、所定の閾値以上のモーション情報変化が検出されなかった場合、ユーザがデジタルカメラ１００を鞄やポケットの中に入れた可能性は低いので、サンプリングレートは上げず初期値のままとする。これにより、センサデータ取得部１５２、輝度分布取得部１２０及びセンサデータ取得部１５２の消費電力を節電することができる。

ステップＳ６０４で、判断部１５４は、システムメモリ１４１の蓄積領域１４３に蓄積された輝度分布時系列情報３０２とモーションセンサ時系列情報３０３とを入力データとして取得する。更に、判断部１５４はメモリ１４０の記憶領域１４２に記憶された学習済モデル３０１を取得する。

ステップＳ６０５で、判断部１５４は、入力データ（輝度分布時系列情報３０２とモーションセンサ時系列情報３０３）を学習済モデル３０１に入力し、出力データ３０４を取得する。以下、入力データ（輝度分布時系列情報３０２とモーションセンサ時系列情報３０３）を入力データ（３０２，３０３）と表記する。その後、判断部１５４は、制御部１５３に対して、取得した出力データ３０４を通知する。

ステップＳ６０６で、制御部１５３は、ステップＳ６０５で判断部１５４から通知された出力データが、ユーザがデジタルカメラ１００を鞄の中に入れた（操作終了である）か否かの判定を行う。ここで鞄の中に入れた（操作終了である：第２の条件を満たしている）と判定された場合（ステップＳ６０６でＹＥＳ）、ステップＳ６０７に移行する。一方、鞄の中に入れていない（操作途中である）と判定された場合（ステップＳ６０６でＮＯ）、ステップＳ６１５（図６Ｂ）に移行する。

ステップＳ６０７で、制御部１５３は、操作部１３３に対する操作が有ったか否かを操作部１３３からの信号により判定する。ここで操作が無かったと判定された場合（ステップＳ６０７でＹＥＳ）、ステップＳ６０８に移行する。一方、操作が有ったと判定された場合（ステップＳ６０７でＮＯ）、ステップＳ６１０に移行する。

ステップＳ６０８で、制御部１５３は、システムタイマー１３２を用いてステップＳ６０６で鞄の中に入れたと判定されてから所定時間（第２の時間）が経過したか否かの判定を行う。所定時間が経過したと判定された場合（ステップＳ６０８でＹＥＳ）、ステップＳ６０９に移行する。一方、所定時間が経過していないと判定された場合（ステップＳ６０８でＮＯ）、ステップＳ６０７に戻る。

ステップＳ６０９で、制御部１５３は、ステップＳ６０３で上げたサンプリングレートを初期値に戻し、かつ電源部１６０に対して節電モードの指令を出す。電源部１６０が、この指令に応じて節電モードに移行すると、本処理を終了する。

ステップＳ６１０で、制御部１５３は、ステップＳ６０４で取得した入力データ（３０２，３０３）に対して操作途中（Ｆａｌｓｅ）という教師データを生成する。その後、制御部１５３は、学習部１５５に対し、入力データ及び生成された教師データを用いた追加学習により学習済モデル３０１を更新するように指令を出す。学習部１５５は、この制御部１５３からの指令に基づき、入力データ（３０２，３０３）及び生成された教師データを用いて、学習部１５５が保持する学習済モデルを更新する追加学習処理を実行する。

ステップＳ６１１で、学習部１５５による追加学習処理が完了したか否かの判定を行う。追加学習が完了したと判定された場合（ステップＳ６１１でＹＥＳ）、ステップＳ６１２に移行する。一方で、追加学習が完了していないと判定された場合（ステップＳ６１２でＮＯ）、ステップＳ６１１の判定を繰り返す。

ステップＳ６１２で、学習部１５５は、学習部１５５が保持する、更新後の学習済モデルで、メモリ１４０の記憶領域１４２に記憶された学習済モデル３０１を更新する。

ステップＳ６１３で、制御部１５３は、システムタイマー１３２を用いてステップＳ６０３でサンプリングレートを上げてから所定時間が経過したかの判定を行う。所定時間が経過したと判定された場合（ステップＳ６１３でＹＥＳ）、ステップＳ６１４に移行し、サンプリングレートを初期値に戻して、ステップＳ６０１に戻る。一方で、所定時間経過していないと判定された場合（ステップＳ６１３でＮＯ）、ステップＳ６０１から同様の動作を繰り返す。

図６Ｂに進み、ステップＳ６１５で、判断部１５４は、ステップＳ６０５で取得した入力データ（３０２，３０３）の夫々の変化方向が一致しているか否かを判定する。入力データ（３０２，３０３）の夫々の変化方向が一致している（第１の条件を満たしている）と判定された場合（ステップＳ６１５でＹＥＳ）、ステップＳ６１６に移行する。一方、一致していないと判定された場合（ステップＳ６１５でＮＯ）、ステップＳ６１３に戻る。

ここで図７Ａ、図７Ｂに示すように、Ｙ方向から垂直にユーザがデジタルカメラ１００を鞄に入れた場合、Ｙ軸方向の加速度変化が大きくなり、かつ輝度分布もＹ軸方向から徐々に変化する。つまり、ステップＳ６０５の入力データ（３０２，３０３）の夫々の変化方向が一致している場合、ステップＳ６０６における鞄の中に入れていない（操作途中）との判定結果は誤りで、実際は鞄の中に入れた可能性がある。例えば、鞄の中にデジタルカメラ１００を入れた際、操作部１３３が何かに触れたため、ステップＳ６０６で操作途中と判定された場合などである。そこで、以下のステップでは、かかる可能性が高い場合、入力データ及び操作終了（Ｔｒｕｅ）という教師データを用いて学習済モデル３０１を更新する追加学習を行う。

ステップＳ６１６で、制御部１５３は、操作部１３３に対する操作が有ったか否かを操作部１３３からの信号により判定する。ここで操作が無かったと判定された場合（ステップＳ６１６でＹＥＳ）、ステップＳ６１７に移行する。一方、操作が有ったと判定された場合（ステップＳ６１６でＮＯ）、ステップＳ６１３に戻る。

ステップＳ６１７で、制御部１５３は、システムタイマー１３２を用いてステップＳ６０６で操作途中と判定されてから所定時間（第１の時間）が経過したか否かの判定を行う。所定時間が経過したと判定された場合（ステップＳ６１７でＹＥＳ）、ステップＳ６１８に移行する。一方、所定時間が経過していないと判定された場合（ステップＳ６１７でＮＯ）、ステップＳ６１６に戻る。

ステップＳ６１８で、制御部１５３は、学習部１５５に対し、入力データ（３０２，３０３）に対して、鞄の中に入れた、すなわち操作終了（Ｔｒｕｅ）という教師データを生成する。その後、制御部１５３は、学習部１５５に対し、入力データ及び生成された教師データを用いた追加学習により学習済モデル３０１を更新するように指令を出す。学習部１５５は、この制御部１５３からの指令に基づき、入力データ（３０２，３０３）及び生成された教師データを用いて、学習部１５５が保持する学習済モデルを更新する追加学習処理を実行する。

ステップＳ６１９で、学習部１５５による追加学習処理が完了したか否かの判定を行う。追加学習が完了したと判定された場合（ステップＳ６１９でＹＥＳ）、ステップＳ６２０に移行する。一方で、追加学習が完了していないと判定された場合（ステップＳ６１９でＮＯ）、ステップＳ６１９の判定を繰り返す。

ステップＳ６２０で、学習部１５５は、学習部１５５が保持する、更新後の学習済モデルで、メモリ１４０の記憶領域１４２に記憶された学習済モデル３０１を更新し、ステップＳ６０９に戻る。

ステップＳ６２１で、制御部１５３は、輝度分布取得部１２０及びモーションセンサ１１０からの各センサ検出情報をセンサデータ取得部１５２が取得する際のサンプリングレートを初期値から上げる。

ステップＳ６２２で、判断部１５４は、システムメモリ１４１の蓄積領域１４３に蓄積された輝度分布時系列情報３０２とモーションセンサ時系列情報３０３とを入力データとして取得する。

ステップＳ６２３で、判断部１５４は、ステップＳ６２２で取得した入力データ（３０２，３０３）の夫々の変化方向が一致しているか否かを判定する。入力データ（３０２，３０３）の夫々の変化方向が一致している（第３の条件を満たしている）と判定された場合（ステップＳ６２３でＹＥＳ）、ステップＳ６１８に移行する。一方、一致していないと判定された場合（ステップＳ６２３でＮＯ）、ステップＳ６２４に移行する。

ステップＳ６２４で、制御部１５３は、システムタイマー１３２を用いてステップＳ６０１で電源スイッチＯＦＦと判定されてから所定時間（第３の時間）が経過したか否かの判定を行う。所定時間が経過していないと判定された場合（ステップＳ６２４でＹＥＳ）、ステップＳ６２２に戻る。一方で、所定時間が経過したと判定された場合（ステップＳ６２４でＮＯ）、ステップＳ６０９に遷移し、学習せずに通常の節電モード処理に移行する。

以上、本実施形態では、輝度分布時系列情報３０２とモーションセンサ時系列情報３０３を入力データとして学習済モデル３０１に入力し、デジタルカメラ１００は操作終了しているか、それとも操作途中であるかを判定する推定フェーズを有する。この推定フェーズで、操作終了と判定されると節電モードに遷移する。

更に、本実施形態では、推定フェーズ後に、学習部１５５による追加学習処理を実行する。これにより、ユーザ個々のクセにも学習済モデル３０１が対応可能となり、デジタルカメラ１００をユーザが使用していくにつれて推定フェーズでの判定精度が向上し、誤検知なく素早く節電モードへの遷移ができるようになる。

尚、本実施形態では、判断部１５４は、機械学習された学習済モデル３０１をモデルデータとして用いた推定処理を実行したが、ルックアップテーブル（ＬＵＴ）等をモデルデータとして用いたルールベースでの推定処理を行ってもよい。その場合には、例えば、入力データと出力データとの関係をあらかじめＬＵＴとして作成し、この作成したＬＵＴをメモリ１４０に格納しておくとよい。これにより、判断部１５４は、この格納されたＬＵＴを参照して、パターンマッチングする事で出力データを取得することができる。つまり、この場合判断部１５４は、ＬＵＴを学習済モデル３０１と同等の機能を発揮するプログラムとして用いることができる。

尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１０ モーションセンサ
１２０ 輝度分布取得部
１４２ 記憶領域
１４３ 蓄積領域
１５３ 制御部
１５４ 判断部
１５５ 学習部
１６０ 電源部
３０１ 学習済モデル
３０２ 輝度分布時系列情報
３０３ モーションセンサ時系列情報

Claims (11)

1. 端末機器の周辺の輝度分布を取得する輝度分布取得手段と、
   前記輝度分布取得手段で取得された輝度分布を含む時系列の情報から生成したモデルデータを記憶する記憶領域と、
   前記時系列の情報及び前記モデルデータに基づいて、前記端末機器に対してユーザは操作終了しているか、操作途中であるかを判断する判断手段と、
   前記判断手段で判断された結果に応じて前記端末機器を節電モードに移行させる電源制御手段とを備えることを特徴とする端末機器。
2. 前記輝度分布取得手段により前記輝度分布を取得するのと同時刻に前記端末機器の動きを検知し、モーション情報として出力する動き検知手段を更に備え、
   前記時系列の情報は、前記動き検知手段で出力されたモーション情報を更に含むことを特徴とする請求項１記載の端末機器。
3. 前記時系列の情報を、前記輝度分布取得手段からの輝度分布及び前記動き検知手段からのモーション情報を所定のサンプリングレートで周期的に取得することにより生成する生成手段と、
   前記動き検知手段で出力されたモーション情報に所定の閾値以上の変化があった場合、前記輝度分布取得手段及び前記動き検知手段の少なくとも一方に対するサンプリングレートを上げるよう前記生成手段を制御する制御手段とを更に備えることを特徴とする請求項２記載の端末機器。
4. 前記記憶領域に記憶されているモデルデータは、学習データとして前記時系列の情報、その教師データとして、前記学習データが前記輝度分布取得手段で取得された期間において前記端末機器に対して前記ユーザは操作終了していたか操作途中であったかを示すデータを使用して、学習させた学習済モデルであることを特徴とする請求項１乃至３のいずれか１項に記載の端末機器。
5. 前記学習済モデルの追加学習を行う追加学習手段を更に備えることを特徴とする請求項４記載の端末機器。
6. 前記時系列の情報が第１の条件を満たし、かつ第１の時間が経過するまでに前記端末機器への操作が無い場合、前記追加学習手段は、前記時系列の情報を前記学習データとし、前記ユーザは端末機器に対して操作終了していたことを示すデータを前記教師データとして前記学習済モデルの追加学習を行うことを特徴とする請求項５記載の端末機器。
7. 前記時系列の情報が第２の条件を満たし、かつ第２の時間が経過するまで前記端末機器への操作があった場合、前記追加学習手段は、前記時系列の情報を前記学習データとし、前記ユーザは前記端末機器に対して操作途中であったことを示すデータを前記教師データとして前記学習済モデルの追加学習を行うことを特徴とする請求項５又は６記載の端末機器。
8. ユーザ操作に応じて前記端末機器の電源ＯＮと電源ＯＦＦとを切り替える操作手段を更に備え、
   前記ユーザ操作に応じて、前記操作手段が前記端末機器を電源ＯＮから電源ＯＦＦに切り替えた際、第３の時間が経過するまでに前記時系列の情報が第３の条件を満たした場合、前記追加学習手段は、前記時系列の情報を前記学習データとし、前記ユーザは前記端末機器に対して操作終了していたことを示すデータを前記教師データとして前記学習済モデルの追加学習を行うことを特徴とする請求項５乃至７のいずれか１項に記載の端末機器。
9. 前記端末機器が電源ＯＮの状態であって且つ前記節電モードに移行していない場合に面発光を行う表示手段を更に備え、
   前記輝度分布取得手段は、前記表示手段と同一面に配置されていることを特徴とする請求項１乃至８のいずれか１項に記載の端末機器。
10. 端末機器の周辺の輝度分布を取得する輝度分布取得ステップと、
    前記輝度分布取得ステップで取得された輝度分布を含む時系列の情報から生成したモデルデータを記憶する記憶ステップと、
    前記時系列の情報及び前記モデルデータに基づいて、前記端末機器に対してユーザは操作終了しているか、操作途中であるかを判断する判断ステップと、
    前記判断ステップで判断された結果に応じて前記端末機器を節電モードに移行させる電源制御ステップとを備えることを特徴とする制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載された端末機器の各手段として機能させるためのプログラム。

Images