JP2022135128A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents
情報処理装置、情報処理装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2022135128A JP2022135128A JP2021034737A JP2021034737A JP2022135128A JP 2022135128 A JP2022135128 A JP 2022135128A JP 2021034737 A JP2021034737 A JP 2021034737A JP 2021034737 A JP2021034737 A JP 2021034737A JP 2022135128 A JP2022135128 A JP 2022135128A
- Authority
- JP
- Japan
- Prior art keywords
- application
- information
- background
- information processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 36
- 238000000034 method Methods 0.000 title claims description 30
- 230000008859 change Effects 0.000 claims description 65
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000008921 facial expression Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 99
- 238000009528 vital sign measurement Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000007423 decrease Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】ユーザの状態を解析するアプリケーションを実行する際のユーザの手間を低減させる。【解決手段】複数のアプリケーションを同時に実行可能な携帯端末100であって、フォアグラウンドアプリケーションを実行中にバックグラウンドでバックグラウンドアプリケーションが実行可能か判定して、バックグラウンドでバックグラウンドアプリケーションを実行するシステム制御部50を備え、システム制御部50は、フォアグラウンドアプリケーションの情報と、フォアグラウンドアプリケーションを実行中の環境適性情報とに基づいて、バックグラウンドでバックグラウンドアプリケーションが実行可能か判定する。【選択図】図4
Description
本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。
近年、デジタルカメラ等で撮影された画像を用いて脈波などのバイタルサインを非接触で計測してユーザの状態を解析する技術が提案されている。例えば特許文献1は、被験者が撮影された画像から胸部などの所定の部位の領域の撮像画像信号の濃度を算出し、濃度の時間変化からバイタルサインを計測する方法を開示している。これにより、特殊な計測器具等を装着することなくバイタルサインを計測することが可能となる。
また、スマートフォンなどの携帯端末ではデジタルカメラ等の撮影機能を搭載していることが一般的であり、撮影機能を用いて撮影された画像を様々なアプリケーションで利用することが可能である。携帯端末に搭載されたデジタルカメラで撮影した画像を用いて、前述のような非接触でのバイタルサイン計測を実行するアプリケーションも提案されている。
しかしながら、非接触で安定したバイタルサイン計測をする場合にはある程度の計測時間が必要である。そのため、携帯端末で非接触のバイタルサイン計測を行うアプリケーションを実行する際には、ユーザは専用のバイタルサイン計測アプリケーションを起動してから計測が終了するまでの間、できるだけ動かないようにして待たなくてはならない。
このように、携帯端末のアプリケーションを利用して非接触で安定したバイタルサイン計測をするためにはある程度の計測時間が必要であり、計測の間はユーザの時間や動きを拘束してしまう。また、バイタルサイン計測の開始後に照明条件などが計測に適していない場合は、計測が失敗となってしまい、何度もアプリケーションの実行および計測操作をする必要が生じる。このように、日常的に利用する携帯端末等のアプリケーションを利用してユーザの状態を解析する場合、計測のたびにアプリケーションの起動と計測実行の操作をすることはユーザの手間になってしまう。
このように、携帯端末のアプリケーションを利用して非接触で安定したバイタルサイン計測をするためにはある程度の計測時間が必要であり、計測の間はユーザの時間や動きを拘束してしまう。また、バイタルサイン計測の開始後に照明条件などが計測に適していない場合は、計測が失敗となってしまい、何度もアプリケーションの実行および計測操作をする必要が生じる。このように、日常的に利用する携帯端末等のアプリケーションを利用してユーザの状態を解析する場合、計測のたびにアプリケーションの起動と計測実行の操作をすることはユーザの手間になってしまう。
本発明は、ユーザの状態を解析するアプリケーションを実行する際のユーザの手間を低減させることを目的とする。
上記課題を解決するために、本発明の情報処理装置は、複数のアプリケーションを同時に実行可能な情報処理装置であって、第1のアプリケーションを実行中にバックグラウンドで第2のアプリケーションが実行可能か判定する判定手段と、バックグラウンドで前記第2のアプリケーションを実行する実行手段と、を備える。前記判定手段は、前記第1のアプリケーションの情報と、前記第1のアプリケーションを実行中の環境適性情報とに基づいて、バックグラウンドで前記第2のアプリケーションが実行可能か判定する。
本発明によれば、ユーザの状態を解析するアプリケーションを実行する際のユーザの手間を低減させることができる。
本実施例では、本発明を適用する情報処理装置の一例として、カメラ付きスマートフォンなどの撮影機能を備えた携帯端末について説明する。図1は、カメラ付き携帯端末の構成例を示すブロック図である。携帯端末100は、撮影機能を有する情報処理装置である。携帯端末100は、撮像部110、メモリ制御部107、D/A変換器108、表示部109、画像メモリ106、認識処理部104、記録I/F111を備える。携帯端末100はさらに、システム制御部50、操作部120、不揮発性メモリ121、システムメモリ122、通信部123を備える。
撮像部110は、レンズ101、撮像素子102、A/D変換器103を備える。レンズ101は、被写体の光学像を撮像素子102に結像させる。撮像素子102は、CCDやCMOS素子等であり、光学像を電気信号(アナログ画像信号)に変換する。A/D変換器103は、撮像素子102が出力したアナログ画像信号をデジタル画像信号に変換する。A/D変換器103により変換されたデジタル画像信号(撮影画像)は、メモリ制御部107を介して、表示部109に表示されたり画像メモリ106や記録媒体112に記録されたりする。撮影画像は、静止画および動画像を含む。なお、本実施例では撮像部110が携帯端末100の表示部109と同じ面に1つ配置されている例について説明するが、撮像部110は複数あってよいし、画面側に加えて携帯端末100の裏側にも備えられていてもよい。
認識処理部104は、撮影画像からシーンや人物の場所等を解析する。画像メモリ106は、撮影画像を記録するメモリである。メモリ制御部107は、画像メモリ106を制御する。D/A変換器108は、デジタル信号をアナログ信号に変換するD/A変換器である。表示部109は、LCD(液晶表示装置)等の表示デバイスを有し、撮影画像、カメラの撮影モードに関する情報、撮影前のプレビュー画像、焦点検出時の合焦状態等を表示する。記録I/F111は、外部の記録媒体112とのインタフェースである。記録媒体112は、メモリカードやハードディスク等の記録媒体である。なお、認識処理部104およびメモリ制御部107は、システム制御部50により実現されてもよい。
システム制御部50は、CPU(Central Processing Unit)であり、携帯端末100のシステム全体を制御する。また、システム制御部50は、画像メモリ106に出力された画像データに対して各種画像処理を実施する。また、システム制御部50は、各種アプリケーションを制御する。操作部120は、ユーザからの操作を受け付ける。不揮発性メモリ121は、EEPROM等であり、携帯端末100のシステムプログラムやアプリケーションのプログラム、各種パラメータなどを格納する。システムメモリ122は、RAM等であり、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読みだしたプログラム等を展開する。通信部123は、外部機器との通信を行う。
システム制御部50は、不揮発性メモリ121に記録されたアプリケーションプログラムを実行することで、後述する本実施例の各処理を実現する。アプリケーションプログラムを実行する際、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読み出したプログラム等をシステムメモリ122に展開し実行する。またシステム制御部50は、複数のアプリケーションを並行して動作させることも可能である。本実施例では、システム制御部50が実行するアプリケーションが、バイタルサイン計測アプリケーション、WEBブラウザアプリケーション、電子書籍アプリケーション等である場合を例に説明する。
次に、携帯端末100における撮影の基本動作について説明する。撮像素子102は、レンズ101を介して入射した光を光電変換し、入力画像信号(アナログ画像信号)としてA/D変換器103へ出力する。A/D変換器103は撮像素子102から出力されるアナログ画像信号をデジタル画像信号に変換し、メモリ制御部107を介して画像メモリ106に出力する。システム制御部50は、画像メモリ106に出力された画像に対してRGB同時化処理、ホワイトバランス等の色変換処理、γ変換処理等の各種画像処理を行う。
画像メモリ106は、撮像素子102から出力された画像データや、表示部109に表示するための画像データを格納する。画像メモリ106に記録された画像は、後述するシステム制御部50が実行する撮影画像を利用する各種アプリケーションで利用することが可能である。D/A変換器108は、画像メモリ106に格納されている画像表示用のデータをアナログ信号に変換して表示部109に供給する。表示部109は、LCD等の表示デバイスにD/A変換器108からのアナログ信号に応じた表示を行う。またシステム制御部50は、必要に応じて画像データを記録I/F111を介して記録媒体112に格納する。
図2は、携帯端末100が表示する画像の例を示した図である。各画面は、システム制御部50の制御に応じて表示部109に表示される。図2(A)は、アプリケーションの選択画面を示す図である。アプリケーションの選択画面では、事前にインストールされた複数のアプリケーション(例えば、アプリケーションA~F)のアイコンがユーザに提示される。例えば、アプリケーションAはバイタルサイン計測アプリケーション、アプリケーションBはWEBブラウザアプリケーション、アプリケーションCは電子書籍アプリケーションを示している。ユーザによって任意のアプリケーションが選択されると、システム制御部50は選択されたアプリケーションを起動する。
(バイタルサイン計測アプリケーション)
次に、ユーザによってアプリケーションA(バイタルサイン計測アプリケーション)が選択され、システム制御部50がバイタルサイン計測アプリケーションを実行する場合の動作について説明する。バイタルサイン計測アプリケーションは、撮像した画像を用いてバイタルサイン等の生体情報を計測・解析するアプリケーションである。図2(B)および図2(C)は、バイタルサイン計測アプリケーションの利用時に表示される画面の例である。
次に、ユーザによってアプリケーションA(バイタルサイン計測アプリケーション)が選択され、システム制御部50がバイタルサイン計測アプリケーションを実行する場合の動作について説明する。バイタルサイン計測アプリケーションは、撮像した画像を用いてバイタルサイン等の生体情報を計測・解析するアプリケーションである。図2(B)および図2(C)は、バイタルサイン計測アプリケーションの利用時に表示される画面の例である。
ユーザによってバイタルサイン計測アプリケーションが選択されると、システム制御部50は、バイタルサイン計測アプリケーションを起動する。バイタルサイン計測アプリケーションの起動時にシステム制御部50は、撮像部110を動作させバイタルサインの計測対象であるユーザを撮影させる。また、同時にシステム制御部50は、携帯端末100の表示部109に計測画面を表示する。図2(B)は、バイタルサイン計測アプリケーションの計測画面の例を示す図である。なお、撮像部110のレンズ101は、携帯端末100の表示部109と同じ面に配置されている。そのため、ユーザは表示部109に表示される画面を見ながら撮像部110により自撮りをすることが可能である。
計測画面には、撮影画像201、測定開始アイコン202、バイタルサイン203、設定アイコン204が表示される。撮影画像201は、撮像部110で撮影した画像であり、計測対象のユーザが表示される。測定開始アイコン202は、バイタルサインの計測を開始するためのアイコンである。システム制御部50は、ユーザが測定開始アイコン202を押下したことを検出するとバイタルサインの計測を開始する。計測されたバイタルサインのデータは、バイタルサイン203に表示される。本実施例では、バイタルサインとして心拍数と血中酸素濃度を計測する例について説明する。なお、計測対象となるバイタルサインはこれに限られるものではなく、どのような種類のバイタルサインを計測する構成であっても構わない。また、バイタルサインの計測方法に関しては画像を利用する既知の技術を利用するものとし、どのような方法を利用してもよい。また、画像を利用したバイタルサインの計測方法に加えて、他の計測方法を実行しても構わない。
設定アイコン204は、バイタルサイン計測アプリケーションの設定を行うためのアイコンである。設定アイコン204が押下されると、システム制御部50は、バイタルサイン計測アプリケーションの設定画面を表示部109に表示する。図2(C)は、バイタルサイン計測アプリケーションの設定画面の例を示す図である。設定画面には、バックグラウンド実行アイコン205、カテゴリ設定206、追加・削除アイコン207、計測場所設定208、追加・削除アイコン209が表示される。
設定画面では、バイタルサイン計測アプリケーションをフォアグラウンドで実行中の他のアプリケーション(フォアグラウンドアプリケーション、第1のアプリケーション)のバックグラウンドで実行するための設定を行うことが可能である。すなわち、設定画面では、バイタルサイン計測アプリケーションをバックグラウンドアプリケーション(第2のアプリケーション)として実行する場合の設定を行う。バックグラウンド実行アイコン205は、バイタルサイン計測アプリケーションのバックグラウンド実行のON/OFFを切り替えるためのアイコンである。バックグラウンド実行アイコン205をONに設定することで他のアプリケーションを実行しながら、バックグラウンドでバイタルサイン計測アプリケーションを実行することが可能である。バックグラウンド実行アイコン205がONに設定された場合、システム制御部50が管理するバックグラウンド実行アプリケーションリストにバイタルサイン計測アプリケーションが追加される。
図3は、バックグラウンド実行アプリケーションリストの例を示す図である。図3(A)はバックグラウンド実行アプリケーションが1つの場合、図3(B)はバックグラウンド実行アプリケーションが複数の場合のバックグラウンド実行アプリケーションリストを示している。ここでは図3(A)を用いてバックグラウンド実行アプリケーションリストについて説明する。
バックグラウンド実行アプリケーションリストは、バックグラウンド実行アプリケーションごとに該アプリケーションのバックグラウンドでの起動条件を紐づけたテーブルである。バックグラウンド実行アプリケーションリストには、例えば、バックグラウンドで実行されるアプリケーションの識別ID301、実行場所302、時間条件303、カテゴリ304、適性度305が含まれる。識別ID301は、アプリケーションを一意に識別するためのIDである。例えば、APP_0003はバイタルサイン計測アプリケーションを示す識別IDである。
実行場所302は、バイタルサイン計測アプリケーションをバックグラウンドで実行する場所として指定された場所を示す。実行場所302で指定された場所の近辺でのみバイタルサイン計測アプリケーションをバックグラウンドで実行する。バイタルサイン計測アプリケーションをバックグラウンドで実行する場所は、バイタルサイン計測アプリケーションの設定画面(図2(C))の計測場所設定208で設定される。
計測場所設定208は計測場所の指定設定であり、バイタルサイン計測アプリケーションをバックグラウンドで実行する際の場所を指定する。例えば、照明環境が良くバイタルサイン計測に適した自宅の場所を208の計測場所として登録しておくと、自宅にいるときのみバイタルサイン計測アプリケーションをバックグラウンドで実行することができる。これにより、屋外など照明環境が悪く、バイタルサイン計測を実行しても失敗することが多いような場所で無駄にバイタルサイン計測を実行することを防ぐことができる。計測場所設定208はユーザが追加・削除することが可能であり、追加・削除アイコン209を押下することで、バックグラウンドでバイタルサインの計測を実行する場所を設定することが可能である。計測場所設定208で設定された場所情報は、バックグラウンド実行アプリと関連付けて、バックグラウンド実行アプリケーションリストの実行場所302で管理される。
時間条件303は、バックグラウンドアプリケーションの平均利用時間を示す情報である。例えば、バイタルサイン計測アプリケーションが利用される時間、すなわちバイタルサイン計測アプリケーションによる計測に必要な時間が2分以上である場合、時間条件303には「2min以上」と指定される。
カテゴリ304は、関連付けられたフォアグラウンドアプリケーションを示す。カテゴリ304に登録されたカテゴリのアプリケーションをフォアグラウンドで実行した時に、バックグラウンドでバイタルサイン計測を実行することが可能である。本実施例のバイタルサイン計測では携帯端末100のフロントカメラでユーザを撮像する必要があり、ユーザが携帯端末100の画面(表示部109)を見て利用することが想定されているアプリケーションが属する所定のカテゴリをカテゴリ304に登録する。すなわち、動画、電子書籍、WEBブラウザ等、表示部109に情報を表示する特性を有するカテゴリがカテゴリ304に登録される。
図3(A)の例では、CAT_001(WEBブラウザ)もしくはCAT_002(電子書籍)のカテゴリに属するアプリケーションを実行する際に、バイタルサイン計測アプリケーションをバックグラウンドで実行することが可能であることを示している。したがって、ユーザがフォアグラウンドでWEBブラウザを起動した際に、システム制御部50は、バックグラウンドでバイタルサイン計測を行うかを判断し、バイタルサイン計測を行うと判断した場合はバイタルサイン計測を実行する。同様に、ユーザがフォアグラウンドで電子書籍アプリを起動した際に、システム制御部50は、バックグラウンドでバイタルサイン計測を行うかを判断し、バイタルサイン計測を行うと判断した場合はバイタルサイン計測を実行する。
バックグラウンドでバイタルサイン計測を実行可能なフォアグラウンドアプリのカテゴリ304は、デフォルトで設定されていてもよいし、バイタルサイン計測アプリケーションの設定画面(図2(C))のカテゴリ設定206でユーザにより設定されてもよい。例えば、追加・削除アイコン207を押下することで、関連付けるフォアグラウンドアプリケーションのカテゴリを設定することが可能である。図2(C)のカテゴリ設定206の例では、関連付けるフォアグラウンドアプリケーションのカテゴリにWEBブラウザアおよび電子書籍が登録されている。バイタルサイン計測アプリケーションの設定画面で関連付けるアプリケーションのカテゴリとして登録されたカテゴリ情報は、バックグラウンド実行アプリと関連付けてバックグラウンド実行アプリケーションリストのカテゴリ304で管理される。なお、本実施例ではアプリケーションのカテゴリを設定登録してバックグラウンドでのアプリケーションの起動可否の判定に利用する例を説明するが、これに限られるものではない。例えば、カテゴリにかえてアプリケーション自体を設定登録してバックグラウンドでのアプリケーションの起動可否の判定に利用するようにしてもよい。
適性度305は、各フォアグラウンドアプリケーションのバックグラウンドにおいて当該バックグラウンドアプリケーションを実行する適性の度合いを示す適性度の履歴情報である。適性度305は、過去に算出した適性度の平均値であり、フォアグラウンドアプリケーションごとに管理される。適性度の算出方法に関しては後述する。以上説明したように、バックグラウンド実行が有効となったアプリケーションのバックグラウンドでの起動条件がバックグラウンドアプリケーションリストとしてシステム制御部50により管理される。
(フォアグラウンドアプリケーション実行時の動作)
次に、バイタルサイン計測アプリケーションとは異なるアプリケーションをフォアグラウンドで実行した際に、バックグラウンドでバイタルサイン計測アプリケーションを実行可能か判定する処理について説明する。図4は、バイタルサイン計測アプリケーションのバックグラウンドでの実行可否を判定する処理を示すフローチャートである。図4に示される各処理は、システム制御部50が、不揮発性メモリ121等の読み取り可能な記憶媒体に格納されたプログラムを実行することにより実現される。なお、図4の説明では、図3(A)に示されるバックグラウンドアプリケーションリストがシステム制御部50により管理され、フォアグラウンドで実行するアプリケーションとして電子書籍アプリケーションが選択される例について説明する。
次に、バイタルサイン計測アプリケーションとは異なるアプリケーションをフォアグラウンドで実行した際に、バックグラウンドでバイタルサイン計測アプリケーションを実行可能か判定する処理について説明する。図4は、バイタルサイン計測アプリケーションのバックグラウンドでの実行可否を判定する処理を示すフローチャートである。図4に示される各処理は、システム制御部50が、不揮発性メモリ121等の読み取り可能な記憶媒体に格納されたプログラムを実行することにより実現される。なお、図4の説明では、図3(A)に示されるバックグラウンドアプリケーションリストがシステム制御部50により管理され、フォアグラウンドで実行するアプリケーションとして電子書籍アプリケーションが選択される例について説明する。
ステップS401で、システム制御部50は、ユーザが選択したアプリケーションをフォアグラウンドで起動する。ユーザは、例えば、図2(A)に示すような選択画面で複数のアプリケーションの中から1つのフォアグラウンドで実行するアプリケーションを選択する。ここで選択されるフォアグラウンドアプリケーションは、バイタルサイン計測アプリケーションとは異なるアプリケーションであり、例えば、電子書籍アプリケーションが選択されたものとする。
ステップS402で、システム制御部50は、バックグラウンドアプリケーションリストにバックグラウンドでの動作が有効になっているアプリケーションがあるか否かを確認する。バックグラウンドアプリケーションリストにバックグラウンドでの動作が有効になっているアプリケーションがある場合は、ステップS403に進む。一方、バックグラウンドアプリケーションリストにバックグラウンドでの動作が有効になっているアプリケーションがない場合は、本処理を終了し、ステップS401で選択されたフォアグラウンドのアプリケーションのみを実行する。図3(A)の例では、バックグラウンド動作ONのアプリとしてバイタルサイン計測アプリケーションが登録されている。図3(A)のようにバックグラウンドアプリケーションリストにバイタルサイン計測アプリケーションが登録されている場合は、ステップS403に進む。
ステップS403で、システム制御部50は、ステップS401で選択されたフォアグラウンドアプリケーションに関する情報を取得する。フォアグラウンドアプリケーションに関する情報は、フォアグラウンドで実行するアプリケーションの利用状態が、バイタルサイン計測アプリケーシをバックグラウンドで起動するのに適した利用状態であるか判定するための情報である。本実施例においてシステム制御部50はフォアグラウンドアプリケーション情報として、フォアグラウンドアプリケーションのカテゴリ、フォアグラウンドアプリケーションの平均的な利用時間を取得する。なお、フォアグラウンドアプリケーションのカテゴリ、平均的な利用時間の情報はシステム制御部50が管理している。さらに、システム制御部50は、ステップS401で選択されたフォアグラウンドアプリケーションに関する情報として、フォアグラウンドアプリケーションを実行中の携帯端末100の現在の場所情報を取得する。場所情報は、携帯端末100に内蔵されている不図示のGPS等から取得する。
ステップS404で、システム制御部50は、ステップS401で選択されたフォアグラウンドで実行するアプリケーションの利用状態が、バイタルサイン計測アプリケーシをバックグラウンドで起動するのに適した利用状態であるか判定する。システム制御部50は、ステップS403で取得したフォアグラウンドアプリケーションの情報が、バックグラウンドでのバイタルサイン計測アプリケーションの起動条件を満たしているかを判定する。
本実施例では、下記の4つの項目で示される起動条件により、フォアグラウンドアプリケーションの利用状態がバックグラウンドでのバイタルサイン計測アプリケーションの起動に適しているかを判断する例について説明する。
(1)フォアグラウンドアプリのカテゴリが合致しているか。
(2)平均利用時間が閾値以上か。
(3)過去の適性度は閾値以上か。
(4)実行場所が合致しているか。
(1)フォアグラウンドアプリのカテゴリが合致しているか。
(2)平均利用時間が閾値以上か。
(3)過去の適性度は閾値以上か。
(4)実行場所が合致しているか。
(1)では、現在フォアグラウンドで実行しているアプリケーション(以下、フォアグラウンドアプリとも記す)が、バックグラウンドでアプリケーションを実行可能と指定されているアプリケーションであるか判定する。例えば、音楽カテゴリに属する音楽を聴くためのアプリケーションの利用時は、ユーザは画面(表示部109)を見ずに利用する場合が多く、撮像部110で画面を見ているユーザを撮像してバイタルサイン計測に必要な画像を取得することができない恐れがある。そのため、バイタルサイン計測に必要な画像を撮像できる場合にのみ、バックグラウンドでバイタルサイン計測アプリケーションを実行する。すなわち、ユーザが携帯端末100の画面(表示部109)を見て利用することが想定されている所定のカテゴリのアプリケーションがフォアグラウンドで実行されている場合にバックグラウンドでバイタルサイン計測アプリケーションを実行するよう制御する。具体的には、システム制御部50は、フォアグラウンドアプリのカテゴリがバックグラウンド実行アプリケーションリストのカテゴリ304に含まれているかを判定する。例えば、システム制御部50は、ステップS401で起動されたアプリケーションが電子書籍アプリケーションであった場合、バックグラウンド実行アプリケーションリストのカテゴリ304にフォアグラウンドアプリが含まれていると判定する。
(2)では、フォアグラウンドアプリの平均使用時間が、該フォアグラウンドアプリに対応するバックグラウンドアプリケーションの平均使用時間以上であるか判定する。バイタルサイン計測には所定の計測時間が必要であり、フォアグラウンドでのアプリケーションの利用が計測時間未満である場合は、計測が失敗してしまう恐れがある。そのため、フォアグラウンドアプリの平均使用時間がバイタルサイン計測の平均的な計測時間以上である場合にのみ、バックグラウンドでバイタルサイン計測アプリケーションを実行する。具体的には、システム制御部50は、フォアグラウンドアプリの平均使用時間がバックグラウンド実行アプリケーションリストの時間条件303の条件を満たすか判定する。例えば、システム制御部50は、フォアグラウンドアプリである電子書籍アプリケーションの平均使用時間が20分であった場合、バイタルサイン計測アプリケーションの時間条件303である2分以上を満たしていると判定する。
(3)では、フォアグラウンドアプリがバックグラウンドでバイタルサイン計測アプリケーションを実行する適性のあるアプリケーションであるかを判定する。具体的には、システム制御部50は、バックグラウンド実行アプリケーションリストにおいてフォアグラウンドアプリに対応する過去の適性度305の数値が所定の閾値以上であるか判定する。例えば適性度の閾値が0.5であった場合、フォアグラウンドアプリである電子書籍アプリケーションの過去の適性度305は0.7であるため、閾値以上であると判定する。
(4)では、携帯端末100のある場所がバイタルサイン計測アプリケーションで指定された計測場所の範囲に含まれているか判断する。具体的には、システム制御部50は、現在携帯端末100が存在する場所がバックグラウンド実行アプリケーションリストの実行場所302に含まれているか判定する。例えば、バックグラウンド実行アプリケーションリストの実行場所302に自宅が含まれている場合において、携帯端末100の現在の位置情報が自宅のある場所を示している場合、携帯端末100が実行場所302の範囲に含まれていると判定する。
本実施例では、以上の4つの項目について全ての条件を満たす場合に、システム制御部50は、フォアグラウンドで実行中のアプリケーションが、バイタルサイン計測アプリケーシをバックグラウンドで起動するのに適したアプリケーションであると判定する。フォアグラウンドアプリがバイタルサイン計測アプリケーシをバックグラウンドで起動するのに適したアプリケーションであると判定された場合は、ステップS405に進む。一方、フォアグラウンドアプリがバイタルサイン計測アプリケーシをバックグラウンドで起動するのに適したアプリケーションでない場合は、本処理を終了し、フォアグラウンドのアプリケーションのみを実行する。なお、本実施例ではステップS404で4つの項目で判定を行う例を説明したが、これに限られるものではなく、4つの項目のうちの一部で判定を行ってもよいし、他の条件を加えて判定を行ってもよい。また、ステップS404での判定項目に応じて、ステップS403で収集する情報を変更してよい。
ステップS405~S407では、撮像部110を使って被写体となるユーザの状態と環境光の状態を解析し、バックグラウンドでのバイタルサイン計測アプリケーションの実行に適しているかを判断する。ステップS405で、システム制御部50は、撮像部110を起動し、携帯端末100のユーザの画像を所定時間(例えば10秒間)撮影し、撮影画像を取得する。
ステップS406で、システム制御部50は、ステップS405で取得した画像を解析し、環境適性情報を取得する。なおシステム制御部50は、画像に加えて画像を撮像した際の情報を利用してもよい。環境適性情報は、撮影した被写体の状態や撮影環境がバックグラウンドでのアプリケージョンの実行、すなわちバイタルサイン計測に適した状態であるかを判定するための評価情報である。環境適性情報には、被写体特性情報(被写体情報)と環境光特性情報(環境光情報)が含まれる。被写体特性情報は、被写体となるユーザと携帯端末100の位置関係、該位置関係に起因するユーザの顔のサイズ、ユーザの顔の向きなどのユーザの姿勢、これらの位置・姿勢の変化、ユーザの表情の変化等、被写体の状態に関する情報である。環境光特性情報は、被写体であるユーザの明るさで示される撮影時の環境光の明るさ、色温度、ユーザによる光の反射状態、環境光の明るさの変化等、環境光に関する情報である。本実施例では、被写体特性情報として、(1)顔領域の適性度、(2)被写体の変動適性度を、また、環境光特性情報として、(3)環境光の照度適性度、(4)鏡面反射の適性度、(5)環境光の変動適性度を算出する例について説明する。各適性度はいずれも0~1の数値として算出する。なお、これらは環境適性情報の一例であり、バイタルサイン計測に適した状態であるか否かを判定するのに適した指標であれば他の指標であってもよい。
環境適性情報の適性度の算出方法について図5および図6を用いて説明する。図5は、環境適性情報の適性度について説明する図である。図6は、適性度の算出特性を示す図である。撮影画像500は、ステップS405において撮像部110で撮影された携帯端末100のユーザの画像である。システム制御部50は、顔、目、鼻、口の位置に基づき、適性度の取得領域を設定する。具体的には、システム制御部50は、まず認識処理部104にユーザの顔中心位置および目、鼻、口の位置を検出させる。そして、検出された顔、目、鼻、口の位置に基づき、適性度を取得する複数の領域枠を設定する。顔領域枠501および顔領域枠502は、被写体(ユーザ)の顔領域を示している。例えば、認識処理部104により検出された顔、目、鼻、口の位置に基づき、顔領域枠501は右頬、顔領域枠502は左頬のあたりに設定される。背景領域枠503は被写体の右耳の右上の背景領域、背景領域枠504は被写体の右耳の右下の背景領域、背景領域枠505は被写体の左耳の左上の背景領域、背景領域枠506は被写体の左耳の左下の背景領域に設定される。
被写体特性情報の(1)顔領域の適性度は、設定した顔領域枠501および顔領域枠502に顔領域が含まれている程度を示す評価値である。顔領域の適性度により、被写体のなるユーザの位置姿勢等の状態がバイタル計測のための撮影に適した状態であるか評価される。本実施例では被写体の状態がバイタル計測の実行に適しているかを判定するため、バイタルサイン計測の対象となる特定の領域(例えば、顔領域)が撮像可能かを特定の領域の露出割合から評価する。
まず、システム制御部50は、設定した顔領域枠(501,502)に対して肌の色の領域が占める割合を肌面積割合として算出する。例えばモノや髪の毛などで顔領域が隠れている場合には肌面積割合は小さくなり、隠れていない場合は大きな値となる。次に、システム制御部50は、肌面積割合に基づいて顔領域適性度を算出する。顔領域適性度の算出は、例えば図6(A)に示される顔領域適性度グラフの特性を用いて行われる。顔領域適性度グラフは、横軸が入力の肌面積割合を、縦軸が出力される顔領域適性度を示している。肌面積割合が0から第1の割合の間は顔領域適性度が0となり、肌面積割合が第1の割合から第1の割合より高い第2の割合の間は肌面積割合が増えるほど顔領域適性度も高くなり、肌面積割合が第2の割合以上である場合には顔領域適性度は1となる。このように肌面積割合が高いほど顔領域適性度の数値も高くなり、バイタルサイン計測に適した状態となる。一方、モノや髪の毛などで顔領域の多くが隠れている場合はバイタルサインの計測に適さないため、顔領域適性度は低くなる。
被写体特性情報の(2)被写体の変動適性度は、被写体の動きを示す評価値である。被写体の変動適性度は、例えば、表情変化量、顔向き変化量、背景変化量から算出する。表情変化量は、被写体(ユーザ)の表情が時間的に変化すると大きくなり、表情変化がない場合は小さくなる指標である。システム制御部50は、認識処理部104で検出した目、鼻、口の位置の相対関係の時間変化量から表情変化量を算出する。目、鼻、口の位置の相対的な時間変化量が大きい場合に、表情変化量が大きくなる。
顔向き変化量は、被写体(ユーザ)の顔の向きが時間的に変化すると大きくなり、表情変化がない場合は小さくなる指標である。システム制御部50は、認識処理部104で検出した目、鼻、口の位置から顔の向きを算出し、顔の向きの時間変化量から顔向き変化量を算出する。顔向きの時間変化量が大きくなると顔向き変化量が大きくなり、顔向きが一定の場合には顔向き変化量は小さくなる。
背景変化量は、被写体(ユーザ)の背景が時間的に変化すると大きくなり、背景の変化が少ない場合は小さくなる指標である。システム制御部50は、背景領域枠503~506の輝度の時間変動量から背景変化量を算出する。背景領域の輝度の時間変化量が大きい場合は、背景変動量が大きくなり、背景領域の輝度が一定の場合は小さくなる。
図6(B)は、表情変化量、顔向き変化量、背景変化量の時間変化の例を示す被写体変動グラフである。被写体変動グラフは、横軸が時間を、縦軸が表情変化量、顔向き変化量、背景変化量を示している。システム制御部50は、表情変化量、顔向き変化量、背景変化量の3種の変化量の何れかが、所定時間間隔ΔTにおいて閾値Th1より大きくなった時間の割合を被写体変動割合として算出する。所定時間間隔ΔTは、例えばT2-T1である。
次に、システム制御部50は、算出した被写体変動割合に基づいて被写体変動適性度を算出する。被写体変動適性度の算出は、例えば図6(C)に示される被写体変動適性度グラフの特性を用いて行われる。被写体変動適性度グラフは、横軸が入力の被写体変動割合を、縦軸が出力される被写体変動適性度を示している。被写体変動割合が0の場合は被写体変動適性度が1となり、被写体変動割合が0から第1の割合の間は被写体変動割合が大きくなるにつれて被写体変動適性度が低くなる。そして、被写体変動割合が第1の割合を超えると被写体変動適性度が0となる。このように、被写体の変動割合が小さい場合に被写体変動適性度は高くなり、バイタルサイン計測に適した状態となる。一方、被写体の動きが大きい場合はバイタルサインの計測に適さないため、被写体変動適性度は低くなる。
被写体特性情報の(3)環境光の照度適性度は、被写体の顔領域の明るさを示す評価値である。システム制御部50は、被写体の照度に基づいて照度適性度を算出する。具体的には、まずシステム制御部50は、顔領域枠501および顔領域枠502の照度を撮影画像もしくは撮像部110の露出パラメータから算出する。
次に、システム制御部50は、算出した顔領域枠501および顔領域枠502の照度に基づいて照度適性度を算出する。照度適性度の算出は、例えば図6(D)に示される照度適性度グラフの特性を用いて行われる。照度適性度グラフは、横軸が入力の照度を、縦軸が出力される照度適性度を示している。入力の照度は、例えば顔領域枠501および顔領域枠502の照度の平均である。照度が0から第1の値の間は照度適性度が0となり、照度が第1の値から第1の値より高い第2の値の間は照度が高くなるにつれ照度適性度も高くなる。照度が第2の値から第2の値より高い第3の値の間は照度適性度が1となり、照度が第3の値から第3の値より高い第4の値の間は照度が高くなるにつれ照度適性度は低くなる。照度が第4の値以上である場合には照度適性度は0となる。このように、暗すぎずなおかつ明るすぎない照度の場合に照度適性度は高くなり、バイタルサイン計測に適した状態となる。一方、暗すぎる場合や明るすぎる場合はバイタルサインの計測に適さないため、照度適性度は低くなる。
被写体特性情報の(4)鏡面反射の適性度は、被写体の顔領域の反射を示す評価値である。システム制御部50は、被写体の顔領域の鏡面反射画素の割合から鏡面反射の適性度を算出する。鏡面反射画素は、例えば、顔領域の輝度の平均値よりも所定の比率以上に高輝度になっている画素である。なお、鏡面反射画素を所定の輝度以上になっている画素としてもよい。具体的には、まずシステム制御部50は、顔領域枠501および顔領域枠502の輝度の平均値を算出する。そしてシステム制御部50は、顔領域枠501および顔領域枠502において、算出した平均値よりも所定の比率以上に高輝度になっている画素の割合を鏡面反射割合として算出する。
次に、システム制御部50は、算出した鏡面反射割合に基づいて鏡面反射適性度を算出する。鏡面反射適性度の算出は、例えば図6(E)に示される鏡面反射適性度グラフの特性を用いて行われる。鏡面反射適性度グラフは、横軸が入力の鏡面反射割合を、縦軸が出力される鏡面反射適性度を示している。鏡面反射割合が0から第1の割合の間は鏡面反射適性度が1となり、鏡面反射割合が第1の割合から第1の割合より高い第2の割合の間は鏡面反射割合が大きくなるにつれ鏡面反射適性度が低くなる。そして、鏡面反射割合が第2の割合を超えると鏡面反射適性度は0となる。このように、鏡面反射割合が小さい場合に鏡面反射適性度は高くなり、バイタルサイン計測に適した状態となる。一方、鏡面反射している画素はバイタルサイン計測には向かないため、鏡面反射割合が高い場合は鏡面反射適性度が低くなる。
被写体特性情報の(5)環境光の輝度変化適性度は、被写体の顔領域の輝度の時間変化を示す評価値である。システム制御部50は、まず、顔領域枠501および顔領域枠502の輝度の時間変化量を算出する。システム制御部50は、算出した輝度の時間変化量が所定時間間隔ΔTにおいて閾値Th2より大きくなった時間の割合を輝度変動割合として算出する。図6(F)は、輝度変化量の時間変化の例を示す輝度変動グラフである。輝度変動グラフは、横軸が時間を、縦軸が輝度変化量を示している。所定時間間隔ΔTは、例えばT4-T3である。
次に、システム制御部50は、算出した輝度変動割合に基づいて輝度変化適性度を算出する。輝度変化適性度の算出は、例えば図6(G)に示される輝度変化適性度グラフの特性を用いて行われる。輝度変化適性度グラフは、横軸が入力の輝度変動割合を、縦軸が出力される輝度変化適性度を示している。輝度変動割合が0の場合の輝度変化適性度は1であり、輝度変動割合が0から第1の割合の間は輝度変動割合が大きくなるにつれ輝度変化適性度は低くなる。そして、輝度変動割合が第1の割合を超えると輝度変化適性度は0となる。このように、輝度変動割合が小さい場合に輝度変化適性度は高くなり、バイタルサイン計測に適した状態となる。一方、屋外などで環境光の変化が激しい場合など輝度変動割合が大きい場合はバイタルサインの計測に適さないため、輝度変化適性度が低くなる。
ステップS406では、以上のように(1)顔領域の適性度、(2)被写体の変動適性度、(3)環境光の照度適性度、(4)鏡面反射の適性度、(5)環境光の変動適性度を算出することで環境適性情報を取得する。ステップS407で、システム制御部50は、環境適性情報に基づいて総合適性度を算出する。具体的にはシステム制御部50は、ステップS406で算出した(1)~(5)の各適性度を全て乗算し、その結果を総合適性度とする。ステップS408で、システム制御部50は、総合適性度が所定の閾値以上であるか判定する。総合適性度が所定の閾値以上である場合はバイタルサインの計測に適した環境であるため、ステップS409に進む。一方、総合適性度が閾値未満の場合はバイタルサインの計測には適さない環境であるため本処理を終了し、S401で選択されたフォアグラウンドのアプリケーションのみを実行する。
ステップS409で、システム制御部50は、バックグラウンドアプリケーションであるバイタルサイン計測アプリケーションの実行をユーザに提案する表示を表示部109に行う。図2(D)は、バイタルサイン計測アプリケーションのバックグラウンドでの実行を提案する画面の例を示す図である。フォアグラウンドで実行中のアプリケーションである電子書籍アプリケーションの画面210に重ねて、バイタルサイン計測を実行することを提案する提案アイコン211を表示する。ユーザにより提案アイコン211が押下されると、バックグラウンドでバイタルサイン計測アプリケーションが実行される。
ステップS410で、システム制御部50は、バックグラウンドでのバイタルサイン計測を実行する指示がされたかを判定する。具体的にはシステム制御部50は、ユーザによって提案アイコン211が押下されたか否かにより、バックグラウンドでのバイタルサイン計測を実行する指示がされたかを判定する。ユーザによって提案アイコン211が押下され、バイタルサイン計測の実行が指示された場合は、ステップS411に進む。一方、提案アイコン211が押下されなかった場合は、ステップS412に進む。
ステップS411で、システム制御部50は、バックグラウンドでバイタルサイン計測アプリケーションを起動し、バイタルサイン計測を実行する。ステップS412で、システム制御部50は、ステップS407で算出した環境適性情報に基づいた総合適性度をバックグラウンドアプリケーションリストの適性度305に反映して記録する。具体的には、システム制御部50は、バックグラウンドアプリケーションリストに記録されている過去の適性度と今回ステップS407で新たに算出した総合適性度との平均値を算出し、算出した平均値を新たな総合適性度として更新し記録する。
以上説明した通り、本実施例では、フォアグラウンドアプリ実行時に、フォアグラウンドアプリに関する情報とユーザを撮影して得た環境適性情報に基づき、バックグラウンドでバイタルサイン計測アプリケーションを実行可能か判断する。これにより、ユーザ自身が操作によってバイタルサイン計測アプリケーションを起動し、計測を実行する手間を省くことが可能となる。また、バックグラウンドでのバイタルサイン計測アプリケーションの実行に適していると判断した場合にのみバイタルサイン計測を実行するため、無駄な電力や処理負荷をかけることなく実行することが可能となる。
なお、本実施例では、バックグラウンドで実行するアプリケーションとしてバイタルサイン計測アプリケーションを例に説明したが、携帯端末100で撮影した画像を利用するアプリケーションであればどのようなアプリケーションであっても構わない。例えば、ユーザの姿勢を解析するアプリケーションやストレス度を解析するアプリケーションなど、ユーザの状態を解析するアプリケーションに適用することも可能である。
また、本実施例では、バックグラウンドで実行可能か判断するためにステップS403で取得するフォアグラウンドアプリケーション情報として、アプリケーションのカテゴリと平均利用時間等を取得した。しかし、取得するフォアグラウンドアプリケーション情報はこれらに限定するものではなくフォアグラウンドのアプリケーションに関する情報であればどのような情報を利用してもよい。例えば、カテゴリではなく、フォアグラウンドのアプリケーションごとのID等の識別情報で判断してもよいし、フォアグラウンドのアプリケーションを実行した際の携帯端末100の平均的な動きを示す情報で判断する処理を加えても構わない。例えば、ゲームのアプリケーションのようにアプリケーションを利用する際に端末を大きく動かすようなアプリケーションの場合は、バックグラウンドでバイタルサイン計測を実行するのに適さないと判定するような制御をすることも可能である。
また、バックグラウンドアプリケーションリストで管理される情報も取得するフォアグラウンドアプリケーション情報に合わせて変更してよい。例えば、フォアグラウンドアプリケーション情報としてアプリケーションのIDを取得する場合には、バックグラウンドアプリケーションリストではカテゴリ304の代わりにまたはカテゴリ304に加えてアプリケーションのIDを管理する。また、フォアグラウンドアプリケーション情報として携帯端末100の動き情報を取得する場合には、バックグラウンドアプリケーションリストでも動き情報を管理する。これらのバックグラウンドアプリケーションリストは、ステップS404の判定等で利用される。
本実施例では、ステップS406で環境適性情報として、環境光の照度適性度、鏡面反射の適性度、環境光の変動適性度を取得する例を説明したが、これに限られるものではない。例えば、環境光の色温度や、環境光の角度(斜光の度合いなど)からバイタルサイン計測に向いている条件かを判断する構成をとることもできる。この場合、環境光の色温度が極端に高いか、低い場合は正しくバイタルサイン計測ができなくなる可能性があるためバックグラウンド実行しないように制御する。また強い斜光の場合もユーザの顔領域枠501と顔領域枠502で極端に明るさが異なってくる可能性があり、バイタルサイン計測の精度が悪化する恐れがあるためバックグラウンド実行しないように制御する。
また、本実施例では、バックグラウンド実行に適していると判断した場合に、ステップS409でユーザに実行を提案する例について説明したが、ステップS409とステップS410を省略してユーザに提案せずに自動で実行する構成をとることも可能である。この場合、よりユーザの手間を低減させることが可能である。
また、本実施例では、バックグラウンドアプリケーションリストに登録されるアプリケーションが1つの場合の例について説明したが、バックグラウンドアプリケーションリストには複数のアプリケーションが登録されていてもよい。バックグラウンドアプリケーションリストには複数のアプリケーションが登録されている場合、複数のバックグラウンドアプリケーション候補から1つを選択してユーザに提案するような構成をとることが可能である。
バックグラウンドアプリケーションリストに登録されるアプリケーションが複数の場合の例を図3(B)に示す。図3(B)の例では、バックグラウンドアプリ306として、顔画像からバイタルサイン検出を行うアプリケーション(APP_003)の他に、APP_0024とAPP_0055が登録されている。APP_0024は、指の画像からバイタルサイン検出を行うアプリケーションである。APP_0055は、利用者の姿勢の正しさを計測する姿勢計測アプリケーションである。
指の画像からバイタルサイン検出を行うアプリケーションは、指を撮像部110に押し当てた状態で、例えば、図示しないLED光を指に照射し、画像の指の輝度の時間変化量からバイタルサインを検出するアプリケーションである。指の画像からバイタルサイン検出を行う方法は顔画像からバイタルサイン検出を行う方法と比較して、ユーザの顔変動量が大きい場合や環境光の変化が大きい場合でも計測できるが、指を携帯端末に密着している状態で計測しなくてはならない。姿勢検出のアプリケーションは、ユーザの上半身の画像を取得し姿勢の正しさを評価・利用するアプリケーションである。ユーザの上半身の画像を利用するため、バックグラウンドで実行するためにはユーザの上半身が写るような状態で携帯端末を利用している必要がある。
システム制御部50は、バックグラウンドアプリケーションリストで3つのアプリケーションについて、実行場所302、カテゴリ304、時間条件303、適性度305を管理する。そしてシステム制御部50は、フォアグラウンドアプリが起動されると、バックグラウンドアプリケーションリストに登録された複数のアプリケーションの中から、現在の状況で最もバックグラウンドでの実行に適したアプリケーションを選択する。具体的には、まずステップS404で現在実行中のフォアグラウンドアプリのバックグラウンドでの起動の対象のアプリケーションであるかを判定する。バックグラウンド起動の対象であると判定された場合に、S405~S408において各バックグラウンドアプリケーションの適性度を算出する。バックグラウンド実行に適しているかの判断条件は各アプリケーションよって異なり、各アプリケーションに含まれる利用環境判定プログラムを実行することで各バックグラウンドアプリケーションの適性度を算出する。例えば、指の画像からバイタルサイン検出を行うアプリケーションの場合は、携帯端末を手で保持しているかを携帯端末の動き情報や撮影画像から検出する。姿勢計測アプリケーションの場合は、上半身が撮影できる状態で携帯端末を利用しているかを撮影画像から検出する。このように、システム制御部50は、各バックグランドアプリケーション候補の適性度を算出する処理を実行し、適性度に基づいて最もバックグラウンド実行に適したアプリケーションを選択する。そして、ステップS409では適性度が最も高いアプリケーションをユーザへ提案する。これにより、複数のバックグラウンド候補から最も現在の携帯端末100の利用状況に適したアプリケーションをユーザに提案することが可能となり、ユーザの負荷を低減させることができる。また、ステップS409で適性度が最も高いアプリケーションのみをユーザに提示するのではなく、適性度が閾値以上であるアプリケーションをすべてユーザに提示して、ユーザが実行するアプリケーションを選択できるようにしてもよい。また、適性度が最も高いアプリケーションをユーザに提示するのではなく、適性度が高い順番に自動でバックグラウンドにおいてアプリケーションを実行するように制御することも可能である。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施例について説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
50 システム制御部
101 光学系
102 撮像部
104 認識処理部
109 表示部
121 不揮発性メモリ
122 システムメモリ
101 光学系
102 撮像部
104 認識処理部
109 表示部
121 不揮発性メモリ
122 システムメモリ
Claims (18)
- 複数のアプリケーションを同時に実行可能な情報処理装置であって、
第1のアプリケーションを実行中にバックグラウンドで第2のアプリケーションが実行可能か判定する判定手段と、
バックグラウンドで前記第2のアプリケーションを実行する実行手段と、を備え、
前記判定手段は、前記第1のアプリケーションの情報と、前記第1のアプリケーションを実行中の環境適性情報とに基づいて、バックグラウンドで前記第2のアプリケーションが実行可能か判定することを特徴とする情報処理装置。 - 前記第1のアプリケーションの情報は、前記第1のアプリケーションの利用状態が前記第2のアプリケーションをバックグラウンドで実行するのに適した利用状態であるか判定するための情報であることを特徴とする請求項1に記載の情報処理装置。
- 前記第1のアプリケーションの情報は、前記第1のアプリケーションのカテゴリまたは識別情報、前記第1のアプリケーションの平均的な利用時間、前記第1のアプリケーションを実行している前記情報処理装置の現在の場所情報、前記第1のアプリケーションを実行した際の前記情報処理装置の動きを示す情報のいずれか1つ以上の情報を含む情報であることを特徴とする請求項1または2に記載の情報処理装置。
- 前記判定手段は、バックグラウンドで実行可能なアプリケーションの起動条件を示す情報を管理し、
該起動条件を示す情報として、バックグラウンドで実行可能なアプリケーションごとに、フォアグラウンドで実行されるアプリケーションのカテゴリまたは識別情報、バックグラウンドで実行可能なアプリケーションの平均的な利用時間、バックグラウンドで実行可能なアプリケーションを実行可能な場所情報、バックグラウンドで実行可能なアプリケーションを実行した際の前記情報処理装置の動きを示す情報、フォアグラウンドで実行されるアプリケーションのバックグラウンドにおいて該バックグラウンドで実行可能なアプリケーションを実行する適性の度合いを示す適性度の履歴情報のいずれか1つ以上の情報が管理されることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記判定手段は、前記第1のアプリケーションから取得した前記第1のアプリケーションの情報が前記起動条件を満たしているか判定することで、前記第2のアプリケーションが実行可能か判定することを特徴とする請求項4に記載の情報処理装置。
- 撮像部を制御して撮像を行う撮像手段をさらに備え、
前記環境適性情報は、前記第1のアプリケーションを実行中に前記撮像部で前記情報処理装置のユーザを撮像した画像から算出されることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 - 前記環境適性情報には、前記第2のアプリケーションで利用する画像において被写体となる前記ユーザの状態を示す被写体情報または前記情報処理装置を利用している環境光の特性を示す環境光情報の少なくとも1つが含まれることを特徴とする請求項6に記載の情報処理装置。
- 前記被写体情報は、前記ユーザの位置、姿勢、表情の変化に関する情報のいずれか1つ以上を含むことを特徴とする請求項7に記載の情報処理装置。
- 前記第2のアプリケーションが、前記撮像部で前記情報処理装置のユーザを撮像した画像に基づいて、前記ユーザの状態を解析するアプリケーションである場合、前記被写体情報には前記解析の対象となる前記ユーザの特定の領域の露出割合が含まれることを特徴とする請求項7または8に記載の情報処理装置。
- 前記環境光情報には、前記ユーザの明るさ、色温度、前記ユーザによる光の反射状態、前記ユーザの明るさの変化に関する情報のいずれか1つ以上を含むことを特徴とする請求項7乃至9のいずれか1項に記載の情報処理装置。
- 前記判定手段は、前記環境適性情報に基づいて前記第1のアプリケーションのバックグラウンドで前記第2のアプリケーションを実行する適性の度合いを示す適性度を算出し、前記適性度と閾値とを比較してバックグラウンドで前記第2のアプリケーションが実行可能か判定することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記判定手段は、前記適性度を前記第1のアプリケーションのバックグラウンドで前記第2のアプリケーションを実行可能か判定する起動条件の情報として記録することを特徴とする請求項11に記載の情報処理装置。
- 前記第1のアプリケーションを実行中にバックグラウンドで実行可能なアプリケーションの候補が複数ある場合、前記判定手段は、前記第1のアプリケーションの情報と前記環境適性情報とに基づいて、複数のアプリケーションの中から前記第1のアプリケーションのバックグラウンドでの実行に最も適した第2のアプリケーションを判定することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 撮像部を制御して撮像を行う撮像手段をさらに備え、
前記撮像部は、前記情報処理装置の表示部と同じ面に配置され、
前記第2のアプリケーションは、前記撮像部で前記情報処理装置のユーザを撮像した画像に基づいて、前記ユーザの状態を解析するアプリケーションであることを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。 - 前記第2のアプリケーションが解析する前記ユーザの状態は、ユーザの生体情報であることを特徴とする請求項14に記載の情報処理装置。
- 前記判定手段が前記第2のアプリケーションが実行可能であると判定した場合に、前記第2のアプリケーションを実行するか否かをユーザに選択させる画面を表示部に表示する表示手段をさらに備え、
前記実行手段は、前記画面において前記第2のアプリケーションの実行をユーザが選択した場合にバックグラウンドで前記第2のアプリケーションを実行することを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。 - 複数のアプリケーションを同時に実行可能な情報処理装置の制御方法であって、
第1のアプリケーションを実行中にバックグラウンドで第2のアプリケーションが実行可能か判定する判定工程と、
バックグラウンドで前記第2のアプリケーションを実行する実行工程と、を有し、
前記判定工程では、前記第1のアプリケーションの情報と、前記第1のアプリケーションを実行中の環境適性情報とに基づいて、バックグラウンドで前記第2のアプリケーションが実行可能か判定することを特徴とする情報処理装置の制御方法。 - 請求項1乃至16のいずれか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034737A JP2022135128A (ja) | 2021-03-04 | 2021-03-04 | 情報処理装置、情報処理装置の制御方法およびプログラム |
US17/683,878 US11822974B2 (en) | 2021-03-04 | 2022-03-01 | Information processing apparatus, control method of information processing apparatus, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034737A JP2022135128A (ja) | 2021-03-04 | 2021-03-04 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022135128A true JP2022135128A (ja) | 2022-09-15 |
Family
ID=83232343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021034737A Pending JP2022135128A (ja) | 2021-03-04 | 2021-03-04 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11822974B2 (ja) |
JP (1) | JP2022135128A (ja) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4987767A (en) * | 1989-06-09 | 1991-01-29 | Research Corporation Technologies, Inc. | Exposive detection screening system |
JP4554280B2 (ja) * | 2003-06-12 | 2010-09-29 | マイクロソフト コーポレーション | 多重ブレンディングを利用して画像を表示するためのシステムおよび方法 |
US7496228B2 (en) * | 2003-06-13 | 2009-02-24 | Landwehr Val R | Method and system for detecting and classifying objects in images, such as insects and other arthropods |
JP2005218507A (ja) | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | バイタルサイン計測方法と装置 |
US8805110B2 (en) * | 2008-08-19 | 2014-08-12 | Digimarc Corporation | Methods and systems for content processing |
CN101788926B (zh) * | 2009-12-28 | 2014-04-30 | 中兴通讯股份有限公司 | J2me应用前台切换的资源调配方法及装置 |
WO2013015835A1 (en) * | 2011-07-22 | 2013-01-31 | Seven Networks, Inc. | Mobile application traffic optimization |
JP6520403B2 (ja) * | 2015-05-29 | 2019-05-29 | ブラザー工業株式会社 | 携帯端末及び出力プログラム |
KR102303417B1 (ko) * | 2015-06-19 | 2021-09-23 | 삼성전자주식회사 | 복수의 운영 체제를 지원하는 전자 장치 제어 방법 |
WO2018105422A1 (ja) * | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | 情報処理装置および情報処理方法およびプログラムを記憶した記憶媒体 |
US11893228B2 (en) * | 2018-06-03 | 2024-02-06 | Apple Inc. | Devices and methods for interacting with an application switching user interface |
US10504264B1 (en) * | 2018-11-06 | 2019-12-10 | Eric Koenig | Method and system for combining images |
-
2021
- 2021-03-04 JP JP2021034737A patent/JP2022135128A/ja active Pending
-
2022
- 2022-03-01 US US17/683,878 patent/US11822974B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220300350A1 (en) | 2022-09-22 |
US11822974B2 (en) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101873B (zh) | 用于提供针对兴趣对象的外部光源的特性信息的电子设备 | |
KR102349428B1 (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
KR102085766B1 (ko) | 촬영 장치의 자동 초점 조절 방법 및 장치 | |
CN104699250B (zh) | 显示控制方法及装置、电子设备 | |
JP4751776B2 (ja) | 電子撮像装置及び個人特定システム | |
US8532345B2 (en) | Camera and image recording program product | |
US8928770B2 (en) | Multi-subject imaging device and imaging method | |
CN101753822A (zh) | 摄像装置和摄像装置中的图像处理方法 | |
JP2005318554A (ja) | 撮影装置及びその制御方法及びプログラム及び記憶媒体 | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
WO2015098313A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラムを記憶した記憶媒体 | |
JP2007265125A (ja) | コンテンツ表示装置 | |
CN113938602B (zh) | 图像处理方法、电子设备、芯片及可读存储介质 | |
CN104580892A (zh) | 一种终端拍照的方法 | |
US9628727B2 (en) | Information processing apparatus and method, and image capturing system determining or acquiring target noise amount | |
US11144755B2 (en) | Support glint for remote eye tracking | |
CN114983338A (zh) | 一种皮肤检测方法和电子设备 | |
CN104580889A (zh) | 一种终端 | |
US11822974B2 (en) | Information processing apparatus, control method of information processing apparatus, and recording medium | |
CN112088293B (zh) | 预防暗光条件使用电子显示器造成视力减退的方法和系统 | |
KR101957773B1 (ko) | 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치 | |
KR101594293B1 (ko) | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
WO2023128575A1 (ko) | 가시광을 이용하여 획득된 적어도 하나의 이미지를 이용하여 피부 유분 및/또는 수분에 대한 정보를 제공하는 전자 장치 및 그 제어 방법 | |
WO2023112930A1 (ja) | 画像処理装置、端末、モニター方法 | |
JP6874082B2 (ja) | 装置、装置の制御方法、システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240301 |