JP2016046634A - 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 - Google Patents

情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 Download PDF

Info

Publication number
JP2016046634A
JP2016046634A JP2014168527A JP2014168527A JP2016046634A JP 2016046634 A JP2016046634 A JP 2016046634A JP 2014168527 A JP2014168527 A JP 2014168527A JP 2014168527 A JP2014168527 A JP 2014168527A JP 2016046634 A JP2016046634 A JP 2016046634A
Authority
JP
Japan
Prior art keywords
infrared light
face detection
information processing
light emission
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014168527A
Other languages
English (en)
Other versions
JP6371637B2 (ja
Inventor
純樹 魚澤
Junki Uosawa
純樹 魚澤
ブデ ヤノス
Boudet Janos
ブデ ヤノス
ギド セバスティアン
Guido Sebastien
ギド セバスティアン
イリアール ローラン
Hiriart Laurent
イリアール ローラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2014168527A priority Critical patent/JP6371637B2/ja
Priority to EP14187410.7A priority patent/EP2987541B1/en
Priority to US14/518,180 priority patent/US9979917B2/en
Publication of JP2016046634A publication Critical patent/JP2016046634A/ja
Application granted granted Critical
Publication of JP6371637B2 publication Critical patent/JP6371637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Abstract

【課題】赤外光発光による消費電力をより軽減させつつ、赤外光による顔検出の利便性も維持できる情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法を提供すること。【解決手段】赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置であって、まず、カメラを用いて撮像した画像を取得する。この画像に基づいた顔検出処理を繰り返し実行する。そして、顔検出処理の結果に基づいて、当該赤外光の発光を停止し、所定時間の経過後に当該赤外光の発光を再開する。【選択図】図5

Description

本発明は、赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置に関し、より特定的には、少なくとも赤外光画像に基づく顔検出が可能な情報処理装置に関する。
従来から、赤外光を顔に照射し、照射された赤外光の反射光を検出して赤外光画像として出力し、当該赤外光画像を用いて顔認識を行なう技術が知られている(例えば特許文献1)。
特開2008−181468号公報
上記の技術では、赤外光を発光することによる消費電力については特段の考慮はなされていなかった。そのため、例えばバッテリーで動作する携帯型情報端末等に上記技術を適用した場合、赤外光の発光にかかるバッテリー消費の面で改善の余地がある。
それ故に、本発明の目的は、赤外光発光による消費電力をより軽減させつつ、赤外光による顔検出の利便性も維持できる情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法を提供することである。
上記目的を達成するために、例えば以下のような構成例が挙げられる。
構成例の一例は、赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置であって、赤外光発光制御部と、画像取得部と、顔検出部とを備える。赤外光発光制御部は、赤外光の発光を制御する。画像取得部は、カメラを用いて撮像した画像を繰り返し取得する。顔検出部は、画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する。そして、赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する。
上記構成例によれば、顔検出処理による利便性を維持しつつ、赤外光発光にかかる消費電力を抑えることができる。
他の構成例として、赤外光発光制御部は、赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開することを繰り返し行なうようにしてもよい。
上記構成例によれば、赤外光発光にかかる消費電力を更に低減しながら顔検出処理による利便性を維持することができる。
他の構成例として、赤外光発光制御部は、赤外光が発光されている状態での顔検出に失敗している場合に、当該赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開してもよい。更には、赤外光発光制御部は、顔検出が連続して失敗した回数が所定回数以上になった場合に、赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開してもよい。
上記構成例によれば、効率的な消費電力の低減を実現できる。
他の構成例として、赤外光発光制御部は、赤外光が発光されている状態での顔検出に失敗しているときの赤外光の発光の停止と所定時間経過後の発光を、顔検出が成功するまで繰り返し実行し、かつ、当該所定時間を徐々に長くしながら繰り返して実行するように構成しても良い。更に、当該所定時間を長くしていった結果、当該時間が所定値に達したときは、それ以上は当該時間を長くせずに、赤外光の発光の停止と所定時間経過後の発光を繰り返し実行するようにしてもよい。
上記構成例によれば、消費電力をより軽減しつつ、速やかな顔検出による利便性を維持することができる。
他の構成例として、情報処理装置は、情報処理装置自体の動きを検出するための動きセンサを更に備えていてもよい。そして、赤外光発光制御部は、赤外光の発光の停止と所定時間経過後の発光を繰り返し実行している間に、動きセンサからの出力値が所定の閾値以上となっているときは、当該所定時間が経過しているか否かにかかわらず赤外光の発光を行なうような構成としてもよい。
上記構成例によれば、例えば暗所において、ユーザが情報処理装置を利用していない状態から利用している状態となったときに、速やかに顔検出を行うことができる。
他の構成例として、携帯型の情報処理装置であってもよいし、バッテリー動作が可能な情報処理装置であってもよい。
上記構成例によれば、消費電力を軽減しつつ、情報処理装置の利便性を高めることができる。
本発明によれば、赤外光発光にかかる消費電力を低減させつつ、顔検出処理の利便積も維持できる。
本実施形態における携帯型ゲーム装置の外観図 携帯ゲーム装置の構成の一例を示すブロック図 本実施形態の処理における制御状態の遷移図 携帯型ゲーム装置10のメインメモリ35に格納されるプログラムおよびデータの一例 Off状態における処理の詳細を示すフローチャート 図5のステップS2の点灯試行判定処理の詳細を示すフローチャート On Attempt状態における処理の詳細を示すフローチャート On状態における処理の詳細を示すフローチャート 図8のステップS32の消灯試行判定処理の詳細を示すフローチャート Off Attempt状態における処理の詳細を示すフローチャート
以下、本発明の一実施形態について説明する。本実施形態では、情報処理装置の一例として携帯型ゲーム装置を例に挙げて説明する。
(携帯型ゲーム装置の構成)
図1は、本実施形態にかかる携帯型ゲーム装置10の外観を示す図である。図1に示されるように、携帯型ゲーム装置10は、下側ハウジング11および上側ハウジング21を有する。下側ハウジング11と上側ハウジング21とは、開閉可能(折り畳み可能)に連結されている。通常、ユーザは、開状態で携帯型ゲーム装置10を使用する。また、ユーザは、携帯型ゲーム装置10を使用しない場合には閉状態として携帯型ゲーム装置10を保管する。下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13が設けられる。その他、下側ハウジング11には、各操作ボタンやアナログスティック等も設けられる。一方、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22が設けられる。
また、携帯型ゲーム装置10は、カメラ101を備えている。カメラ101は、上側ハウジング21の表面(図1では上側LCD22の上方)に設けられる。したがって、カメラ101は、携帯型ゲーム装置10の前に存在しているユーザの顔を撮像することができる。一例として、上側LCD22あるいは下側LCD12を見ながらゲームを行っている状態におけるユーザを撮像することができる。また、携帯型ゲーム装置10は、赤外光を発光する赤外光発光部102を備えている。赤外光発光部102は、上側ハウジング21の表面であって、上記カメラ101に隣接する位置に設けられる。換言すれば、ユーザが携帯型ゲーム装置10を利用しているときに(ゲームのプレイ中等)、ユーザの顔が存在するであろう位置に向けて赤外光の発光が可能な位置に赤外光発光部102は設けられている。
ここで、カメラ101は、可視光画像に加えて、赤外光の画像も撮影可能である。上記赤外光発光部102から発光された赤外光は、ユーザの顔に照射されて、その反射光がカメラ101に入射する。カメラ101は当該反射光に基づいて、赤外光画像の撮像ができる。そして、本実施形態では、当該カメラ101による撮像画像(可視光画像や赤外光画像)に基づき、ユーザの顔検出処理を実行する。当該顔検出の結果は所定のゲームの入力として用いられる。また、当該顔検出の結果として得られた目の位置に基づいて仮想カメラが設定され、顔検出の結果に応じた仮想空間画像を生成する処理等も実行される。
(携帯型ゲーム装置の内部構成)
図2は、上記携帯型ゲーム装置10の機能ブロック図である。図2において、携帯型ゲーム装置10は、入力装置31、表示装置32、プロセッサ33、内部記憶装置34、メインメモリ35、撮像部36、動きセンサ37、赤外光発光部102を備えている。
入力装置31は、上述した各操作ボタンやタッチパネル13に該当する。入力装置31は、携帯型ゲーム装置10のユーザによって操作され、ユーザの操作に応じた信号を出力する。表示装置32は、携帯型ゲーム装置10において生成された画像を画面に表示する。表示装置32は、上述した下側LCD12、上側LCD22である。内部記憶装置34には、プロセッサ33によって実行されるコンピュータプログラムや当該プログラムで利用される各種データが格納されている。内部記憶装置34は、典型的には、フラッシュEEPROMである。メインメモリ35は、コンピュータプログラムや情報を一時的に記憶する。動きセンサ37は、携帯型ゲーム装置10の筐体自体に加えられた動きを検出するためのセンサであり、例えば角速度センサや加速度センサである。撮像部36は、上記カメラ101を用いて画像を撮像する。赤外光発光部102は、プロセッサ33からの命令に基づき赤外光の発光(点灯/消灯)を行う。
なお、上記プロセッサ33に関して、後述する処理は単一のプロセッサ33で処理されても良いし、単一の携帯型ゲーム装置10に複数のプロセッサ33を搭載し、これら複数のプロセッサ33を併用して処理されてもよい。
(本実施形態にかかる情報処理の概要)
次に、本実施形態にかかる情報処理(携帯型ゲーム装置10で実行される情報処理)の動作概要を説明する。本実施形態では、顔検出処理および赤外光の発光制御処理が並列して実行される。このうち、顔検出処理に関しては、既知の技術を用いるものとし、本実施形態の説明では、詳細な説明は省略する。例えば、撮像画像に基づいてパターンマッチング等を行うことで、顔検出処理が実行される(そして、この顔検出の結果に基づいて所定の情報処理が行なわれる)。なお、本実施形態における「顔検出」については、目の位置が検出できれば「顔検出」が成功している、として扱うものとする。つまり、本実施形態では、目の位置が検出できればよいものとする。
上記顔検出処理と並列で上記赤外光の発光制御処理も実行されるが、本実施形態で説明する内容は、主にこの赤外光発光制御にかかるものとなる。以下、本実施形態で実行される赤外光発光制御の処理概要について説明する。
まず、本実施形態では、主に、携帯型ゲーム装置10の周囲が暗い状況(環境光が不十分な状況)におけるユーザの顔画像撮像のために、赤外光を用いることを想定する。そのため、典型的には、携帯型ゲーム装置10の周囲が明るい状況(環境光が十分な状況)では、赤外光発光部102は「オフ」の状態(発光していない)となり、暗い状況では「オン」の状態(発光している)になる。以下の説明では、赤外光発光部102がオンの状態のことを「点灯状態」と呼び、赤外光発光部102がオフの状態のことを「消灯状態」と呼ぶ。また、赤外光発光部102をオンにすることを「点灯」、赤外光発光部102をオフにすることを「消灯」と呼ぶ。
ここで、次のような状況を想定する。まず、明かりがついていない暗い部屋でユーザが携帯型ゲーム装置10を利用しているとする。そして、ユーザの顔検出も成功している状態であるとする。すなわち、赤外光発光部が点灯しており、当該赤外光に基づいて上記カメラ101によるユーザの顔を撮像し、顔検出も成功している状況であるとする。このような状況において、例えば部屋の明かりがつけられた場合を考える。この場合、環境光としては十分な状態となり、赤外光を用いずとも顔検出が可能な状態となる。このような場合に赤外光発光部102が点灯したままでは、その分、不要な電力が消費される。特に、携帯型ゲーム装置10をバッテリーで動作させているような場合、赤外光発光部102の不要な点灯による消費電力の影響は少なくない。そこで、本実施形態では、次のような制御を行うことで、携帯型ゲーム装置10の消費電力を軽減する。まず、赤外光発光部102が点灯状態であって、顔検出が成功している状態(以下、顔検出成功状態と呼ぶ)である場合に、一旦赤外光発光部102を消灯状態にする。そして、この状態で顔検出を試みる。その結果、顔検出が失敗すれば、赤外光発光部102を点灯状態に戻す。一方、顔検出が成功すれば、赤外光発光部102は消灯状態のまま、顔検出処理を続行する、という制御を行う。つまり、赤外光が点灯状態で顔検出しているときに、一度赤外光を消灯して顔検出を試みて、その結果、顔検出ができなければ、部屋が暗い状態のままであり、赤外光が必要な状態であると判定する。一方、顔検出ができれば、以前は暗かった部屋が今は明るい状態になっている、あるいは暗い場所から明るい場所に移動した、等で、赤外光の点灯は不要な状況になっている、と判定するものである。このような制御を行うことで、本実施形態では、赤外光発光部102の無駄な点灯状態を抑制し、消費電力を軽減することができる。
本実施形態では、上記のような、顔検出成功状態における赤外光の消灯〜点灯の制御を繰り返し実行する。この際、赤外光の消灯を試みる時間間隔を変動させる制御も行なっている。具体的には、点灯状態から消灯状態へ切換える間隔(一旦消灯する時間間隔)は、最初は5秒から始まり、最終的に60秒で収束するような制御も行なっている。これは、次のような理由による。まず、暗い場所でユーザが携帯型ゲーム装置10を使用している場合(特に顔検出処理を利用する制御が行なわれている場合)、頻繁に赤外光の消灯を試みると、顔検出の精度が低下し、ユーザ体験への影響が生じる可能性がある。一方、定期的に赤外光の消灯を試みなければ、上記のように暗い場所から明るい場所に移動した場合でも赤外光が点灯したままとなり、消費電力への影響が懸念される。そこで、つまり、最初のうちは5秒間隔で赤外光の消灯を試みつつ、徐々に消灯の試行間隔を伸ばしていくことで、顔検出の精度の低下を防ぎながら、消費電力の低減も行なおうとしている。
更に、本実施形態では、次のような制御も行っている。例えば、次のような状況を想定する。まず、暗い部屋でユーザが携帯型ゲーム装置10を利用しており、ユーザの顔検出も成功している状態であるとする。この状態から、ユーザが離席する等して、携帯型ゲーム装置10の前からいなくなった場合を想定する(部屋は暗いままである)。このような場合は、ユーザの顔検出については失敗し続ける状態(以下、顔検出失敗状態)となる。この状態で赤外光発光部102が点灯状態のままであると、その分だけ電力が消費され続けることになる。そこで本実施形態では、暗い部屋で顔検出失敗状態がある程度続いたような場合は、赤外光発光部102を消灯するという制御を行う。更に、本実施形態では、赤外光発光部102を消灯した後でも、所定の時間間隔で赤外光発光部102を点灯させる、という制御も行っている。これにより、ユーザが携帯型ゲーム装置10の前に戻ってきた場合に、速やかにユーザの顔検出処理を再開することが可能となる。つまり、本実施形態では、赤外光を点灯して顔検出が成功している状態から、顔検出の失敗が続くような状態になったとき、一旦赤外光を消灯するが、その後、所定時間経過すれば一度赤外光を点灯させ、顔検出を試みる、という制御を行っている。その結果、検出に失敗すれば再度赤外光は消灯し、このような制御が繰り返し行なわれる。一方、検出に成功すれば、(ユーザが離席状態から戻ってきた等と推測されるため)赤外光は点灯したままとする。このような制御により、携帯型ゲーム装置10の消費電力を軽減させつつも、ユーザの顔検出にかかる利便性も損なわないようにすることができる。
また、上記の暗い部屋においてユーザが携帯型ゲーム装置10の前から離席したような場合の制御に関して、本実施形態では次のような制御も行なっている。上記のように、顔検出失敗状態がある程度続くと、一旦赤外光を消灯し、所定時間経過後、再度点灯して顔検出を試みる、ということを繰り返している。この繰り返しにおいて、一旦消灯状態にした後、点灯状態へ切換える(赤外光での顔検出を試みる)までの時間間隔を変動させる制御を行なっている。具体的には、この時間間隔が、最初は1/30秒から始まり、最終的に3秒に収束するような制御を行なっている。つまり、暗所においてユーザが携帯型ゲーム装置10の前にいない場合、最終的には3秒おきに赤外光発光部102が(ほぼ一瞬だけ)点灯する、という動きになる。これは、あまり頻繁に点灯を試みると、その分だけ消費電力も大きくなるため、無駄な点灯は抑えようとするものである。またその一方で、ユーザが離席から戻ってきた場合にできるだけ速やかに顔検出成功状態にしたい、という要望もある。この両者をバランスよく実現するため、本実施形態では上記のように最大で3秒間隔で赤外光を点灯させるという制御を行なっている。
(本実施形態にかかる情報処理の詳細)
以下、本実施形態にかかる赤外光発光制御処理の詳細について説明する。まず、当該処理における「(内部的な)制御状態」について説明する。本実施形態では、当該制御状態として、次の4つの状態がある。
(1)Off状態
(2)On Attempt状態
(3)On状態
(4)Off Attempt状態
図3は、当該4つの制御状態と、その状態遷移を示した図である。なお、携帯型ゲーム装置10の起動時は、Off状態となっている。
まず、上記(1)Off状態では、赤外光発光部102は消灯している状態である。この状態において実行される主な処理は、顔検出が成功しているか否かの判定と、赤外光を点灯させるか否かの判定にかかる処理である。また、この状態からは、On Attempt状態に遷移し得る。
次に、(2)On Attempt状態は、赤外光発光部102は点灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光を消灯させるか、点灯させ続けるか、の判定処理が主に実行される。この状態からは、Off状態またはOn状態に遷移し得る。
次に、(3)On状態は、赤外光発光部102は点灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光を消灯させるか否かの判定処理が主に実行される。この状態からは、Off状態またはOff Attempt状態に遷移し得る。
次に、(4)Off Attempt状態は、赤外光発光部102は消灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光の消灯を継続するか、赤外光を点灯するか、の判定処理が主に実行される。この状態からは、Off状態またはOn状態に遷移し得る。
本実施形態では、上記4つの制御状態の間で制御状態が遷移しながら、赤外光発光制御処理が実現される。
次に、本実施形態にかかる赤外光発光制御処理で用いられる主なデータについて説明する。図4は、携帯型ゲーム装置10のメインメモリ35に格納されるプログラムおよびデータの一例を示している。メインメモリ35には、顔検出処理プログラム51、赤外光発光制御処理プログラム52、顔検出状態フラグ53、点灯試行フラグ54、消灯試行フラグ55、検出成功回数カウンタ56、検出失敗回数カウンタ57、第1の閾値データ58、第2の閾値データ59、第3の閾値データ60、第4の閾値データ61、等が格納される。
顔検出処理プログラム51は、カメラ101の撮像画像に基づいてユーザの顔検出処理を実行するためのプログラムである。赤外光発光制御処理プログラム52は、上述したような赤外光の発光制御を行なうためのプログラムである。具体的には、後述する図5〜図10に示すフローチャート処理を実行するためのプログラムである。なお、本実施形態では、これらプログラムは1/30秒単位(毎秒30フレーム)で繰り返し実行されるものとする。
顔検出状態フラグ53は、顔検出処理の結果、現在顔検出が成功しているか失敗しているかを示すためのフラグである。例えば、成功している場合は”1”、失敗しているときは”0”が設定される。上記のように、本実施形態では、顔検出処理と赤外光発光制御処理は並列に実行される。そして、顔検出処理の結果を示すデータが当該顔検出状態フラグ53として出力される。並列で実行されている赤外光発光制御処理において、当該フラグが参照されることで、現在顔検出が成功しているか否かを判別できる。
点灯試行フラグ54は、上記Off状態において、On Attempt状態に遷移すべきか否かを判定する際に用いられるフラグである。また、消灯試行フラグ55は、上記On状態において、Off Attempt状態に遷移すべきか否かを判定する際に用いられるフラグである。それぞれ、オンが設定されていれば、遷移すべきであることを示し、オフが設定されているときは、遷移の必要性はないことを示すものとする。
検出成功回数カウンタ56は、赤外光が点灯状態のときに顔検出が連続して成功している回数を示すカウンタである。また、検出失敗回数カウンタ57は、顔検出が連続して失敗している回数を示すカウンタである。上記のように、顔検出処理および赤外光発光制御処理は1/30秒毎に繰り返し実行されるため、当該カウンタも1/30秒単位でカウントアップされていくことになる。また、これらのカウンタは、上述の制御状態の遷移が発生した際にリセットされる。
第1の閾値データ58は、赤外光が消灯状態のときに、赤外光を点灯すべきであると判定されるための閾値である。具体的には、上記検出失敗回数カウンタ57の値と当該閾値が比較され、顔検出の連続失敗回数が当該第1の閾値データより大きくなったときに、赤外光を点灯すべきと判定される。つまり、携帯型ゲーム装置10が暗い場所に存在するために、赤外光を点灯すべき、と判定されるための閾値である。この閾値は、主に、上述したような「赤外光発光部102を消灯した後でも、所定の時間間隔で赤外光発光部102を点灯させる」、という制御のために利用される。なお、この閾値は変動し得る。そのため、本実施形態では、初期値として、1/30秒を示す値が設定されている。また、本実施形態では、当該第1の閾値データ58の変動の最大値が設けられており、例えば、3秒分の時間を示す値であるとする。
第2の閾値データ59は、上記On Attempt状態において、赤外光を消灯すべきと判定するための閾値である。具体的には、赤外光を点灯しているにもかかわらず、検出失敗回数カウンタ57の値が当該閾値より大きくなったとき、消灯すべきと判定される。なお、この閾値については固定値が設定されており、本実施形態では5フレーム分の値が設定される。これは、赤外光を点灯した後、検出できないからといってすぐに消灯するのではなく、5フレーム程度は様子を見ることで、顔検出の精度をより高めようとするものである。
第3の閾値データ60は、赤外光が点灯状態のときに、赤外光を消灯すべきであると判定されるための閾値である。具体的には、上記検出成功回数カウンタ56の値と当該閾値が比較され、顔検出の連続成功回数が当該第3の閾値データ以上であれば、赤外光を消灯すべきと判定される。この閾値は、主に、上述の「顔検出成功状態である場合に、一旦赤外光発光部102を消灯状態にする」という制御のために利用される。また、この閾値も変動し得るものである。そして、初期値として、本実施形態では、5秒分の時間を示す値が設定されている。なお、第3の閾値データ60にも変動の最大値が設けられており、例えば60秒分の時間を示す値であるとする。
第4の閾値データ61は、赤外光は点灯状態で顔検出に失敗している状態において、消灯すべきと判定するための閾値である。上記検出失敗回数カウンタ57の値と当該閾値が比較され、連続失敗回数がこの閾値より大きい場合、赤外光を消灯すべきと判定される。上述した、暗い場所においてユーザが携帯型ゲーム装置10の前から離席したような場合に赤外光を消灯させる制御に利用される。この閾値は固定値が設定され、例えば、3秒分の時間に相当する値が設定される。つまり、暗い場所でユーザが携帯型ゲーム装置10の前から離席した場合、概ね3秒後には赤外光が一旦消灯されることになる。
その他、図示は省略するが、本実施形態にかかる処理に利用される各種データも適宜メインメモリ35に格納される。
次に、本実施形態にかかる赤外光発光制御処理の詳細な流れを説明する。図5〜図10は、当該処理の詳細を示すフローチャートである。図5〜図6は、上述したOff状態における制御処理を示す。図7は、上記On Attempt状態における制御処理を示す。図8〜図9は、上記On状態における処理を示す。図10は、上記Off Attempt状態における処理を示す。また、各状態におけるフローチャートにかかる処理が1/30秒単位で繰り返し実行されるものとする。また、上記のように、これらの処理の実行に並列して、顔検出処理が繰り返し(1/30秒単位で)実行されている。顔検出処理自体は既知の技術を利用するものとし、ここでは詳細な説明は省略する。
(Off状態における情報処理)
まず、図5および図6を用いて、制御状態がOff状態であるときの処理について説明する。この状態においては、まず、図5のステップS1で、プロセッサ33は、上記顔検出状態フラグ53を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功していれば(ステップS1でYES)、赤外光を点灯する必要も無いため、当該ステップS1の判定を繰り返すことになる(つまり、現状維持となる)。
一方、顔検出に失敗しているときは(ステップS1でNO)、プロセッサ33は、検出失敗回数カウンタ57に1を加算する。そして、ステップS2で、プロセッサ33は、赤外光を点灯すべきか否かを判定するための点灯試行判定処理を実行する。図6は、当該点灯試行判定処理の詳細を示すフローチャートである。まず、ステップS11において、プロセッサ33は、携帯型ゲーム装置10が十分な環境光下にあるか否かを判定する。これは例えば、カメラ101に入射した光の明るさを判別する等で判定できる。また、他の実施形態では、明るさの検出専用に明るさセンサを携帯型ゲーム装置10に搭載するように構成しても良い。
当該判定の結果、十分な環境光下にあると判定されたときは(ステップS11でYES)、赤外光の点灯の必要性はないと考えられる。この場合は、プロセッサ33は、ステップS17で、点灯試行フラグ54をオフに設定する。そして、点灯試行判定処理は終了する。一方、十分な環境光下にないと判定されたときは(ステップS11でNO)、ステップS12で、プロセッサ33は、検出失敗回数カウンタ57および第1の閾値データ58を参照して、顔検出の連続失敗回数が第1の閾値より大きいか否かを判定する。その結果、顔検出の連続失敗回数が第1の閾値以下であれば(ステップS12でNO)、上記ステップS17の処理に進む。つまり、第1の閾値で示される時間が経過するまでは、赤外光は消灯状態のままでの顔検出処理を続けることになる
一方、顔検出の連続失敗回数が第1の閾値より大きいときは(ステップS12でYES)、次に、ステップS13において、プロセッサ33は、ユーザが携帯型ゲーム装置10の前に存在している兆候があるかどうかを判定する。つまり、今現在、ユーザが携帯型ゲーム装置10を使用しているのか、あるいは放置して離席等しているのかを判定する。この判定について、本実施形態では、動きセンサ37からの出力データや、所定のボタン操作が行われているか否か等で判定する。例えば、動きセンサ37からのデータに基づき、携帯型ゲーム装置10自体に動きが発生していると判定できる場合は、ユーザが携帯型ゲーム装置10を手に持って操作していると考えられる。また、所定のボタン入力が検知できるような場合も、ユーザが携帯型ゲーム装置10を使用している状態であると推測できる。このような判定の結果、ユーザが携帯型ゲーム装置10の前に存在している兆候がある(ユーザが今現在、携帯型ゲーム装置10を使用していると考えられる)場合は(ステップS13でYES)、例えば暗い場所でユーザが携帯型ゲーム装置を使用している状況であると考えられる。そのため、即時に赤外光を点灯する必要がある。この場合は、ステップS14で、プロセッサ33は、第1の閾値データ58を初期値にリセットする。次に、ステップS15で、プロセッサ33は、第1の閾値データ58の値を大きくするための処理を実行する。具体的には、以下の数式を用いて新たな第1の閾値データ58を算出する。
第1の閾値=(第1の閾値+1)×1.5 ・・・式1
なお、当該ステップS15の処理に関して、上記のように第1の閾値データ58には最大値が設定されているため(本例では3秒分の時間を示す値)、上記算出の結果、当該最大値に達した場合は、それ以上の算出は行なわれないものとする。
一方、上記ステップS13の判定で、ユーザが携帯型ゲーム装置10の前に存在している兆候はないと判定されたときは(ステップS13でNO)、上述のステップS14の処理はスキップして、ステップS15の処理へと進む。つまり、第1の閾値データ58のリセットは行なわれずに、その値が大きくなっていくことになる。
次に、ステップS16で、プロセッサ33は、点灯試行フラグ54をオンに設定する。そして、当該点灯試行判定処理は終了する。
図5に戻り、次に、ステップS3で、プロセッサ33は、点灯試行フラグ54を参照して、On Attempt状態に遷移すべきか否かを判定する。その結果、点灯試行フラグ54がオフである場合は(ステップS3でNO)、Off状態を維持することになり、上記ステップS1に戻り、処理が繰り返される。
一方、点灯試行フラグ54がオンである場合は(ステップS3でYES)、ステップS4で、プロセッサ33は赤外光発光部102を点灯状態にする。そして、ステップS5で、プロセッサ33は、On Attempt状態に遷移するための処理を実行する。この際、上記検出成功回数カウンタ56および検出失敗回数カウンタ57のリセットも行われる。以上で、Off状態における処理の説明を終了する。
(On Attempt状態における情報処理)
次に、図7を用いて、On Attempt状態における処理について説明する。まず、ステップS21において、プロセッサ33は、上記顔検出状態フラグ53を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功していれば(ステップS21でYES)、ステップS22で、プロセッサ33は、On状態へと遷移するための処理を実行する。この際に、上記検出成功回数カウンタ56および検出失敗回数カウンタ57のリセットや上記第1の閾値データ58のリセットも行なわれる。
一方、顔検出に失敗している場合は(ステップS21でNO)、ステップS23で、プロセッサ33は、検出失敗回数カウンタ57と第2の閾値データ59を参照し、検出失敗回数カウンタ57が第2の閾値データ59より大きい値であるか否かを判定する。その結果、検出失敗回数カウンタ57が第2の閾値データ59よりは大きくないときは(ステップS23でNO)、上記ステップS21に戻り、処理が繰り返される。本実施形態では、第2の閾値データ59として5フレーム分の時間を示す値が固定値として設定されている。そのため、ここでは、5フレーム分の時間は顔検出処理が繰り返されることになる。
一方、検出失敗回数カウンタ57が第2の閾値データ59より大きい値である場合は(ステップS23でYES)、赤外光を点灯しているにもかかわらず(5フレーム分の時間以上)顔検出に失敗し続けていることになる。そのため、プロセッサ33は、ステップS24で、赤外光発光部102を消灯し、ステップS25で、Off状態に遷移する処理を実行する。以上で、On Attempt状態における処理の説明を終了する、
(On状態における情報処理)
次に、図8および図9を用いて、On状態における処理について説明する。まず、図8のステップS31で、プロセッサ33は、上記顔検出状態フラグ53を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功している場合は(ステップS31でYES)、ステップS32で、プロセッサ33は、消灯試行判定処理を実行する。また、この際、プロセッサ33は、検出成功回数カウンタ56に1を加算する。
図9は、消灯試行判定処理の詳細を示すフローチャートである。この処理では、まず、ユーザと携帯型ゲーム装置10との相対的な位置関係が安定しているか否かを判定する。本実施形態では、以下のような判定を行なう。まず、ステップS41で、プロセッサ33は、所定の閾値以上の大きさの動きが携帯型ゲーム装置10自体に発生しているか否かを判定する。これは、例えば、角速度センサや加速度センサ等の動きセンサ37からの出力が予め定められた所定の閾値以上か否か等で判定される。つまり、ユーザが携帯型ゲーム装置10を把持して、これ自体を激しく動かしているか等を判定する。この判定の結果、所定の閾値以上の動きが発生している場合は(ステップS41でYES)、ユーザと携帯型ゲーム装置10との相対的な位置関係が大きく変化していると推測される。ここで、ユーザと携帯型ゲーム装置10との相対的位置関係が大きく変化すると、顔検出精度が下がってしまう可能性がある。このことを考慮すると、正確な顔検出が行えるように、赤外光は点灯したままのほうがよい。そのため、この場合には、ステップS46で、プロセッサ33は、消灯試行フラグ55をオフに設定する。
一方、上記判定の結果、所定の閾値以上の動きが発生していない場合は(ステップS41でNO)、次に、ステップS42で、プロセッサ33は、ユーザの顔に動きがあるか否かを判定する。つまり、携帯型ゲーム装置10自体は例えば机の上に置かれている状態でユーザがプレイしているような場合を想定したものである。携帯型ゲーム装置10自体には動きは発生していなくても(あるいは発生していても、きわめて小さな動きである場合でも)、ユーザの顔自体(本例ではユーザの目の位置)に動きが認められれば、この場合も、ユーザと携帯型ゲーム装置10との相対的な位置関係が大きく変化していると推測されるからである。この判定は、例えば、顔検出処理の結果得られるユーザの顔の位置(目の中心位置)が、直前のフレームで検出された位置から、ある程度の距離以上移動しているか否かを見ることで判定できる。あるいは、例えば、直近の数フレーム〜数十フレームにかかる期間内におけるユーザの顔の位置の変化がある程度大きいか否か、等の手法でも判定できる。
なお、上記ステップS41およびS42の判定は、換言すれば、ユーザと携帯型ゲーム装置10(カメラ101)との相対的な位置関係の変化の大きさを判定するものといえる。そのため、上記の判定手法に限らず、上記相対的な位置関係の大きさが判定できれば、どのような手法を用いても良い。
上記ステップS42の判定の結果、ユーザの顔に動きが発生している場合は(ステップS42でYES)、上記ステップS46の処理に進む。つまり、この時点では赤外光の消灯を行なわないことを決定することになる。ユーザが携帯型ゲーム装置10の前に存在していると推測される状況で、ユーザと携帯型ゲーム装置10との相対的な位置関係の変化が大きい場合に赤外光を消灯してしまうと、顔検出の精度が低下してしまうためである。一方、動きが発生していない場合は(ステップS42でNO)、次に、ステップS43で、プロセッサ33は、検出成功回数カウンタ56と第3の閾値データ60を参照し、顔検出の連続成功回数が第3の閾値より小さいか否かを判定する。当該連続成功回数が第3の閾値より小さい場合は(ステップS43でYES)、赤外光の消灯は試みない制御を行なう。そのため、上記ステップS46の処理に進む。一方、当該連続成功回数が第3の閾値より小さくない(すなわち、第3の閾値以上となった)場合は(ステップS43でNO)、上記のように、周囲が暗い状況から明るい状況になった等で、赤外光を消灯しても顔検出ができるかを試行するための制御を行なう。この場合は、ステップS44で、プロセッサ33は、第3の閾値データ60の値を大きくするための処理を実行する。具体的には、以下の数式を用いて新たな第3の閾値データ60を算出する。
第3の閾値=(第3の閾値+1)×1.5 ・・・式2
なお、当該ステップS44の処理に関して、上記のように第3の閾値データ60には最大値が設定されているため(本例では60秒分時間を示す値)、上記算出の結果、当該最大値に達した場合は、それ以上の算出は行なわれないものとする。
次に、ステップS45で、プロセッサ33は、消灯試行フラグ55をオンに設定する。以上で、消灯試行判定処理は終了する。
図8に戻り、次に、ステップS33で、プロセッサ33は、消灯試行フラグ55を参照し、Off Attempt状態に遷移すべきか否かを判定する。当該判定の結果、消灯試行フラグ55はオフであるときは(ステップS33でNO)、On状態を維持するため、上記ステップS31に戻り、処理を繰り返す。
一方、消灯試行フラグ55はオンである場合は(ステップS33でYES)、ステップS34で、プロセッサ33は赤外光発光部102を消灯状態にする。そして、ステップS35で、プロセッサ33は、Off Attempt状態に遷移するための処理を実行する。この際、上記検出成功回数カウンタ56および検出失敗回数カウンタ57のリセットも行われる。そして、このOff Attempt状態にて、消灯状態での顔検出の成否が判定されることになる(Off Attempt状態での処理は後述する)。
次に、上記ステップS31の判定の結果、顔検出に失敗している場合(ステップS31でNO)の処理について説明する。この場合は、まず、ステップS36で、プロセッサ33は、検出失敗回数カウンタ57と第4の閾値データ61を参照し、顔検出の連続失敗回数が第4の閾値より小さいか否かを判定する。つまり、例えば暗い部屋でユーザが携帯型ゲーム装置10の前から離席した状態か否かを判定する。本例では、第4の閾値は3秒分の時間を示す値として設定されているため、顔検出の失敗が3秒以上続けば、当該判定の条件が満たされることになる。
当該判定の結果、当該連続失敗回数が第4の閾値より大きくない場合は(ステップS36でNO)、上記ステップS31に戻り、処理を繰り返す。一方、当該連続失敗回数が第4の閾値より大きい場合は(ステップS36でYES)、ステップS37で、プロセッサ33は赤外光発光部102を消灯する。そして、ステップS38で、プロセッサ33は、Off状態に遷移するための処理を実行する(上記同様、遷移の際に各種カウンタがリセットされる)。以上で、On状態における処理の説明を終了する。
(Off Attempt状態における情報処理)
次に、図10を用いて、Off Attempt状態における処理について説明する。まず、図10のステップS51で、プロセッサ33は、上記顔検出状態フラグ53を参照し、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功している場合は(ステップS51でYES)、赤外光の点灯の必要は無いため、ステップS52で、プロセッサ33は、Off状態へ遷移するための処理を実行する。一方、顔検出に失敗している場合は(ステップS51でNO)、赤外光を点灯した状態での顔検出を試すため、ステップS53で、プロセッサ33は、赤外光発光部102を点灯させる。そして、ステップS54で、プロセッサ33は、On状態に遷移するための処理を実行する。以上で、Off Attempt状態における処理は終了する。
なお、上記ステップS51、S52の処理に関しては、次のような制御を行なっても良い。すなわち、赤外光発光部の消灯について、消灯の指示後、徐々に行なわれる場合を想定して、ステップS51からステップS52の処理に移行する際に、数フレーム分の時間だけ待機してから(赤外光発光部が完全に消灯するのを待ってから)ステップS52に処理を進めるようにしてもよい。具体的には、ステップS51の判定でYESの場合、消灯指示が行なわれた後に所定のフレーム数(分の時間)が経過したか否かの判定処理を行なう。この判定の結果、経過していない場合はステップS51の処理に戻り、経過した場合にステップS52の処理へ進めるような制御を行なっても良い。
上記のような処理により、例えば、以下のような制御が行なわれることになる。まず、On状態において顔検出が成功している状態で、一旦、Off Attempt状態に(強制的に)遷移する。この遷移の間隔は、最初は5秒から始まり、徐々に間隔を広げていき、60秒に収束する。次に、Off Attempt状態において、顔検出ができるか否かが判定される。その結果、顔検出できない場合は、赤外光が必要な状況(例えば周囲が暗い状況)と推測されるため、On状態に遷移することになる。一方、顔検出できた場合は、赤外光は不要な状況(例えば周囲が明るい状況)と推測されるため、Off状態に遷移することになる。
また、次のような制御も行なわれることになる。例えば、On状態において顔検出がある程度連続で失敗すると、ユーザが離席したと推測して、一旦Off状態に遷移する。次に、Off状態で所定時間だけ顔検出を繰り返し、所定時間経過すれば、一度On Attempt状態に遷移する。この所定時間は、最初1/30秒から始まり、3秒に収束する。次に、On Attempt状態で顔検出ができているか否かを判定する。顔検出できなければ、ユーザは離席中のままと推測されるため、Off状態に遷移することになる。一方、顔検出できた場合は、ユーザが離席から戻ってきたと推測されるため、On状態に遷移することになる。
このように、本実施形態では、顔検出に成功している場合でも赤外光の消灯を試みて、不要な赤外光の点灯を抑えることで消費電力の軽減を図っている。また、周囲が暗い状況であって、ユーザが携帯型ゲーム装置10の前から離席したような場合に、一旦赤外光を消灯し、その後定期的に赤外光を点灯させることで、ユーザが離席から戻ってきた場合の対処も行なっている。このような制御を行なうことにより、消費電力の軽減と顔検出処理によるユーザの利便性の維持との両立を図っている。特に、バッテリー駆動するような情報処理装置に上記のような制御を適用すれば、消費電力の軽減による効果も大きいといえる。
なお、上記実施形態において、暗い場所においてユーザが離席したような場合に赤外光を消灯する制御を行なっているが、このとき、赤外光以外のハードウェアコンポーネントをオフにするような制御を行なっても良い。例えば、上側LCD22及び下側LCD12も赤外光の消灯に併せてオフにするような制御を行なっても良い。これにより、更なる消費電力の軽減を図ることも可能となる。
また、上記実施形態では、顔検出の成功/失敗に関して、「回数」を用いた判定処理を行なっていた。この他、「回数」以外にも「時間」で判定するようにしても良い。例えば、継続して成功している時間や失敗が継続している時間で判定するようにしても良い。
また、上記の例では、情報処理装置の一例として携帯型ゲーム装置10を挙げていた。これ以外にも、携帯型の各種情報処理装置(スマートフォン等)やタブレット端末やノートパソコン等、特に、バッテリーで動作可能な各種情報処理装置にも上記実施形態で説明した制御は適用可能である。
また、上記実施形態においては、携帯型ゲーム装置10の赤外光発光を制御するための一連の処理が単一の装置で実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。さらには、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。
10 携帯型ゲーム装置
31 入力装置
32 表示装置
33 プロセッサ
34 内部記憶装置
35 メインメモリ
36 撮像部
37 動きセンサ
101 カメラ
102 赤外光発光部

Claims (12)

  1. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置であって、
    前記赤外光の発光を制御する赤外光発光制御部と、
    前記カメラを用いて撮像した画像を繰り返し取得する画像取得部と、
    前記画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出部とを備え、
    前記赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理装置。
  2. 前記赤外光発光制御部は、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開することを繰り返し行なう、請求項1に記載の情報処理装置。
  3. 前記赤外光発光制御部は、前記赤外光が発光されている状態での顔検出に失敗している場合に、当該赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、請求項1または2に記載の情報処理装置。
  4. 前記赤外光発光制御部は、前記顔検出が連続して失敗した回数が所定回数以上になった場合に、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、請求項3に記載の情報処理装置。
  5. 前記赤外光発光制御部は、前記赤外光が発光されている状態での顔検出に失敗しているときの前記赤外光の発光の停止と所定時間経過後の発光を、前記顔検出が成功するまで繰り返し実行し、かつ、当該所定時間を徐々に長くしながら繰り返して実行する、請求項3または4に記載の情報処理装置。
  6. 前記赤外光発光制御部は、前記所定時間を長くしていった結果、当該時間が所定値に達したときは、それ以上は当該時間を長くせずに、前記赤外光の発光の停止と所定時間経過後の発光を繰り返し実行する、請求項5に記載の情報処理装置。
  7. 前記情報処理装置は、
    前記情報処理装置自体の動きを検出するための動きセンサを更に備え、
    前記赤外光発光制御部は、前記赤外光の発光の停止と所定時間経過後の発光を繰り返し実行している間に、前記動きセンサからの出力値が所定の閾値以上となっているときは、当該所定時間が経過しているか否かにかかわらず前記赤外光の発光を行なう、請求項1ないし6のいずれか一項に記載の情報処理装置。
  8. 前記情報処理装置は、携帯型の情報処理装置である、請求項1ないし7のいずれか一項に記載の情報処理装置。
  9. 前記情報処理装置は、バッテリー動作が可能な情報処理装置である、請求項1ないし8のいずれか一項に記載の情報処理装置。
  10. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理システムであって、
    前記赤外光の発光を制御する赤外光発光制御部と、
    前記カメラを用いて撮像した画像を繰り返し取得する画像取得部と、
    前記画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出部とを備え、
    前記赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理システム。
  11. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置のコンピュータに実行させる情報処理プログラムであって、
    前記コンピュータを、
    前記赤外光の発光を制御する赤外光発光制御手段と、
    前記カメラを用いて撮像した画像を繰り返し取得する画像取得手段と、
    前記画像取得手段で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出手段として機能させ、
    前記赤外光発光制御手段は、前記顔検出手段による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理プログラム。
  12. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置を制御するための情報処理方法であって、
    前記赤外光の発光を制御する赤外光発光制御ステップと、
    前記カメラを用いて撮像した画像を繰り返し取得する画像取得ステップと、
    前記画像取得ステップで取得された画像に基づいた顔検出処理を繰り返し実行する顔検出ステップとを備え、
    前記赤外光発光制御ステップでは、前記顔検出ステップにおける顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理方法。
JP2014168527A 2014-08-21 2014-08-21 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 Active JP6371637B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014168527A JP6371637B2 (ja) 2014-08-21 2014-08-21 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
EP14187410.7A EP2987541B1 (en) 2014-08-21 2014-10-02 Information processing apparatus, information processing system, information processing program, and information processing method
US14/518,180 US9979917B2 (en) 2014-08-21 2014-10-20 Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168527A JP6371637B2 (ja) 2014-08-21 2014-08-21 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2016046634A true JP2016046634A (ja) 2016-04-04
JP6371637B2 JP6371637B2 (ja) 2018-08-08

Family

ID=51655608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168527A Active JP6371637B2 (ja) 2014-08-21 2014-08-21 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法

Country Status (3)

Country Link
US (1) US9979917B2 (ja)
EP (1) EP2987541B1 (ja)
JP (1) JP6371637B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398883A (zh) * 2020-07-29 2022-11-25 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
JP7186318B1 (ja) 2022-02-14 2022-12-08 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
WO2019026925A1 (ja) * 2017-08-01 2019-02-07 パナソニックIpマネジメント株式会社 個人認証装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (ja) * 1998-03-04 1999-09-17 Toshiba Corp 顔画像撮影方法および顔画像撮影装置
JP2007026213A (ja) * 2005-07-19 2007-02-01 Nikon Corp 撮像装置
US20070047941A1 (en) * 2005-08-31 2007-03-01 Nikon Corporation Autofocus apparatus
JP2008017227A (ja) * 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP2012248992A (ja) * 2011-05-26 2012-12-13 Olympus Imaging Corp デジタルカメラ
US8644564B1 (en) * 2010-11-30 2014-02-04 Bally Gaming, Inc. Safe illumination for computerized facial recognition
JP2014027386A (ja) * 2012-07-25 2014-02-06 Kyocera Corp 携帯端末、省電力制御プログラムおよび省電力制御方法
JP2014120948A (ja) * 2012-12-17 2014-06-30 Olympus Imaging Corp 撮像装置、告知方法、告知プログラム、及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189096B2 (en) * 2005-06-16 2012-05-29 Sensible Vision, Inc. Video light system and method for improving facial recognition using a video camera
JP2008181468A (ja) 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
KR20070081773A (ko) 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
US8897742B2 (en) * 2009-11-13 2014-11-25 William J. Johnson System and method for sudden proximal user interface
US20130050395A1 (en) * 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
JP5702751B2 (ja) * 2012-05-18 2015-04-15 株式会社ユニバーサルエンターテインメント 遊技用装置
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US20160029962A1 (en) * 2014-07-29 2016-02-04 Elwha Llc Medically active toys
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (ja) * 1998-03-04 1999-09-17 Toshiba Corp 顔画像撮影方法および顔画像撮影装置
JP2007026213A (ja) * 2005-07-19 2007-02-01 Nikon Corp 撮像装置
US20070047941A1 (en) * 2005-08-31 2007-03-01 Nikon Corporation Autofocus apparatus
EP1760522A2 (en) * 2005-08-31 2007-03-07 Nikon Corporation Autofocus apparatus
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2008017227A (ja) * 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
US8644564B1 (en) * 2010-11-30 2014-02-04 Bally Gaming, Inc. Safe illumination for computerized facial recognition
JP2012248992A (ja) * 2011-05-26 2012-12-13 Olympus Imaging Corp デジタルカメラ
JP2014027386A (ja) * 2012-07-25 2014-02-06 Kyocera Corp 携帯端末、省電力制御プログラムおよび省電力制御方法
JP2014120948A (ja) * 2012-12-17 2014-06-30 Olympus Imaging Corp 撮像装置、告知方法、告知プログラム、及び記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398883A (zh) * 2020-07-29 2022-11-25 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
CN115398883B (zh) * 2020-07-29 2024-01-09 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
JP7186318B1 (ja) 2022-02-14 2022-12-08 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023117851A (ja) * 2022-02-14 2023-08-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
US9979917B2 (en) 2018-05-22
US20160057371A1 (en) 2016-02-25
JP6371637B2 (ja) 2018-08-08
EP2987541B1 (en) 2019-06-05
EP2987541A1 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
JP6383218B2 (ja) 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
US9507420B2 (en) System and method for providing haptic feedback to assist in capturing images
US9124685B2 (en) Portable device including control actions dependent on a user looking at a touchscreen
US10042420B2 (en) Gaze-aware control of multi-screen experience
JP6371637B2 (ja) 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
US20160054794A1 (en) Eye-control reminding method, eye-control image display method and display system
JP6171353B2 (ja) 情報処理装置、システム、情報処理方法およびプログラム
US9632587B2 (en) Interactive recognition system and display device
US20160242001A1 (en) Method and mobile terminal for displaying prompt information
KR20120058454A (ko) 디스플레이를 포함하는 휴대용 전자 장치 및 그러한 장치를 제어하기 위한 방법
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2011221672A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
JP6720283B2 (ja) 電子機器、制御方法、及びプログラム
JP2011166332A (ja) 情報処理装置
US20170302847A1 (en) Image capturing method and electronic device supporting the same
JPWO2015104884A1 (ja) 情報処理システム、情報処理方法およびプログラム
US20220366722A1 (en) Electronic apparatus and control method
US20170242471A1 (en) Method for controlling standby state and electronic device
US10498874B2 (en) Display apparatus having ability of voice control and method of instructing voice control timing
US20190012299A1 (en) Displaying page
JP2014020790A (ja) 情報端末
JP2016148900A (ja) 電子機器
JP5907184B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム
CN116737284A (zh) 设备控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180713

R150 Certificate of patent or registration of utility model

Ref document number: 6371637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250