JP2016046634A - Information processing device, information processing system, information processing program and information processing method - Google Patents

Information processing device, information processing system, information processing program and information processing method Download PDF

Info

Publication number
JP2016046634A
JP2016046634A JP2014168527A JP2014168527A JP2016046634A JP 2016046634 A JP2016046634 A JP 2016046634A JP 2014168527 A JP2014168527 A JP 2014168527A JP 2014168527 A JP2014168527 A JP 2014168527A JP 2016046634 A JP2016046634 A JP 2016046634A
Authority
JP
Japan
Prior art keywords
infrared light
face detection
information processing
light emission
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014168527A
Other languages
Japanese (ja)
Other versions
JP6371637B2 (en
Inventor
純樹 魚澤
Junki Uosawa
純樹 魚澤
ブデ ヤノス
Boudet Janos
ブデ ヤノス
ギド セバスティアン
Guido Sebastien
ギド セバスティアン
イリアール ローラン
Hiriart Laurent
イリアール ローラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2014168527A priority Critical patent/JP6371637B2/en
Priority to EP14187410.7A priority patent/EP2987541B1/en
Priority to US14/518,180 priority patent/US9979917B2/en
Publication of JP2016046634A publication Critical patent/JP2016046634A/en
Application granted granted Critical
Publication of JP6371637B2 publication Critical patent/JP6371637B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device, an information processing system, an information processing program and an information processing method, which can maintain convenience of face detection by infrared light while reducing power consumption by emission of the infrared light.SOLUTION: In an information processing device comprising an infrared light emission part capable of emitting infrared light and a camera capable of imaging at least an infrared light image, an image imaged by using the camera is acquired first; face detection processing based on the acquired image is repeatedly performed; emission of the infrared light is stopped based on a result of the face detection processing; and resuming emission of the infrared light after a predetermined time has elapsed.SELECTED DRAWING: Figure 5

Description

本発明は、赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置に関し、より特定的には、少なくとも赤外光画像に基づく顔検出が可能な情報処理装置に関する。   The present invention relates to an information processing apparatus including an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image, and more specifically, based on at least an infrared light image. The present invention relates to an information processing apparatus capable of detecting a face.

従来から、赤外光を顔に照射し、照射された赤外光の反射光を検出して赤外光画像として出力し、当該赤外光画像を用いて顔認識を行なう技術が知られている（例えば特許文献１）。   Conventionally, a technique for irradiating a face with infrared light, detecting reflected light of the irradiated infrared light, outputting it as an infrared light image, and performing face recognition using the infrared light image has been known. (For example, Patent Document 1).

特開２００８−１８１４６８号公報JP 2008-181468 A

上記の技術では、赤外光を発光することによる消費電力については特段の考慮はなされていなかった。そのため、例えばバッテリーで動作する携帯型情報端末等に上記技術を適用した場合、赤外光の発光にかかるバッテリー消費の面で改善の余地がある。   In the above technique, no particular consideration has been given to power consumption by emitting infrared light. Therefore, for example, when the above technique is applied to a portable information terminal or the like that operates on a battery, there is room for improvement in terms of battery consumption related to light emission of infrared light.

それ故に、本発明の目的は、赤外光発光による消費電力をより軽減させつつ、赤外光による顔検出の利便性も維持できる情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法を提供することである。   Therefore, an object of the present invention is to provide an information processing apparatus, an information processing system, an information processing program, and an information processing method capable of reducing the power consumption by infrared light emission and maintaining the convenience of face detection by infrared light. Is to provide.

上記目的を達成するために、例えば以下のような構成例が挙げられる。   In order to achieve the above object, for example, the following configuration examples are given.

構成例の一例は、赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置であって、赤外光発光制御部と、画像取得部と、顔検出部とを備える。赤外光発光制御部は、赤外光の発光を制御する。画像取得部は、カメラを用いて撮像した画像を繰り返し取得する。顔検出部は、画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する。そして、赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する。   An example of a configuration example is an information processing apparatus including an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image, the infrared light emission control unit, and an image An acquisition unit and a face detection unit are provided. The infrared light emission control unit controls emission of infrared light. The image acquisition unit repeatedly acquires images captured using a camera. The face detection unit repeatedly executes face detection processing based on the image acquired by the image acquisition unit. Then, the infrared light emission control unit stops the emission of the infrared light based on the result of the face detection process by the face detection unit, and resumes the emission of the infrared light again after a predetermined time has elapsed.

上記構成例によれば、顔検出処理による利便性を維持しつつ、赤外光発光にかかる消費電力を抑えることができる。   According to the above configuration example, it is possible to suppress power consumption for infrared light emission while maintaining convenience by face detection processing.

他の構成例として、赤外光発光制御部は、赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開することを繰り返し行なうようにしてもよい。   As another configuration example, the infrared light emission control unit may repeatedly perform the emission of the infrared light again after a predetermined time has elapsed after stopping the emission of the infrared light.

上記構成例によれば、赤外光発光にかかる消費電力を更に低減しながら顔検出処理による利便性を維持することができる。   According to the above configuration example, the convenience of the face detection process can be maintained while further reducing the power consumption for infrared light emission.

他の構成例として、赤外光発光制御部は、赤外光が発光されている状態での顔検出に失敗している場合に、当該赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開してもよい。更には、赤外光発光制御部は、顔検出が連続して失敗した回数が所定回数以上になった場合に、赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開してもよい。   As another configuration example, the infrared light emission control unit stops emission of the infrared light when face detection in a state where infrared light is emitted fails, and after a predetermined time has elapsed. The emission of the infrared light may be resumed again. Further, the infrared light emission control unit stops emitting infrared light when the number of face detection failures continuously exceeds a predetermined number of times, and again after a predetermined time elapses. The light emission may be resumed.

上記構成例によれば、効率的な消費電力の低減を実現できる。   According to the above configuration example, efficient reduction of power consumption can be realized.

他の構成例として、赤外光発光制御部は、赤外光が発光されている状態での顔検出に失敗しているときの赤外光の発光の停止と所定時間経過後の発光を、顔検出が成功するまで繰り返し実行し、かつ、当該所定時間を徐々に長くしながら繰り返して実行するように構成しても良い。更に、当該所定時間を長くしていった結果、当該時間が所定値に達したときは、それ以上は当該時間を長くせずに、赤外光の発光の停止と所定時間経過後の発光を繰り返し実行するようにしてもよい。   As another configuration example, the infrared light emission control unit stops the emission of infrared light when the face detection in the state where the infrared light is emitted and the light emission after a predetermined time elapses, It may be configured to repeatedly execute until face detection is successful and to repeatedly execute the predetermined time gradually. Furthermore, as a result of extending the predetermined time, when the time reaches a predetermined value, the infrared light emission is stopped and the light emission after the predetermined time has elapsed without increasing the time. You may make it perform repeatedly.

上記構成例によれば、消費電力をより軽減しつつ、速やかな顔検出による利便性を維持することができる。   According to the above configuration example, it is possible to maintain convenience due to rapid face detection while further reducing power consumption.

他の構成例として、情報処理装置は、情報処理装置自体の動きを検出するための動きセンサを更に備えていてもよい。そして、赤外光発光制御部は、赤外光の発光の停止と所定時間経過後の発光を繰り返し実行している間に、動きセンサからの出力値が所定の閾値以上となっているときは、当該所定時間が経過しているか否かにかかわらず赤外光の発光を行なうような構成としてもよい。   As another configuration example, the information processing apparatus may further include a motion sensor for detecting the movement of the information processing apparatus itself. When the output value from the motion sensor is equal to or greater than a predetermined threshold value while the infrared light emission control unit repeatedly executes the stop of the infrared light emission and the light emission after the lapse of the predetermined time, The infrared light emission may be performed regardless of whether or not the predetermined time has elapsed.

上記構成例によれば、例えば暗所において、ユーザが情報処理装置を利用していない状態から利用している状態となったときに、速やかに顔検出を行うことができる。   According to the configuration example described above, face detection can be performed promptly when, for example, in a dark place, a user enters a state where the information processing device is not used.

他の構成例として、携帯型の情報処理装置であってもよいし、バッテリー動作が可能な情報処理装置であってもよい。   As another configuration example, a portable information processing device or an information processing device capable of battery operation may be used.

上記構成例によれば、消費電力を軽減しつつ、情報処理装置の利便性を高めることができる。   According to the above configuration example, it is possible to improve the convenience of the information processing apparatus while reducing power consumption.

本発明によれば、赤外光発光にかかる消費電力を低減させつつ、顔検出処理の利便積も維持できる。   According to the present invention, the convenience of the face detection process can be maintained while reducing the power consumption for infrared light emission.

本実施形態における携帯型ゲーム装置の外観図External view of portable game device in this embodiment 携帯ゲーム装置の構成の一例を示すブロック図Block diagram showing an example of a configuration of a portable game device 本実施形態の処理における制御状態の遷移図Transition diagram of control state in the processing of this embodiment 携帯型ゲーム装置１０のメインメモリ３５に格納されるプログラムおよびデータの一例An example of a program and data stored in the main memory 35 of the portable game apparatus 10 Ｏｆｆ状態における処理の詳細を示すフローチャートFlow chart showing details of processing in off state 図５のステップＳ２の点灯試行判定処理の詳細を示すフローチャートThe flowchart which shows the detail of the lighting trial determination process of step S2 of FIG. Ｏｎ Ａｔｔｅｍｐｔ状態における処理の詳細を示すフローチャートFlowchart showing details of processing in On Attempt state Ｏｎ状態における処理の詳細を示すフローチャートFlow chart showing details of processing in On state 図８のステップＳ３２の消灯試行判定処理の詳細を示すフローチャートThe flowchart which shows the detail of the light extinction trial determination process of step S32 of FIG. Ｏｆｆ Ａｔｔｅｍｐｔ状態における処理の詳細を示すフローチャートFlowchart showing details of processing in Off Attempt state

以下、本発明の一実施形態について説明する。本実施形態では、情報処理装置の一例として携帯型ゲーム装置を例に挙げて説明する。   Hereinafter, an embodiment of the present invention will be described. In the present embodiment, a portable game device will be described as an example of the information processing device.

（携帯型ゲーム装置の構成）
図１は、本実施形態にかかる携帯型ゲーム装置１０の外観を示す図である。図１に示されるように、携帯型ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に連結されている。通常、ユーザは、開状態で携帯型ゲーム装置１０を使用する。また、ユーザは、携帯型ゲーム装置１０を使用しない場合には閉状態として携帯型ゲーム装置１０を保管する。下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３が設けられる。その他、下側ハウジング１１には、各操作ボタンやアナログスティック等も設けられる。一方、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２が設けられる。 (Configuration of portable game device)
FIG. 1 is a diagram illustrating an appearance of a portable game apparatus 10 according to the present embodiment. As shown in FIG. 1, the portable game apparatus 10 includes a lower housing 11 and an upper housing 21. The lower housing 11 and the upper housing 21 are connected so as to be openable and closable (foldable). Usually, the user uses the portable game apparatus 10 in the open state. Further, when the portable game apparatus 10 is not used, the user stores the portable game apparatus 10 in a closed state. The lower housing 11 is provided with a lower LCD (Liquid Crystal Display) 12 and a touch panel 13. In addition, the lower housing 11 is provided with operation buttons, an analog stick, and the like. On the other hand, the upper housing 21 is provided with an upper LCD (Liquid Crystal Display) 22.

また、携帯型ゲーム装置１０は、カメラ１０１を備えている。カメラ１０１は、上側ハウジング２１の表面（図１では上側ＬＣＤ２２の上方）に設けられる。したがって、カメラ１０１は、携帯型ゲーム装置１０の前に存在しているユーザの顔を撮像することができる。一例として、上側ＬＣＤ２２あるいは下側ＬＣＤ１２を見ながらゲームを行っている状態におけるユーザを撮像することができる。また、携帯型ゲーム装置１０は、赤外光を発光する赤外光発光部１０２を備えている。赤外光発光部１０２は、上側ハウジング２１の表面であって、上記カメラ１０１に隣接する位置に設けられる。換言すれば、ユーザが携帯型ゲーム装置１０を利用しているときに（ゲームのプレイ中等）、ユーザの顔が存在するであろう位置に向けて赤外光の発光が可能な位置に赤外光発光部１０２は設けられている。   In addition, the portable game device 10 includes a camera 101. The camera 101 is provided on the surface of the upper housing 21 (above the upper LCD 22 in FIG. 1). Therefore, the camera 101 can capture the user's face that exists in front of the portable game apparatus 10. As an example, it is possible to take an image of a user who is playing a game while looking at the upper LCD 22 or the lower LCD 12. The portable game device 10 also includes an infrared light emitting unit 102 that emits infrared light. The infrared light emitting unit 102 is provided on the surface of the upper housing 21 at a position adjacent to the camera 101. In other words, when the user is using the portable game apparatus 10 (such as during game play), infrared light is emitted to a position where infrared light can be emitted toward a position where the user's face will be present. A light emitting unit 102 is provided.

ここで、カメラ１０１は、可視光画像に加えて、赤外光の画像も撮影可能である。上記赤外光発光部１０２から発光された赤外光は、ユーザの顔に照射されて、その反射光がカメラ１０１に入射する。カメラ１０１は当該反射光に基づいて、赤外光画像の撮像ができる。そして、本実施形態では、当該カメラ１０１による撮像画像（可視光画像や赤外光画像）に基づき、ユーザの顔検出処理を実行する。当該顔検出の結果は所定のゲームの入力として用いられる。また、当該顔検出の結果として得られた目の位置に基づいて仮想カメラが設定され、顔検出の結果に応じた仮想空間画像を生成する処理等も実行される。   Here, the camera 101 can capture an infrared light image in addition to a visible light image. The infrared light emitted from the infrared light emitting unit 102 is applied to the user's face, and the reflected light enters the camera 101. The camera 101 can capture an infrared light image based on the reflected light. In this embodiment, the user's face detection process is executed based on an image captured by the camera 101 (visible light image or infrared light image). The face detection result is used as an input for a predetermined game. In addition, a virtual camera is set based on the position of the eyes obtained as a result of the face detection, and processing for generating a virtual space image corresponding to the result of the face detection is performed.

（携帯型ゲーム装置の内部構成）
図２は、上記携帯型ゲーム装置１０の機能ブロック図である。図２において、携帯型ゲーム装置１０は、入力装置３１、表示装置３２、プロセッサ３３、内部記憶装置３４、メインメモリ３５、撮像部３６、動きセンサ３７、赤外光発光部１０２を備えている。 (Internal configuration of portable game device)
FIG. 2 is a functional block diagram of the portable game apparatus 10. In FIG. 2, the portable game device 10 includes an input device 31, a display device 32, a processor 33, an internal storage device 34, a main memory 35, an imaging unit 36, a motion sensor 37, and an infrared light emitting unit 102.

入力装置３１は、上述した各操作ボタンやタッチパネル１３に該当する。入力装置３１は、携帯型ゲーム装置１０のユーザによって操作され、ユーザの操作に応じた信号を出力する。表示装置３２は、携帯型ゲーム装置１０において生成された画像を画面に表示する。表示装置３２は、上述した下側ＬＣＤ１２、上側ＬＣＤ２２である。内部記憶装置３４には、プロセッサ３３によって実行されるコンピュータプログラムや当該プログラムで利用される各種データが格納されている。内部記憶装置３４は、典型的には、フラッシュＥＥＰＲＯＭである。メインメモリ３５は、コンピュータプログラムや情報を一時的に記憶する。動きセンサ３７は、携帯型ゲーム装置１０の筐体自体に加えられた動きを検出するためのセンサであり、例えば角速度センサや加速度センサである。撮像部３６は、上記カメラ１０１を用いて画像を撮像する。赤外光発光部１０２は、プロセッサ３３からの命令に基づき赤外光の発光（点灯／消灯）を行う。   The input device 31 corresponds to the operation buttons and the touch panel 13 described above. The input device 31 is operated by the user of the portable game apparatus 10 and outputs a signal corresponding to the user's operation. The display device 32 displays an image generated in the portable game device 10 on the screen. The display device 32 is the above-described lower LCD 12 and upper LCD 22. The internal storage device 34 stores a computer program executed by the processor 33 and various data used in the program. The internal storage device 34 is typically a flash EEPROM. The main memory 35 temporarily stores computer programs and information. The motion sensor 37 is a sensor for detecting a motion applied to the casing of the portable game apparatus 10 and is, for example, an angular velocity sensor or an acceleration sensor. The imaging unit 36 captures an image using the camera 101. The infrared light emitting unit 102 emits infrared light (turns on / off) based on a command from the processor 33.

なお、上記プロセッサ３３に関して、後述する処理は単一のプロセッサ３３で処理されても良いし、単一の携帯型ゲーム装置１０に複数のプロセッサ３３を搭載し、これら複数のプロセッサ３３を併用して処理されてもよい。   Regarding the processor 33, the processing described later may be performed by a single processor 33, or a plurality of processors 33 are mounted on a single portable game apparatus 10, and the plurality of processors 33 are used in combination. May be processed.

（本実施形態にかかる情報処理の概要）
次に、本実施形態にかかる情報処理（携帯型ゲーム装置１０で実行される情報処理）の動作概要を説明する。本実施形態では、顔検出処理および赤外光の発光制御処理が並列して実行される。このうち、顔検出処理に関しては、既知の技術を用いるものとし、本実施形態の説明では、詳細な説明は省略する。例えば、撮像画像に基づいてパターンマッチング等を行うことで、顔検出処理が実行される（そして、この顔検出の結果に基づいて所定の情報処理が行なわれる）。なお、本実施形態における「顔検出」については、目の位置が検出できれば「顔検出」が成功している、として扱うものとする。つまり、本実施形態では、目の位置が検出できればよいものとする。 (Outline of information processing according to this embodiment)
Next, an operation outline of information processing (information processing executed by the portable game apparatus 10) according to the present embodiment will be described. In the present embodiment, the face detection process and the infrared light emission control process are executed in parallel. Among these, regarding the face detection process, a known technique is used, and detailed description is omitted in the description of the present embodiment. For example, face detection processing is executed by performing pattern matching or the like based on the captured image (and predetermined information processing is performed based on the result of this face detection). It should be noted that “face detection” in the present embodiment is treated as “face detection” is successful if the eye position can be detected. That is, in the present embodiment, it is only necessary to detect the position of the eyes.

上記顔検出処理と並列で上記赤外光の発光制御処理も実行されるが、本実施形態で説明する内容は、主にこの赤外光発光制御にかかるものとなる。以下、本実施形態で実行される赤外光発光制御の処理概要について説明する。   Although the infrared light emission control process is also executed in parallel with the face detection process, the contents described in the present embodiment are mainly related to the infrared light emission control. Hereinafter, an outline of the infrared light emission control process executed in the present embodiment will be described.

まず、本実施形態では、主に、携帯型ゲーム装置１０の周囲が暗い状況（環境光が不十分な状況）におけるユーザの顔画像撮像のために、赤外光を用いることを想定する。そのため、典型的には、携帯型ゲーム装置１０の周囲が明るい状況（環境光が十分な状況）では、赤外光発光部１０２は「オフ」の状態（発光していない）となり、暗い状況では「オン」の状態（発光している）になる。以下の説明では、赤外光発光部１０２がオンの状態のことを「点灯状態」と呼び、赤外光発光部１０２がオフの状態のことを「消灯状態」と呼ぶ。また、赤外光発光部１０２をオンにすることを「点灯」、赤外光発光部１０２をオフにすることを「消灯」と呼ぶ。   First, in the present embodiment, it is assumed that infrared light is mainly used for capturing a user's face image in a situation where the periphery of the portable game apparatus 10 is dark (a situation where the ambient light is insufficient). Therefore, typically, in a situation where the periphery of the portable game apparatus 10 is bright (environmental light is sufficient), the infrared light emitting unit 102 is in an “off” state (not emitting light), and in a dark situation. It will be in the “on” state (emitting light). In the following description, a state where the infrared light emitting unit 102 is on is referred to as a “lighting state”, and a state where the infrared light emitting unit 102 is off is referred to as a “light-off state”. Further, turning on the infrared light emitting unit 102 is referred to as “lighting”, and turning off the infrared light emitting unit 102 is referred to as “extinguishing”.

ここで、次のような状況を想定する。まず、明かりがついていない暗い部屋でユーザが携帯型ゲーム装置１０を利用しているとする。そして、ユーザの顔検出も成功している状態であるとする。すなわち、赤外光発光部が点灯しており、当該赤外光に基づいて上記カメラ１０１によるユーザの顔を撮像し、顔検出も成功している状況であるとする。このような状況において、例えば部屋の明かりがつけられた場合を考える。この場合、環境光としては十分な状態となり、赤外光を用いずとも顔検出が可能な状態となる。このような場合に赤外光発光部１０２が点灯したままでは、その分、不要な電力が消費される。特に、携帯型ゲーム装置１０をバッテリーで動作させているような場合、赤外光発光部１０２の不要な点灯による消費電力の影響は少なくない。そこで、本実施形態では、次のような制御を行うことで、携帯型ゲーム装置１０の消費電力を軽減する。まず、赤外光発光部１０２が点灯状態であって、顔検出が成功している状態（以下、顔検出成功状態と呼ぶ）である場合に、一旦赤外光発光部１０２を消灯状態にする。そして、この状態で顔検出を試みる。その結果、顔検出が失敗すれば、赤外光発光部１０２を点灯状態に戻す。一方、顔検出が成功すれば、赤外光発光部１０２は消灯状態のまま、顔検出処理を続行する、という制御を行う。つまり、赤外光が点灯状態で顔検出しているときに、一度赤外光を消灯して顔検出を試みて、その結果、顔検出ができなければ、部屋が暗い状態のままであり、赤外光が必要な状態であると判定する。一方、顔検出ができれば、以前は暗かった部屋が今は明るい状態になっている、あるいは暗い場所から明るい場所に移動した、等で、赤外光の点灯は不要な状況になっている、と判定するものである。このような制御を行うことで、本実施形態では、赤外光発光部１０２の無駄な点灯状態を抑制し、消費電力を軽減することができる。   Here, the following situation is assumed. First, it is assumed that the user is using the portable game apparatus 10 in a dark room with no light. It is assumed that the user's face detection is also successful. That is, it is assumed that the infrared light emitting unit is lit, the user's face is captured by the camera 101 based on the infrared light, and the face detection is also successful. In such a situation, for example, consider the case where a room light is turned on. In this case, the ambient light is sufficient, and the face can be detected without using infrared light. In such a case, if the infrared light emitting unit 102 remains lit, unnecessary power is consumed accordingly. In particular, when the portable game apparatus 10 is operated by a battery, the influence of power consumption due to unnecessary lighting of the infrared light emitting unit 102 is not limited. Therefore, in the present embodiment, the power consumption of the portable game apparatus 10 is reduced by performing the following control. First, when the infrared light emitting unit 102 is turned on and the face detection is successful (hereinafter referred to as a face detection successful state), the infrared light emitting unit 102 is temporarily turned off. . Then, face detection is attempted in this state. As a result, if the face detection fails, the infrared light emitting unit 102 is returned to the lighting state. On the other hand, if the face detection is successful, the infrared light emitting unit 102 is controlled to continue the face detection process while being turned off. That is, when face detection is performed with infrared light turned on, the infrared light is turned off once and face detection is attempted.If the face cannot be detected as a result, the room remains dark. It is determined that infrared light is necessary. On the other hand, if the face can be detected, the previously dark room is now bright, or moved from a dark place to a bright place, etc., so it is unnecessary to turn on infrared light. Judgment. By performing such control, in this embodiment, a useless lighting state of the infrared light emitting unit 102 can be suppressed and power consumption can be reduced.

本実施形態では、上記のような、顔検出成功状態における赤外光の消灯〜点灯の制御を繰り返し実行する。この際、赤外光の消灯を試みる時間間隔を変動させる制御も行なっている。具体的には、点灯状態から消灯状態へ切換える間隔（一旦消灯する時間間隔）は、最初は５秒から始まり、最終的に６０秒で収束するような制御も行なっている。これは、次のような理由による。まず、暗い場所でユーザが携帯型ゲーム装置１０を使用している場合（特に顔検出処理を利用する制御が行なわれている場合）、頻繁に赤外光の消灯を試みると、顔検出の精度が低下し、ユーザ体験への影響が生じる可能性がある。一方、定期的に赤外光の消灯を試みなければ、上記のように暗い場所から明るい場所に移動した場合でも赤外光が点灯したままとなり、消費電力への影響が懸念される。そこで、つまり、最初のうちは５秒間隔で赤外光の消灯を試みつつ、徐々に消灯の試行間隔を伸ばしていくことで、顔検出の精度の低下を防ぎながら、消費電力の低減も行なおうとしている。   In the present embodiment, the infrared light extinguishing to lighting control in the face detection success state as described above is repeatedly executed. At this time, control is also performed to vary the time interval for attempting to turn off infrared light. Specifically, the interval for switching from the lighting state to the extinguishing state (time interval for once extinguishing) starts from 5 seconds, and finally converges in 60 seconds. This is due to the following reason. First, when the user is using the portable game apparatus 10 in a dark place (especially when the control using the face detection process is performed), if frequent extinction of infrared light is attempted, the accuracy of face detection May be reduced and affect the user experience. On the other hand, if the infrared light is not periodically turned off, the infrared light remains on even when moving from a dark place to a bright place as described above, and there is a concern about the influence on power consumption. In other words, at first, while trying to turn off infrared light at intervals of 5 seconds, gradually increasing the turn-off time, the power consumption is reduced while preventing the face detection accuracy from being lowered. I'm trying to correct it.

更に、本実施形態では、次のような制御も行っている。例えば、次のような状況を想定する。まず、暗い部屋でユーザが携帯型ゲーム装置１０を利用しており、ユーザの顔検出も成功している状態であるとする。この状態から、ユーザが離席する等して、携帯型ゲーム装置１０の前からいなくなった場合を想定する（部屋は暗いままである）。このような場合は、ユーザの顔検出については失敗し続ける状態（以下、顔検出失敗状態）となる。この状態で赤外光発光部１０２が点灯状態のままであると、その分だけ電力が消費され続けることになる。そこで本実施形態では、暗い部屋で顔検出失敗状態がある程度続いたような場合は、赤外光発光部１０２を消灯するという制御を行う。更に、本実施形態では、赤外光発光部１０２を消灯した後でも、所定の時間間隔で赤外光発光部１０２を点灯させる、という制御も行っている。これにより、ユーザが携帯型ゲーム装置１０の前に戻ってきた場合に、速やかにユーザの顔検出処理を再開することが可能となる。つまり、本実施形態では、赤外光を点灯して顔検出が成功している状態から、顔検出の失敗が続くような状態になったとき、一旦赤外光を消灯するが、その後、所定時間経過すれば一度赤外光を点灯させ、顔検出を試みる、という制御を行っている。その結果、検出に失敗すれば再度赤外光は消灯し、このような制御が繰り返し行なわれる。一方、検出に成功すれば、（ユーザが離席状態から戻ってきた等と推測されるため）赤外光は点灯したままとする。このような制御により、携帯型ゲーム装置１０の消費電力を軽減させつつも、ユーザの顔検出にかかる利便性も損なわないようにすることができる。   Furthermore, in the present embodiment, the following control is also performed. For example, assume the following situation. First, it is assumed that the user is using the portable game apparatus 10 in a dark room and the user's face detection is also successful. From this state, it is assumed that the user leaves the front of the portable game apparatus 10 due to, for example, leaving (the room remains dark). In such a case, the user's face detection continues to fail (hereinafter referred to as a face detection failure state). In this state, if the infrared light emitting unit 102 remains in the lit state, power is consumed correspondingly. Therefore, in this embodiment, when the face detection failure state continues to some extent in a dark room, control is performed to turn off the infrared light emitting unit 102. Further, in the present embodiment, control is performed such that the infrared light emitting unit 102 is turned on at a predetermined time interval even after the infrared light emitting unit 102 is turned off. Thereby, when the user returns to the front of the portable game apparatus 10, the user's face detection process can be promptly restarted. In other words, in this embodiment, when the face detection is continued from the state where the infrared light is turned on and the face detection continues to fail, the infrared light is once turned off. When time elapses, infrared light is turned on once and face detection is attempted. As a result, if the detection fails, the infrared light is turned off again, and such control is repeated. On the other hand, if the detection is successful, the infrared light remains on (because it is assumed that the user has returned from the absence state). With such control, it is possible to reduce the power consumption of the portable game apparatus 10 and not to impair the convenience of the user's face detection.

また、上記の暗い部屋においてユーザが携帯型ゲーム装置１０の前から離席したような場合の制御に関して、本実施形態では次のような制御も行なっている。上記のように、顔検出失敗状態がある程度続くと、一旦赤外光を消灯し、所定時間経過後、再度点灯して顔検出を試みる、ということを繰り返している。この繰り返しにおいて、一旦消灯状態にした後、点灯状態へ切換える（赤外光での顔検出を試みる）までの時間間隔を変動させる制御を行なっている。具体的には、この時間間隔が、最初は１/３０秒から始まり、最終的に３秒に収束するような制御を行なっている。つまり、暗所においてユーザが携帯型ゲーム装置１０の前にいない場合、最終的には３秒おきに赤外光発光部１０２が（ほぼ一瞬だけ）点灯する、という動きになる。これは、あまり頻繁に点灯を試みると、その分だけ消費電力も大きくなるため、無駄な点灯は抑えようとするものである。またその一方で、ユーザが離席から戻ってきた場合にできるだけ速やかに顔検出成功状態にしたい、という要望もある。この両者をバランスよく実現するため、本実施形態では上記のように最大で３秒間隔で赤外光を点灯させるという制御を行なっている。   Further, in the present embodiment, the following control is also performed with respect to the control when the user leaves the front of the portable game apparatus 10 in the dark room. As described above, when the face detection failure state continues to some extent, the infrared light is once turned off, and after a predetermined time has elapsed, the face is turned on again to try face detection. In this repetition, control is performed to change the time interval from when the light is turned off to when it is turned on (attempting face detection with infrared light). Specifically, control is performed such that this time interval starts from 1/30 second and finally converges to 3 seconds. That is, when the user is not in front of the portable game apparatus 10 in a dark place, the infrared light emitting unit 102 is finally turned on (almost instantly) every 3 seconds. If lighting is attempted too frequently, the power consumption increases accordingly, so that unnecessary lighting is suppressed. On the other hand, there is also a desire to make the face detection successful state as soon as possible when the user returns from the absence. In order to realize both of these in good balance, in the present embodiment, control is performed to turn on infrared light at intervals of 3 seconds at the maximum as described above.

（本実施形態にかかる情報処理の詳細）
以下、本実施形態にかかる赤外光発光制御処理の詳細について説明する。まず、当該処理における「（内部的な）制御状態」について説明する。本実施形態では、当該制御状態として、次の４つの状態がある。
（１）Ｏｆｆ状態
（２）Ｏｎ Ａｔｔｅｍｐｔ状態
（３）Ｏｎ状態
（４）Ｏｆｆ Ａｔｔｅｍｐｔ状態
図３は、当該４つの制御状態と、その状態遷移を示した図である。なお、携帯型ゲーム装置１０の起動時は、Ｏｆｆ状態となっている。 (Details of information processing according to this embodiment)
Hereinafter, the details of the infrared light emission control processing according to the present embodiment will be described. First, the “(internal) control state” in the process will be described. In the present embodiment, there are the following four states as the control state.
(1) Off state (2) On Attempt state (3) On state (4) Off Attempt state FIG. 3 is a diagram showing the four control states and their state transitions. Note that when the portable game apparatus 10 is activated, it is in the Off state.

まず、上記（１）Ｏｆｆ状態では、赤外光発光部１０２は消灯している状態である。この状態において実行される主な処理は、顔検出が成功しているか否かの判定と、赤外光を点灯させるか否かの判定にかかる処理である。また、この状態からは、Ｏｎ Ａｔｔｅｍｐｔ状態に遷移し得る。   First, in the (1) Off state, the infrared light emitting unit 102 is turned off. The main processing executed in this state is processing related to determination of whether face detection is successful and determination of whether to turn on infrared light. Further, from this state, a transition can be made to the On Attempt state.

次に、（２）Ｏｎ Ａｔｔｅｍｐｔ状態は、赤外光発光部１０２は点灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光を消灯させるか、点灯させ続けるか、の判定処理が主に実行される。この状態からは、Ｏｆｆ状態またはＯｎ状態に遷移し得る。   Next, (2) On Attempt state is a state where the infrared light emitting unit 102 is lit. In this state, the determination process of whether or not the face detection is successful and the determination process of whether to turn off the infrared light or keep it on are mainly executed. From this state, a transition can be made to the Off state or the On state.

次に、（３）Ｏｎ状態は、赤外光発光部１０２は点灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光を消灯させるか否かの判定処理が主に実行される。この状態からは、Ｏｆｆ状態またはＯｆｆ Ａｔｔｅｍｐｔ状態に遷移し得る。   Next, (3) On state is a state in which the infrared light emitting unit 102 is lit. In this state, determination processing is mainly executed to determine whether face detection is successful and whether to turn off infrared light. From this state, a transition can be made to an Off state or an Off Attempt state.

次に、（４）Ｏｆｆ Ａｔｔｅｍｐｔ状態は、赤外光発光部１０２は消灯している状態である。この状態では、顔検出が成功しているか否かの判定と、赤外光の消灯を継続するか、赤外光を点灯するか、の判定処理が主に実行される。この状態からは、Ｏｆｆ状態またはＯｎ状態に遷移し得る。   Next, (4) Off Attempt state is a state in which the infrared light emitting unit 102 is turned off. In this state, the determination process of whether or not the face detection is successful and the determination process of whether to turn off the infrared light or turn on the infrared light are mainly executed. From this state, a transition can be made to the Off state or the On state.

本実施形態では、上記４つの制御状態の間で制御状態が遷移しながら、赤外光発光制御処理が実現される。   In the present embodiment, the infrared light emission control process is realized while the control state transitions between the four control states.

次に、本実施形態にかかる赤外光発光制御処理で用いられる主なデータについて説明する。図４は、携帯型ゲーム装置１０のメインメモリ３５に格納されるプログラムおよびデータの一例を示している。メインメモリ３５には、顔検出処理プログラム５１、赤外光発光制御処理プログラム５２、顔検出状態フラグ５３、点灯試行フラグ５４、消灯試行フラグ５５、検出成功回数カウンタ５６、検出失敗回数カウンタ５７、第１の閾値データ５８、第２の閾値データ５９、第３の閾値データ６０、第４の閾値データ６１、等が格納される。   Next, main data used in the infrared light emission control process according to the present embodiment will be described. FIG. 4 shows an example of programs and data stored in the main memory 35 of the portable game apparatus 10. The main memory 35 includes a face detection processing program 51, an infrared light emission control processing program 52, a face detection state flag 53, a lighting trial flag 54, a turn-off trial flag 55, a detection success number counter 56, a detection failure number counter 57, 1 threshold data 58, 2nd threshold data 59, 3rd threshold data 60, 4th threshold data 61, etc. are stored.

顔検出処理プログラム５１は、カメラ１０１の撮像画像に基づいてユーザの顔検出処理を実行するためのプログラムである。赤外光発光制御処理プログラム５２は、上述したような赤外光の発光制御を行なうためのプログラムである。具体的には、後述する図５〜図１０に示すフローチャート処理を実行するためのプログラムである。なお、本実施形態では、これらプログラムは１/３０秒単位（毎秒３０フレーム）で繰り返し実行されるものとする。   The face detection processing program 51 is a program for executing a user face detection process based on a captured image of the camera 101. The infrared light emission control processing program 52 is a program for performing emission control of infrared light as described above. Specifically, it is a program for executing the flowchart processing shown in FIGS. In the present embodiment, these programs are repeatedly executed in units of 1/30 second (30 frames per second).

顔検出状態フラグ５３は、顔検出処理の結果、現在顔検出が成功しているか失敗しているかを示すためのフラグである。例えば、成功している場合は”１”、失敗しているときは”０”が設定される。上記のように、本実施形態では、顔検出処理と赤外光発光制御処理は並列に実行される。そして、顔検出処理の結果を示すデータが当該顔検出状態フラグ５３として出力される。並列で実行されている赤外光発光制御処理において、当該フラグが参照されることで、現在顔検出が成功しているか否かを判別できる。   The face detection state flag 53 is a flag for indicating whether face detection is currently successful or failed as a result of face detection processing. For example, “1” is set when successful, and “0” is set when failed. As described above, in the present embodiment, the face detection process and the infrared light emission control process are executed in parallel. Then, data indicating the result of the face detection process is output as the face detection state flag 53. In the infrared light emission control processing executed in parallel, it is possible to determine whether or not the face detection is currently successful by referring to the flag.

点灯試行フラグ５４は、上記Ｏｆｆ状態において、Ｏｎ Ａｔｔｅｍｐｔ状態に遷移すべきか否かを判定する際に用いられるフラグである。また、消灯試行フラグ５５は、上記Ｏｎ状態において、Ｏｆｆ Ａｔｔｅｍｐｔ状態に遷移すべきか否かを判定する際に用いられるフラグである。それぞれ、オンが設定されていれば、遷移すべきであることを示し、オフが設定されているときは、遷移の必要性はないことを示すものとする。   The lighting trial flag 54 is a flag used when determining whether or not to transition to the On Attempt state in the Off state. Further, the turn-off trial flag 55 is a flag used when determining whether or not to shift to the Off Attempt state in the On state. When ON is set, it indicates that the transition should be performed, and when OFF is set, it indicates that there is no need for transition.

検出成功回数カウンタ５６は、赤外光が点灯状態のときに顔検出が連続して成功している回数を示すカウンタである。また、検出失敗回数カウンタ５７は、顔検出が連続して失敗している回数を示すカウンタである。上記のように、顔検出処理および赤外光発光制御処理は１／３０秒毎に繰り返し実行されるため、当該カウンタも１／３０秒単位でカウントアップされていくことになる。また、これらのカウンタは、上述の制御状態の遷移が発生した際にリセットされる。   The successful detection frequency counter 56 is a counter indicating the number of times of successful face detection when the infrared light is lit. The detection failure number counter 57 is a counter indicating the number of times face detection has failed continuously. As described above, since the face detection process and the infrared light emission control process are repeatedly executed every 1/30 seconds, the counter is also incremented in units of 1/30 seconds. These counters are reset when the above-described control state transition occurs.

第１の閾値データ５８は、赤外光が消灯状態のときに、赤外光を点灯すべきであると判定されるための閾値である。具体的には、上記検出失敗回数カウンタ５７の値と当該閾値が比較され、顔検出の連続失敗回数が当該第１の閾値データより大きくなったときに、赤外光を点灯すべきと判定される。つまり、携帯型ゲーム装置１０が暗い場所に存在するために、赤外光を点灯すべき、と判定されるための閾値である。この閾値は、主に、上述したような「赤外光発光部１０２を消灯した後でも、所定の時間間隔で赤外光発光部１０２を点灯させる」、という制御のために利用される。なお、この閾値は変動し得る。そのため、本実施形態では、初期値として、１/３０秒を示す値が設定されている。また、本実施形態では、当該第１の閾値データ５８の変動の最大値が設けられており、例えば、３秒分の時間を示す値であるとする。   The first threshold value data 58 is a threshold value for determining that the infrared light should be turned on when the infrared light is turned off. Specifically, the value of the detection failure number counter 57 is compared with the threshold value, and it is determined that the infrared light should be turned on when the number of consecutive face detection failures exceeds the first threshold data. The That is, this is a threshold value for determining that the infrared light should be turned on because the portable game apparatus 10 exists in a dark place. This threshold value is mainly used for the above-described control of “turning on the infrared light emitting unit 102 at a predetermined time interval even after the infrared light emitting unit 102 is turned off”. Note that this threshold may vary. Therefore, in this embodiment, a value indicating 1/30 second is set as the initial value. In the present embodiment, a maximum value of the fluctuation of the first threshold data 58 is provided, and is a value indicating a time for 3 seconds, for example.

第２の閾値データ５９は、上記Ｏｎ Ａｔｔｅｍｐｔ状態において、赤外光を消灯すべきと判定するための閾値である。具体的には、赤外光を点灯しているにもかかわらず、検出失敗回数カウンタ５７の値が当該閾値より大きくなったとき、消灯すべきと判定される。なお、この閾値については固定値が設定されており、本実施形態では５フレーム分の値が設定される。これは、赤外光を点灯した後、検出できないからといってすぐに消灯するのではなく、５フレーム程度は様子を見ることで、顔検出の精度をより高めようとするものである。   The second threshold value data 59 is a threshold value for determining that the infrared light should be turned off in the On Attempt state. Specifically, it is determined that the light should be turned off when the value of the detection failure number counter 57 becomes larger than the threshold value, although the infrared light is turned on. Note that a fixed value is set for this threshold, and in this embodiment, a value for five frames is set. This is intended to increase the accuracy of face detection by looking at the state of about 5 frames instead of turning off the infrared light immediately after the infrared light is turned on and not detecting it.

第３の閾値データ６０は、赤外光が点灯状態のときに、赤外光を消灯すべきであると判定されるための閾値である。具体的には、上記検出成功回数カウンタ５６の値と当該閾値が比較され、顔検出の連続成功回数が当該第３の閾値データ以上であれば、赤外光を消灯すべきと判定される。この閾値は、主に、上述の「顔検出成功状態である場合に、一旦赤外光発光部１０２を消灯状態にする」という制御のために利用される。また、この閾値も変動し得るものである。そして、初期値として、本実施形態では、５秒分の時間を示す値が設定されている。なお、第３の閾値データ６０にも変動の最大値が設けられており、例えば６０秒分の時間を示す値であるとする。   The third threshold data 60 is a threshold for determining that the infrared light should be turned off when the infrared light is in a lighting state. Specifically, the value of the detection success number counter 56 is compared with the threshold value, and if the number of consecutive face detection successes is equal to or greater than the third threshold data, it is determined that the infrared light should be turned off. This threshold value is mainly used for the above-described control of “when the face detection success state is set, the infrared light emitting unit 102 is temporarily turned off”. Also, this threshold can vary. In the present embodiment, a value indicating a time corresponding to 5 seconds is set as an initial value. Note that the third threshold data 60 is also provided with a maximum value of fluctuation, for example, a value indicating a time of 60 seconds.

第４の閾値データ６１は、赤外光は点灯状態で顔検出に失敗している状態において、消灯すべきと判定するための閾値である。上記検出失敗回数カウンタ５７の値と当該閾値が比較され、連続失敗回数がこの閾値より大きい場合、赤外光を消灯すべきと判定される。上述した、暗い場所においてユーザが携帯型ゲーム装置１０の前から離席したような場合に赤外光を消灯させる制御に利用される。この閾値は固定値が設定され、例えば、３秒分の時間に相当する値が設定される。つまり、暗い場所でユーザが携帯型ゲーム装置１０の前から離席した場合、概ね３秒後には赤外光が一旦消灯されることになる。   The fourth threshold value data 61 is a threshold value for determining that the infrared light should be turned off in a state where the face detection is unsuccessful while the light is on. The value of the detection failure frequency counter 57 is compared with the threshold value, and if the number of consecutive failures is larger than the threshold value, it is determined that the infrared light should be turned off. This is used for the control for turning off the infrared light when the user leaves the front of the portable game apparatus 10 in a dark place as described above. This threshold value is set to a fixed value, for example, a value corresponding to a time of 3 seconds. That is, when the user leaves the front of the portable game apparatus 10 in a dark place, the infrared light is temporarily turned off after approximately 3 seconds.

その他、図示は省略するが、本実施形態にかかる処理に利用される各種データも適宜メインメモリ３５に格納される。   In addition, although illustration is omitted, various data used for processing according to the present embodiment is also stored in the main memory 35 as appropriate.

次に、本実施形態にかかる赤外光発光制御処理の詳細な流れを説明する。図５〜図１０は、当該処理の詳細を示すフローチャートである。図５〜図６は、上述したＯｆｆ状態における制御処理を示す。図７は、上記Ｏｎ Ａｔｔｅｍｐｔ状態における制御処理を示す。図８〜図９は、上記Ｏｎ状態における処理を示す。図１０は、上記Ｏｆｆ Ａｔｔｅｍｐｔ状態における処理を示す。また、各状態におけるフローチャートにかかる処理が１/３０秒単位で繰り返し実行されるものとする。また、上記のように、これらの処理の実行に並列して、顔検出処理が繰り返し（１／３０秒単位で）実行されている。顔検出処理自体は既知の技術を利用するものとし、ここでは詳細な説明は省略する。   Next, a detailed flow of the infrared light emission control process according to the present embodiment will be described. 5 to 10 are flowcharts showing details of the processing. 5 to 6 show the control processing in the above-described Off state. FIG. 7 shows a control process in the On Attempt state. 8 to 9 show processing in the On state. FIG. 10 shows the processing in the Off Attempt state. Further, it is assumed that the processing according to the flowchart in each state is repeatedly executed in units of 1/30 seconds. Further, as described above, the face detection process is repeatedly executed (in units of 1/30 seconds) in parallel with the execution of these processes. The face detection process itself uses a known technique, and a detailed description thereof is omitted here.

（Ｏｆｆ状態における情報処理）
まず、図５および図６を用いて、制御状態がＯｆｆ状態であるときの処理について説明する。この状態においては、まず、図５のステップＳ１で、プロセッサ３３は、上記顔検出状態フラグ５３を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功していれば（ステップＳ１でＹＥＳ）、赤外光を点灯する必要も無いため、当該ステップＳ１の判定を繰り返すことになる（つまり、現状維持となる）。 (Information processing in the off state)
First, the processing when the control state is the Off state will be described with reference to FIGS. 5 and 6. In this state, first, in step S1 of FIG. 5, the processor 33 refers to the face detection state flag 53 and determines whether face detection has succeeded at that time. As a result, if face detection is successful (YES in step S1), it is not necessary to turn on infrared light, and therefore the determination in step S1 is repeated (that is, the current state is maintained).

一方、顔検出に失敗しているときは（ステップＳ１でＮＯ）、プロセッサ３３は、検出失敗回数カウンタ５７に１を加算する。そして、ステップＳ２で、プロセッサ３３は、赤外光を点灯すべきか否かを判定するための点灯試行判定処理を実行する。図６は、当該点灯試行判定処理の詳細を示すフローチャートである。まず、ステップＳ１１において、プロセッサ３３は、携帯型ゲーム装置１０が十分な環境光下にあるか否かを判定する。これは例えば、カメラ１０１に入射した光の明るさを判別する等で判定できる。また、他の実施形態では、明るさの検出専用に明るさセンサを携帯型ゲーム装置１０に搭載するように構成しても良い。   On the other hand, when the face detection has failed (NO in step S1), the processor 33 adds 1 to the detection failure number counter 57. Then, in step S2, the processor 33 executes a lighting trial determination process for determining whether or not infrared light should be turned on. FIG. 6 is a flowchart showing details of the lighting trial determination process. First, in step S11, the processor 33 determines whether or not the portable game apparatus 10 is under sufficient ambient light. This can be determined, for example, by determining the brightness of light incident on the camera 101. In another embodiment, a brightness sensor may be mounted on the portable game apparatus 10 exclusively for brightness detection.

当該判定の結果、十分な環境光下にあると判定されたときは（ステップＳ１１でＹＥＳ）、赤外光の点灯の必要性はないと考えられる。この場合は、プロセッサ３３は、ステップＳ１７で、点灯試行フラグ５４をオフに設定する。そして、点灯試行判定処理は終了する。一方、十分な環境光下にないと判定されたときは（ステップＳ１１でＮＯ）、ステップＳ１２で、プロセッサ３３は、検出失敗回数カウンタ５７および第１の閾値データ５８を参照して、顔検出の連続失敗回数が第１の閾値より大きいか否かを判定する。その結果、顔検出の連続失敗回数が第１の閾値以下であれば（ステップＳ１２でＮＯ）、上記ステップＳ１７の処理に進む。つまり、第１の閾値で示される時間が経過するまでは、赤外光は消灯状態のままでの顔検出処理を続けることになる   As a result of the determination, when it is determined that the ambient light is sufficient (YES in step S11), it is considered that there is no need to turn on the infrared light. In this case, the processor 33 sets the lighting trial flag 54 to OFF in step S17. Then, the lighting trial determination process ends. On the other hand, when it is determined that the light is not under sufficient ambient light (NO in step S11), in step S12, the processor 33 refers to the detection failure frequency counter 57 and the first threshold data 58, and performs face detection. It is determined whether the number of consecutive failures is greater than a first threshold value. As a result, if the number of consecutive face detection failures is equal to or less than the first threshold (NO in step S12), the process proceeds to step S17. That is, until the time indicated by the first threshold elapses, the face detection process is continued while the infrared light remains off.

一方、顔検出の連続失敗回数が第１の閾値より大きいときは（ステップＳ１２でＹＥＳ）、次に、ステップＳ１３において、プロセッサ３３は、ユーザが携帯型ゲーム装置１０の前に存在している兆候があるかどうかを判定する。つまり、今現在、ユーザが携帯型ゲーム装置１０を使用しているのか、あるいは放置して離席等しているのかを判定する。この判定について、本実施形態では、動きセンサ３７からの出力データや、所定のボタン操作が行われているか否か等で判定する。例えば、動きセンサ３７からのデータに基づき、携帯型ゲーム装置１０自体に動きが発生していると判定できる場合は、ユーザが携帯型ゲーム装置１０を手に持って操作していると考えられる。また、所定のボタン入力が検知できるような場合も、ユーザが携帯型ゲーム装置１０を使用している状態であると推測できる。このような判定の結果、ユーザが携帯型ゲーム装置１０の前に存在している兆候がある（ユーザが今現在、携帯型ゲーム装置１０を使用していると考えられる）場合は（ステップＳ１３でＹＥＳ）、例えば暗い場所でユーザが携帯型ゲーム装置を使用している状況であると考えられる。そのため、即時に赤外光を点灯する必要がある。この場合は、ステップＳ１４で、プロセッサ３３は、第１の閾値データ５８を初期値にリセットする。次に、ステップＳ１５で、プロセッサ３３は、第１の閾値データ５８の値を大きくするための処理を実行する。具体的には、以下の数式を用いて新たな第１の閾値データ５８を算出する。
第１の閾値＝（第１の閾値+１）×１.５ ・・・式１
なお、当該ステップＳ１５の処理に関して、上記のように第１の閾値データ５８には最大値が設定されているため（本例では３秒分の時間を示す値）、上記算出の結果、当該最大値に達した場合は、それ以上の算出は行なわれないものとする。 On the other hand, if the number of consecutive face detection failures is greater than the first threshold (YES in step S12), then in step S13, the processor 33 indicates that the user is present in front of the portable game device 10. Determine if there is any. That is, it is determined whether the user is currently using the portable game apparatus 10 or is left unattended. In this embodiment, this determination is made based on output data from the motion sensor 37, whether or not a predetermined button operation is performed, and the like. For example, when it can be determined that movement is occurring in the portable game apparatus 10 itself based on the data from the movement sensor 37, it is considered that the user operates the portable game apparatus 10 with his / her hand. In addition, when a predetermined button input can be detected, it can be estimated that the user is using the portable game apparatus 10. As a result of such determination, if there is an indication that the user is present in front of the portable game device 10 (it is considered that the user is currently using the portable game device 10) (in step S13) YES), for example, it is considered that the user is using the portable game device in a dark place. Therefore, it is necessary to immediately turn on the infrared light. In this case, in step S14, the processor 33 resets the first threshold data 58 to the initial value. Next, in step S15, the processor 33 executes a process for increasing the value of the first threshold data 58. Specifically, new first threshold data 58 is calculated using the following mathematical formula.
First threshold = (first threshold + 1) × 1.5 (Equation 1)
In addition, regarding the process of the step S15, since the maximum value is set in the first threshold data 58 as described above (in this example, a value indicating the time for 3 seconds), as a result of the calculation, the maximum value is set. When the value is reached, no further calculation is performed.

一方、上記ステップＳ１３の判定で、ユーザが携帯型ゲーム装置１０の前に存在している兆候はないと判定されたときは（ステップＳ１３でＮＯ）、上述のステップＳ１４の処理はスキップして、ステップＳ１５の処理へと進む。つまり、第１の閾値データ５８のリセットは行なわれずに、その値が大きくなっていくことになる。   On the other hand, when it is determined in step S13 that there is no sign that the user exists in front of the portable game apparatus 10 (NO in step S13), the process in step S14 described above is skipped. The process proceeds to step S15. That is, the first threshold data 58 is not reset, and the value increases.

次に、ステップＳ１６で、プロセッサ３３は、点灯試行フラグ５４をオンに設定する。そして、当該点灯試行判定処理は終了する。   Next, in step S16, the processor 33 sets the lighting trial flag 54 to ON. Then, the lighting trial determination process ends.

図５に戻り、次に、ステップＳ３で、プロセッサ３３は、点灯試行フラグ５４を参照して、Ｏｎ Ａｔｔｅｍｐｔ状態に遷移すべきか否かを判定する。その結果、点灯試行フラグ５４がオフである場合は（ステップＳ３でＮＯ）、Ｏｆｆ状態を維持することになり、上記ステップＳ１に戻り、処理が繰り返される。   Returning to FIG. 5, next, in step S <b> 3, the processor 33 refers to the lighting trial flag 54 and determines whether or not to transition to the On Attempt state. As a result, when the lighting trial flag 54 is off (NO in step S3), the off state is maintained, the process returns to step S1 and the process is repeated.

一方、点灯試行フラグ５４がオンである場合は（ステップＳ３でＹＥＳ）、ステップＳ４で、プロセッサ３３は赤外光発光部１０２を点灯状態にする。そして、ステップＳ５で、プロセッサ３３は、Ｏｎ Ａｔｔｅｍｐｔ状態に遷移するための処理を実行する。この際、上記検出成功回数カウンタ５６および検出失敗回数カウンタ５７のリセットも行われる。以上で、Ｏｆｆ状態における処理の説明を終了する。   On the other hand, when the lighting trial flag 54 is on (YES in step S3), the processor 33 turns on the infrared light emitting unit 102 in step S4. In step S5, the processor 33 executes a process for transitioning to the On Attempt state. At this time, the detection success number counter 56 and the detection failure number counter 57 are also reset. This is the end of the description of the processing in the Off state.

（Ｏｎ Ａｔｔｅｍｐｔ状態における情報処理）
次に、図７を用いて、Ｏｎ Ａｔｔｅｍｐｔ状態における処理について説明する。まず、ステップＳ２１において、プロセッサ３３は、上記顔検出状態フラグ５３を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功していれば（ステップＳ２１でＹＥＳ）、ステップＳ２２で、プロセッサ３３は、Ｏｎ状態へと遷移するための処理を実行する。この際に、上記検出成功回数カウンタ５６および検出失敗回数カウンタ５７のリセットや上記第１の閾値データ５８のリセットも行なわれる。 (Information processing in On Attempt state)
Next, processing in the On Attempt state will be described with reference to FIG. First, in step S <b> 21, the processor 33 refers to the face detection state flag 53 and determines whether face detection is successful at that time. As a result, if the face detection is successful (YES in step S21), in step S22, the processor 33 executes a process for transitioning to the On state. At this time, the detection success number counter 56 and the detection failure number counter 57 are reset and the first threshold data 58 is also reset.

一方、顔検出に失敗している場合は（ステップＳ２１でＮＯ）、ステップＳ２３で、プロセッサ３３は、検出失敗回数カウンタ５７と第２の閾値データ５９を参照し、検出失敗回数カウンタ５７が第２の閾値データ５９より大きい値であるか否かを判定する。その結果、検出失敗回数カウンタ５７が第２の閾値データ５９よりは大きくないときは（ステップＳ２３でＮＯ）、上記ステップＳ２１に戻り、処理が繰り返される。本実施形態では、第２の閾値データ５９として５フレーム分の時間を示す値が固定値として設定されている。そのため、ここでは、５フレーム分の時間は顔検出処理が繰り返されることになる。   On the other hand, if face detection has failed (NO in step S21), in step S23, the processor 33 refers to the detection failure number counter 57 and the second threshold data 59, and the detection failure number counter 57 is set to the second value. It is determined whether or not the value is larger than the threshold data 59. As a result, when the detection failure number counter 57 is not larger than the second threshold data 59 (NO in step S23), the process returns to step S21 and the process is repeated. In the present embodiment, as the second threshold data 59, a value indicating the time for five frames is set as a fixed value. Therefore, here, the face detection process is repeated for the time of five frames.

一方、検出失敗回数カウンタ５７が第２の閾値データ５９より大きい値である場合は(ステップＳ２３でＹＥＳ）、赤外光を点灯しているにもかかわらず（５フレーム分の時間以上）顔検出に失敗し続けていることになる。そのため、プロセッサ３３は、ステップＳ２４で、赤外光発光部１０２を消灯し、ステップＳ２５で、Ｏｆｆ状態に遷移する処理を実行する。以上で、Ｏｎ Ａｔｔｅｍｐｔ状態における処理の説明を終了する、   On the other hand, when the detection failure number counter 57 is larger than the second threshold data 59 (YES in step S23), the face detection is performed even though the infrared light is lit (time of 5 frames or more). Will continue to fail. Therefore, the processor 33 turns off the infrared light emitting unit 102 in step S24, and executes a process of transitioning to the Off state in step S25. This is the end of the description of the process in the On Attempt state.

（Ｏｎ状態における情報処理）
次に、図８および図９を用いて、Ｏｎ状態における処理について説明する。まず、図８のステップＳ３１で、プロセッサ３３は、上記顔検出状態フラグ５３を参照して、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功している場合は（ステップＳ３１でＹＥＳ）、ステップＳ３２で、プロセッサ３３は、消灯試行判定処理を実行する。また、この際、プロセッサ３３は、検出成功回数カウンタ５６に１を加算する。 (Information processing in On state)
Next, processing in the On state will be described with reference to FIGS. First, in step S31 of FIG. 8, the processor 33 refers to the face detection state flag 53 and determines whether face detection has succeeded at that time. As a result, if the face detection is successful (YES in step S31), the processor 33 executes a turn-off trial determination process in step S32. At this time, the processor 33 adds 1 to the detection success number counter 56.

図９は、消灯試行判定処理の詳細を示すフローチャートである。この処理では、まず、ユーザと携帯型ゲーム装置１０との相対的な位置関係が安定しているか否かを判定する。本実施形態では、以下のような判定を行なう。まず、ステップＳ４１で、プロセッサ３３は、所定の閾値以上の大きさの動きが携帯型ゲーム装置１０自体に発生しているか否かを判定する。これは、例えば、角速度センサや加速度センサ等の動きセンサ３７からの出力が予め定められた所定の閾値以上か否か等で判定される。つまり、ユーザが携帯型ゲーム装置１０を把持して、これ自体を激しく動かしているか等を判定する。この判定の結果、所定の閾値以上の動きが発生している場合は（ステップＳ４１でＹＥＳ）、ユーザと携帯型ゲーム装置１０との相対的な位置関係が大きく変化していると推測される。ここで、ユーザと携帯型ゲーム装置１０との相対的位置関係が大きく変化すると、顔検出精度が下がってしまう可能性がある。このことを考慮すると、正確な顔検出が行えるように、赤外光は点灯したままのほうがよい。そのため、この場合には、ステップＳ４６で、プロセッサ３３は、消灯試行フラグ５５をオフに設定する。   FIG. 9 is a flowchart showing details of the turn-off trial determination process. In this process, first, it is determined whether or not the relative positional relationship between the user and the portable game apparatus 10 is stable. In the present embodiment, the following determination is performed. First, in step S41, the processor 33 determines whether or not a movement having a magnitude greater than or equal to a predetermined threshold is occurring in the portable game apparatus 10 itself. This is determined, for example, based on whether or not the output from the motion sensor 37 such as an angular velocity sensor or an acceleration sensor is equal to or greater than a predetermined threshold value. That is, it is determined whether the user is holding the portable game apparatus 10 and moving it violently. As a result of this determination, if a movement of a predetermined threshold value or more has occurred (YES in step S41), it is estimated that the relative positional relationship between the user and the portable game apparatus 10 has changed significantly. Here, if the relative positional relationship between the user and the portable game device 10 changes greatly, the face detection accuracy may be lowered. In consideration of this, it is better to keep the infrared light lit so that accurate face detection can be performed. Therefore, in this case, the processor 33 sets the turn-off trial flag 55 to OFF in step S46.

一方、上記判定の結果、所定の閾値以上の動きが発生していない場合は（ステップＳ４１でＮＯ）、次に、ステップＳ４２で、プロセッサ３３は、ユーザの顔に動きがあるか否かを判定する。つまり、携帯型ゲーム装置１０自体は例えば机の上に置かれている状態でユーザがプレイしているような場合を想定したものである。携帯型ゲーム装置１０自体には動きは発生していなくても（あるいは発生していても、きわめて小さな動きである場合でも）、ユーザの顔自体（本例ではユーザの目の位置）に動きが認められれば、この場合も、ユーザと携帯型ゲーム装置１０との相対的な位置関係が大きく変化していると推測されるからである。この判定は、例えば、顔検出処理の結果得られるユーザの顔の位置（目の中心位置）が、直前のフレームで検出された位置から、ある程度の距離以上移動しているか否かを見ることで判定できる。あるいは、例えば、直近の数フレーム〜数十フレームにかかる期間内におけるユーザの顔の位置の変化がある程度大きいか否か、等の手法でも判定できる。   On the other hand, if the result of the determination is that there is no movement equal to or greater than the predetermined threshold (NO in step S41), then in step S42, the processor 33 determines whether there is movement on the user's face. To do. That is, it is assumed that the portable game device 10 itself is playing, for example, while being placed on a desk. Even if no movement has occurred in the portable game apparatus 10 itself (or even if it has occurred, even if it is a very small movement), there is movement on the user's face itself (the position of the user's eyes in this example). This is because, in this case as well, it is assumed that the relative positional relationship between the user and the portable game apparatus 10 has greatly changed. This determination is made by, for example, checking whether the position of the user's face (the center position of the eyes) obtained as a result of the face detection process has moved by a certain distance or more from the position detected in the immediately preceding frame. Can be judged. Alternatively, for example, it can also be determined by a technique such as whether or not the change in the position of the user's face is large to some extent within the period of the last several frames to several tens of frames.

なお、上記ステップＳ４１およびＳ４２の判定は、換言すれば、ユーザと携帯型ゲーム装置１０（カメラ１０１）との相対的な位置関係の変化の大きさを判定するものといえる。そのため、上記の判定手法に限らず、上記相対的な位置関係の大きさが判定できれば、どのような手法を用いても良い。   In addition, it can be said that determination of said step S41 and S42 determines the magnitude | size of the change of the relative positional relationship of a user and the portable game device 10 (camera 101) in other words. Therefore, not only the determination method described above, but also any method may be used as long as the relative positional relationship can be determined.

上記ステップＳ４２の判定の結果、ユーザの顔に動きが発生している場合は（ステップＳ４２でＹＥＳ）、上記ステップＳ４６の処理に進む。つまり、この時点では赤外光の消灯を行なわないことを決定することになる。ユーザが携帯型ゲーム装置１０の前に存在していると推測される状況で、ユーザと携帯型ゲーム装置１０との相対的な位置関係の変化が大きい場合に赤外光を消灯してしまうと、顔検出の精度が低下してしまうためである。一方、動きが発生していない場合は(ステップＳ４２でＮＯ）、次に、ステップＳ４３で、プロセッサ３３は、検出成功回数カウンタ５６と第３の閾値データ６０を参照し、顔検出の連続成功回数が第３の閾値より小さいか否かを判定する。当該連続成功回数が第３の閾値より小さい場合は（ステップＳ４３でＹＥＳ）、赤外光の消灯は試みない制御を行なう。そのため、上記ステップＳ４６の処理に進む。一方、当該連続成功回数が第３の閾値より小さくない（すなわち、第３の閾値以上となった）場合は（ステップＳ４３でＮＯ）、上記のように、周囲が暗い状況から明るい状況になった等で、赤外光を消灯しても顔検出ができるかを試行するための制御を行なう。この場合は、ステップＳ４４で、プロセッサ３３は、第３の閾値データ６０の値を大きくするための処理を実行する。具体的には、以下の数式を用いて新たな第３の閾値データ６０を算出する。
第３の閾値＝（第３の閾値＋１）×１.５ ・・・式２
なお、当該ステップＳ４４の処理に関して、上記のように第３の閾値データ６０には最大値が設定されているため（本例では６０秒分時間を示す値）、上記算出の結果、当該最大値に達した場合は、それ以上の算出は行なわれないものとする。 As a result of the determination in step S42, if a motion has occurred on the user's face (YES in step S42), the process proceeds to step S46. That is, at this time, it is decided not to turn off the infrared light. In a situation where the user is presumed to be present in front of the portable game device 10 and the infrared light is turned off when the relative positional change between the user and the portable game device 10 is large. This is because the accuracy of face detection is lowered. On the other hand, if no motion has occurred (NO in step S42), then in step S43, the processor 33 refers to the detection success number counter 56 and the third threshold data 60, and the number of consecutive face detection successes Is smaller than the third threshold value. If the number of consecutive successes is smaller than the third threshold (YES in step S43), control is performed so as not to turn off infrared light. Therefore, the process proceeds to step S46. On the other hand, when the number of consecutive successes is not smaller than the third threshold (that is, greater than or equal to the third threshold) (NO in step S43), as described above, the surroundings changed from dark to bright. Thus, control is performed to try whether face detection can be performed even when infrared light is turned off. In this case, in step S44, the processor 33 executes a process for increasing the value of the third threshold data 60. Specifically, new third threshold data 60 is calculated using the following mathematical formula.
Third threshold = (third threshold + 1) × 1.5 Expression 2
Regarding the processing in step S44, since the maximum value is set in the third threshold data 60 as described above (in this example, a value indicating time for 60 seconds), the maximum value is obtained as a result of the calculation. If this value is reached, no further calculation is performed.

次に、ステップＳ４５で、プロセッサ３３は、消灯試行フラグ５５をオンに設定する。以上で、消灯試行判定処理は終了する。   Next, in step S45, the processor 33 sets the turn-off trial flag 55 to ON. This is the end of the turn-off trial determination process.

図８に戻り、次に、ステップＳ３３で、プロセッサ３３は、消灯試行フラグ５５を参照し、Ｏｆｆ Ａｔｔｅｍｐｔ状態に遷移すべきか否かを判定する。当該判定の結果、消灯試行フラグ５５はオフであるときは（ステップＳ３３でＮＯ）、Ｏｎ状態を維持するため、上記ステップＳ３１に戻り、処理を繰り返す。   Returning to FIG. 8, next, in step S <b> 33, the processor 33 refers to the turn-off trial flag 55 and determines whether or not to transition to the Off Attempt state. As a result of the determination, when the turn-off trial flag 55 is off (NO in step S33), the process returns to step S31 to repeat the process in order to maintain the On state.

一方、消灯試行フラグ５５はオンである場合は（ステップＳ３３でＹＥＳ）、ステップＳ３４で、プロセッサ３３は赤外光発光部１０２を消灯状態にする。そして、ステップＳ３５で、プロセッサ３３は、Ｏｆｆ Ａｔｔｅｍｐｔ状態に遷移するための処理を実行する。この際、上記検出成功回数カウンタ５６および検出失敗回数カウンタ５７のリセットも行われる。そして、このＯｆｆ Ａｔｔｅｍｐｔ状態にて、消灯状態での顔検出の成否が判定されることになる（Ｏｆｆ Ａｔｔｅｍｐｔ状態での処理は後述する）。   On the other hand, if the turn-off trial flag 55 is on (YES in step S33), the processor 33 turns off the infrared light emitting unit 102 in step S34. Then, in step S35, the processor 33 executes a process for transitioning to the Off Attempt state. At this time, the detection success number counter 56 and the detection failure number counter 57 are also reset. Then, in this Off Attempt state, the success or failure of face detection in the extinguished state is determined (processing in the Off Attempt state will be described later).

次に、上記ステップＳ３１の判定の結果、顔検出に失敗している場合（ステップＳ３１でＮＯ）の処理について説明する。この場合は、まず、ステップＳ３６で、プロセッサ３３は、検出失敗回数カウンタ５７と第４の閾値データ６１を参照し、顔検出の連続失敗回数が第４の閾値より小さいか否かを判定する。つまり、例えば暗い部屋でユーザが携帯型ゲーム装置１０の前から離席した状態か否かを判定する。本例では、第４の閾値は３秒分の時間を示す値として設定されているため、顔検出の失敗が３秒以上続けば、当該判定の条件が満たされることになる。   Next, the process when the face detection has failed as a result of the determination in step S31 (NO in step S31) will be described. In this case, first, in step S36, the processor 33 refers to the detection failure frequency counter 57 and the fourth threshold data 61, and determines whether or not the number of consecutive face detection failures is smaller than the fourth threshold. That is, for example, it is determined whether or not the user is away from the front of the portable game apparatus 10 in a dark room. In this example, since the fourth threshold value is set as a value indicating a time corresponding to 3 seconds, if the face detection failure continues for 3 seconds or more, the determination condition is satisfied.

当該判定の結果、当該連続失敗回数が第４の閾値より大きくない場合は（ステップＳ３６でＮＯ）、上記ステップＳ３１に戻り、処理を繰り返す。一方、当該連続失敗回数が第４の閾値より大きい場合は（ステップＳ３６でＹＥＳ）、ステップＳ３７で、プロセッサ３３は赤外光発光部１０２を消灯する。そして、ステップＳ３８で、プロセッサ３３は、Ｏｆｆ状態に遷移するための処理を実行する（上記同様、遷移の際に各種カウンタがリセットされる）。以上で、Ｏｎ状態における処理の説明を終了する。   As a result of the determination, if the number of consecutive failures is not greater than the fourth threshold (NO in step S36), the process returns to step S31 and the process is repeated. On the other hand, when the number of consecutive failures is larger than the fourth threshold (YES in step S36), the processor 33 turns off the infrared light emitting unit 102 in step S37. In step S38, the processor 33 executes processing for transitioning to the Off state (as in the above, various counters are reset during transition). This is the end of the description of the processing in the On state.

（Ｏｆｆ Ａｔｔｅｍｐｔ状態における情報処理）
次に、図１０を用いて、Ｏｆｆ Ａｔｔｅｍｐｔ状態における処理について説明する。まず、図１０のステップＳ５１で、プロセッサ３３は、上記顔検出状態フラグ５３を参照し、その時点において顔検出が成功しているか否かを判定する。その結果、顔検出に成功している場合は（ステップＳ５１でＹＥＳ）、赤外光の点灯の必要は無いため、ステップＳ５２で、プロセッサ３３は、Ｏｆｆ状態へ遷移するための処理を実行する。一方、顔検出に失敗している場合は（ステップＳ５１でＮＯ）、赤外光を点灯した状態での顔検出を試すため、ステップＳ５３で、プロセッサ３３は、赤外光発光部１０２を点灯させる。そして、ステップＳ５４で、プロセッサ３３は、Ｏｎ状態に遷移するための処理を実行する。以上で、Ｏｆｆ Ａｔｔｅｍｐｔ状態における処理は終了する。 (Information processing in Off Attempt state)
Next, processing in the Off Attempt state will be described with reference to FIG. First, in step S51 of FIG. 10, the processor 33 refers to the face detection state flag 53 and determines whether or not face detection is successful at that time. As a result, if face detection is successful (YES in step S51), there is no need to turn on infrared light, so in step S52, the processor 33 executes a process for transitioning to the Off state. On the other hand, if face detection has failed (NO in step S51), the processor 33 turns on the infrared light emitting unit 102 in step S53 in order to try face detection with infrared light turned on. . In step S54, the processor 33 executes a process for transitioning to the On state. Thus, the processing in the Off Attempt state ends.

なお、上記ステップＳ５１、Ｓ５２の処理に関しては、次のような制御を行なっても良い。すなわち、赤外光発光部の消灯について、消灯の指示後、徐々に行なわれる場合を想定して、ステップＳ５１からステップＳ５２の処理に移行する際に、数フレーム分の時間だけ待機してから（赤外光発光部が完全に消灯するのを待ってから）ステップＳ５２に処理を進めるようにしてもよい。具体的には、ステップＳ５１の判定でＹＥＳの場合、消灯指示が行なわれた後に所定のフレーム数（分の時間）が経過したか否かの判定処理を行なう。この判定の結果、経過していない場合はステップＳ５１の処理に戻り、経過した場合にステップＳ５２の処理へ進めるような制御を行なっても良い。   It should be noted that the following control may be performed with respect to the processing of steps S51 and S52. That is, assuming that the infrared light emitting section is turned off gradually after the turn-off instruction, when the process proceeds from step S51 to step S52, the process waits for several frames ( The process may proceed to step S52 (after waiting for the infrared light emitting unit to be completely turned off). Specifically, if the determination in step S51 is YES, a determination process is performed to determine whether or not a predetermined number of frames (minutes) have elapsed after the turn-off instruction is given. If the result of this determination is that it has not elapsed, the process may return to step S51, and if it has elapsed, control may be performed so as to proceed to step S52.

上記のような処理により、例えば、以下のような制御が行なわれることになる。まず、Ｏｎ状態において顔検出が成功している状態で、一旦、Ｏｆｆ Ａｔｔｅｍｐｔ状態に（強制的に）遷移する。この遷移の間隔は、最初は５秒から始まり、徐々に間隔を広げていき、６０秒に収束する。次に、Ｏｆｆ Ａｔｔｅｍｐｔ状態において、顔検出ができるか否かが判定される。その結果、顔検出できない場合は、赤外光が必要な状況（例えば周囲が暗い状況）と推測されるため、Ｏｎ状態に遷移することになる。一方、顔検出できた場合は、赤外光は不要な状況(例えば周囲が明るい状況）と推測されるため、Ｏｆｆ状態に遷移することになる。   By the above processing, for example, the following control is performed. First, in a state where face detection is successful in the On state, the state temporarily transits to the Off Attempt state (forcibly). The transition interval starts from 5 seconds at first, gradually increases, and converges to 60 seconds. Next, it is determined whether face detection can be performed in the Off Attempt state. As a result, when face detection cannot be performed, it is assumed that infrared light is necessary (for example, the surrounding is dark), and the state transitions to the On state. On the other hand, if the face can be detected, it is assumed that the infrared light is unnecessary (for example, a situation where the surroundings are bright), and thus the state transitions to the Off state.

また、次のような制御も行なわれることになる。例えば、Ｏｎ状態において顔検出がある程度連続で失敗すると、ユーザが離席したと推測して、一旦Ｏｆｆ状態に遷移する。次に、Ｏｆｆ状態で所定時間だけ顔検出を繰り返し、所定時間経過すれば、一度Ｏｎ Ａｔｔｅｍｐｔ状態に遷移する。この所定時間は、最初１/３０秒から始まり、３秒に収束する。次に、Ｏｎ Ａｔｔｅｍｐｔ状態で顔検出ができているか否かを判定する。顔検出できなければ、ユーザは離席中のままと推測されるため、Ｏｆｆ状態に遷移することになる。一方、顔検出できた場合は、ユーザが離席から戻ってきたと推測されるため、Ｏｎ状態に遷移することになる。   The following control is also performed. For example, if face detection fails to some extent in the On state, it is assumed that the user has left the seat, and the state temporarily changes to the Off state. Next, face detection is repeated for a predetermined time in the Off state, and once the predetermined time has elapsed, the state transits once to the On Attempt state. The predetermined time starts from 1/30 second and converges to 3 seconds. Next, it is determined whether or not the face is detected in the On Attempt state. If the face cannot be detected, the user is assumed to be away from the seat, so the state transitions to the Off state. On the other hand, if the face can be detected, it is assumed that the user has returned from the absence, and therefore the state transitions to the On state.

このように、本実施形態では、顔検出に成功している場合でも赤外光の消灯を試みて、不要な赤外光の点灯を抑えることで消費電力の軽減を図っている。また、周囲が暗い状況であって、ユーザが携帯型ゲーム装置１０の前から離席したような場合に、一旦赤外光を消灯し、その後定期的に赤外光を点灯させることで、ユーザが離席から戻ってきた場合の対処も行なっている。このような制御を行なうことにより、消費電力の軽減と顔検出処理によるユーザの利便性の維持との両立を図っている。特に、バッテリー駆動するような情報処理装置に上記のような制御を適用すれば、消費電力の軽減による効果も大きいといえる。   As described above, in this embodiment, even when face detection is successful, an attempt is made to turn off infrared light, and power consumption is reduced by suppressing lighting of unnecessary infrared light. In addition, when the surroundings are dark and the user leaves the front of the portable game apparatus 10, the infrared light is turned off once, and then the infrared light is turned on periodically, so that the user It also handles what happens when a person returns from his / her seat. By performing such control, both reduction of power consumption and maintenance of user convenience by face detection processing are achieved. In particular, if the above-described control is applied to an information processing apparatus that is driven by a battery, it can be said that the effect of reducing power consumption is great.

なお、上記実施形態において、暗い場所においてユーザが離席したような場合に赤外光を消灯する制御を行なっているが、このとき、赤外光以外のハードウェアコンポーネントをオフにするような制御を行なっても良い。例えば、上側ＬＣＤ２２及び下側ＬＣＤ１２も赤外光の消灯に併せてオフにするような制御を行なっても良い。これにより、更なる消費電力の軽減を図ることも可能となる。   In the above embodiment, control is performed to turn off the infrared light when the user leaves the seat in a dark place. At this time, control to turn off hardware components other than the infrared light is performed. May be performed. For example, the upper LCD 22 and the lower LCD 12 may be controlled to be turned off when the infrared light is turned off. As a result, it is possible to further reduce power consumption.

また、上記実施形態では、顔検出の成功／失敗に関して、「回数」を用いた判定処理を行なっていた。この他、「回数」以外にも「時間」で判定するようにしても良い。例えば、継続して成功している時間や失敗が継続している時間で判定するようにしても良い。   In the above embodiment, the determination process using the “number of times” is performed regarding the success / failure of the face detection. In addition, it may be determined by “time” in addition to “number of times”. For example, you may make it determine by the time when it succeeds continuously, or the time when failure continues.

また、上記の例では、情報処理装置の一例として携帯型ゲーム装置１０を挙げていた。これ以外にも、携帯型の各種情報処理装置（スマートフォン等）やタブレット端末やノートパソコン等、特に、バッテリーで動作可能な各種情報処理装置にも上記実施形態で説明した制御は適用可能である。   In the above example, the portable game apparatus 10 is cited as an example of the information processing apparatus. In addition to the above, the control described in the above embodiment can be applied to various types of information processing apparatuses (such as smartphones), tablet terminals, notebook computers, and the like, particularly various information processing apparatuses that can be operated with a battery.

また、上記実施形態においては、携帯型ゲーム装置１０の赤外光発光を制御するための一連の処理が単一の装置で実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。さらには、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。   In the above embodiment, the case where a series of processes for controlling the infrared light emission of the portable game apparatus 10 is executed by a single device has been described. In other embodiments, the above series of processes is executed. This process may be executed in an information processing system including a plurality of information processing apparatuses. For example, in an information processing system including a terminal-side device and a server-side device that can communicate with the terminal-side device via a network, a part of the series of processes may be executed by the server-side device. Good. Furthermore, in an information processing system including a terminal-side device and a server-side device that can communicate with the terminal-side device via a network, main processing of the series of processes is executed by the server-side device, Some processing may be executed in the terminal-side device. In the information processing system, the server-side system may be configured by a plurality of information processing apparatuses, and the plurality of information processing apparatuses may share and execute processing to be executed on the server side.

１０ 携帯型ゲーム装置
３１ 入力装置
３２ 表示装置
３３ プロセッサ
３４ 内部記憶装置
３５ メインメモリ
３６ 撮像部
３７ 動きセンサ
１０１ カメラ
１０２ 赤外光発光部 DESCRIPTION OF SYMBOLS 10 Portable game device 31 Input device 32 Display device 33 Processor 34 Internal storage device 35 Main memory 36 Imaging part 37 Motion sensor 101 Camera 102 Infrared light emission part

Claims (12)

赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置であって、
前記赤外光の発光を制御する赤外光発光制御部と、
前記カメラを用いて撮像した画像を繰り返し取得する画像取得部と、
前記画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出部とを備え、
前記赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理装置。 An information processing apparatus comprising an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image,
An infrared light emission control unit for controlling emission of the infrared light;
An image acquisition unit that repeatedly acquires images captured using the camera;
A face detection unit that repeatedly executes face detection processing based on the image acquired by the image acquisition unit,
The infrared light emission control unit stops the emission of the infrared light based on the result of the face detection process by the face detection unit, and resumes the emission of the infrared light again after a predetermined time has elapsed. Processing equipment. 前記赤外光発光制御部は、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開することを繰り返し行なう、請求項１に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the infrared light emission control unit repeatedly stops the emission of the infrared light and restarts the emission of the infrared light again after a predetermined time has elapsed. 前記赤外光発光制御部は、前記赤外光が発光されている状態での顔検出に失敗している場合に、当該赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、請求項１または２に記載の情報処理装置。   The infrared light emission control unit stops emission of the infrared light when face detection in a state where the infrared light is being emitted fails, and the infrared light emission control unit again after a predetermined time elapses. The information processing apparatus according to claim 1, wherein the light emission is resumed. 前記赤外光発光制御部は、前記顔検出が連続して失敗した回数が所定回数以上になった場合に、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、請求項３に記載の情報処理装置。   The infrared light emission control unit stops the emission of the infrared light when the number of times that the face detection has failed continuously exceeds a predetermined number of times, and the infrared light emission control unit again after a predetermined time elapses. The information processing apparatus according to claim 3, wherein the light emission is resumed. 前記赤外光発光制御部は、前記赤外光が発光されている状態での顔検出に失敗しているときの前記赤外光の発光の停止と所定時間経過後の発光を、前記顔検出が成功するまで繰り返し実行し、かつ、当該所定時間を徐々に長くしながら繰り返して実行する、請求項３または４に記載の情報処理装置。   The infrared light emission control unit detects the stop of the infrared light emission when the face detection in the state where the infrared light is emitted and the light emission after a predetermined time elapses. 5. The information processing apparatus according to claim 3, wherein the information processing apparatus is repeatedly executed until success is achieved, and is repeatedly executed while gradually increasing the predetermined time. 前記赤外光発光制御部は、前記所定時間を長くしていった結果、当該時間が所定値に達したときは、それ以上は当該時間を長くせずに、前記赤外光の発光の停止と所定時間経過後の発光を繰り返し実行する、請求項５に記載の情報処理装置。   The infrared light emission control unit stops the emission of the infrared light without increasing the time when the time reaches a predetermined value as a result of increasing the predetermined time. The information processing apparatus according to claim 5, wherein light emission after a predetermined time elapses is repeatedly executed. 前記情報処理装置は、
前記情報処理装置自体の動きを検出するための動きセンサを更に備え、
前記赤外光発光制御部は、前記赤外光の発光の停止と所定時間経過後の発光を繰り返し実行している間に、前記動きセンサからの出力値が所定の閾値以上となっているときは、当該所定時間が経過しているか否かにかかわらず前記赤外光の発光を行なう、請求項１ないし６のいずれか一項に記載の情報処理装置。 The information processing apparatus includes:
A movement sensor for detecting movement of the information processing apparatus itself;
When the output value from the motion sensor is equal to or greater than a predetermined threshold value while the infrared light emission control unit repeatedly executes the stop of the infrared light emission and the light emission after a predetermined time has elapsed. The information processing apparatus according to claim 1, wherein the infrared light is emitted regardless of whether or not the predetermined time has elapsed. 前記情報処理装置は、携帯型の情報処理装置である、請求項１ないし７のいずれか一項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the information processing apparatus is a portable information processing apparatus. 前記情報処理装置は、バッテリー動作が可能な情報処理装置である、請求項１ないし８のいずれか一項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus capable of battery operation. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理システムであって、
前記赤外光の発光を制御する赤外光発光制御部と、
前記カメラを用いて撮像した画像を繰り返し取得する画像取得部と、
前記画像取得部で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出部とを備え、
前記赤外光発光制御部は、前記顔検出部による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理システム。 An information processing system comprising an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image,
An infrared light emission control unit for controlling emission of the infrared light;
An image acquisition unit that repeatedly acquires images captured using the camera;
A face detection unit that repeatedly executes face detection processing based on the image acquired by the image acquisition unit,
The infrared light emission control unit stops the emission of the infrared light based on the result of the face detection process by the face detection unit, and resumes the emission of the infrared light again after a predetermined time has elapsed. Processing system. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置のコンピュータに実行させる情報処理プログラムであって、
前記コンピュータを、
前記赤外光の発光を制御する赤外光発光制御手段と、
前記カメラを用いて撮像した画像を繰り返し取得する画像取得手段と、
前記画像取得手段で取得された画像に基づいた顔検出処理を繰り返し実行する顔検出手段として機能させ、
前記赤外光発光制御手段は、前記顔検出手段による顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理プログラム。 An information processing program to be executed by a computer of an information processing apparatus including an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image,
The computer,
Infrared light emission control means for controlling emission of the infrared light;
Image acquisition means for repeatedly acquiring images captured using the camera;
Function as face detection means for repeatedly executing face detection processing based on the image acquired by the image acquisition means;
The infrared light emission control means stops the emission of the infrared light based on the result of the face detection process by the face detection means, and resumes the emission of the infrared light again after a predetermined time has passed. Processing program. 赤外光の発光が可能な赤外光発光部と、少なくとも赤外光画像が撮像可能なカメラとを備える情報処理装置を制御するための情報処理方法であって、
前記赤外光の発光を制御する赤外光発光制御ステップと、
前記カメラを用いて撮像した画像を繰り返し取得する画像取得ステップと、
前記画像取得ステップで取得された画像に基づいた顔検出処理を繰り返し実行する顔検出ステップとを備え、
前記赤外光発光制御ステップでは、前記顔検出ステップにおける顔検出処理の結果に基づいて、前記赤外光の発光を停止し、所定時間の経過後に再度当該赤外光の発光を再開する、情報処理方法。 An information processing method for controlling an information processing apparatus including an infrared light emitting unit capable of emitting infrared light and a camera capable of capturing at least an infrared light image,
An infrared light emission control step for controlling emission of the infrared light;
An image acquisition step of repeatedly acquiring images captured using the camera;
A face detection step for repeatedly executing face detection processing based on the image acquired in the image acquisition step,
In the infrared light emission control step, based on the result of the face detection process in the face detection step, the infrared light emission is stopped, and the infrared light emission is resumed after a predetermined time has elapsed. Processing method.
JP2014168527A 2014-08-21 2014-08-21 Information processing apparatus, information processing system, information processing program, and information processing method Active JP6371637B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014168527A JP6371637B2 (en) 2014-08-21 2014-08-21 Information processing apparatus, information processing system, information processing program, and information processing method
EP14187410.7A EP2987541B1 (en) 2014-08-21 2014-10-02 Information processing apparatus, information processing system, information processing program, and information processing method
US14/518,180 US9979917B2 (en) 2014-08-21 2014-10-20 Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168527A JP6371637B2 (en) 2014-08-21 2014-08-21 Information processing apparatus, information processing system, information processing program, and information processing method

Publications (2)

Publication Number Publication Date
JP2016046634A true JP2016046634A (en) 2016-04-04
JP6371637B2 JP6371637B2 (en) 2018-08-08

Family

ID=51655608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168527A Active JP6371637B2 (en) 2014-08-21 2014-08-21 Information processing apparatus, information processing system, information processing program, and information processing method

Country Status (3)

Country Link
US (1) US9979917B2 (en)
EP (1) EP2987541B1 (en)
JP (1) JP6371637B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398883A (en) * 2020-07-29 2022-11-25 Jvc建伍株式会社 Infrared imaging device and infrared imaging system
JP7186318B1 (en) 2022-02-14 2022-12-08 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6383218B2 (en) * 2014-08-21 2018-08-29 任天堂株式会社 Information processing apparatus, information processing system, information processing program, and information processing method
CN110892443B (en) * 2017-08-01 2024-01-09 松下知识产权经营株式会社 Personal authentication device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (en) * 1998-03-04 1999-09-17 Toshiba Corp Method and device for photographing facial picture
JP2007026213A (en) * 2005-07-19 2007-02-01 Nikon Corp Imaging device
US20070047941A1 (en) * 2005-08-31 2007-03-01 Nikon Corporation Autofocus apparatus
JP2008017227A (en) * 2006-07-06 2008-01-24 Denso Corp Face recognizing device, and automobile user treating system using the same
JP2012248992A (en) * 2011-05-26 2012-12-13 Olympus Imaging Corp Digital camera
US8644564B1 (en) * 2010-11-30 2014-02-04 Bally Gaming, Inc. Safe illumination for computerized facial recognition
JP2014027386A (en) * 2012-07-25 2014-02-06 Kyocera Corp Portable terminal, power saving control program, and power saving control method
JP2014120948A (en) * 2012-12-17 2014-06-30 Olympus Imaging Corp Imaging apparatus, notification method, notification program, and recording media

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189096B2 (en) * 2005-06-16 2012-05-29 Sensible Vision, Inc. Video light system and method for improving facial recognition using a video camera
JP2008181468A (en) 2006-02-13 2008-08-07 Smart Wireless Kk Infrared face authentication apparatus, and portable terminal and security apparatus including the same
KR20070081773A (en) 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 Infrared face authenticating apparatus, and portable terminal and security apparatus including the same
US8897741B2 (en) * 2009-11-13 2014-11-25 William J. Johnson System and method for mobile device usability by locational conditions
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US20130050395A1 (en) * 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
JP2012242948A (en) * 2011-05-17 2012-12-10 Sony Corp Display control device, method, and program
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
JP5702751B2 (en) * 2012-05-18 2015-04-15 株式会社ユニバーサルエンターテインメント Game equipment
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US20160029962A1 (en) * 2014-07-29 2016-02-04 Elwha Llc Medically active toys
JP6383218B2 (en) * 2014-08-21 2018-08-29 任天堂株式会社 Information processing apparatus, information processing system, information processing program, and information processing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (en) * 1998-03-04 1999-09-17 Toshiba Corp Method and device for photographing facial picture
JP2007026213A (en) * 2005-07-19 2007-02-01 Nikon Corp Imaging device
US20070047941A1 (en) * 2005-08-31 2007-03-01 Nikon Corporation Autofocus apparatus
EP1760522A2 (en) * 2005-08-31 2007-03-07 Nikon Corporation Autofocus apparatus
JP2007065290A (en) * 2005-08-31 2007-03-15 Nikon Corp Automatic focusing device
JP2008017227A (en) * 2006-07-06 2008-01-24 Denso Corp Face recognizing device, and automobile user treating system using the same
US8644564B1 (en) * 2010-11-30 2014-02-04 Bally Gaming, Inc. Safe illumination for computerized facial recognition
JP2012248992A (en) * 2011-05-26 2012-12-13 Olympus Imaging Corp Digital camera
JP2014027386A (en) * 2012-07-25 2014-02-06 Kyocera Corp Portable terminal, power saving control program, and power saving control method
JP2014120948A (en) * 2012-12-17 2014-06-30 Olympus Imaging Corp Imaging apparatus, notification method, notification program, and recording media

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398883A (en) * 2020-07-29 2022-11-25 Jvc建伍株式会社 Infrared imaging device and infrared imaging system
CN115398883B (en) * 2020-07-29 2024-01-09 Jvc建伍株式会社 Infrared imaging device and infrared imaging system
JP7186318B1 (en) 2022-02-14 2022-12-08 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method
JP2023117851A (en) * 2022-02-14 2023-08-24 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method

Also Published As

Publication number Publication date
US20160057371A1 (en) 2016-02-25
US9979917B2 (en) 2018-05-22
EP2987541A1 (en) 2016-02-24
JP6371637B2 (en) 2018-08-08
EP2987541B1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
JP6383218B2 (en) Information processing apparatus, information processing system, information processing program, and information processing method
US9507420B2 (en) System and method for providing haptic feedback to assist in capturing images
US9124685B2 (en) Portable device including control actions dependent on a user looking at a touchscreen
US10042420B2 (en) Gaze-aware control of multi-screen experience
KR102449593B1 (en) Method for controlling camera device and electronic device thereof
JP6371637B2 (en) Information processing apparatus, information processing system, information processing program, and information processing method
US20160054794A1 (en) Eye-control reminding method, eye-control image display method and display system
JP6171353B2 (en) Information processing apparatus, system, information processing method, and program
US9632587B2 (en) Interactive recognition system and display device
US20160242001A1 (en) Method and mobile terminal for displaying prompt information
JP2009288951A (en) Unit, method and program for image processing
JP2011221672A (en) Image processing apparatus, image processing method, program, and electronic device
JP6720283B2 (en) Electronic device, control method, and program
JP2011166332A (en) Information processor
US20170302847A1 (en) Image capturing method and electronic device supporting the same
WO2015104884A1 (en) Information processing system, information processing method, and program
US20170242471A1 (en) Method for controlling standby state and electronic device
KR102386299B1 (en) Method and apparatus for providing help guide
US10498874B2 (en) Display apparatus having ability of voice control and method of instructing voice control timing
JP2014020790A (en) Information terminal
US20220366722A1 (en) Electronic apparatus and control method
JP2016148900A (en) Electronic apparatus
JP5907184B2 (en) Information processing apparatus, information processing method, and program
JP2014048775A (en) Apparatus and program for identifying position gazed
CN116737284A (en) Equipment control method, device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180713

R150 Certificate of patent or registration of utility model

Ref document number: 6371637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250