JP7075237B2 - 操作判定装置及び操作判定方法 - Google Patents

操作判定装置及び操作判定方法 Download PDF

Info

Publication number
JP7075237B2
JP7075237B2 JP2018030878A JP2018030878A JP7075237B2 JP 7075237 B2 JP7075237 B2 JP 7075237B2 JP 2018030878 A JP2018030878 A JP 2018030878A JP 2018030878 A JP2018030878 A JP 2018030878A JP 7075237 B2 JP7075237 B2 JP 7075237B2
Authority
JP
Japan
Prior art keywords
face
user
image
eye
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018030878A
Other languages
English (en)
Other versions
JP2019145011A (ja
Inventor
博次 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Semiconductor Co Ltd
Original Assignee
Lapis Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lapis Semiconductor Co Ltd filed Critical Lapis Semiconductor Co Ltd
Priority to JP2018030878A priority Critical patent/JP7075237B2/ja
Priority to US16/282,913 priority patent/US11093030B2/en
Priority to CN201910132085.1A priority patent/CN110188589A/zh
Publication of JP2019145011A publication Critical patent/JP2019145011A/ja
Application granted granted Critical
Publication of JP7075237B2 publication Critical patent/JP7075237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、操作判定装置及び操作判定方法に関する。
近年、ゲーム機等において、ユーザの視線を検出し、画面上にユーザの視線位置を示すポインタやカーソルを表示させる機能を備えた装置が開発されている。ユーザは、視線の動きによってゲーム機等の操作等を行うことができる。
しかし、ユーザの視線を操作に用いる場合、視線の動きと連動してカーソル等が動くため、ユーザは、操作中は操作対象以外のものを見ることができず、操作対象以外のものを見るためには対象の操作を中断しなければならない。そこで、ユーザの視線ではなく頭部の動きに連動させてカーソルを動かす装置が提案されている（例えば、特許文献１）。
特開２００５－３５２５８０号公報
頭部の動きを検出するためには、例えばユーザの顔を撮影した画像に対して画像処理を行い、目標となる顔の部分の位置を検出し、検出した位置を２次元の位置座標に変換する処理を行う。これらの処理は処理工程が複雑であり、計算の実行数が多い。そのため、かかる処理をソフトウェアで行う場合、処理に時間がかかり、消費電力が大きいという問題があった。
本発明は上記問題点に鑑みてなされたものであり、顔の向きの変化に基づく非接触での操作の判定を高速且つ低消費電力で行うことが可能な操作判定装置を提供することを目的とする。
本発明に係る操作判定装置は、ユーザの顔の向きの変化を表示画像に対する非接触での操作として判定する操作判定装置であって、前記表示画像を表示する表示面に対して所定の位置に固定された撮像部によって撮影された前記ユーザの顔の撮影画像を取得する画像取得部と、前記撮影画像に対して画像処理を行い、前記ユーザの顔の向きを検出する画像処理部と、を有し、前記画像処理部は、前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状を検出する検出処理を実行する第１処理部と、検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、顔方向ベクトルの生成及び前記表示面から前記ユーザの顔までの距離の算出を行い、算出した距離及び前記顔方向ベクトルに基づいて、前記表示面に対する前記ユーザの顔の向きを判定する判定処理を実行する第２処理部と、を含み、前記第１処理部は前記検出処理を実行するハードウェアにより構成され、前記第２処理部は前記第１処理部の出力に基づいて前記判定処理を実行するソフトウェアにより構成されていることを特徴とする。
また、本発明に係る操作判定方法は、ユーザの顔の向きの変化を表示画像に対する非接触での操作として判定する操作判定装置における操作判定方法であって、前記表示画像を表示する表示面に対して所定の位置に固定された撮像部によって撮影された前記ユーザの顔の撮影画像を取得するステップと、前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状を検出する検出処理をハードウェアにより実行するステップと、検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、顔方向ベクトルを生成するステップと、検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、前記表示面から前記ユーザの顔までの距離を算出するステップと、算出した距離及び前記顔方向ベクトルに基づいて、前記表示面に対する前記ユーザの顔の向きを判定する判定処理をソフトウェアにより実行するステップと、を含むことを特徴とする。
本発明に係る操作判定装置によれば、顔の向きの変化に基づく非接触での操作の判定を高速且つ低消費電力で行うことが可能となる。
本実施例のモーション操作装置の構成を示すブロック図である。 本実施例におけるカメラの配置、ディスプレイの位置、及びユーザの顔の位置を模式的に示す図である。 本実施例のモーション操作装置の画像処理部における処理ブロック及び機能ブロックを示すブロック図である。 ハードウェア処理部の構成の一部を示すブロック図である。 ２次元画像から顔候補の画像が抽出される様子を模式的に示す図である。 ２次元画像中の眼の画像を模式的に示す図である。 ２次元画像中の眼の周辺部分の位置を模式的に示す図である。 操作対象選択処理の処理ルーチンを示すフローチャートである。 ユーザの視線及び顔の向きとディスプレイとの関係を模式的に示す図である。 ユーザの視線及び顔の向きとディスプレイとの関係を模式的に示す図である。 ユーザの視線及び顔の向きとディスプレイとの関係を模式的に示す図である。
以下、本発明の実施例について、図面を参照して説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
本実施例のモーション操作装置１００は、ディスプレイに画像を表示するとともに当該画像を視認したユーザによる操作を受け付けるゲーム機等の装置に設けられている。モーション操作装置１００は、ユーザの顔の向きの変化を表示画像に対する非接触での操作として判定する操作判定装置である。具体的には、モーション操作装置１００は、ユーザの顔を撮影した画像に基づいてユーザの顔の向きを検出し、検出した顔の向きに応じた画面上の位置にカーソルやポインタ（以下、カーソル等と称する）を表示させるための画像処理及び判定処理を行う。
図１は、本実施例のモーション操作装置１００の構成を示すブロック図である。モーション操作装置１００は、イメージセンサ１０、画像処理部１１及び操作情報生成部１２を有する。操作情報生成部１２は、ディスプレイの表示制御を行う表示制御部４０に接続されている。
イメージセンサ１０は、例えばディスプレイの周囲に配置されたカメラに搭載され、ユーザの顔面を撮影した画像を生成する撮像素子である。イメージセンサ１０はカメラの撮影により取得した撮影画像である画像データＶＤを画像処理部１１に供給する。
図２は、イメージセンサ１０を搭載するカメラＣＡ、ディスプレイＤＰ及びユーザの位置関係を示す図である。イメージセンサ１０を搭載するカメラＣＡは、例えばユーザから見てディスプレイＤＰの手前且つ下側の位置に配置されている。
カメラＣＡは、ユーザの顔を撮影し、少なくとも眼の周囲の輪郭部分の領域を含むユーザの顔画像を取得する。本実施例のモーション操作装置１００は、カメラＣＡが取得した顔画像にふくまれる眼の周囲の輪郭部分の領域に基づいて、顔の向きの検出及び操作の判定を行う。このため、本実施例のモーション操作装置１００は、図２に示すようにユーザがマスクや帽子等を装着していた場合でも操作判定を行うことが可能に構成されている。
再び図１を参照すると、画像処理部１１は、ハードウェア処理部２０及びソフトウェア処理部３０から構成されている。ハードウェア処理部２０は、特定の処理（すなわち、非プログラマブルな処理）を行う専用ハードウェアから構成され、論理回路部２１及びメモリ部２２を含む。ソフトウェア処理部３０は、ＣＰＵ（Central Processing Unit）等から構成され、プログラムに従った処理を行う処理部である。
図３は、ハードウェア処理部２０が実行する処理の処理ブロック及び所定のプログラムの実行によりソフトウェア処理部３０に形成される機能ブロックを示すブロック図である。
ハードウェア処理部２０は、イメージセンサ１０から供給された画像データＶＤに基づいて、カメラＣＡにより撮影された撮影画像内でのユーザの顔の位置を検出する処理（以下、顔検出処理と称する）を行う。顔検出処理は、顔候補認識処理（Ｓ１１）、眼認識処理（Ｓ１２）、眼周辺部分の認識処理（Ｓ１３）、眼の周辺部分の２Ｄ座標化処理（Ｓ１４）及び眼の２Ｄ座標化処理（Ｓ１５）を含む。
ハードウェア処理部２０は、イメージセンサ１０から供給された画像データＶＤに基づいて、画像データＶＤを２次元座標上に展開した２次元画像の中からユーザの顔があると想定される領域（以下、顔候補と称する）を検出し、顔候補の画像を抽出する顔候補認識処理（Ｓ１１）を行う。顔候補認識処理では、例えば２次元画像中の肌色の領域を検出することによりユーザの顔候補を検出する。
また、ハードウェア処理部２０は、２次元画像の中からユーザの眼を検出してその画像を抽出する眼認識処理（Ｓ１２）を行う。眼認識処理では、例えば２次元画像中の肌色の領域の内部に存在する白い領域及び黒い領域（すなわち、白目及び黒目）を検出することによりユーザの眼を検出する。
ハードウェア処理部２０は、顔候補認識処理（Ｓ１１）で検出した顔候補及び眼検出処理（Ｓ１２）で検出した眼の瞳部分に基づいて、眼の周辺の輪郭を検出してその画像を抽出する眼周辺部分認識処理（Ｓ１３）を行う。眼周辺部分認識処理では、眼の周辺の輪郭として、例えば瞳や眼球部分を除いた眼の枠の部分（以下、眼の縁と称する）や、眉間、こめかみ、及び眼の横（眼と同じ高さ）の顔の両端部分（以下、顔の横端と称する）を検出する。また、ハードウェア処理部２０は、眼の周辺の輪郭を構成する顔の各部分（以下、眼の周辺部分と称する）を２次元の座標平面における位置として示す眼の周辺部分の２Ｄ座標化処理（Ｓ１４）、及び２次元の座標平面における眼の瞳部分の位置を示す眼の２Ｄ座標化処理（Ｓ１５）を行う。
図４は、論理回路部２１及びメモリ部２２の構成と、顔候補認識処理（Ｓ１１）、眼認識処理（Ｓ１２）、眼周辺部分認識処理（Ｓ１３）、眼の周辺部分の２Ｄ座標化処理（Ｓ１４）及び眼の２Ｄ座標化処理（Ｓ１５）からなる一連の処理を実行する際の処理動作の流れとを模式的に示すブロック図である。
論理回路部２１は、論理回路部Ａ（図４に２１Ａとして示す）及び論理回路部Ｂ（図４に２１Ｂとして示す）から構成される。メモリ部２２は、メモリ部Ａ（図４に２２Ａとして示す）及びメモリ部Ｂ（図４に２２Ｂとして示す）から構成される。
論理回路部Ａ（２１Ａ）は、第１論理回路２１－１、第２論理回路２１－２、・・・第ｎ論理回路２１－ｎ（ｎは２以上の整数）からなる論理回路群と、座標化論理回路２３と、を含む。メモリ部Ａ（２２Ａ）は、第１メモリ２２－１、第２メモリ２２－２、・・・第ｎメモリ２２－ｎからなるメモリ群と、参照メモリ２４と、を含む。第１メモリ２２－１～第２２－ｎには、第１論理回路２１－１～第ｎ論理回路２１－ｎによる演算結果のデータが書き込まれる。一方、参照メモリ２４は、例えば座標平面情報を格納するメモリであり、第１論理回路２１－１～第ｎ論理回路２１－ｎによるデータの書き込みを受けない。
第１論理回路２１－１～第ｋ論理回路２１－ｋ（ｋはｋ＜ｎの自然数）は、第１メモリ２２－１～第ｋメモリ２２－ｋを用いて顔候補認識処理（Ｓ１１）を実行する。その際、第１論理回路２１－１～第ｋ論理回路２１－ｋの各々は、例えば２次元画像全体を走査するように各ドット（ピクセル）について所定の行列演算を行い、顔候補の領域の輪郭を検出する。
顔候補認識処理（Ｓ１１）において、第１論理回路２１－１は、画像データＶＤに対して行列演算を行い、演算結果のデータを第１メモリ２２－１に格納する。第２論理回路２１－２は、第１メモリ２２－１から読み出したデータに対して行列演算を行い、演算結果のデータを第２メモリ２２－２に格納する。以下、第ｋ論理回路２１－ｋまで同様の処理を行い、顔候補認識処理の最終的な演算結果を示す画像データを第ｋメモリ２２－ｋに格納する。これにより、図５Ａに示すように、２次元画像ＣＰから顔候補の画像ＦＰが抽出される。
論理回路部Ｂ（２１Ｂ）は、第１論理回路２１－１～第ｋ論理回路２１－ｋと同様の複数の論理回路からなる論理回路群２１－Ｘと、座標化論理回路２５と、を含む。メモリ部Ｂ（２２Ｂ）は、第１メモリ２２－１～第ｋメモリ２２－ｋと同様の複数のメモリからなるメモリ群２２－Ｘと、参照メモリ２６と、を含む。メモリ群２２－Ｘには、論理回路群２１－Ｘを構成する各論理回路による演算結果のデータが書き込まれる。一方、参照メモリ２６は、例えば座標平面情報を格納するメモリであり、論理回路によるデータの書き込みを受けない。
論理回路群２１－Ｘ及びメモリ群２２－Ｘは、眼認識処理（Ｓ１２）を実行する。具体的には、論理回路群２１－Ｘを構成する各論理回路は、顔候補認識処理（Ｓ１１）における第１論理回路２１－１～第ｋ論理回路２１－ｋと同様、メモリ群２２－Ｘの対応するメモリへの演算結果の格納及び読み出しを繰り返しつつ、順次行列演算を行う。これにより、図５Ｂに示すような眼の画像ＥＰが２次元画像ＣＰから抽出される。
論理回路部Ａ（２１Ａ）の第（ｋ＋１）論理回路２１－（ｋ＋１）～第ｎ論理回路２１－ｎは、第（ｋ＋１）メモリ２２－（ｋ＋１）～第ｎメモリ２２－ｎを用いて眼周辺部分認識処理（Ｓ１３）を実行する。第（ｋ＋１）論理回路２１－（ｋ＋１）～第ｎ論理回路２１－ｎの各々は、顔候補認識処理（Ｓ１１）で抽出された顔候補の画像ＦＰ及び眼認識処理（Ｓ１２）で抽出された眼の画像ＥＰに基づいて、画像全体を走査するように各ドット（ピクセル）について所定の行列演算を行い、眼の周辺部分（眼の縁、眉間、こめかみ及び顔の横端）を検出する。
眼周辺部分認識処理（Ｓ１３）において、第（ｋ＋１）論理回路２１－（ｋ＋１）は、第ｋメモリ２２－ｋから顔候補の画像ＦＰの画像データを読み出すとともに、メモリ群２２－Ｘのメモリから眼の画像ＥＰの画像データを読み出して行列演算を行い、演算結果のデータを第（ｋ＋１）メモリ２２－（ｋ＋１）に格納する。第（ｋ＋２）論理回路２１－（ｋ＋２）は、第（ｋ＋１）メモリ２２－（ｋ＋１）から読み出したデータに対して行列演算を行い、演算結果のデータを第（ｋ＋２）メモリ２２－（ｋ＋２）に格納する。以下、第ｎ論理回路２１－ｎまで同様の処理を行い、最終的な演算結果を第ｎメモリ２２－ｎに格納する。
図５Ｃは、眼周辺部分認識処理（Ｓ１３）により検出される眼の周辺部分を模式的に示す図である。眼の縁の部分が眼の縁ＥＦとして検出され、両目の間の位置が眉間ＢＥとして検出される。また、両目の目尻の近傍がこめかみＴＥとして検出され、両目の脇の肌色部分と背景との境界部分が顔の横端ＥＧとして検出される。
再び図４を参照すると、座標化論理回路２３は、第ｎメモリ２２－ｎ及び参照メモリ２４を用いて、眼の周辺部分の２Ｄ座標化処理（Ｓ１４）を実行する。座標化論理回路２３は、第ｎメモリ２２－ｎから眼の周辺部分（眼の縁、眉間、こめかみ及び顔の横端）の画像データを読み出し、参照メモリ２４に格納されている座標平面情報に基づいて、２次元の座標平面における眼の周辺部分の各々の位置を示す座標位置情報ＣＤ１を生成する。
また、座標化論理回路２５は、メモリ群２２－Ｘのメモリ及び参照メモリ２６を用いて、眼の２Ｄ座標化処理（Ｓ１５）を実行する。座標化論理回路２５は、メモリ群２２－Ｘの最終段のメモリから眼の画像データＥＰを読み出し、参照メモリ２６に格納されている座標平面情報に基づいて、２次元の座標平面における眼の位置を示す座標位置情報ＣＤ２を生成する。
なお、カメラＣＡの撮影範囲内（すなわち、ディスプレイＤＰの前）には、複数人が存在している場合がある。その場合、ハードウェア処理部２０は、撮影画像内の複数人の画像に基づいて、当該複数人の各々について上記の各処理（顔候補認識処理（Ｓ１１）、眼認識処理（Ｓ１２）、眼周辺部分認識処理（Ｓ１３）、眼の周辺部分の２Ｄ座標化処理（Ｓ１４）及び眼の２Ｄ座標化処理（Ｓ１５））を実行し、当該複数人についての眼の周辺部分の座標位置情報ＣＤ１及び眼の座標位置情報ＣＤ２を生成する。
再び図３を参照すると、ソフトウェア処理部３０は、ハードウェア処理部２０から供給された座標位置情報ＣＤ１及びＣＤ２に基づいて、ディスプレイＤＰの画面上のどの位置にユーザの顔が向いているかを判定する顔の向き判定処理を実行する。
ソフトウェア処理部３０には、ＣＰＵが所定のプログラムを実行することにより、顔方向ベクトル生成部３１及び２Ｄ顔方向先位置変換部３２が機能ブロックとして形成される。
顔方向ベクトル生成部３１は、画像データＶＤに基づく眼の周辺部分の座標情報ＣＤ１及び眼の座標情報ＣＤ２に基づいて、ユーザの瞳部分を除いた眼の周辺の顔の向きを示す顔方向ベクトルＦＶを生成する。顔方向ベクトル生成部３１は、ハードウェア処理部２０から複数人分の座標位置情報ＣＤ１及びＣＤ２が供給された場合には、当該複数人についての顔方向ベクトルＦＶを生成する。
２Ｄ顔方向先位置変換部３２は、眼の周辺部分の座標情報ＣＤ１及び眼の座標情報ＣＤ２に基づいて、ディスプレイＤＰからユーザまでの距離を計測（推定）する。例えば、２Ｄ顔方向先位置変換部３２は、両目の瞳の間の距離又は眼の縁の間の距離に基づいて、ユーザの顔の大きさを推定する。そして、ユーザの顔の大きさに基づいて、カメラＣＡからユーザの顔までの距離を算出し、これをディスプレイＤＰからユーザの顔までの距離として推定する。
２Ｄ顔方向先位置変換部３２は、推定した距離及び顔方向ベクトル生成部３１により生成された顔方向ベクトルＦＶに基づいて、ユーザの顔が向いた先の位置をディスプレイＤＰの画面上の２次元の位置に変換し、顔が向いた先の表示面上の位置を示す顔方向先位置情報ＦＰを生成する。２Ｄ顔方向先位置変換部３２は、顔方向先位置情報ＦＰを操作情報生成部１２に供給する。なお、カメラＣＡの撮影範囲内に複数人が存在する場合には、２Ｄ顔方向先位置変換部３２は、当該複数人についての顔方向先位置情報ＦＰを生成し、操作情報生成部１２に供給する。
操作情報生成部１２は、顔方向先位置情報ＦＰに基づいて、ユーザの顔の向きに応じた画面上の位置にカーソル等を表示させるための操作情報ＯＩを生成し、ディスプレイＤＰの表示制御を行う表示制御装置（図示せず）に供給する。
操作情報ＯＩの生成及び供給に際し、操作情報生成部１２は、顔の向きを変化させることによりカーソル等を移動させる操作（以下、単に操作と称する）を行う人物を特定し、操作可能な範囲を限定するための操作対象選択処理を実行する。なお、本実施例のモーション操作装置１００では、操作可能な範囲を画定する基準として、例えばディスプレイＤＰから所定距離の範囲がディスプレイＤＰの画面の大きさやカメラＣＡの位置等に応じて予め設定されている。
図６は、操作情報生成部１２が実行する操作対象選択処理の処理ルーチンを示すフローチャートである。
操作情報生成部１２は、ソフトウェア処理部３０の２Ｄ顔方向先位置変換部３２によって計測（推定）されたユーザの顔からディスプレイＤＰまでの距離の計測結果を取得する（ステップＳ１０１）。
操作情報生成部１２は、取得した距離の計測結果に基づいて、ユーザの顔がディスプレイＤＰの画面から所定距離の範囲内にあるか否かを判定する（ステップＳ１０２）。
所定距離の範囲内にないと判定すると（ステップＳ１０２：Ｎｏ）、操作情報生成部１２は、表示制御部４０を制御して、所定距離の範囲内への移動を促すメッセージをディスプレイＤＰの画面に表示させ（ステップＳ１０３）、新たな距離の計測結果を取得するのを待つ。
画面から所定距離の範囲内に顔があると判定すると（ステップＳ１０２：Ｙｅｓ）、操作情報生成部１２は、所定距離の範囲内に複数人の顔が存在するか否かを判定する（ステップＳ１０４）。
所定距離の範囲内に複数人の顔がない、すなわち１人の顔しかないと判定すると（ステップＳ１０４：Ｎｏ）、操作情報判定部１２は、その人物を操作主体として特定する（ステップＳ１０７）。
一方、所定距離の範囲内に複数人の顔があると判定すると（ステップＳ１０４：Ｙｅｓ）、操作情報生成部１２は、表示制御部４０を制御して、本実施例のモーション操作装置１００を用いて操作を行おうとしている人物に対して所定動作（例えば、顔を左右に振る等）を促すメッセージをディスプレイＤＰの画面に表示させる（ステップＳ１０５）。
操作情報生成部１２は、ソフトウェア部３０から供給された顔方向先位置情報ＦＰに基づいて、所定動作を検出したか否かを判定する（ステップＳ１０６）。所定動作を検出していないと判定された場合（ステップＳ１０６：Ｎｏ）、操作情報生成部１２は、表示制御部４０を制御して、所定動作を促すメッセージの表示を継続させる。
所定動作を検出したと判定すると（ステップＳ１０６：Ｙｅｓ）、操作情報生成部１２は、当該所定動作を行った人物を操作主体として特定する（ステップＳ１０７）。
操作情報生成部１２は、画像処理部１１から供給された顔方向先位置情報ＦＰに基づいて、操作主体についての操作情報ＯＩを生成し、表示制御部４０に供給する（ステップＳ１０８）。
操作情報生成部１２は、２Ｄ顔方向先位置変換部３２によって計測（推定）されたユーザの顔からディスプレイＤＰまでの距離の計測結果に基づいて、操作主体の顔の位置が所定距離の範囲から外れたか否かを判定する（ステップＳ１０９）。外れていないと判定すると（ステップＳ１０９：Ｎｏ）、操作情報ＯＩの生成及び供給を継続する。
操作主体の顔の位置が所定距離の範囲から外れたと判定すると（ステップＳ１０９：Ｙｅｓ）、操作情報生成部１２は、操作主体についての操作情報ＯＩの生成及び表示制御部４０への供給を停止する（ステップＳ１１０）。これにより、所定距離の範囲を外れるような動作は、無効な操作として扱われる。
以上のようなハードウェア処理部２０、ソフトウェア処理部３０及び操作情報判定部１２の動作により、ユーザの顔の向きを示す操作情報ＯＩが表示制御部４０に供給され、ユーザの顔の向きの変化が表示画像に対する非接触での操作（例えば、カーソル等の移動）として判定される。
本実施例のモーション操作装置１００では、特定の検出処理のみを実行する専用ハードウェアからなるハードウェア処理部２０が、顔候補認識処理、眼認識処理、眼周辺部分認識処理及び２Ｄ座標化処理を含む顔検出処理を実行する。これらの処理は、２次元画像全体を走査するように各ピクセルについての行列演算を繰り返し行う処理等を含むため、それ以降の処理（顔方向ベクトルの生成及び顔方向先の２Ｄ位置変換）に比べて処理工程が多い。
本実施例とは異なり、仮に上記の顔検出処理をソフトウェアで行った場合、ＣＰＵが各処理において共通に用いるメモリにその都度アクセスしつつ処理を行うことになるため、処理に時間がかかってしまう。これに対し、本実施例のモーション操作装置１００では、ハードウェア処理部２０が、既定の行列演算処理を実行する論理回路及び当該行列演算処理についてのデータを格納するメモリによってこれらの処理を行うため、比較的短時間で（すなわち、高速に）処理を行うことができる。また、処理時間の短縮に伴い、消費電力が低減される。
従って、本実施例のモーション操作装置１００によれば、ユーザの顔の向きに応じた操作判定を高速且つ低消費電力で行うことが可能となる。
また、本実施例のモーション操作装置１００は、眼の縁、眉間、こめかみ、顔の横端等の眼の周辺の輪郭を構成する部分、すなわち眼の周辺の顔部分のうち瞳以外の部分に基づいて顔の向きを検出し、顔の向きに応じた表示画面上の位置にカーソル等を表示させる。従って、視線の方向とは別に顔の向きを変化させて操作を行うことができるため、ユーザは操作対象以外のものを視認しながら操作を行うことができる。
図７Ａ～Ｃは、ユーザの顔の向きＦＤと視線ＬＳとの関係を模式的に示す図である。図７Ａに示すように、ユーザは例えばディスプレイＤＰの画面の中央部分に視線ＬＳを向けつつ、ディスプレイＤＰの画面の左側部分の領域に顔の向きＦＤを向けることができる。また、図７Ｂに示すように、ユーザは例えばディスプレイＤＰの画面の右側部分の領域に視線ＬＳを向けつつ、ディスプレイＤＰの画面の中央部分に顔の向きＦＤを向けることができる。また、これらとは異なり、図７Ｃに示すように、ユーザは顔の向きＦＤ及び視線ＬＳを同じ方向（例えば、ディスプレイＤＰの画面の中央部分の方向）としても良い。
また、本実施例のモーション操作装置１００では、眼の縁、眉間、こめかみ、顔の横端等の情報を用いて顔の向きを検出する。鼻先、口、顎等の情報を用いずに顔の向きを検出するため、モーション操作装置１００は、ユーザがマスクや帽子等を着用していた場合でも顔の向きを検出することができる。
なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、複数人の顔の向きが検出された場合、操作主体を特定するために所定動作の実行を促すメッセージを表示させる例について説明した。しかし、モーション操作装置１００を搭載するゲーム機等に設けられた音声出力部（図示せず）により、所定動作の実行を促す音声メッセージを出力させても良い。
また、カメラＣＡにより撮影された撮影画像内に操作主体を限定するための枠を設け、その枠の中にいる人物の顔についてのみ操作情報ＯＩを生成し、操作出力として有効となるように設定することが可能に構成されていても良い。その際、例えば枠の中央付近の位置にユーザの顔が位置した状態をスタート位置として、顔の向きの変化に応じた操作を開始するようにしても良い。
また、上記実施例では、眼周辺部分認識処理（Ｓ１３）において眼の縁、眉間、こめかみ及び顔の横端を検出する場合を例として説明した。しかし、必ずしもこれらの全てを検出しなくても良く、眼の縁、眉間、こめかみ及び顔の横端のうちのいずれか１つ又は複数を検出するものであれば良い。また、検出対象はこれらの部分に限られず、眼の周辺の輪郭を構成する部分（眼の周辺の顔部分のうち瞳以外の部分）のいずれかを検出するものであれば良い。
また、顔候補認識処理及び眼認識処理の前に、キャリブレーションを行っても良い。キャリブレーションでは、例えば、ディスプレイＤＰの正面付近の位置で待機するように促すメッセージ等をディスプレイＤＰの画面上に表示させてユーザの顔画像を予め撮影し、顔の位置及び眼の位置等の基準情報を得る。この基準情報を参照して顔候補認識処理及び眼認識処理を実行することにより、ハードウェア処理部はより円滑に一連の処理を実行することが可能となる。
また、上記実施例では、論理回路部２１（２１Ａ及び２１Ｂ）を構成する論理回路の各々が、１つ前の論理回路によりメモリに格納されたデータ（すなわち、１つ前の論理回路による演算結果のデータ）をメモリから読み出して行列演算を行う場合を例として説明した。しかし、これに限られず、各論理回路が２つ以上前の論理回路によりメモリに格納されたデータ（すなわち、２つ以上前の論理回路による演算結果のデータ）をメモリから読み出して行列演算を行う構成であっても良い。また、複数のメモリから読み出したデータに基づいて行列演算を行う構成であっても良い。
また、上記実施例では、座標化論理回路（２３、２５）が参照メモリ（２４、２６）から読み出したデータ（座標平面情報）を用いて座標位置情報ＣＤ１及びＣＤ２を生成する一方、他の論理回路（例えば、第２論理回路２１－２～第ｎ論理回路２１－ｎ）は参照メモリを用いず、前段の論理回路がメモリに格納したデータを読み出して行列演算を行う場合を例として説明した。しかし、座標化論理回路（２３、２５）以外の他の論理回路が、参照メモリ（２４、２６）と同様のメモリ（すなわち、論理回路による書き込みを伴わないメモリ）から読み出したデータを用いて行列演算を行う構成としても良い。
なお、参照メモリ２４及び２６は、論理回路による書き込みを受けない一方、外部からのアクセスにより書き換え可能に構成されていても良い。例えば、ハードウェア処理部２０は特定の処理のみを実行するが、その特定の処理に用いるパラメータ等の一部は外部からの参照メモリの書き換えに応じて変更することが可能である。
また、上記実施例では、顔方向ベクトルＦＶの生成及び顔方向先位置情報ＦＰの生成をソフトウェア処理部が実行する場合を例として説明した。しかし、これらの処理をハードウェアにより実行しても良い。すなわち、本発明のモーション操作装置は、少なくとも画像データに基づく顔検出処理（顔候補認識処理、眼認識処理、眼周辺部分の認識処理、眼の周辺部分の２Ｄ座標化処理及び眼の２Ｄ座標化処理）をハードウェア処理部が実行すれば良く、他の処理はソフトウェア又はハードウェアのいずれの手段により実行しても良い。
１０ イメージセンサ
１１ 画像処理部
１２ 操作情報生成部
２０ ハードウェア処理部
２１ 論理回路部
２２ メモリ部
３０ ソフトウェア処理部
３１ 顔方向ベクトル生成部
３２ ２Ｄ顔方向先位置変換部
４０ 表示制御部

Claims (8)

  1. ユーザの顔の向きの変化を表示画像に対する非接触での操作として判定する操作判定装置であって、
    前記表示画像を表示する表示面に対して所定の位置に固定された撮像部によって撮影された前記ユーザの顔の撮影画像を取得する画像取得部と、
    前記撮影画像に対して画像処理を行い、前記ユーザの顔の向きを検出する画像処理部と、
    を有し、
    前記画像処理部は、
    前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状を検出する検出処理を実行する第１処理部と、
    検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、顔方向ベクトルの生成及び前記表示面から前記ユーザの顔までの距離の算出を行い、算出した距離及び前記顔方向ベクトルに基づいて、前記表示面に対する前記ユーザの顔の向きを判定する判定処理を実行する第２処理部と、
    を含み、
    前記第１処理部は前記検出処理を実行するハードウェアにより構成され、前記第２処理部は前記第１処理部の出力に基づいて前記判定処理を実行するソフトウェアにより構成されていることを特徴とする操作判定装置。
  2. 前記第１処理部は、前記撮影画像に対して行列演算を順次実行する複数の論理回路を含み、
    前記複数の論理回路による前記行列演算の演算結果に基づいて、前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状を検出することを特徴とする請求項１に記載の操作判定装置。
  3. 前記第１処理部は、前記撮影画像内での前記ユーザの眼の周辺の輪郭の位置を２次元の座標平面における位置座標に変換し、
    前記第２処理部は、前記位置座標に基づいて、前記表示面に対する前記ユーザの顔の向きを判定する、
    ことを特徴とする請求項２に記載の操作判定装置。
  4. 前記第１処理部は、前記複数の論理回路の前記行列演算の演算結果を夫々格納する複数のメモリを含み、
    前記複数の論理回路の各々は、前記複数のメモリのうちの対応するメモリから読み出したデータに基づいて、前記行列演算を実行することを特徴とする請求項２に記載の操作判定装置。
  5. 前記第１処理部は、前記ユーザの眼の縁、眉間、こめかみ及び顔の横端のうちの少なくとも１つを前記眼及び眼の周辺の輪郭の位置及び形状として検出することを特徴とする請求項１乃至４のいずれか１に記載の操作判定装置。
  6. 前記第２処理部により判定された前記ユーザの顔の向きに基づいて、前記表示画像に対する非接触での操作を行うための操作情報を生成する操作情報生成部を有し、
    前記操作情報生成部は、前記ユーザの両目の間の距離に基づいて、前記ユーザの顔が前記表示面から所定距離の範囲に位置しているか否かを判定し、所定距離の範囲に位置していると判定した場合に前記操作情報を生成することを特徴とする請求項１乃至５のいずれか１に記載の操作判定装置。
  7. ユーザの顔の向きの変化を表示画像に対する非接触での操作として判定する操作判定装置における操作判定方法であって、
    前記表示画像を表示する表示面に対して所定の位置に固定された撮像部によって撮影された前記ユーザの顔の撮影画像を取得するステップと、
    前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状を検出する検出処理をハードウェアにより実行するステップと、
    検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、顔方向ベクトルを生成するステップと、
    検出された前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状に基づいて、前記表示面から前記ユーザの顔までの距離を算出するステップと、
    算出した距離及び前記顔方向ベクトルに基づいて、前記表示面に対する前記ユーザの顔の向きを判定する判定処理をソフトウェアにより実行するステップと、
    を含むことを特徴とする操作判定方法。
  8. 前記検出処理をハードウェアにより実行するステップは、
    前記ハードウェアに含まれる複数の論理回路により、前記撮影画像に対して行列演算を順次実行するステップと、
    前記撮影画像内での前記ユーザの眼及び眼の周辺の輪郭の位置及び形状の位置を２次元の座標平面における位置座標に変換するステップと、
    を含むことを特徴とする請求項７に記載の操作判定方法。
JP2018030878A 2018-02-23 2018-02-23 操作判定装置及び操作判定方法 Active JP7075237B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018030878A JP7075237B2 (ja) 2018-02-23 2018-02-23 操作判定装置及び操作判定方法
US16/282,913 US11093030B2 (en) 2018-02-23 2019-02-22 Operation determination device and operation determination method
CN201910132085.1A CN110188589A (zh) 2018-02-23 2019-02-22 操作判定装置和操作判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018030878A JP7075237B2 (ja) 2018-02-23 2018-02-23 操作判定装置及び操作判定方法

Publications (2)

Publication Number Publication Date
JP2019145011A JP2019145011A (ja) 2019-08-29
JP7075237B2 true JP7075237B2 (ja) 2022-05-25

Family

ID=67683875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018030878A Active JP7075237B2 (ja) 2018-02-23 2018-02-23 操作判定装置及び操作判定方法

Country Status (3)

Country Link
US (1) US11093030B2 (ja)
JP (1) JP7075237B2 (ja)
CN (1) CN110188589A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521547A (zh) * 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备
US11580657B2 (en) * 2020-03-30 2023-02-14 Snap Inc. Depth estimation using biometric data
CN114091006A (zh) * 2020-08-24 2022-02-25 华为终端有限公司 一种设备的连接方法及电子设备
US11960633B1 (en) * 2022-11-18 2024-04-16 Verizon Patent And Licensing Inc. Systems and methods for enabling facial browsing of a display based on movement of facial features

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735893B2 (ja) * 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP2005352580A (ja) 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ ポインタ制御信号発生方法及び装置
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP5994328B2 (ja) * 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
JP6056323B2 (ja) * 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
WO2014080829A1 (ja) * 2012-11-22 2014-05-30 シャープ株式会社 データ入力装置
WO2014156146A1 (ja) * 2013-03-29 2014-10-02 パナソニック株式会社 電子ミラー装置
KR102012254B1 (ko) * 2013-04-23 2019-08-21 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
US10254831B2 (en) * 2014-04-08 2019-04-09 Umoove Services Ltd. System and method for detecting a gaze of a viewer
US9846522B2 (en) * 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP6206542B2 (ja) * 2015-12-01 2017-10-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN109416834A (zh) * 2016-06-23 2019-03-01 凯亚系统解决股份有限公司 吸引度值处理系统及吸引度值处理装置
CN106774848B (zh) * 2016-11-24 2019-10-18 京东方科技集团股份有限公司 遥控设备及遥控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
北島光太郎 外２名，ウィンドウインタフェースシステムにおける頭部位置・姿勢の有効な利用法，インタラクション２００１予稿集，一般社団法人情報処理学会，2001年03月06日

Also Published As

Publication number Publication date
JP2019145011A (ja) 2019-08-29
CN110188589A (zh) 2019-08-30
US20190265784A1 (en) 2019-08-29
US11093030B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
JP7075237B2 (ja) 操作判定装置及び操作判定方法
JP4307496B2 (ja) 顔部位検出装置及びプログラム
US9563975B2 (en) Makeup support apparatus and method for supporting makeup
TWI383325B (zh) 臉部表情辨識
US11715231B2 (en) Head pose estimation from local eye region
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
US11079840B2 (en) Operation determination device and operation determination method
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
EP3862968A1 (en) Biometric authentication system, biometric authentication method, and program
KR20120006819A (ko) 시선 추적 방법 및 이를 적용하는 장치
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
JP6855872B2 (ja) 顔認識装置
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
JP2019053626A (ja) 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム
WO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5688514B2 (ja) 視線計測システム、方法およびプログラム
KR102074977B1 (ko) 전자 장치 및 그의 제어 방법
JP2009237899A (ja) 画像処理装置
Caya et al. Development of a wearable device for tracking eye movement using pupil lumination comparison algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220513

R150 Certificate of patent or registration of utility model

Ref document number: 7075237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150