JP2020144465A - Information processing apparatus, information processing method and program - Google Patents

Information processing apparatus, information processing method and program Download PDF

Info

Publication number
JP2020144465A
JP2020144465A JP2019038887A JP2019038887A JP2020144465A JP 2020144465 A JP2020144465 A JP 2020144465A JP 2019038887 A JP2019038887 A JP 2019038887A JP 2019038887 A JP2019038887 A JP 2019038887A JP 2020144465 A JP2020144465 A JP 2020144465A
Authority
JP
Japan
Prior art keywords
coordinate information
coordinate
information
unit
game machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019038887A
Other languages
Japanese (ja)
Inventor
昌希 内田
Masaki Uchida
昌希 内田
Original Assignee
大日本印刷株式会社
Dainippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社, Dainippon Printing Co Ltd filed Critical 大日本印刷株式会社
Priority to JP2019038887A priority Critical patent/JP2020144465A/en
Publication of JP2020144465A publication Critical patent/JP2020144465A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an information processing apparatus or the like capable of detecting a predetermined target object with a low load.SOLUTION: An information processing apparatus 1 includes: a detection unit that detects a reference object; an acquisition unit that acquires coordinate information indicating coordinate values of each point on a surface of an object existing in a space having a starting point at the reference object; a classification unit that clusters the coordinate information included in the space into a plurality of sets; a first extraction unit that extracts the coordinate information that satisfies a condition from the set; and a second extraction unit that extracts, based on a condition having a starting point based on the extracted coordinate information, the coordinate information that satisfies the condition.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.
画像から特定の物体を検出する物体検出技術がある。例えば特許文献1では、人間の手指を撮像した画像を正規化した上で輝度を平滑化した平滑化輝度画像を生成し、生成した平滑化輝度画像から輝度勾配を表すHOG(Histogram of Oriented Gradiets)特徴量を抽出して手指の形状を検出する検出方法等が開示されている。 There is an object detection technique that detects a specific object from an image. For example, in Patent Document 1, a smoothed luminance image in which the brightness is smoothed after normalizing an image of a human finger is generated, and the HOG (Histogram of Oriented Gradiets) representing the luminance gradient is generated from the generated smoothed luminance image. A detection method for extracting a feature amount and detecting the shape of a finger is disclosed.
特開2016−14954号公報Japanese Unexamined Patent Publication No. 2016-14954
しかしながら、特許文献1のように画像処理で物体検出を行う場合、コンピュータの処理負荷が高く、また、検出する物体によっては検出自体が難しいという問題があった。 However, when object detection is performed by image processing as in Patent Document 1, there is a problem that the processing load of the computer is high and the detection itself is difficult depending on the object to be detected.
一つの側面では、低負荷で所定の対象物を検出することができる情報処理装置等を提供することを目的とする。 In one aspect, it is an object of the present invention to provide an information processing device or the like capable of detecting a predetermined object with a low load.
一つの側面に係る情報処理装置は、基準物を検出する検出部と、前記基準物を起点とする空間内に存在する物体表面の各点の座標値を示す座標情報を取得する取得部と、前記空間内に含まれる前記座標情報を複数の集合にクラスタリングする分類部と、前記集合から条件を満たす前記座標情報を抽出する第1抽出部と、抽出した前記座標情報を起点とした条件に基づき、条件を満たす前記座標情報を抽出する第2抽出部とを備えることを特徴とする。 The information processing device according to one aspect includes a detection unit that detects a reference object, an acquisition unit that acquires coordinate information indicating coordinate values of each point on the surface of an object existing in a space starting from the reference object, and an acquisition unit. Based on a classification unit that clusters the coordinate information contained in the space into a plurality of sets, a first extraction unit that extracts the coordinate information satisfying the conditions from the set, and a condition starting from the extracted coordinate information. It is characterized by including a second extraction unit that extracts the coordinate information satisfying the above conditions.
一つの側面では、低負荷で所定の対象物を検出することができる。 On one side, a given object can be detected with a low load.
情報処理装置の概要を示す模式図である。It is a schematic diagram which shows the outline of an information processing apparatus. ゲーム機の構成例を示すブロック図である。It is a block diagram which shows the configuration example of a game machine. 実施の形態1の概要を示す説明図である。It is explanatory drawing which shows the outline of Embodiment 1. FIG. 座標点の抽出処理に関する説明図である。It is explanatory drawing about the extraction process of a coordinate point. ゲーム機が実行する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure which a game machine executes. 対象物のトラッキング処理に関する説明図である。It is explanatory drawing about the tracking process of an object. 対象物の認識処理に関する説明図である。It is explanatory drawing about the recognition process of an object. 実施の形態2に係るゲーム機が実行する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure executed by the game machine which concerns on Embodiment 2. 上述した形態のゲーム機の動作を示す機能ブロック図である。It is a functional block diagram which shows the operation of the game machine of the above-mentioned form.
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、情報処理装置1の概要を示す模式図である。本実施の形態では、デプスカメラで計測した三次元空間の座標情報から、特定のオブジェクト(対象物)を検出する情報処理装置1について説明する。
Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments thereof.
(Embodiment 1)
FIG. 1 is a schematic diagram showing an outline of the information processing device 1. In the present embodiment, the information processing device 1 that detects a specific object (object) from the coordinate information in the three-dimensional space measured by the depth camera will be described.
情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等、種々の機器であり得る。本実施の形態では一例として、情報処理装置1がアーケードゲーム機であるものとし、以下では便宜上、ゲーム機1と読み替える。ゲーム機1は、ゲームセンター等に設置され、ユーザからの操作入力に応じてゲームに係るディスプレイ表示、音声出力等を行う。なお、ゲーム機1は所謂アーケードゲーム機と称される装置に限定されず、ユーザからの操作入力に応じてゲームに関連する処理を実行する装置であればよい。 The information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, and may be various devices such as a personal computer, a smartphone, and a tablet terminal. In the present embodiment, as an example, the information processing device 1 is assumed to be an arcade game machine, and in the following, it will be read as the game machine 1 for convenience. The game machine 1 is installed in a game center or the like, and performs display display, voice output, and the like related to the game in response to operation input from the user. The game machine 1 is not limited to a device called an arcade game machine, and may be a device that executes game-related processing in response to an operation input from a user.
ゲーム機1は、表示部14(表示画面)を有する筐体本体101と、筐体本体101から前方に突出した操作パネル102とを備える。例えば筐体本体101は、縦長の略直方体状の形状を有し、一側面の上部に表示部14を備える。操作パネル102は、表示部14の下部から画面前方に突出したパネル部分であり、パネル上面に不図示の操作ボタン、タッチパネル等の操作部品が設けられている。ゲーム機1は操作パネル上でユーザからの操作入力を受け付け、ゲームに係る種々の処理を行う。 The game machine 1 includes a housing body 101 having a display unit 14 (display screen), and an operation panel 102 projecting forward from the housing body 101. For example, the housing body 101 has a vertically long substantially rectangular parallelepiped shape, and has a display unit 14 on the upper part of one side surface. The operation panel 102 is a panel portion protruding from the lower part of the display unit 14 to the front of the screen, and operation parts such as operation buttons and a touch panel (not shown) are provided on the upper surface of the panel. The game machine 1 receives an operation input from the user on the operation panel and performs various processes related to the game.
例えばゲーム機1は、筐体本体101の天板上にカメラ15を備える。なお、カメラ15の設置箇所は特に限定されず、例えば筐体本体101に内蔵されてもよい。カメラ15は、例えば深度センサ(距離センサ)及び撮像範囲を画素値に変換する撮像機能を備えたデプスカメラであり、筐体本体101の前方空間を撮像範囲として撮像を行うと同時に、被写体(物体)表面の各点の座標値を示す座標情報を計測する。座標情報は三次元の座標値であって、ゲーム機1の上下方向及び左右方向のほかに、前後方向、すなわち奥行き(距離)の情報を含む座標値である。 For example, the game machine 1 includes a camera 15 on a top plate of a housing body 101. The location where the camera 15 is installed is not particularly limited, and may be built into the housing body 101, for example. The camera 15 is, for example, a depth sensor (distance sensor) and a depth camera having an imaging function for converting an imaging range into pixel values. At the same time as imaging with the space in front of the housing body 101 as the imaging range, a subject (object). ) Measure the coordinate information indicating the coordinate value of each point on the surface. The coordinate information is a three-dimensional coordinate value, which is a coordinate value including information on the front-back direction, that is, the depth (distance) in addition to the vertical direction and the horizontal direction of the game machine 1.
なお、以下の説明では便宜上、深度センサで座標情報を計測した被写体表面の点を「座標点」と呼ぶ。 In the following description, for convenience, the point on the surface of the subject whose coordinate information is measured by the depth sensor is referred to as a "coordinate point".
本実施の形態においてゲーム機1は、カメラ15で撮像した画像からユーザの手を対象物として検出する。そしてゲーム機1は、検出した手の動き(ジェスチャ)に基づいてゲーム処理を行う。例えばゲーム機1では、ユーザの手の動きに応じてゲーム内のキャラクタが動作する。 In the present embodiment, the game machine 1 detects the user's hand as an object from the image captured by the camera 15. Then, the game machine 1 performs game processing based on the detected hand movement (gesture). For example, in the game machine 1, the characters in the game operate according to the movement of the user's hand.
上述のゲーム処理を実現するために、本実施の形態でゲーム機1は、カメラ15で撮像した画像情報に含まれる座標情報に基づき、深度センサにより計測された物体との距離を元にユーザの手を検出する。 In order to realize the above-mentioned game processing, in the present embodiment, the game machine 1 is based on the coordinate information included in the image information captured by the camera 15, and is based on the distance to the object measured by the depth sensor. Detect a hand.
図2は、ゲーム機1の構成例を示すブロック図である。ゲーム機1は、制御部11、主記憶部12、通信部13、表示部14、カメラ15、操作部16、スピーカ17、及び補助記憶部18を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部18に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部14は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の表示装置であり、制御部11から与えられた画像を表示する。
FIG. 2 is a block diagram showing a configuration example of the game machine 1. The game machine 1 includes a control unit 11, a main storage unit 12, a communication unit 13, a display unit 14, a camera 15, an operation unit 16, a speaker 17, and an auxiliary storage unit 18.
The control unit 11 has one or a plurality of arithmetic processing units such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and a GPU (Graphics Processing Unit), and stores a program P stored in the auxiliary storage unit 18. By reading and executing, various information processing, control processing, etc. are performed. The main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing. Remember. The communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside. The display unit 14 is a display device such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays an image given by the control unit 11.
カメラ15は、上述の如く深度センサ及び撮像機能を有するデプスカメラであり、ゲーム機1の前方の空間を撮像すると共に、撮像画像の各画素値と対応付けて、撮像範囲に含まれる物体表面の各点の座標値を示す座標情報を取得する。操作部16は、操作パネル102に設けられたメカニカルキー、タッチパネル等の操作インターフェイスであり、ユーザから操作入力を受け付ける。スピーカ17は、制御部11から与えられた音声を出力するスピーカである。補助記憶部18はROM(Read Only Memory)、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP、その他のデータを記憶している。 The camera 15 is a depth camera having a depth sensor and an imaging function as described above, and images the space in front of the game machine 1 and associates with each pixel value of the captured image to represent the surface of an object included in the imaging range. Acquires coordinate information indicating the coordinate values of each point. The operation unit 16 is an operation interface such as a mechanical key or a touch panel provided on the operation panel 102, and receives an operation input from the user. The speaker 17 is a speaker that outputs the sound given by the control unit 11. The auxiliary storage unit 18 is a non-volatile storage area such as a ROM (Read Only Memory) and a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing.
なお、ゲーム機1は、CD(Compact Disk)−ROM、DVD(Digital Versatile Disc)−ROM等の可搬型記憶媒体1aを読み取る読取部を備え、可搬型記憶媒体1aからプログラムPを読み取って実行するようにしてもよい。あるいはゲーム機1は、半導体メモリ1bからプログラムPを読み込んでもよい。 The game machine 1 includes a reading unit that reads a portable storage medium 1a such as a CD (Compact Disk) -ROM or a DVD (Digital Versatile Disc) -ROM, and reads and executes a program P from the portable storage medium 1a. You may do so. Alternatively, the game machine 1 may read the program P from the semiconductor memory 1b.
図3は、実施の形態1の概要を示す説明図である。図3では、ゲーム機1及びユーザを側面視で見た場合の模式図を図示してある。図3に基づき、本実施の形態の概要を説明する。 FIG. 3 is an explanatory diagram showing an outline of the first embodiment. FIG. 3 shows a schematic view of the game machine 1 and the user when viewed from the side. An outline of the present embodiment will be described with reference to FIG.
ゲーム機1は、カメラ15により自装置を操作するユーザを継続的に撮像する。上述の如く、カメラ15はデプスカメラであり、撮像空間に存在する物体との距離を含めて、三次元の座標情報を計測可能な深度センサを備えたデバイスである。ゲーム機1はカメラ15から、ゲーム機1の前方の空間を撮像した画像であって、画像内の各画素値に対し、対応する物体表面の各座標点の座標値が関連付けられた画像を取得する。 The game machine 1 continuously captures a user who operates the own device by the camera 15. As described above, the camera 15 is a depth camera, which is a device provided with a depth sensor capable of measuring three-dimensional coordinate information including a distance from an object existing in the imaging space. The game machine 1 is an image obtained by capturing the space in front of the game machine 1 from the camera 15, and acquires an image in which the coordinate values of the coordinate points of the corresponding object surfaces are associated with each pixel value in the image. To do.
カメラ15から画像を取得した場合、ゲーム機1はまず、ユーザの手を検出する際の処理対象とする空間領域を絞るため、画像内から特定の基準物を検出する。基準物は、例えばユーザの顔である。ゲーム機1は撮像画像に対して顔認識を行い、ユーザの顔に相当する画像領域を特定する。なお、以下の説明では便宜上、特定した画像領域を「顔領域」と呼ぶ。 When the image is acquired from the camera 15, the game machine 1 first detects a specific reference object in the image in order to narrow down the spatial area to be processed when detecting the user's hand. The reference object is, for example, the face of the user. The game machine 1 performs face recognition on the captured image and identifies an image area corresponding to the user's face. In the following description, for convenience, the specified image area is referred to as a "face area".
ゲーム機1は、顔領域内の画素値に対応付けられた座標値を起点として、処理対象とする空間領域を絞り込む。例えばゲーム機1は、顔領域の座標値よりも自装置近傍に位置する領域を処理対象とする。図3では、処理対象とする空間を太線の矩形枠で概念的に図示してある。例えばゲーム機1は、顔領域内の各画素値それぞれに対応する各座標点のうち、自装置からの距離が最も近い座標点を選択し、選択した座標点の座標値を起点として対象領域を絞り込む。このように、ゲーム機1は、ユーザの手が顔よりも近傍に位置するものと仮定し、対象領域を絞り込む。 The game machine 1 narrows down the spatial area to be processed, starting from the coordinate values associated with the pixel values in the face area. For example, the game machine 1 processes a region located closer to the own device than the coordinate value of the face region. In FIG. 3, the space to be processed is conceptually illustrated by a thick rectangular frame. For example, the game machine 1 selects the coordinate point closest to the distance from the own device from the coordinate points corresponding to each pixel value in the face area, and sets the target area as the starting point from the coordinate value of the selected coordinate point. Narrow down. In this way, the game machine 1 narrows down the target area on the assumption that the user's hand is located closer to the face.
ゲーム機1は、撮像画像内の各画素値に対応付けられた座標点のうち、上記の対象領域に存在する座標点への絞り込みを行い、その他の座標点を除去する。すなわち、ゲーム機1は、深度センサで計測した各座標点を、ユーザの顔よりも近い座標点群に絞り込む。 The game machine 1 narrows down the coordinate points existing in the target area among the coordinate points associated with each pixel value in the captured image, and removes the other coordinate points. That is, the game machine 1 narrows down each coordinate point measured by the depth sensor to a group of coordinate points closer to the user's face.
ゲーム機1は、絞り込んだ各座標点の座標値を元に、対象物、すなわちユーザの手を検出する。具体的には、ゲーム機1は、絞り込んだ各座標点を複数のクラスタ(集合)に分類するクラスタリングを行い、クラスタリングの結果からユーザの手を検出する。 The game machine 1 detects an object, that is, a user's hand, based on the coordinate values of the narrowed down coordinate points. Specifically, the game machine 1 performs clustering that classifies each narrowed-down coordinate point into a plurality of clusters (sets), and detects the user's hand from the result of the clustering.
例えばゲーム機1は、k−means法を用いてクラスタリングを行う。k−means法はクラスタリングの一手法であり、算術平均を用いてn個のデータをk個のクラスタに分類する手法である。ゲーム機1はk−means法を用いて、対象領域に含まれる座標点をk個のクラスタに分類する。 For example, the game machine 1 performs clustering using the k-means method. The k-means method is a method of clustering, and is a method of classifying n data into k clusters using an arithmetic mean. The game machine 1 classifies the coordinate points included in the target area into k clusters by using the k-means method.
なお、本実施の形態ではクラスタリングの手法としてk−means法を用いるが、本実施の形態はこれに限定されるものではなく、例えばSVM(Support Vector Machine)などを用いてクラスタリングを行ってもよい。 In the present embodiment, the k-means method is used as the clustering method, but the present embodiment is not limited to this, and clustering may be performed using, for example, SVM (Support Vector Machine). ..
上述の如く、ゲーム機1は、対象領域に含まれる各座標点を大まかにk個のクラスタに分類する。クラスタの数は特に限定されないが、例えばゲーム機1は、ユーザの両手を検出するため、2つのクラスタに分類する。ゲーム機1は、各クラスタから特定の座標点、具体的には最近傍点を抽出することで、ユーザの手に相当する座標点群を抽出する。 As described above, the game machine 1 roughly classifies each coordinate point included in the target area into k clusters. The number of clusters is not particularly limited, but for example, the game machine 1 is classified into two clusters in order to detect both hands of the user. The game machine 1 extracts a group of coordinate points corresponding to the user's hand by extracting specific coordinate points, specifically, nearest neighbor points from each cluster.
図4は、座標点の抽出処理に関する説明図である。図4では、上記で分類した2つのクラスタから最近傍点を抽出し、ユーザの手に相当する画像領域を特定する様子を概念的に図示している。 FIG. 4 is an explanatory diagram relating to the extraction process of the coordinate points. FIG. 4 conceptually illustrates how the nearest neighbor points are extracted from the two clusters classified above and the image region corresponding to the user's hand is specified.
上述の如く、ゲーム機1は、顔よりも近い対象領域の座標点を2つのクラスタに分類する。ゲーム機1は各クラスタから、自装置に最も近い最近傍点を抽出する。図4では、最近傍点をドットで図示してある。ゲーム機1は、抽出した最近傍点を起点として、ユーザの手に相当する座標点群を抽出する。 As described above, the game machine 1 classifies the coordinate points of the target area closer to the face into two clusters. The game machine 1 extracts the nearest nearest point closest to its own device from each cluster. In FIG. 4, the nearest neighbor points are illustrated by dots. The game machine 1 extracts a group of coordinate points corresponding to the user's hand, starting from the extracted nearest neighbor point.
例えばゲーム機1は、最近傍点から一定範囲内に位置する座標点群をグルーピングすることで、ユーザの手に相当する座標点群を抽出する。ゲーム機1は、抽出した座標点群に対応する画像領域を、ユーザの手に係る画像領域として検出する。 For example, the game machine 1 extracts a group of coordinate points corresponding to the user's hand by grouping a group of coordinate points located within a certain range from the nearest nearest point. The game machine 1 detects an image area corresponding to the extracted coordinate point cloud as an image area related to the user's hand.
なお、上記ではクラスタ内の最近傍点を基準にしてユーザの手に相当する座標点群を抽出することにしたが、本実施の形態はこれに限定されるものではなく、例えばクラスタ内の中心点(重心)を起点に座標点群を抽出してもよい。また、例えばゲーム機1は、最近傍点及び中心点の2つの座標点を起点にしてもよい。このように、ゲーム機1はクラスタ内から特定の座標点を抽出し、抽出した特定の座標点に基づいて対象物(手)の座標点群を抽出可能であればよく、起点とする座標点は最近傍点に限定されない。 In the above, it was decided to extract the coordinate point cloud corresponding to the user's hand based on the nearest neighbor point in the cluster, but the present embodiment is not limited to this, for example, the center point in the cluster. A group of coordinate points may be extracted starting from (center of gravity). Further, for example, the game machine 1 may start from two coordinate points, the nearest vicinity point and the center point. In this way, the game machine 1 needs only be able to extract a specific coordinate point from the cluster and extract a coordinate point group of the object (hand) based on the extracted specific coordinate point, and is a coordinate point as a starting point. Is not limited to the nearest neighbor point.
ゲーム機1は、上記で検出したユーザの手の動きに応じて、ゲーム内の処理を行う。例えばゲーム機1は、ユーザが手を振る動作、手を前に突き出す動作など、ユーザの手の移動軌跡を検知してゲーム内の処理を行う。また、例えばゲーム機1は、ユーザの手に係る画像領域から、手が開いているか、指差し動作をしているか等、手のポーズ(姿態)を認識してゲーム内の処理を行う。対象物の検出後の処理について、詳しくは実施の形態2で説明する。 The game machine 1 performs in-game processing according to the movement of the user's hand detected above. For example, the game machine 1 detects the movement locus of the user's hand, such as the action of waving the hand of the user and the action of pushing the hand forward, and performs in-game processing. Further, for example, the game machine 1 recognizes the pose (figure) of the hand, such as whether the hand is open or pointing, from the image area related to the user's hand, and performs in-game processing. The processing after the detection of the object will be described in detail in the second embodiment.
なお、上記ではユーザの顔を起点とすることで対象領域の絞り込みを行ったが、画像からユーザの顔を認識できなかった場合、例えばゲーム機1は、予め定められた固定値を起点として処理を行い、固定値よりも自装置近傍に位置する領域への絞り込みを行う。当該固定値は、例えば筐体本体101から、前方に突出している操作パネル102の突出端までの距離である。ゲーム機1は、操作パネル102の突出端より筐体本体101に近い空間領域を対象領域とし、座標点群の絞り込みを行う。これにより、ゲーム機1は、ユーザの顔を認識できない場合であっても、操作パネル102上の空間に位置するユーザの手を適切に検出する。これにより、例えばユーザ以外の人物の手を誤検出するような事態を防止することができる。 In the above, the target area is narrowed down by starting from the user's face, but when the user's face cannot be recognized from the image, for example, the game machine 1 processes using a predetermined fixed value as the starting point. To narrow down to the area located closer to the own device than the fixed value. The fixed value is, for example, the distance from the housing body 101 to the protruding end of the operation panel 102 projecting forward. The game machine 1 narrows down the coordinate point cloud by setting the space area closer to the housing body 101 than the protruding end of the operation panel 102 as the target area. As a result, the game machine 1 appropriately detects the user's hand located in the space on the operation panel 102 even when the user's face cannot be recognized. This makes it possible to prevent, for example, a situation in which the hand of a person other than the user is erroneously detected.
図5は、ゲーム機1が実行する処理手順の一例を示すフローチャートである。図5に基づき、ゲーム機1が実行する処理内容について説明する。
ゲーム機1の制御部11は、ゲーム機1の前方の空間を撮像した画像であって、空間内に存在する被写体(物体)表面の各座標点の座標値を示す座標情報が対応付けられた画像情報をカメラ15から取得する(ステップS11)。
FIG. 5 is a flowchart showing an example of a processing procedure executed by the game machine 1. The processing content executed by the game machine 1 will be described with reference to FIG.
The control unit 11 of the game machine 1 is an image of an image of the space in front of the game machine 1, and is associated with coordinate information indicating the coordinate values of each coordinate point on the surface of the subject (object) existing in the space. Image information is acquired from the camera 15 (step S11).
制御部11は画像内からユーザの顔を認識する顔認識を行い、ユーザの顔を検出する(ステップS12)。制御部11は、顔の検出に成功したか否かを判定する(ステップS13)。顔の検出に成功したと判定した場合(S13:YES)、制御部11は、検出した顔を起点として、ユーザの顔よりも近傍の空間に存在する座標点への絞り込みを行い、その他の座標点を処理対象から除去する(ステップS14)。顔の検出に失敗した場合(S13:NO)、制御部11は、固定値より近傍の空間に存在する座標点への絞り込みを行い、その他の座標点を処理対象から除去する(ステップS15)。固定値は、例えば操作パネル102の突出端から筐体本体101までの距離である。 The control unit 11 performs face recognition that recognizes the user's face from within the image, and detects the user's face (step S12). The control unit 11 determines whether or not the face has been successfully detected (step S13). When it is determined that the face detection is successful (S13: YES), the control unit 11 narrows down to the coordinate points existing in the space closer to the user's face, starting from the detected face, and other coordinates. The points are removed from the processing target (step S14). When the face detection fails (S13: NO), the control unit 11 narrows down to the coordinate points existing in the space closer to the fixed value, and removes the other coordinate points from the processing target (step S15). The fixed value is, for example, the distance from the protruding end of the operation panel 102 to the housing body 101.
制御部11は、ステップS14又はS15で絞り込んだ各座標点(座標情報)を座標値に応じて複数のクラスタ(集合)に分類するクラスタリングを行う(ステップS16)。例えば制御部11は、k−means法を用いて座標点のクラスタリングを行う。制御部11は、分類した各クラスタから、所定の条件を満たす特定の座標点(座標情報)を抽出する(ステップS17)。例えば制御部11は、クラスタ毎に、最近傍点に該当する座標点を抽出する。 The control unit 11 performs clustering to classify each coordinate point (coordinate information) narrowed down in step S14 or S15 into a plurality of clusters (sets) according to the coordinate value (step S16). For example, the control unit 11 clusters the coordinate points using the k-means method. The control unit 11 extracts specific coordinate points (coordinate information) satisfying a predetermined condition from each classified cluster (step S17). For example, the control unit 11 extracts coordinate points corresponding to the nearest neighbor points for each cluster.
制御部11は、ステップS17で抽出した特定の座標点を起点とした条件に基づき、当該条件を満たす座標点群(座標情報)を抽出する(ステップS18)。例えば制御部11は、ステップS17で抽出した座標点を起点に、当該座標点から一定範囲内に位置する座標点群を抽出する。制御部11は、抽出した座標点群がユーザの手であるものとして検出する(ステップS19)。制御部11は、一連の処理を終了する。 The control unit 11 extracts a coordinate point cloud (coordinate information) satisfying the condition based on the condition starting from the specific coordinate point extracted in step S17 (step S18). For example, the control unit 11 extracts a group of coordinate points located within a certain range from the coordinate points, starting from the coordinate points extracted in step S17. The control unit 11 detects that the extracted coordinate point cloud is the user's hand (step S19). The control unit 11 ends a series of processes.
以上より、本実施の形態1によれば、座標情報から対象物を検出することができ、低負荷で所望の対象物を検出することができる。 From the above, according to the first embodiment, the object can be detected from the coordinate information, and the desired object can be detected with a low load.
また、本実施の形態1によれば、画像認識によって基準物を検出することで、座標情報の処理対象とする空間の絞り込みを好適に行うことができる。 Further, according to the first embodiment, by detecting the reference object by image recognition, it is possible to preferably narrow down the space to be processed for the coordinate information.
また、本実施の形態1によれば、基準物として人間の顔を検出することで、特定の器官(例えば手)を検出する上で好適に対象領域を絞り込むことができる。 Further, according to the first embodiment, by detecting a human face as a reference object, a target area can be suitably narrowed down in detecting a specific organ (for example, a hand).
また、本実施の形態1によれば、深度センサを用いることで、好適に座標情報を取得することができる。 Further, according to the first embodiment, the coordinate information can be suitably acquired by using the depth sensor.
また、本実施の形態1によれば、最近傍点を基準に座標点群の抽出範囲を特定することで、より好適に対象物を検出することができる。 Further, according to the first embodiment, the object can be detected more preferably by specifying the extraction range of the coordinate point cloud with reference to the nearest neighbor point.
また、本実施の形態1によれば、アーケードゲーム機に適用する場合において、操作パネル102の突出端より近傍の領域に絞り込むことで、好適に対象物を検出することができる。 Further, according to the first embodiment, when applied to an arcade game machine, an object can be suitably detected by narrowing down to a region near the protruding end of the operation panel 102.
(実施の形態2)
本実施の形態では、対象物として検出したユーザの手の移動軌跡及び姿態を検知する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図6は、対象物のトラッキング処理に関する説明図である。図6では、対象物として検出したユーザの手をトラッキングする様子を概念的に図示している。
(Embodiment 2)
In this embodiment, a mode for detecting the movement locus and the appearance of the user's hand detected as an object will be described. The contents overlapping with the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
FIG. 6 is an explanatory diagram relating to the tracking process of the object. FIG. 6 conceptually illustrates how the user's hand detected as an object is tracked.
例えばゲーム機1は、実施の形態1に係る処理によってユーザの手を検出した後、検出した手のトラッキングを開始する。ゲーム機1は、カメラ15から逐次取得する各時点の画像から手の位置を検出し、ユーザの手の移動軌跡を特定する。 For example, the game machine 1 detects a user's hand by the process according to the first embodiment, and then starts tracking the detected hand. The game machine 1 detects the position of the hand from the images at each time point sequentially acquired from the camera 15, and identifies the movement locus of the user's hand.
トラッキングの手法は特に限定されないが、例えばゲーム機1は、ユーザの手に相当する座標点群の中心点(重心)を特定し、当該中心点を追跡することでトラッキングを行う。あるいはゲーム機1は、ユーザの手に相当する座標点群を検出して一度画像認識を行い、ユーザの手を認識した後、ユーザの手を含む画像領域を追跡するようにしてもよい。このように、ゲーム機1は座標情報(座標値)からトラッキングを行ってもよく、画像データ(画素値)からトラッキングを行ってもよい。 The tracking method is not particularly limited, but for example, the game machine 1 identifies the center point (center of gravity) of the coordinate point group corresponding to the user's hand, and performs tracking by tracking the center point. Alternatively, the game machine 1 may detect a coordinate point cloud corresponding to the user's hand, perform image recognition once, recognize the user's hand, and then track the image area including the user's hand. In this way, the game machine 1 may perform tracking from coordinate information (coordinate values) or may perform tracking from image data (pixel values).
ゲーム機1は、特定したユーザの手の移動軌跡に基づき、ユーザの手の動作を判定する。例えばゲーム機1は、例えば左右に移動させて手を振る動作を行っているか、あるいは前後に移動させて手を前に突き出す動作を行っているかなどを判定する。なお、これらはいずれも一例であって、ゲーム機1は、ユーザの手の移動軌跡から動作を判定可能であればよい。例えばゲーム機1は、予め定められた所定の動作パターンとのパターンマッチングを行うことでジェスチャに基づく操作入力を受け付け、ゲーム内の処理を行う。 The game machine 1 determines the movement of the user's hand based on the movement locus of the specified user's hand. For example, the game machine 1 determines, for example, whether it is moving left and right to wave its hand, or moving it back and forth to push its hand forward. It should be noted that these are all examples, and the game machine 1 may be able to determine the operation from the movement locus of the user's hand. For example, the game machine 1 receives an operation input based on a gesture by performing pattern matching with a predetermined motion pattern, and performs in-game processing.
図7は、対象物の認識処理に関する説明図である。図7では、対象物として検出したユーザの手のポーズ(姿態)を認識する様子を概念的に図示している。 FIG. 7 is an explanatory diagram relating to the recognition process of the object. FIG. 7 conceptually illustrates how the user's hand pose (figure) detected as an object is recognized.
ゲーム機1は、ユーザの手を検出した後、ユーザの手を含む画像領域に対して画像認識を行い、ユーザの手の外観形状、すなわち手のポーズを認識する。例えばゲーム機1は、ユーザが手を開いているか否か、自装置への指差しを行っているか否か等を認識する。なお、これらはいずれも一例であって、ゲーム機1は、手のポーズ(姿態)の種類を認識可能であればよい。 After detecting the user's hand, the game machine 1 performs image recognition on the image area including the user's hand, and recognizes the appearance shape of the user's hand, that is, the pose of the hand. For example, the game machine 1 recognizes whether or not the user has opened his or her hand, and whether or not he / she is pointing at his / her own device. It should be noted that these are all examples, and the game machine 1 may be able to recognize the type of hand pose (figure).
画像認識の手法は特に限定されないが、例えばゲーム機1は、予め定められた種々の手のポーズに係る形状と、撮像画像から認識したユーザの手の形状とのパターンマッチングを行い、ユーザの手のポーズを認識する。あるいはゲーム機1は、ディープラーニング等の機械学習で人間の手のポーズの画像特徴量を学習済みのモデルを用いて、当該モデルにユーザの手を含む画像領域を入力し、手のポーズを判定した判定結果を出力値として取得する。なお、これらはいずれも一例であって、ゲーム機1は画像認識によってユーザの手のポーズを認識可能であればよい。 The method of image recognition is not particularly limited, but for example, the game machine 1 performs pattern matching between the shapes related to various predetermined hand poses and the shape of the user's hand recognized from the captured image, and the user's hand. Recognize the pose of. Alternatively, the game machine 1 uses a model in which the image features of the human hand pose have been learned by machine learning such as deep learning, inputs an image area including the user's hand into the model, and determines the hand pose. The determined judgment result is acquired as an output value. It should be noted that these are all examples, and the game machine 1 may be able to recognize the pose of the user's hand by image recognition.
ゲーム機1は、トラッキングの場合と同様に、ユーザの手のポーズに応じてゲーム内の処理を行う。ゲーム機1は、所定のゲームの終了動作(例えばユーザからの終了指示)が行われるまでカメラ15から座標情報を含む画像データを継続的に取得し、トラッキング及び画像認識を行ってジェスチャによる操作入力を受け付ける。 The game machine 1 performs in-game processing according to the pose of the user's hand, as in the case of tracking. The game machine 1 continuously acquires image data including coordinate information from the camera 15 until a predetermined game end operation (for example, an end instruction from the user) is performed, performs tracking and image recognition, and performs operation input by gesture. Accept.
図8は、実施の形態2に係るゲーム機1が実行する処理手順の一例を示すフローチャートである。
最近傍点から一定範囲内に位置する座標点群をユーザの手として検出した後(ステップS19)、ゲーム機1の制御部11は、以下の処理を実行する。制御部11は、上記の座標点群(座標情報)に対応する撮像画像内の画像領域に対する物体認識を行い、ユーザの手のポーズ(姿態)を認識する(ステップS201)。さらに制御部11は、カメラ15から逐次取得する撮像画像から上記の座標点群の位置を逐次特定することで、ユーザの手(物体)の移動軌跡を特定するトラッキングを行う(ステップS202)。制御部11は、ステップS201で認識したユーザの手のポーズ、及びステップS202で特定したユーザの手の移動軌跡に基づいてゲーム内での処理を行う。
FIG. 8 is a flowchart showing an example of a processing procedure executed by the game machine 1 according to the second embodiment.
After detecting the coordinate point cloud located within a certain range from the nearest neighbor point as a user's hand (step S19), the control unit 11 of the game machine 1 executes the following processing. The control unit 11 recognizes an object for an image area in the captured image corresponding to the coordinate point cloud (coordinate information), and recognizes the pose (figure) of the user's hand (step S201). Further, the control unit 11 sequentially specifies the position of the coordinate point cloud from the captured image sequentially acquired from the camera 15 to perform tracking for specifying the movement locus of the user's hand (object) (step S202). The control unit 11 performs in-game processing based on the pose of the user's hand recognized in step S201 and the movement locus of the user's hand identified in step S202.
制御部11は、ゲーム内で所定の終了動作が行われたか否かを判定する(ステップS203)。終了動作が行われていないと判定した場合(S203:NO)、制御部11は処理をステップS201に戻す。終了動作が行われたと判定した場合(S203:YES)、制御部11は一連の処理を終了する。 The control unit 11 determines whether or not a predetermined end operation has been performed in the game (step S203). If it is determined that the end operation has not been performed (S203: NO), the control unit 11 returns the process to step S201. When it is determined that the end operation has been performed (S203: YES), the control unit 11 ends a series of processes.
以上より、本実施の形態2によれば、低負荷で対象物を検出した上で、検出した対象物のトラッキングを行うことができる。 From the above, according to the second embodiment, it is possible to track the detected object after detecting the object with a low load.
また、本実施の形態2によれば、座標情報から対象物の位置を検出した上で画像認識を行うことで、撮像画像に含まれる全空間の画像認識を行う必要なく、低負荷で対象物の姿態を検知することができる。 Further, according to the second embodiment, by detecting the position of the object from the coordinate information and then performing image recognition, it is not necessary to perform image recognition of the entire space included in the captured image, and the object is low-load. It is possible to detect the appearance of.
(実施の形態3)
図9は、上述した形態のゲーム機1の動作を示す機能ブロック図である。制御部11がプログラムPを実行することにより、ゲーム機1は以下のように動作する。
検出部91は、基準物を検出する。取得部92は、前記基準物を起点とする空間内に存在する物体表面の各点の座標値を示す座標情報を取得する。分類部93は、前記空間内に含まれる前記座標情報を複数の集合にクラスタリングする。第1抽出部94は、前記集合から条件を満たす前記座標情報を抽出する。第2抽出部95は、抽出した前記座標情報を起点とした条件に基づき、条件を満たす前記座標情報を抽出する。
(Embodiment 3)
FIG. 9 is a functional block diagram showing the operation of the game machine 1 of the above-described form. When the control unit 11 executes the program P, the game machine 1 operates as follows.
The detection unit 91 detects a reference object. The acquisition unit 92 acquires coordinate information indicating the coordinate values of each point on the surface of the object existing in the space starting from the reference object. The classification unit 93 clusters the coordinate information included in the space into a plurality of sets. The first extraction unit 94 extracts the coordinate information satisfying the conditions from the set. The second extraction unit 95 extracts the coordinate information satisfying the conditions based on the condition starting from the extracted coordinate information.
本実施の形態3は以上の如きであり、その他は実施の形態1及び2と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。 The third embodiment is as described above, and the other parts are the same as those of the first and second embodiments. Therefore, the corresponding parts are designated by the same reference numerals and detailed description thereof will be omitted.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered to be exemplary in all respects and not restrictive. The scope of the present invention is indicated by the scope of claims, not the above-mentioned meaning, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
1 ゲーム機(情報処理装置)
11 制御部
12 主記憶部
13 通信部
14 表示部
15 カメラ
16 操作部
17 スピーカ
18 補助記憶部
1 Game machine (information processing device)
11 Control unit 12 Main storage unit 13 Communication unit 14 Display unit 15 Camera 16 Operation unit 17 Speaker 18 Auxiliary storage unit

Claims (10)

  1. 基準物を検出する検出部と、
    前記基準物を起点とする空間内に存在する物体表面の各点の座標値を示す座標情報を取得する取得部と、
    前記空間内に含まれる前記座標情報を複数の集合にクラスタリングする分類部と、
    前記集合から条件を満たす前記座標情報を抽出する第1抽出部と、
    抽出した前記座標情報を起点とした条件に基づき、条件を満たす前記座標情報を抽出する第2抽出部と
    を備えることを特徴とする情報処理装置。
    A detector that detects a reference object and
    An acquisition unit that acquires coordinate information indicating the coordinate values of each point on the surface of an object existing in the space starting from the reference object, and an acquisition unit.
    A classification unit that clusters the coordinate information contained in the space into a plurality of sets,
    A first extraction unit that extracts the coordinate information satisfying the conditions from the set, and
    An information processing apparatus including a second extraction unit that extracts the coordinate information satisfying the conditions based on the condition starting from the extracted coordinate information.
  2. 前記検出部は、画像情報に基づき前記基準物を検出する
    ことを特徴とする請求項1に記載の情報処理装置。
    The information processing device according to claim 1, wherein the detection unit detects the reference object based on image information.
  3. 前記検出部は、顔を検出する
    ことを特徴とする請求項1又は2に記載の情報処理装置。
    The information processing device according to claim 1 or 2, wherein the detection unit detects a face.
  4. 前記取得部は、深度センサにより計測された前記各点との距離を示す前記座標情報を取得し、
    前記第1抽出部は、前記各点との距離に応じて前記座標情報を抽出する
    ことを特徴とする請求項1〜3のいずれか1項に記載の情報処理装置。
    The acquisition unit acquires the coordinate information indicating the distance to each of the points measured by the depth sensor, and obtains the coordinate information.
    The information processing apparatus according to any one of claims 1 to 3, wherein the first extraction unit extracts the coordinate information according to a distance from each of the points.
  5. 前記第1抽出部は、前記分類部がクラスタリングした前記集合から最近傍点の前記座標情報を抽出する
    ことを特徴とする請求項4に記載の情報処理装置。
    The information processing apparatus according to claim 4, wherein the first extraction unit extracts the coordinate information of the nearest neighbor points from the set clustered by the classification unit.
  6. 前記取得部は、前記座標情報を逐次取得し、
    前記第2抽出部が前記座標情報を抽出した後、該座標情報に対応する前記物体の移動軌跡を特定する特定部を備える
    ことを特徴とする請求項1〜5のいずれか1項に記載の情報処理装置。
    The acquisition unit sequentially acquires the coordinate information and obtains the coordinate information.
    The invention according to any one of claims 1 to 5, wherein the second extraction unit includes a specific unit that specifies a movement locus of the object corresponding to the coordinate information after extracting the coordinate information. Information processing device.
  7. 前記取得部は、前記物体を撮像した画像情報であって、画像内の各画素値に対し、対応する前記各点の座標値が関連付けられた画像情報を取得し、
    前記第2抽出部が抽出した前記座標情報に対応する画像領域から前記物体を認識する認識部を備える
    ことを特徴とする請求項1〜6のいずれか1項に記載の情報処理装置。
    The acquisition unit acquires image information obtained by imaging the object, and the coordinate values of the corresponding points are associated with each pixel value in the image.
    The information processing apparatus according to any one of claims 1 to 6, further comprising a recognition unit that recognizes the object from an image region corresponding to the coordinate information extracted by the second extraction unit.
  8. 前記情報処理装置は、表示画面を有する筐体本体と、該筐体本体から前方に突出した操作パネルとを有するゲーム機であって、
    前記分類部は、前記操作パネルの突出端より前記筐体本体に近い前記空間に含まれる前記座標情報をクラスタリングする
    ことを特徴とする請求項1〜7のいずれか1項に記載の情報処理装置。
    The information processing device is a game machine having a housing body having a display screen and an operation panel protruding forward from the housing body.
    The information processing apparatus according to any one of claims 1 to 7, wherein the classification unit clusters the coordinate information included in the space closer to the housing body than the protruding end of the operation panel. ..
  9. 基準物を検出し、
    前記基準物を起点とする空間内に存在する物体表面の各点の座標値を示す座標情報を取得し、
    前記空間内に含まれる前記座標情報を複数の集合にクラスタリングし、
    前記集合から条件を満たす前記座標情報を抽出し、
    抽出した前記座標情報を起点とした条件に基づき、条件を満たす前記座標情報を抽出する
    処理をコンピュータに実行させることを特徴とする情報処理方法。
    Detect the reference object,
    Coordinate information indicating the coordinate values of each point on the surface of the object existing in the space starting from the reference object is acquired.
    The coordinate information contained in the space is clustered into a plurality of sets, and the coordinate information is clustered into a plurality of sets.
    The coordinate information satisfying the conditions is extracted from the set,
    An information processing method characterized in that a computer is made to execute a process of extracting the coordinate information satisfying the condition based on the condition starting from the extracted coordinate information.
  10. 基準物を検出し、
    前記基準物を起点とする空間内に存在する物体表面の各点の座標値を示す座標情報を取得し、
    前記空間内に含まれる前記座標情報を複数の集合にクラスタリングし、
    前記集合から条件を満たす前記座標情報を抽出し、
    抽出した前記座標情報を起点とした条件に基づき、条件を満たす前記座標情報を抽出する
    処理をコンピュータに実行させることを特徴とするプログラム。
    Detect the reference object,
    Coordinate information indicating the coordinate values of each point on the surface of the object existing in the space starting from the reference object is acquired.
    The coordinate information contained in the space is clustered into a plurality of sets, and the coordinate information is clustered into a plurality of sets.
    The coordinate information satisfying the conditions is extracted from the set,
    A program characterized in that a computer executes a process of extracting the coordinate information satisfying the condition based on the condition starting from the extracted coordinate information.
JP2019038887A 2019-03-04 2019-03-04 Information processing apparatus, information processing method and program Pending JP2020144465A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019038887A JP2020144465A (en) 2019-03-04 2019-03-04 Information processing apparatus, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019038887A JP2020144465A (en) 2019-03-04 2019-03-04 Information processing apparatus, information processing method and program

Publications (1)

Publication Number Publication Date
JP2020144465A true JP2020144465A (en) 2020-09-10

Family

ID=72353627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019038887A Pending JP2020144465A (en) 2019-03-04 2019-03-04 Information processing apparatus, information processing method and program

Country Status (1)

Country Link
JP (1) JP2020144465A (en)

Similar Documents

Publication Publication Date Title
TWI512645B (en) Gesture recognition apparatus and method using depth images
TWI484444B (en) Non-transitory computer readable medium, electronic device, and computer system for face feature vector construction
JP5401695B2 (en) Image identification device, image identification method, image identification program, and recording medium
JP5668932B2 (en) Image identification device, image identification method, image identification program, and recording medium
KR100947990B1 (en) Gaze Tracking Apparatus and Method using Difference Image Entropy
KR101305694B1 (en) Method of image processing for detecting object, device, method for user interface and user interface thereof
US7719569B2 (en) Image processing apparatus and image processing method
CN104487915A (en) Maintaining continuity of augmentations
KR101551576B1 (en) Robot cleaner, apparatus and method for recognizing gesture
US20170124719A1 (en) Method, device and computer-readable medium for region recognition
US9536132B2 (en) Facilitating image capture and image review by visually impaired users
US8643741B2 (en) Orientation detection using image processing
EP2840527A1 (en) Image processing device and image processing method
WO2019033569A1 (en) Eyeball movement analysis method, device and storage medium
US8902161B2 (en) Device and method for detecting finger position
WO2019033570A1 (en) Lip movement analysis method, apparatus and storage medium
US20120087574A1 (en) Learning device, learning method, identification device, identification method, and program
EP2639743A2 (en) Image processing device, image processing program, and image processing method
US9047504B1 (en) Combined cues for face detection in computing devices
WO2021147434A1 (en) Artificial intelligence-based face recognition method and apparatus, device, and medium
KR101397845B1 (en) Face recognition method, machine-readable storage medium and face recognition device
JP6351243B2 (en) Image processing apparatus and image processing method
JP2020144465A (en) Information processing apparatus, information processing method and program
JP2015197708A (en) Object identification device, object identification method, and program
Liao et al. Action recognition based on depth image sequence