JP2018132986A - Image recognition apparatus - Google Patents
Image recognition apparatus Download PDFInfo
- Publication number
- JP2018132986A JP2018132986A JP2017026913A JP2017026913A JP2018132986A JP 2018132986 A JP2018132986 A JP 2018132986A JP 2017026913 A JP2017026913 A JP 2017026913A JP 2017026913 A JP2017026913 A JP 2017026913A JP 2018132986 A JP2018132986 A JP 2018132986A
- Authority
- JP
- Japan
- Prior art keywords
- palm
- candidate
- fingertip
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000034 method Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像認識装置に関する。 The present invention relates to an image recognition apparatus.
従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献１参照）。 As a conventional technique, an image recognition apparatus that binarizes an image captured by an infrared camera and detects a palm from the image is known (for example, see Patent Document 1).
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報などは、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャ判断に利用される。 This image recognition device calculates the shortest distance from the point inside the hand region to the contour for the image after binarization processing and isolated point removal, detects the position where the shortest distance is maximum, Is recognized as the center position of the palm. The palm size detection unit calculates a distance conversion value based on the shortest distance from the center position to the contour, thereby certifying the palm size. Information indicating the palm radius obtained by the palm size detecting unit is accumulated in the accumulating unit as hand feature information, and is used, for example, by the motion determining unit for gesture determination.
しかし従来の画像認識装置は、２値画像に腕や服の袖が映り込み、かつ、腕の幅や服の袖の幅が手の平よりも太く映った場合、距離変換値が最大となる画素が手の平の中心とは異なり、誤検出となる問題があった。 However, in the conventional image recognition device, when the arm or clothes sleeve is reflected in the binary image, and the arm width or clothes sleeve width is larger than the palm, the pixel having the maximum distance conversion value is displayed. Unlike the center of the palm, there was a problem of false detection.
従って本発明の目的は、手の平の誤検出を抑制することができる画像認識装置を提供することにある。 Accordingly, an object of the present invention is to provide an image recognition apparatus that can suppress erroneous detection of a palm.
本発明の一態様は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補の指先位置と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えた画像認識装置を提供する。 According to one embodiment of the present invention, a radius of a palm candidate whose center position is a position where a distance conversion value of a distance conversion image obtained from input image information is maximum, and a fingertip position of a fingertip candidate obtained from the distance conversion image And the distance to the center position satisfy the predetermined condition, it is determined that the palm is the palm for which the palm candidate is to be obtained, and when the predetermined condition is not satisfied, the distance conversion value in the palm candidate is set to zero. There is provided an image recognition apparatus including a determination unit that extracts a palm candidate again.
本発明によれば、手の平の誤検出を抑制することができる。 According to the present invention, erroneous detection of a palm can be suppressed.
（実施の形態の要約）
実施の形態に係る画像認識装置は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えて概略構成されている。
(Summary of embodiment)
The image recognition apparatus according to the embodiment includes a radius of a palm candidate centered at a position where the distance conversion value of the distance conversion image obtained from input image information is maximum, and a fingertip candidate obtained from the distance conversion image And the distance to the center position satisfy the predetermined condition, it is determined that the palm is the palm for which the palm candidate is to be obtained, and when the predetermined condition is not satisfied, the distance conversion value in the palm candidate is set to zero. It is roughly configured to include a determination unit that extracts a palm candidate again.
この画像認識装置は、手の平候補が予め定められた条件を満たさない場合、当該手の平候補内の距離変換値をゼロとして再度手の平候補を抽出させるので、この構成を採用しない場合と比べて、手の平の誤検出を抑制することができる。 When the palm candidate does not satisfy a predetermined condition, this image recognition device extracts the palm candidate again with the distance conversion value in the palm candidate as zero, so that compared with the case where this configuration is not adopted, False detection can be suppressed.
[実施の形態]
（画像認識装置１の概要）
図１（ａ）は、本実施の形態に係る画像認識装置の配置の一例を示す概略図であり、図１（ｂ）は、画像認識装置のブロック図の一例である。図２（ａ）は、本実施の形態に係る画像認識装置のカメラで撮像された手の輝度画像の一例を示す概略図であり、図２（ｂ）は、輝度画像に対して行われた２値化処理により得られた２値画像の一例を示す概略図であり、図２（ｃ）は、２値画像から得られた距離変換画像の一例を示す概略図である。図３（ａ）は、実施の形態に係る画像認識装置の長手方向検出部が行う長手方向の検出方法の一例を説明するための概略図であり、図３（ｂ）は、手の平候補の半径と手の平候補の中心位置から指先位置までの距離とを説明するための概略図であり、図３（ｃ）は、距離変換値がゼロとされた距離変換画像の一例を示す概略図である。
[Embodiment]
(Outline of the image recognition apparatus 1)
FIG. 1A is a schematic diagram illustrating an example of an arrangement of image recognition apparatuses according to the present embodiment, and FIG. 1B is an example of a block diagram of the image recognition apparatus. FIG. 2A is a schematic diagram illustrating an example of a hand luminance image captured by the camera of the image recognition apparatus according to the present embodiment, and FIG. 2B is performed on the luminance image. FIG. 2C is a schematic diagram illustrating an example of a binary image obtained by binarization processing, and FIG. 2C is a schematic diagram illustrating an example of a distance conversion image obtained from the binary image. FIG. 3A is a schematic diagram for explaining an example of a longitudinal direction detection method performed by the longitudinal direction detection unit of the image recognition apparatus according to the embodiment, and FIG. 3B is a radius of a palm candidate. FIG. 3C is a schematic diagram illustrating an example of a distance conversion image in which the distance conversion value is set to zero.
なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な信号などの流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。 Note that, in each drawing according to the embodiment described below, the ratio between figures may be different from the actual ratio. In FIG. 1B, the flow of main signals and the like is indicated by arrows. Furthermore, “A to B” indicating a numerical range is used in the meaning of A or more and B or less.
この画像認識装置１は、一例として、車両に搭載された電子機器と電気的に接続されている。この電子機器は、例えば、なされたジェスチャによって操作されるものである。そして画像認識装置１は、このジェスチャを判定するために手の平を認識し、認識した手の平の情報（後述する手の平情報Ｓ３）を当該電子機器に出力するように構成されている。 As an example, the image recognition device 1 is electrically connected to an electronic device mounted on a vehicle. This electronic device is operated by a gesture made, for example. The image recognition apparatus 1 is configured to recognize the palm in order to determine this gesture, and output the recognized palm information (palm information S 3 described later) to the electronic device.
画像認識装置１は、例えば、図１（ａ）〜図２（ｃ）に示すように、入力する画像情報から得られた距離変換画像２５０の距離変換値２５１が最大となる位置を中心位置Ｃとした手の平候補１２２の半径Ｒと、距離変換画像２５０から求められた指先候補の指先位置（後述する指先位置Ｐ）と中心位置Ｃまでの距離（後述する距離Ｌ）と、が予め定められた条件を満たす場合、手の平候補１２２を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補１２２内の距離変換値２５１をゼロとして次の手の平候補を再度抽出させる判定部１５０を備えて概略構成されている。 For example, as illustrated in FIGS. 1A to 2C, the image recognition apparatus 1 determines the position where the distance conversion value 251 of the distance conversion image 250 obtained from the input image information is the maximum as the center position C. The radius R of the palm candidate 122 and the distance between the fingertip position (a fingertip position P described later) and the center position C (a distance L described later) of the fingertip candidate obtained from the distance conversion image 250 are determined in advance. If the condition is satisfied, it is determined that the palm candidate 122 is the palm for which the palm candidate 122 is to be obtained. If the predetermined condition is not satisfied, the distance conversion value 251 in the palm candidate 122 is set to zero and the determination unit 150 extracts the next palm candidate again. Is generally configured.
この画像認識装置１は、例えば、図１（ｂ）に示すように、手領域検出部１１０と、手の平候補抽出部１２０と、長手方向検出部１３０と、指先位置検出部１４０と、判定部１５０と、を有する制御部１００を備えて概略構成されている。 For example, as illustrated in FIG. 1B, the image recognition apparatus 1 includes a hand region detection unit 110, a palm candidate extraction unit 120, a longitudinal direction detection unit 130, a fingertip position detection unit 140, and a determination unit 150. And a control unit 100 having a general configuration.
手領域検出部１１０は、フレーム画像Ｓ（ｎ）から２値化処理により手領域８１を検出する。手の平候補抽出部１２０は、手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、距離変換画像２５０から求められる距離変換値２５１が最大となる位置を中心位置Ｃとして手の平候補１２２を抽出する。 The hand region detection unit 110 detects the hand region 81 from the frame image S (n) by binarization processing. The palm candidate extraction unit 120 generates a distance conversion image 250 in which the pixel value of the pixel in the region of the hand region 81 is replaced with the shortest distance value with the region outline, and the distance conversion value 251 obtained from the distance conversion image 250 is the maximum. The palm candidate 122 is extracted with the position to be the center position C.
長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する。指先位置検出部１４０は、手領域８１における指先方向を示す長手方向を検出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補の指先位置Ｐを検出する。 The longitudinal direction detection unit 130 detects the longitudinal direction indicating the fingertip direction in the hand region 81. The fingertip position detection unit 140 detects the longitudinal direction indicating the fingertip direction in the hand region 81 and detects the fingertip position P of the fingertip candidate farthest in the longitudinal direction from the center position C of the palm candidate 122.
この指先位置検出部１４０は、手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補を指先位置Ｐとして検出する。 The fingertip position detection unit 140 calculates the distance between the center position C of the palm candidate 122 and the contour pixels of all the hands, extracts the pixel having the maximum value as a fingertip candidate, and the center position C of the palm candidate 122. The fingertip candidate farthest in the longitudinal direction is detected as the fingertip position P.
判定部１５０は、手の平候補１２２の中心位置Ｃから最も遠い指先候補の指先位置までの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下である場合、手の平候補１２２を求める手の平であると判定する。判定部１５０は、このしきい値Ｔｈを有している。 When the number obtained by dividing the distance L from the center position C of the palm candidate 122 to the fingertip position of the farthest fingertip by the radius R of the palm candidate 122 is equal to or smaller than a predetermined threshold Th, the determination unit 150 It is determined that the palm is the palm for which the candidate 122 is obtained. The determination unit 150 has this threshold value Th.
図１（ａ）に示すように、画像認識装置１は、取付部５０にカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。この照明２０は、例えば、図１（ｂ）に示すように、制御部１００から供給される駆動信号Ｓ２に基づいて撮像範囲６０を照明する。 As shown in FIG. 1A, the image recognition apparatus 1 has a camera 10 mounted on the attachment portion 50 and images in a substantially horizontal direction. The camera 10 includes a semiconductor image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). The illumination 20 illuminates a range that is substantially the same as the imaging range 60 of the camera 10. This lighting 20 may be, for example, as shown in FIG. 1 (b), to illuminate the imaging range 60 based on the drive signal S 2 supplied from the control unit 100.
なお撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を抑制あるいは軽減することができる。 In addition, although the light of the wavelength of imaging can use the light of arbitrary frequencies, the system which illuminates and images using infrared light and near-infrared light is preferable. Thereby, an operator does not see illumination light at the time of imaging, and the uncomfortable feeling at the time of imaging can be suppressed or reduced.
カメラ１０は、所定の方向から操作者の手８０を周期的に撮像し、上述のフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。Ｓ（ｎ）のｎは、時系列的に付されたフレームの番号を示している。また所定の方向とは、操作者の手の平側を撮像する方向である。なおフレーム画像Ｓ（ｎ）には、一例として、図２（ａ）などに示すように、操作者の手８０以外に袖８２が映り込んでいる。 The camera 10 periodically images the operator's hand 80 from a predetermined direction, and outputs the frame image S (n) described above to the control unit 100 as image information. N in S (n) indicates the frame number assigned in time series. The predetermined direction is a direction in which the palm side of the operator is imaged. In the frame image S (n), as an example, a sleeve 82 is reflected in addition to the operator's hand 80 as shown in FIG.
（制御部１００の構成）
制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラムなどが格納されている。ＲＡＭは、例えば、複数のフレーム画像Ｓ（ｎ）や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
(Configuration of control unit 100)
The control unit 100 includes, for example, a CPU (Central Processing Unit) that performs operations and processes on acquired data according to a stored program, a RAM (Random Access Memory) that is a semiconductor memory, a ROM (Read Only Memory), and the like. Microcomputer. For example, a program for operating the control unit 100 is stored in the ROM. The RAM is used, for example, as a storage area for storing a plurality of frame images S (n), temporary calculation results, and the like. Further, the control unit 100 has means for generating a clock signal therein, and executes processing based on this clock signal.
（手領域検出部１１０の構成）
手領域検出部１１０は、例えば、図２（ｂ）に示すように、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に対する２値化処理により、手８０の手領域８１を検出するように構成されている。具体的には、手領域検出部１１０は、例えば、入力したフレーム画像Ｓ（ｎ）から背景除去した輝度画像２１０を生成し、明るさが予め定められたしきい値以上の領域を手領域８１として抽出した２値画像２２０を生成する。なお図２（ｂ）に示す２値画像２２０は、一例として、操作者の手８０以外に袖８２が映り込んだ画像とされている。
(Configuration of Hand Area Detection Unit 110)
For example, as shown in FIG. 2B, the hand region detection unit 110 is configured to detect a hand region 81 of the hand 80 by binarization processing on the frame image S (n) input from the camera 10. Has been. Specifically, the hand region detection unit 110 generates, for example, a luminance image 210 from which the background has been removed from the input frame image S (n), and sets a region whose brightness is equal to or higher than a predetermined threshold value to the hand region 81. The binary image 220 extracted as is generated. 2B is an image in which the sleeve 82 is reflected in addition to the operator's hand 80 as an example.
ここで、例えば、カメラ１０が運転席と助手席の斜め前方に位置するセンターコンソールに配置される場合、乗員がいない際の車内が背景となる。手領域検出部１１０は、例えば、当該背景の画像を記憶し、フレーム画像Ｓ（ｎ）と当該背景の画像の差分を求めて背景除去した輝度画像２１０を生成する。この背景は、一例として、予め記憶されていても良いし、時間や季節などの環境の変化を考慮して撮像された画像とされても良い。 Here, for example, when the camera 10 is disposed on a center console located obliquely in front of the driver seat and the passenger seat, the interior of the vehicle when no passenger is present becomes the background. For example, the hand region detection unit 110 stores the background image, obtains a difference between the frame image S (n) and the background image, and generates the luminance image 210 with the background removed. As an example, this background may be stored in advance or may be an image taken in consideration of environmental changes such as time and season.
（手の平候補抽出部１２０の構成）
手の平候補抽出部１２０は、例えば、図２（ｃ）に示す距離変換画像２５０から手の平候補１２２を抽出するように構成されている。この手の平候補１２２は、中心位置Ｃを中心とする半径Ｒの円として抽出される。なお半径Ｒは、例えば、性別、年齢、人種などを考慮して実測した値に基づいて定められる。
(Configuration of palm candidate extraction unit 120)
The palm candidate extraction unit 120 is configured, for example, to extract the palm candidate 122 from the distance conversion image 250 shown in FIG. The palm candidate 122 is extracted as a circle with a radius R centered on the center position C. The radius R is determined based on a value measured in consideration of gender, age, race, and the like.
ここで距離変換画像２５０は、例えば、上述のように、２値画像２２０上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図２（ｃ）に示すように、距離変換値２５１が大きいほど白くなるように表示されている。図２（ｃ）に示す点Ｃは、最大距離変換値をもつ画素である。 Here, the distance conversion image 250 is generated, for example, as an image obtained by replacing the pixel value of the pixel in the region on the binary image 220 with the shortest distance value with the region outline as described above. The distance conversion image 250 is displayed so that it becomes white, so that the distance conversion value 251 is large, as shown in FIG.2 (c). A point C shown in FIG. 2C is a pixel having the maximum distance conversion value.
手の平候補抽出部１２０は、この点Ｃを手の平候補１２２の中心位置Ｃとして抽出する。そして手の平候補抽出部１２０は、例えば、図２（ｂ）に示すように、中心位置Ｃを中心とする半径Ｒの円を手の平候補１２２として抽出する。図２（ｂ）に示す例では、服の袖８２が手の平よりも太く映っているため、袖８２の部分の距離変換値２５１が大きくなり、この袖８２の部分を手の平候補１２２として抽出している。 The palm candidate extraction unit 120 extracts this point C as the center position C of the palm candidate 122. Then, the palm candidate extraction unit 120 extracts a circle having a radius R centered at the center position C as the palm candidate 122 as shown in FIG. 2B, for example. In the example shown in FIG. 2B, since the sleeve 82 of the clothes appears thicker than the palm, the distance conversion value 251 of the portion of the sleeve 82 becomes large, and this portion of the sleeve 82 is extracted as the palm candidate 122. Yes.
（長手方向検出部１３０の構成）
長手方向検出部１３０は、例えば、図３（ｂ）で示すように、手８０の長手方向の検出を行なう。図３（ｂ）に示す長手方向は、中心位置Ｃから指先位置Ｐに向かう方向、又はその逆方向である。長手方向の検出方法としては、例えば、図３（ａ）に示す慣性主軸を用いた検出方法などが考えられる。
(Configuration of Longitudinal Direction Detection Unit 130)
The longitudinal direction detection unit 130 detects the longitudinal direction of the hand 80, for example, as shown in FIG. The longitudinal direction shown in FIG. 3B is a direction from the center position C toward the fingertip position P, or the opposite direction. As a detection method in the longitudinal direction, for example, a detection method using an inertia main axis shown in FIG.
図３（ａ）で示すような領域３００の長手方向（角度θ）は、以下に示す式（１）の解として求まる。
ｔａｎ２θ＋｛Ｍ（２，０）−Ｍ（０，２）｝／Ｍ（１，１）×ｔａｎθ−１＝０…（１）
ただしモーメントＭ（ｐ，ｑ）＝Σ（ｉｊ）ｉｐｊｑｆｉｊ
｛ｆｉｊ｝は、図形内で１をとり、図形外で０を取る２値画像とする。
またｉは、図３（ａ）に示す座標系の横軸、ｊは、縦軸である。
長手方向検出部１３０は、上述の式で算出された主軸方向αを長手方向とする。
The longitudinal direction (angle θ) of the region 300 as shown in FIG. 3A is obtained as a solution of the following equation (1).
tan 2 θ + {M (2, 0) −M (0, 2)} / M (1, 1) × tan θ−1 = 0 (1)
Where moment M (p, q) = Σ (ij) i p j q f ij
{F ij } is a binary image that takes 1 inside a figure and 0 outside the figure.
Further, i is the horizontal axis of the coordinate system shown in FIG. 3A, and j is the vertical axis.
The longitudinal direction detection unit 130 sets the principal axis direction α calculated by the above formula as the longitudinal direction.
（指先位置検出部１４０の構成）
指先位置検出部１４０は、図３（ａ）で示した主軸方向α（長手方向）を示す角度θから長手方向を定め、指先方向の推定を行なうように構成されている。なお指先方向は、例えば、図１（ａ）で示すように、カメラ１０の配置と撮影条件から、上向きを指先方向とすることが可能である。
(Configuration of fingertip position detection unit 140)
The fingertip position detection unit 140 is configured to determine the longitudinal direction from the angle θ indicating the principal axis direction α (longitudinal direction) shown in FIG. For example, as shown in FIG. 1A, the fingertip direction can be set upward from the position of the camera 10 and the shooting conditions.
そして指先位置検出部１４０は、手の平候補抽出部１２０で抽出した手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補、極小値となる画素を指又候補として抽出する。抽出した指先候補のうち、手の平候補１２２の中心位置Ｃから見て指先方向に最も遠い指先候補を指先位置Ｐとして検出する。 Then, the fingertip position detection unit 140 calculates the distance between the center position C of the palm candidate 122 extracted by the palm candidate extraction unit 120 and the contour pixels of all the hands, and determines the pixel having the maximum value as the fingertip candidate and the minimum value. Are extracted as finger candidates. Among the extracted fingertip candidates, the fingertip candidate farthest in the fingertip direction as viewed from the center position C of the palm candidate 122 is detected as the fingertip position P.
図３（ｂ）では、小さい丸印の極大値を指先候補として図示し、また大きい丸印の極小値を指又候補として図示している。指先位置検出部１４０は、例えば、上向きが長手方向なので、図３（ｂ）に◎（二重丸）で示す位置を指先位置Ｐとして推定する。 In FIG. 3B, the maximum value of a small circle is illustrated as a fingertip candidate, and the minimum value of a large circle is illustrated as a fingertip candidate. For example, since the upward direction is the longitudinal direction, the fingertip position detection unit 140 estimates the position indicated by 先 (double circle) in FIG.
画像認識装置１は、正確な手の平候補１２２を抽出できた場合、正確な指先と指又を検出することができ、後段の処理による正確なジェスチャの判定に利用される。 When the accurate palm candidate 122 can be extracted, the image recognition apparatus 1 can detect an accurate fingertip and fingertip, and is used for accurate gesture determination by subsequent processing.
（判定部１５０の構成）
判定部１５０は、手の平候補１２２の半径Ｒと、中心位置Ｃから指先位置Ｐまでの距離Ｌと、が予め定められた条件を満たす場合、手の平候補１２２を手の平と判定する。この予め定められた条件とは、以下の条件式（２）である。
距離Ｌ／半径Ｒ≦しきい値Ｔｈ…（２）
しきい値Ｔｈは、一例として、手の平の大きさと手の平の中心から指先までの距離との比を示しており、性別、年齢、人種などを考慮して実測した値に基づいて定められ、およそ３．０〜４．０である。本実施の形態のしきい値Ｔｈは、一例として、３．５である。
(Configuration of determination unit 150)
When the radius R of the palm candidate 122 and the distance L from the center position C to the fingertip position P satisfy the predetermined conditions, the determination unit 150 determines the palm candidate 122 as the palm. This predetermined condition is the following conditional expression (2).
Distance L / radius R ≦ threshold value Th (2)
The threshold value Th is, for example, a ratio between the size of the palm and the distance from the center of the palm to the fingertip, and is determined based on an actually measured value in consideration of gender, age, race, and the like. It is 3.0-4.0. As an example, the threshold value Th of the present embodiment is 3.5.
判定部１５０は、式（２）が成り立つ場合、中心位置Ｃを有する手の平候補１２２を求める手の平であると判定する。しかし判定部１５０は、式（２）が成り立たない場合、例えば、図３（ｃ）に示すように、成り立たないと判定された手の平候補１２２の範囲に含まれる、つまり中心位置Ｃを中心とする半径Ｒの円内の距離変換値２５１をゼロとする。図３（ｃ）に斜線で示すゼロ領域２５２は、距離変換値２５１がゼロとされた領域を示している。 When Expression (2) holds, the determination unit 150 determines that the palm is the palm for which the palm candidate 122 having the center position C is obtained. However, when the expression (2) does not hold, the determination unit 150 is included in the range of the palm candidate 122 that is determined not to hold, for example, as illustrated in FIG. The distance conversion value 251 in the circle with the radius R is set to zero. A zero region 252 indicated by diagonal lines in FIG. 3C indicates a region where the distance conversion value 251 is zero.
判定部１５０は、手の平候補１２２が式（２）を満たさない場合、再度手の平候補抽出部１２０に手の平候補１２２を抽出させる。この際、満たさないとされた手の平候補１２２の距離変換値２５１がゼロとされるので、この範囲の距離変換値２５１が抽出されることがない。 When the palm candidate 122 does not satisfy Expression (2), the determination unit 150 causes the palm candidate extraction unit 120 to extract the palm candidate 122 again. At this time, since the distance conversion value 251 of the palm candidate 122 that is not satisfied is set to zero, the distance conversion value 251 in this range is not extracted.
図３（ｃ）では、次に距離変換値２５１が大きい位置を中心位置Ｃａとして図示している。手の平候補抽出部１２０は、中心位置Ｃａを中心として半径Ｒの円を新たに手の平候補１２２とする。なお指先位置は、Ｐのままである。 In FIG. 3C, the position where the distance conversion value 251 is the next largest is illustrated as the center position Ca. The palm candidate extraction unit 120 newly sets a circle with a radius R around the center position Ca as a palm candidate 122. Note that the fingertip position remains P.
そして判定部１５０は、中心位置Ｃａと指先位置Ｐまでの距離Ｌと半径Ｒとに基づいて式（２）が成り立つか否かを判定する。本実施の形態では、中心位置Ｃａは、図３（ｃ）に示すように、中心位置Ｃよりも指先位置Ｐから遠いので式（２）を満たさない。従って判定部１５０は、中心位置Ｃａを中心とするする半径Ｒの円内の距離変換値２５１をゼロとする。 Then, the determination unit 150 determines whether Expression (2) is established based on the distance L to the center position Ca and the fingertip position P and the radius R. In the present embodiment, the center position Ca is farther from the fingertip position P than the center position C as shown in FIG. Therefore, the determination unit 150 sets the distance conversion value 251 in the circle with the radius R centered on the center position Ca to zero.
画像認識装置１は、この動作を繰り返し、式（２）を満たす手の平候補１２２を探索する。本実施の形態では、一例として、図３（ｃ）に示す中心位置Ｃｂが次に手の平候補１２２の中心とされる。判定部１５０は、この中心位置Ｃｂと指先位置Ｐまでの距離Ｌと半径Ｒが式（２）を満たすので、この中心位置Ｃｂを中心とする手の平候補１２２を求める手の平と判定する。この手の平候補１２２は、図３（ａ）に示す手の平であるので、判定部１５０の判定精度が高いことが分かる。 The image recognition apparatus 1 repeats this operation and searches for palm candidates 122 that satisfy Expression (2). In the present embodiment, as an example, the center position Cb shown in FIG. 3C is the center of the palm candidate 122 next. Since the distance L and radius R from the center position Cb to the fingertip position P satisfy the equation (2), the determination unit 150 determines that the palm is the palm for obtaining the palm candidate 122 centered on the center position Cb. Since the palm candidate 122 is the palm shown in FIG. 3A, it can be seen that the determination accuracy of the determination unit 150 is high.
制御部１００は、判定した手の平候補１２２の座標などの情報を含む手の平情報Ｓ３を生成し、接続された電子機器に出力する。 Control unit 100 generates the palm information S 3 including information such as the coordinates of the palm candidate 122 determines, and outputs to the connected electronic equipment.
以下に、本実施の形態の画像認識装置１の動作の一例について図４のフローチャートに従って説明する。 Below, an example of operation | movement of the image recognition apparatus 1 of this Embodiment is demonstrated according to the flowchart of FIG.
（動作）
画像認識装置１の手領域検出部１１０は、カメラ１０からフレーム画像Ｓ（ｎ）が入力すると、２値化処理を行って手領域８１を検出する（Ｓｔｅｐ１）。
(Operation)
When the frame image S (n) is input from the camera 10, the hand region detection unit 110 of the image recognition apparatus 1 performs binarization processing to detect the hand region 81 (Step 1).
次に手の平候補抽出部１２０は、手領域検出部１１０が検出した手領域８１が含まれる２値画像２２０に基づいて距離変換画像２５０を生成し、この距離変換画像２５０に基づいて手の平候補１２２を抽出する（Ｓｔｅｐ２）。 Next, the palm candidate extraction unit 120 generates a distance conversion image 250 based on the binary image 220 including the hand region 81 detected by the hand region detection unit 110, and selects the palm candidate 122 based on the distance conversion image 250. Extract (Step 2).
次に長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する（Ｓｔｅｐ３）。 Next, the longitudinal direction detection unit 130 detects the longitudinal direction indicating the fingertip direction in the hand region 81 (Step 3).
次に指先位置検出部１４０は、手の平候補１２２の中心位置Ｃから検出された長手方向に最も遠い指先候補を探索し、最も遠い指先候補を指先位置Ｐとする（Ｓｔｅｐ４）。 Next, the fingertip position detection unit 140 searches for the fingertip candidate farthest in the longitudinal direction detected from the center position C of the palm candidate 122 and sets the farthest fingertip candidate as the fingertip position P (Step 4).
次に判定部１５０は、手の平候補１２２の中心位置Ｃから指先位置Ｐまでの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下であるか否かを確認する。判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈ以下である場合（Ｓｔｅｐ５：Ｙｅｓ）、この手の平候補１２２を求める手の平であると判定する（Ｓｔｅｐ６）。そして制御部１００は、当該手の平候補１２２の座標などの情報を含む手の平情報Ｓ３を生成して接続された電子機器に出力する。 Next, the determination unit 150 confirms whether or not the number obtained by dividing the distance L from the center position C of the palm candidate 122 to the fingertip position P by the radius R of the palm candidate 122 is equal to or less than a predetermined threshold Th. To do. If the distance L / radius R is equal to or less than the threshold Th (Step 5: Yes), the determination unit 150 determines that the palm is the palm for which the palm candidate 122 is to be obtained (Step 6). The control unit 100 outputs to the electronic device connected to generate palm information S 3 including information such as coordinates of the palm candidate 122.
ここでステップ５において判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈより大きい場合（Ｓｔｅｐ５：Ｎｏ）、この手の平候補１２２内の距離変換値２５１をゼロとする（Ｓｔｅｐ７）。そして判定部１５０は、手の平候補抽出部１２０に指示して次の手の平候補１２２を抽出させ（Ｓｔｅｐ８）、再度ステップ５に進んで新たな手の平候補１２２に対して判定を行う。 Here, when the distance L / radius R is larger than the threshold Th in Step 5 (Step 5: No), the determination unit 150 sets the distance conversion value 251 in the palm candidate 122 to zero (Step 7). Then, the determination unit 150 instructs the palm candidate extraction unit 120 to extract the next palm candidate 122 (Step 8), proceeds to step 5 again, and determines a new palm candidate 122.
（実施の形態の効果）
本実施の形態に係る画像認識装置１は、手の平の誤検出を抑制することができる。具体的には、画像認識装置１は、抽出された手の平候補１２２が予め定められた条件である距離Ｌ／半径Ｒ≦Ｔｈを満たさない場合、当該手の平候補１２２内の距離変換値２５１をゼロとして条件が満たされるまで繰り返し判定を行う。従って画像認識装置１は、この構成を採用しない場合と比べて、フレーム画像Ｓ（ｎ）に映り込んだ腕や服装の形状に依らず、手の平の誤検出を抑制することができる。
(Effect of embodiment)
The image recognition apparatus 1 according to the present embodiment can suppress erroneous palm detection. Specifically, when the extracted palm candidate 122 does not satisfy the predetermined distance L / radius R ≦ Th, the image recognition device 1 sets the distance conversion value 251 in the palm candidate 122 to zero. The determination is repeated until the condition is satisfied. Therefore, the image recognition apparatus 1 can suppress erroneous detection of the palm regardless of the shape of the arm and clothes reflected in the frame image S (n), compared to the case where this configuration is not adopted.
画像認識装置１は、条件が満たされない場合、手の平候補１２２内の距離変換値２５１をゼロとするので、この構成を採用しない場合と比べて、当該手の平候補１２２内の点を新たに中心位置Ｃとして抽出することがなく、処理速度が向上する。 When the condition is not satisfied, the image recognition apparatus 1 sets the distance conversion value 251 in the palm candidate 122 to zero. Therefore, as compared with the case where this configuration is not adopted, the point in the palm candidate 122 is newly added to the center position C. As a result, the processing speed is improved.
画像認識装置１は、手の平の認識精度が高いので、後段に行われるジェスチャの認識精度向上させることができる。 Since the image recognition apparatus 1 has high palm recognition accuracy, it is possible to improve the recognition accuracy of a gesture performed at a later stage.
上述の実施の形態及び変形例に係る画像認識装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。 The image recognition apparatus 1 according to the above-described embodiment and modification is, for example, a program executed by a computer, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like depending on applications. It may be realized by.
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。 As mentioned above, although some embodiment and modification of this invention were demonstrated, these embodiment and modification are only examples, and do not limit the invention based on a claim. These novel embodiments and modifications can be implemented in various other forms, and various omissions, replacements, changes, and the like can be made without departing from the scope of the present invention. it can. In addition, not all combinations of features described in these embodiments and modifications are necessarily essential to the means for solving the problems of the invention. Furthermore, these embodiments and modifications are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalents thereof.
１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、８１…手領域、８２…袖、１００…制御部、１１０…手領域検出部、１２０…手の平候補抽出部、１２２…手の平候補、１３０…長手方向検出部、１４０…指先位置検出部、１５０…判定部、２１０…輝度画像、２２０…２値画像、２５０…距離変換画像、２５１…距離変換値、２５２…ゼロ領域、３００…領域 DESCRIPTION OF SYMBOLS 1 ... Image recognition apparatus, 10 ... Camera, 20 ... Illumination, 50 ... Mounting part, 60 ... Imaging range, 80 ... Hand, 81 ... Hand area, 82 ... Sleeve, 100 ... Control part, 110 ... Hand area detection part, 120 ... palm candidate extraction unit, 122 ... palm candidate, 130 ... longitudinal direction detection unit, 140 ... fingertip position detection unit, 150 ... determination unit, 210 ... luminance image, 220 ... binary image, 250 ... distance conversion image, 251 ... distance Conversion value, 252 ... zero region, 300 ... region
Claims (4)
前記手領域の領域内画素の画素値を領域輪郭との最短距離値に置き換えた前記距離変換画像を生成し、前記距離変換画像から求められる前記距離変換値が最大となる位置を前記中心位置として前記手の平候補を抽出する手の平候補抽出部と、
前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
前記手領域における指先方向を示す長手方向を検出し、前記手の平候補の前記中心位置から前記長手方向に最も遠い指先候補の前記指先位置を検出する指先位置検出部と、
を備えた、
請求項１に記載の画像認識装置。 A hand region detection unit for detecting a hand region from the image information by binarization processing;
The distance conversion image in which the pixel value of the pixel in the region of the hand region is replaced with the shortest distance value with the region outline is generated, and the position where the distance conversion value obtained from the distance conversion image is maximized is set as the center position. A palm candidate extraction unit for extracting the palm candidates;
A longitudinal direction detection unit for detecting a longitudinal direction indicating a fingertip direction in the hand region;
A fingertip position detection unit that detects a fingertip position of a fingertip candidate farthest in the longitudinal direction from the center position of the palm candidate;
With
The image recognition apparatus according to claim 1.
請求項２に記載の画像認識装置。 The fingertip position detection unit calculates a distance between the center position of the palm candidate and the contour pixels of all the hands, extracts a pixel having a maximum value as a fingertip candidate, and calculates from the center position of the palm candidate Detecting a fingertip candidate farthest in the longitudinal direction as a fingertip position;
The image recognition apparatus according to claim 2.
請求項１乃至３のいずれか１項に記載の画像認識装置。 The determination unit, when the number obtained by dividing the distance from the center position of the palm candidate to the fingertip position of the farthest fingertip candidate by the radius of the palm candidate is equal to or less than a predetermined threshold value, Determine that it is the palm for which you are seeking candidates,
The image recognition apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017026913A JP2018132986A (en) | 2017-02-16 | 2017-02-16 | Image recognition apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017026913A JP2018132986A (en) | 2017-02-16 | 2017-02-16 | Image recognition apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018132986A true JP2018132986A (en) | 2018-08-23 |
Family
ID=63248472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017026913A Ceased JP2018132986A (en) | 2017-02-16 | 2017-02-16 | Image recognition apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018132986A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3926444A1 (en) * | 2020-03-03 | 2021-12-22 | Alpine Electronics, Inc. | Proximity detection device and information processing system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007088939A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Information processing device |
| WO2014128788A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Shape recognition device, shape recognition program, and shape recognition method |
| WO2015037273A1 (en) * | 2013-09-12 | 2015-03-19 | 三菱電機株式会社 | Manipulation input device and method, program, and recording medium |
-
2017
- 2017-02-16 JP JP2017026913A patent/JP2018132986A/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007088939A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Information processing device |
| WO2014128788A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Shape recognition device, shape recognition program, and shape recognition method |
| WO2015037273A1 (en) * | 2013-09-12 | 2015-03-19 | 三菱電機株式会社 | Manipulation input device and method, program, and recording medium |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3926444A1 (en) * | 2020-03-03 | 2021-12-22 | Alpine Electronics, Inc. | Proximity detection device and information processing system |
| US11619999B2 (en) | 2020-03-03 | 2023-04-04 | Alpine Electronics, Inc. | Proximity detection device and information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
| TWI540462B (en) | Gesture recognition method and electronic apparatus using the same | |
| US10552686B2 (en) | Object recognition device that determines overlapping states for a plurality of objects | |
| EP3185209B1 (en) | Depth maps generated from a single sensor | |
| JP5466610B2 (en) | Gaze estimation device | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| US9911204B2 (en) | Image processing method, image processing apparatus, and recording medium | |
| JP2017123163A (en) | Image recognition apparatus | |
| JP2019061505A (en) | Information processing system, control system, and learning method | |
| JP2015069369A (en) | Operation input device, operation input method, and program | |
| JP2018151830A (en) | Image processing device, image processing method and program | |
| JP6636828B2 (en) | Monitoring system, monitoring method, and monitoring program | |
| JP2009088801A (en) | Motionlessness deciding method and device for photograph object | |
| JP2018132986A (en) | Image recognition apparatus | |
| JP6165513B2 (en) | Hand gesture tracking system | |
| JPWO2019097690A1 (en) | Image processing apparatus, control method, and control program | |
| JPWO2018037479A1 (en) | Image processing apparatus, stereo camera apparatus, and image processing method | |
| EP3364339A1 (en) | Device, method, and non-transitory computer-readable storage medium for biometric authentication | |
| JP2018097455A (en) | Image recognition device | |
| JP2018180779A (en) | Image recognition device | |
| JP5884759B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2018088183A (en) | Image recognition apparatus | |
| JP2018206063A (en) | Image recognition device and image recognition method | |
| JP2018010538A (en) | Image recognition device | |
| JP6676256B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200924 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20210224 |