JP2017211302A - Image recognition device - Google Patents
Image recognition device Download PDFInfo
- Publication number
- JP2017211302A JP2017211302A JP2016105247A JP2016105247A JP2017211302A JP 2017211302 A JP2017211302 A JP 2017211302A JP 2016105247 A JP2016105247 A JP 2016105247A JP 2016105247 A JP2016105247 A JP 2016105247A JP 2017211302 A JP2017211302 A JP 2017211302A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- camera
- center
- moves
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、画像認識装置に関する。 The present invention relates to an image recognition apparatus.
従来の技術として、ステレオカメラを使用して、検出速度を上げることができる対象物の位置決定方法による画像認識装置が提案されている。この位置決定方法は、最初の２回の測定においては、ステレオカメラによる測定を行うが、３回目の測定においては、一方のカメラのみを用いて測定を行い、他方のカメラについては、今までの対象物の移動軌跡から現在の位置を予測し、それから画像位置を予測する。このようにして、一方のカメラの実測画像位置、他方のカメラの予測画像位置を用いて、ステレオ計測により対象物のＸ、Ｙ、Ｚの３次元直交座標系における位置を決定する。３回目以降は、この動作を、実測するカメラを交互に切り換えて行う。これにより、画像認識装置における計測速度を向上させることができるとされている。 As a conventional technique, there has been proposed an image recognition apparatus using a method for determining a position of an object that can increase the detection speed using a stereo camera. This position determination method uses a stereo camera in the first two measurements, but in the third measurement, only one camera is used, and the other camera The current position is predicted from the movement trajectory of the object, and then the image position is predicted. In this manner, the position of the object in the three-dimensional orthogonal coordinate system of X, Y, Z is determined by stereo measurement using the measured image position of one camera and the predicted image position of the other camera. After the third time, this operation is performed by alternately switching the actually measured cameras. Thereby, it is supposed that the measurement speed in the image recognition apparatus can be improved.
しかし、特許文献１の画像認識装置では、撮像対象物のカメラの光軸方向の変化量を検出するために、ステレオカメラによるステレオ計測を行なう必要がある。したがって、ステレオ計測の装置がコスト高になると共に、交互にカメラを切り換えた画像情報に基づいて３次元の画像位置を検出する必要があった。 However, in the image recognition apparatus of Patent Document 1, it is necessary to perform stereo measurement with a stereo camera in order to detect the amount of change in the optical axis direction of the camera of the imaging object. Therefore, the cost of the stereo measurement apparatus is increased, and it is necessary to detect the three-dimensional image position based on the image information obtained by alternately switching the cameras.
したがって、本発明の目的は、単眼カメラによりカメラの光軸方向の変化量も検出が可能な画像認識装置を提供することにある。 Accordingly, an object of the present invention is to provide an image recognition apparatus capable of detecting the amount of change in the optical axis direction of a camera with a monocular camera.
［１］上記目的を達成するため、所定の方向から撮像対象物を撮像する撮像手段と、前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の輝度変化又はサイズ変化により前記撮像対象物の前記所定の方向における変化量を検出する制御部と、を有することを特徴とする画像認識装置を提供する。 [1] In order to achieve the above object, the imaging object is based on imaging means for imaging an imaging object from a predetermined direction and image information in a plane orthogonal to the predetermined direction imaged by the imaging means. And a control unit that detects a change amount of the imaging object in the predetermined direction based on a change in luminance or size of the object.
［２］前記撮像手段はカメラであり、前記所定の方向は前記カメラの光軸方向であることを特徴とする上記［１］に記載の画像認識装置であってもよい。 [2] The image recognition apparatus according to [1], wherein the imaging unit is a camera, and the predetermined direction is an optical axis direction of the camera.
［３］また、前記撮像対象物は操作者の手であり、前記制御部は、前記カメラの光軸方向を含む３軸方向のはらい動作を識別することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。 [3] Further, the imaging object is an operator's hand, and the control unit identifies a reciprocal motion in a triaxial direction including an optical axis direction of the camera. 2] may be used.
本発明の画像認識装置によれば、単眼カメラによりカメラの光軸方向の変化量も検出が可能な画像認識装置を提供することができる。 According to the image recognition apparatus of the present invention, it is possible to provide an image recognition apparatus that can detect the amount of change in the optical axis direction of the camera with a monocular camera.
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、操作者の手８０の輝度変化又はサイズ変化により操作者の手８０の所定の方向における変化量を検出する制御部３０と、を有して構成されている。
(Embodiment of the present invention)
The image recognition apparatus 1 according to the embodiment of the present invention includes a camera 10 as an imaging unit that images an operator's hand 80 that is an imaging target from a predetermined direction, and a predetermined direction captured by the camera 10. And a control unit 30 that detects a change amount of the operator's hand 80 in a predetermined direction based on a change in luminance or size of the operator's hand 80 based on image information in the orthogonal plane. Yes.
なお、上記の所定の方向はカメラ１０の光軸方向（Ｚ軸方向）に設定されている。 The predetermined direction is set in the optical axis direction (Z-axis direction) of the camera 10.
図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す概略斜視図である。また、図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。 FIG. 1 is a schematic perspective view showing an example of an arrangement of an image recognition device according to an embodiment of the present invention. FIG. 2 shows an example of a block diagram of the image recognition apparatus according to the embodiment of the present invention.
図１に示すように、画像認識装置１は、撮像手段としてのカメラ１０が上方向に配置され、図示のＡ方向、すなわち、カメラ１０の光軸方向（Ｚ軸方向）を撮像する。本実施の形態では、カメラ１０は１台である単眼システムである。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を赤外照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像する。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。 As shown in FIG. 1, in the image recognition apparatus 1, a camera 10 as an imaging unit is arranged in the upward direction, and images the A direction shown in the figure, that is, the optical axis direction (Z-axis direction) of the camera 10. In the present embodiment, the camera 10 is a single-eye system. The camera 10 includes a semiconductor image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). The infrared illumination 20 illuminates a range that is substantially the same as the imaging range 60 of the camera 10. In addition, although the light of the light to image can use the light of arbitrary frequencies, it illuminates and images using infrared light and near-infrared light. Thereby, an operator does not see illumination light at the time of imaging, and the uncomfortable feeling at the time of imaging can be prevented or reduced.
（カメラ１０）
図１に示すように、カメラ１０は、下方向から操作者の手８０を撮像し、カメラ１０の光軸方向（Ｚ軸方向）と直交する面内の画像情報である画像データをフレーム画像１００として、所定のフレーム周期で制御部３０へ出力する。このフレーム画像１００は、例えば、後述する図３（ｂ）に示すような背景１１０を含んだフレーム画像である。フレーム画像１００は、図２に示すように、ある時刻におけるｎフレーム目のフレーム画像Ｓ（ｎ）を制御部３０へ出力する。
(Camera 10)
As shown in FIG. 1, the camera 10 captures an image of the operator's hand 80 from below, and image data that is image information in a plane orthogonal to the optical axis direction (Z-axis direction) of the camera 10 is displayed in the frame image 100. Are output to the control unit 30 at a predetermined frame period. The frame image 100 is a frame image including a background 110 as shown in FIG. As shown in FIG. 2, the frame image 100 outputs the frame image S (n) of the nth frame at a certain time to the control unit 30.
なお、後述する図３（ｂ）に示すような背景画像のみを予め撮像し、このフレーム画像Ｓ（０）を背景画像とする。 Note that only a background image as shown in FIG. 3B to be described later is captured in advance, and this frame image S (0) is used as the background image.
（照明２０）
また、図１、２に示すように、制御部３０には、照明２０が接続されている。なお、照明は複数台が制御部３０に接続されていてもよい。図１に示すように、照明２０は、カメラ１０の撮像範囲（画角）をカバーする範囲に赤外光を照射して撮像対象物を照明する。
(Lighting 20)
As shown in FIGS. 1 and 2, a lighting unit 20 is connected to the control unit 30. Note that a plurality of lights may be connected to the control unit 30. As shown in FIG. 1, the illumination 20 illuminates the imaging target by irradiating infrared light onto a range that covers the imaging range (angle of view) of the camera 10.
（制御部３０の構成）
図２に示すように、制御部３０には、１台のカメラ１０が接続されている。また、制御部３０には、照明２０が接続されている。
(Configuration of control unit 30)
As shown in FIG. 2, one camera 10 is connected to the control unit 30. In addition, the illumination unit 20 is connected to the control unit 30.
制御部３０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部３０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。 The control unit 30 includes, for example, a CPU (Central Processing Unit) that performs operations and processing on acquired data according to a stored program, a RAM (Random Access Memory) that is a semiconductor memory, a ROM (Read Only Memory), and the like. Microcomputer. For example, a program for operating the control unit 30 is stored in the ROM. For example, the RAM is used as a storage area for storing a plurality of pieces of image information, temporary calculation results, and the like. In addition, the control unit 30 has a means for generating a clock signal therein, and executes processing based on the clock signal.
制御部３０は、画像処理部３１、重心検出部３２、輝度検出部３３、サイズ検出部３４、および動作識別部３５を備えている。 The control unit 30 includes an image processing unit 31, a centroid detection unit 32, a luminance detection unit 33, a size detection unit 34, and an operation identification unit 35.
（画像処理部３１）
画像処理部３１は、カメラ１０から入力される各フレーム画像Ｓ（ｎ）を後工程の重心検出、輝度検出、サイズ検出等を行なうために、背景除去、２値化処理等の画像処理を予め実行するための前工程である。
(Image processing unit 31)
The image processing unit 31 performs image processing such as background removal and binarization in advance in order to perform post-process centroid detection, luminance detection, size detection, and the like for each frame image S (n) input from the camera 10. It is the pre-process for performing.
図３（ａ）は、図１のＡ矢視による撮像画面の一例を示すフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、図１のＡ矢視による撮像画面の背景画像の一例を示すフレーム画像Ｓ（０）である。この背景画像であるフレーム画像Ｓ（０）は、差分画像の算出処理の基準画像となるので、時間により変化しない画像であることが好ましい。 FIG. 3A is a frame image S (n) showing an example of an imaging screen viewed from the arrow A in FIG. 1, and FIG. 3B is an example of a background image of the imaging screen viewed from the arrow A in FIG. Is a frame image S (0) showing The frame image S (0), which is the background image, is a reference image for the difference image calculation process, and is preferably an image that does not change with time.
図４（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去したフレーム画像Ｓ１（ｎ）である。すなわち、フレーム画像Ｓ１（ｎ）は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）から背景のみを撮像したフレーム画像Ｓ（０）を差し引いて算出される。 FIG. 4A shows a frame image S 1 (n) obtained by removing the frame image S (0) as the background image from the captured frame image S (n). That is, the frame image S 1 (n) is calculated by subtracting the frame image S (0) obtained by capturing only the background from the frame image S (n) input from the camera 10.
（重心検出部３２）
重心検出部３２は、背景除去されたフレーム画像Ｓ１（ｎ）に基づいて、重心Ｇの位置を算出することにより検出する。重心Ｇの位置のＸ座標は、図４（ａ）の中の数値の平均値である。平均値は、手８０が存在する画素のＸ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。同様にして、重心Ｇの位置のＹ座標は、図４（ａ）の中の数値の平均値である。平均値は、手８０が存在する画素のＹ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。図４（ａ）に示すように、フレーム画像Ｓ１（ｎ）の左下に原点をとり、右方向をＸ、上方向をＹとして、上記説明した重心計算により、重心Ｇ（ｘ、ｙ）を算出する。
(Centroid detection unit 32)
The centroid detection unit 32 detects the position of the centroid G by calculating the position of the centroid G based on the frame image S 1 (n) with the background removed. The X coordinate of the position of the center of gravity G is an average value of the numerical values in FIG. The average value can be calculated by dividing the sum of the X coordinate values of the pixels where the hand 80 is present by the number of pixels where the hand 80 is present. Similarly, the Y coordinate of the position of the center of gravity G is the average value of the numerical values in FIG. The average value can be calculated by dividing the sum of the Y coordinate values of the pixels where the hand 80 is present by the number of pixels where the hand 80 is present. As shown in FIG. 4A, the center of gravity G (x, y) is calculated by the center of gravity calculation described above, with the origin at the lower left of the frame image S 1 (n), the right direction as X, and the upper direction as Y. calculate.
なお、図１のＡ矢視による図４（ａ）のフレーム画像Ｓ１（ｎ）は、右方向がＸ方向、前方向がＹ方向、上方向がＺ方向となる。 Note that the frame image S 1 (n) in FIG. 4A as viewed in the direction of arrow A in FIG. 1 is the X direction in the right direction, the Y direction in the forward direction, and the Z direction in the upward direction.
（輝度検出部３３）
輝度検出部３３は、背景除去されたフレーム画像Ｓ１（ｎ）に基づいて、輝度検出を行なう。本実施の形態では、図１に示すように、操作者の手８０に対してカメラ１０の側から照明２０を当てている。したがって、撮像された図４（ａ）で示すフレーム画像Ｓ１（ｎ）は、掌部分の輝度が高く、背景部分は輝度が低い。
(Luminance detection unit 33)
The luminance detection unit 33 performs luminance detection based on the frame image S 1 (n) with the background removed. In the present embodiment, as shown in FIG. 1, the illumination 20 is applied to the operator's hand 80 from the camera 10 side. Therefore, the captured frame image S 1 (n) shown in FIG. 4A has high palm portion brightness and low background portion brightness.
ここで、図４（ｂ）は、撮像対象物である手がＺ方向(上方向)へ移動した場合の次のフレームのフレーム画像Ｓ１（ｎ＋１）である。時間と共に操作者の手８０がＺ方向(上方向)へ移動している場合には、後のフレーム画像では操作者の手８０が小さく撮像される。したがって、操作者の手８０の輝度変化を検出できる。図１に示す構成の場合は、操作者の手８０がＺ方向(上方向)へ移動している場合の輝度変化は輝度が下がり、逆に、手８０が下方向へ移動している場合の輝度変化は輝度が上がる。 Here, FIG. 4B is a frame image S 1 (n + 1) of the next frame when the hand that is the imaging target moves in the Z direction (upward). When the operator's hand 80 is moving in the Z direction (upward) with time, the operator's hand 80 is captured small in the subsequent frame image. Therefore, a change in luminance of the operator's hand 80 can be detected. In the case of the configuration shown in FIG. 1, the luminance change when the operator's hand 80 moves in the Z direction (upward) decreases the luminance, and conversely, the hand 80 moves downward. The luminance change increases the luminance.
なお、例えば、図１に示すような構成において、操作者の手８０を下側から撮像し、照明を上からの自然光（外光）とすると、いわゆる逆光での撮像条件となる。このような場合は、操作者の手８０がＺ方向(上方向)へ移動している場合の輝度変化は輝度が上がり、逆に、手８０が下方向へ移動している場合の輝度変化は輝度が下がる。 For example, in the configuration as shown in FIG. 1, if the operator's hand 80 is imaged from below and the illumination is natural light (external light) from above, the imaging condition is so-called backlight. In such a case, the luminance change when the operator's hand 80 is moving in the Z direction (upward) increases the luminance, and conversely, the luminance change when the hand 80 is moving downward is The brightness decreases.
いずれの場合でも、撮像対象物の撮像方向、照明方向を予め設定することにより、撮像対象物である操作者の手８０のＺ方向(上又は下方向)への移動を輝度変化により検出できる。また、設定した撮像方向、照明方向により、検出した輝度変化から、操作者の手８０の移動方向(上又は下方向)を特定することができる。 In any case, by setting the imaging direction and illumination direction of the imaging object in advance, the movement of the operator's hand 80 that is the imaging object in the Z direction (up or down) can be detected by a change in luminance. Further, the moving direction (up or down direction) of the operator's hand 80 can be specified from the detected luminance change by the set imaging direction and illumination direction.
（サイズ検出部３４）
サイズ検出部３４は、背景除去され、２値化したフレーム画像Ｓ２（ｎ）に基づいて、サイズ検出を行なう。図５（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去して２値化したフレーム画像Ｓ２（ｎ）である。
(Size detector 34)
The size detection unit 34 performs size detection based on the frame image S 2 (n) obtained by removing the background and binarizing. FIG. 5A shows a frame image S 2 (n) that is binarized by removing the frame image S (0) that is the background image from the captured frame image S (n).
図１に示すように、操作者の手８０に対してカメラ１０の側から照明２０を当てると、撮像された図４（ａ）で示したフレーム画像Ｓ１（ｎ）は、掌部分の輝度が高く、背景部分は輝度が低い。サイズ検出部３４は、画像処理部３１により２値化して、図５（ａ）に示すようなフレーム画像Ｓ２（ｎ）を生成する。 As shown in FIG. 1, when the illumination 20 is applied to the operator's hand 80 from the camera 10 side, the captured frame image S 1 (n) shown in FIG. Is high and the brightness of the background is low. The size detection unit 34 binarizes the image processing unit 31 to generate a frame image S 2 (n) as shown in FIG.
サイズ検出部３４は、図５（ａ）に示すような２値化されたフレーム画像Ｓ２（ｎ）の手８０の領域の面積を算出することにより、手８０のサイズを検出することができる。すなわち、２値化されたフレーム画像Ｓ２（ｎ）の手８０の領域が１（Ｈｉｇｈ）、背景部分が０（Ｌｏｗ）であるとすると、フレーム画像Ｓ２（ｎ）の中の１（Ｈｉｇｈ）の部分の画素数をカウントすることにより、手８０のサイズを検出することができる。 The size detection unit 34 can detect the size of the hand 80 by calculating the area of the region of the hand 80 of the binarized frame image S 2 (n) as shown in FIG. . That is, if the region of the hand 80 of the binarized frame image S 2 (n) is 1 (High) and the background portion is 0 (Low), 1 (High) in the frame image S 2 (n) ), The size of the hand 80 can be detected.
ここで、図５（ｂ）は、撮像対象物である手８０がＺ方向(上方向)へ移動した場合の次のフレーム画像Ｓ２（ｎ＋１）である。時間と共に操作者の手８０がＺ方向(上方向)へ移動している場合には、後のフレーム画像では操作者の手８０が小さく撮像される。したがって、操作者の手８０のサイズ変化が検出できる。図１に示す構成の場合は、操作者の手８０がＺ方向(上方向)へ移動している場合のサイズ変化はサイズが小さくなり、逆に、手８０が下方向へ移動している場合のサイズ変化はサイズが大きくなる。 Here, FIG. 5B is the next frame image S 2 (n + 1) when the hand 80 that is the imaging target moves in the Z direction (upward). When the operator's hand 80 is moving in the Z direction (upward) with time, the operator's hand 80 is captured small in the subsequent frame image. Therefore, a change in the size of the operator's hand 80 can be detected. In the case of the configuration shown in FIG. 1, when the operator's hand 80 moves in the Z direction (upward), the size change becomes smaller, and conversely, the hand 80 moves downward. The size change increases the size.
（動作識別部３５）
図６は、手の位置がカメラ中心の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図７は、手の位置がカメラ中心から右側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図８は、手の位置がカメラ中心から左側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図９は、手の位置がカメラ中心から前方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。また、図１０は、手の位置がカメラ中心から後方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。なお、図１に示すように、右、左、前、後ろ、上、下の方向を設定する。
(Operation identification unit 35)
FIG. 6 is a correspondence table showing the relationship between the direction of hand movement, the position of the center of gravity, the brightness, and the size when the hand position is the camera center. FIG. 7 is a correspondence table showing the relationship between the hand movement direction and the gravity center position, brightness, and size when the hand position is on the right side from the camera center. FIG. 8 is a correspondence table showing the relationship between the hand movement direction and the gravity center position, brightness, and size when the hand position is on the left side from the camera center. FIG. 9 is a correspondence table showing the relationship between the movement direction of the hand and the position of the center of gravity, the luminance, and the size when the hand position is forward from the camera center. FIG. 10 is a correspondence table showing the relationship between the direction of hand movement, the position of the center of gravity, the brightness, and the size when the hand position is behind the camera center. As shown in FIG. 1, the directions of right, left, front, back, up and down are set.
重心検出部３２により検出された撮像対象物である操作者の手８０の重心位置Ｇ（ｘ、ｙ）、輝度検出部３３により検出された輝度変化、及び、サイズ検出部３４により検出されたサイズ変化に基づいて、手８０の動き、動作を識別することができる。 The center-of-gravity position G (x, y) of the operator's hand 80, which is the imaging object detected by the center-of-gravity detection unit 32, the luminance change detected by the luminance detection unit 33, and the size detected by the size detection unit 34 Based on the change, the movement and movement of the hand 80 can be identified.
（手８０の位置がカメラ中心の場合）
手８０の位置がカメラ中心であるＺ軸上で移動する場合は、図６で示す対応表のような変化を示す。手８０の位置がカメラ中心にある状態で、手８０が上方向に移動すると、手８０の重心位置は変化無く、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心にある状態で、手８０が下方向に移動すると、重心位置は変化無く、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
(When hand 80 is centered on camera)
When the position of the hand 80 moves on the Z axis, which is the center of the camera, the change shown in the correspondence table shown in FIG. 6 is shown. When the hand 80 moves upward with the position of the hand 80 at the center of the camera, the position of the center of gravity of the hand 80 does not change, the brightness decreases, and the size decreases. On the other hand, when the hand 80 is moved downward with the position of the hand 80 at the center of the camera, the position of the center of gravity does not change, the brightness increases, and the size increases. Further, when the hand 80 moves in the left direction, the position of the center of gravity moves to the left, and the luminance and size do not change. When the hand 80 moves to the right, the position of the center of gravity moves to the right, and the brightness and size remain unchanged. Further, when the hand 80 moves in the forward direction, the position of the center of gravity moves in the forward direction, and the luminance and the size remain unchanged. When the hand 80 moves backward, the position of the center of gravity moves backward, and the brightness and size remain unchanged.
（手８０の位置がカメラ中心から右側の場合）
手８０の位置がカメラ中心から右側で移動する場合は、図７で示す対応表のような変化を示す。手８０の位置がカメラ中心から右側にある状態で、手８０が上方向に移動すると、手８０の重心位置は左（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から右側にある状態で、手８０が下方向に移動すると、重心位置は右（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
(When the position of the hand 80 is on the right side from the camera center)
When the position of the hand 80 moves on the right side from the camera center, the change shown in the correspondence table shown in FIG. 7 is shown. If the hand 80 moves upward while the position of the hand 80 is on the right side from the camera center, the center of gravity of the hand 80 moves to the left (center), the brightness decreases, and the size decreases. On the other hand, when the hand 80 moves downward with the position of the hand 80 on the right side from the camera center, the position of the center of gravity moves to the right (outside), the brightness increases, and the size increases. Further, when the hand 80 moves in the left direction, the position of the center of gravity moves to the left, and the luminance and size do not change. When the hand 80 moves to the right, the position of the center of gravity moves to the right, and the brightness and size remain unchanged. Further, when the hand 80 moves in the forward direction, the position of the center of gravity moves in the forward direction, and the luminance and the size remain unchanged. When the hand 80 moves backward, the position of the center of gravity moves backward, and the brightness and size remain unchanged.
（手８０の位置がカメラ中心から左側の場合）
手８０の位置がカメラ中心から左側で移動する場合は、図８で示す対応表のような変化を示す。手８０の位置がカメラ中心から左側にある状態で、手８０が上方向に移動すると、手８０の重心位置は右（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から左側にある状態で、手８０が下方向に移動すると、重心位置は左（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
(When hand 80 is on the left side from the camera center)
When the position of the hand 80 moves on the left side from the camera center, the change shown in the correspondence table shown in FIG. 8 is shown. If the hand 80 moves upward while the position of the hand 80 is on the left side from the camera center, the center of gravity of the hand 80 moves to the right (center), the brightness decreases, and the size decreases. On the other hand, when the hand 80 moves downward with the position of the hand 80 on the left side from the center of the camera, the position of the center of gravity moves to the left (outside), the brightness increases, and the size increases. Further, when the hand 80 moves in the left direction, the position of the center of gravity moves to the left, and the luminance and size do not change. When the hand 80 moves to the right, the position of the center of gravity moves to the right, and the brightness and size remain unchanged. Further, when the hand 80 moves in the forward direction, the position of the center of gravity moves in the forward direction, and the luminance and the size remain unchanged. When the hand 80 moves backward, the position of the center of gravity moves backward, and the brightness and size remain unchanged.
（手８０の位置がカメラ中心から前方側の場合）
手８０の位置がカメラ中心から前方側で移動する場合は、図９で示す対応表のような変化を示す。手８０の位置がカメラ中心から前方側にある状態で、手８０が上方向に移動すると、手８０の重心位置は後ろ（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から前方側にある状態で、手８０が下方向に移動すると、重心位置は前（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
(When the position of the hand 80 is the front side from the camera center)
When the position of the hand 80 moves forward from the center of the camera, the change shown in the correspondence table shown in FIG. 9 is shown. If the hand 80 moves upward while the position of the hand 80 is on the front side from the camera center, the position of the center of gravity of the hand 80 moves toward the back (center), the brightness decreases, and the size decreases. On the other hand, when the hand 80 moves downward with the position of the hand 80 on the front side from the camera center, the center of gravity moves toward the front (outside), the brightness increases, and the size increases. Further, when the hand 80 moves in the left direction, the position of the center of gravity moves to the left, and the luminance and size do not change. When the hand 80 moves to the right, the position of the center of gravity moves to the right, and the brightness and size remain unchanged. Further, when the hand 80 moves in the forward direction, the position of the center of gravity moves in the forward direction, and the luminance and the size remain unchanged. When the hand 80 moves backward, the position of the center of gravity moves backward, and the brightness and size remain unchanged.
（手８０の位置がカメラ中心から後方側の場合）
手８０の位置がカメラ中心から後方側で移動する場合は、図１０で示す対応表のような変化を示す。手８０の位置がカメラ中心から後方側にある状態で、手８０が上方向に移動すると、手８０の重心位置は前（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から後方側にある状態で、手８０が下方向に移動すると、重心位置は後ろ（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
(When the position of the hand 80 is behind the camera center)
When the position of the hand 80 moves rearward from the center of the camera, a change like the correspondence table shown in FIG. 10 is shown. If the hand 80 moves upward while the position of the hand 80 is on the rear side from the camera center, the center of gravity of the hand 80 moves forward (center), the brightness decreases, and the size decreases. On the other hand, when the hand 80 moves downward with the position of the hand 80 on the rear side from the center of the camera, the position of the center of gravity moves toward the rear (outside), the brightness increases, and the size increases. Further, when the hand 80 moves in the left direction, the position of the center of gravity moves to the left, and the luminance and size do not change. When the hand 80 moves to the right, the position of the center of gravity moves to the right, and the brightness and size remain unchanged. Further, when the hand 80 moves in the forward direction, the position of the center of gravity moves in the forward direction, and the luminance and the size remain unchanged. When the hand 80 moves backward, the position of the center of gravity moves backward, and the brightness and size remain unchanged.
上記示した図６から図１０の対応表から、動作識別部３５は、撮像対象物である操作者の手８０の移動方向を検出できる。この検出は、手８０の位置がカメラ中心、カメラ中心から右側、左側、カメラ中心から前方、後方のいずれの位置であっても、可能である。 From the correspondence tables of FIGS. 6 to 10 described above, the motion identification unit 35 can detect the moving direction of the operator's hand 80 that is the imaging target. This detection is possible regardless of whether the position of the hand 80 is the camera center, the right side from the camera center, the left side, or the front or back position from the camera center.
動作識別部３５は、輝度変化を検出することにより、撮像対象物である操作者の手８０が上又は下方向に移動したことを検出できる。 The motion identification unit 35 can detect that the operator's hand 80 that is the imaging target has moved upward or downward by detecting a change in luminance.
動作識別部３５は、サイズ変化を検出することにより、撮像対象物である操作者の手８０が上又は下方向に移動したことを検出できる。 The motion identification unit 35 can detect that the operator's hand 80 that is the imaging target has moved upward or downward by detecting a change in size.
動作識別部３５は、撮像対象物である操作者の手８０の重心位置が、左、右、前、後ろへの変化を検出することにより、それぞれ、左、右、前、後ろへの変化を検出することができる。 The motion identification unit 35 detects changes in the center of gravity of the operator's hand 80, which is the imaging object, to the left, right, front, and back, thereby changing the left, right, front, and back, respectively. Can be detected.
（手８０が回転を伴って動く場合）
図１１は、図１のＡ矢視による撮像画面で手８０の掌８１が下向きから右向きへ回転した場合の撮像画面の一例である。一例として、掌８１が下向きから右向きへ手が回転する場合、輝度は上がり、サイズは小さくなるので、輝度が上がってサイズが大きくなる下方への移動と区別することが可能となる。
(When hand 80 moves with rotation)
FIG. 11 is an example of an imaging screen when the palm 81 of the hand 80 is rotated from the downward direction to the right side on the imaging screen as viewed in the direction of arrow A in FIG. As an example, when the hand 81 rotates from the downward direction to the right direction, the luminance increases and the size decreases, so that it can be distinguished from a downward movement in which the luminance increases and the size increases.
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、操作者の手８０の輝度変化又はサイズ変化により操作者の手８０の所定の方向における変化量を検出する制御部３０と、を有して構成されている。操作者の手８０の輝度変化とサイズ変化の情報を組み合わせて手８０の動きを検出するので、カメラが１台である単眼システムであっても、カメラの光軸方向の変化量も検出が可能となる。
（２）カメラの光軸方向の移動検出が可能となることから、単眼カメラシステムにより、３軸（３次元）の動きを認識することが可能となる。
（３）単眼カメラシステムであるので、ステレオカメラやＴＯＦカメラに比べて安価に画像認識装置を構成することが可能となる。
（４）輝度変化だけではなくサイズ変化とのアンド条件とすることで、外乱光の影響を抑制することが可能となる。
（５）輝度変化だけではなくサイズ変化とのアンド条件とすることで、手ブレ（回転）の影響を抑制することが可能となる。
（６）上記のような操作者の手８０の移動検出が可能となるので、制御部３０は、単眼カメラシステムによる３軸（３次元）でのジェスチャー動作（例えば、はらい動作等）の動作認識が可能となる。
(Effect of embodiment)
The embodiment of the present invention has the following effects.
(1) An image recognition apparatus 1 according to an embodiment of the present invention includes a camera 10 as an imaging unit that images an operator's hand 80 that is an imaging target from a predetermined direction, and a predetermined image captured by the camera 10. And a control unit 30 for detecting a change amount of the operator's hand 80 in a predetermined direction based on a change in brightness or a size of the operator's hand 80 based on image information in a plane orthogonal to the direction of the operator's hand. It is configured. Since the movement of the hand 80 is detected by combining the brightness change and size change information of the operator's hand 80, even the monocular system with one camera can detect the amount of change in the optical axis direction of the camera. It becomes.
(2) Since it is possible to detect the movement of the camera in the optical axis direction, it is possible to recognize three-axis (three-dimensional) movement by the monocular camera system.
(3) Since it is a monocular camera system, it is possible to configure an image recognition apparatus at a lower cost than a stereo camera or a TOF camera.
(4) By using an AND condition with not only the luminance change but also the size change, the influence of ambient light can be suppressed.
(5) By using an AND condition with not only luminance change but also size change, it is possible to suppress the influence of camera shake (rotation).
(6) Since it is possible to detect the movement of the operator's hand 80 as described above, the control unit 30 recognizes the motion of the gesture operation (for example, the recognizing operation) in three axes (three dimensions) by the monocular camera system. Is possible.
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although some embodiment and modification of this invention were demonstrated, these embodiment and modification are only examples, and do not limit the invention based on a claim. These novel embodiments and modifications can be implemented in various other forms, and various omissions, replacements, changes, and the like can be made without departing from the scope of the present invention. it can. In addition, not all combinations of features described in these embodiments and modifications are necessarily essential to the means for solving the problems of the invention. Furthermore, these embodiments and modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１…画像認識装置
１０…カメラ
２０…照明
３０…制御部
３１…画像処理部
３２…重心検出部
３３…輝度検出部
３４…サイズ検出部
３５…動作識別部
６０…撮像範囲
８０…手
８１…掌
１００…フレーム画像
１１０…背景
Ｇ…重心
Ｓ（０）、Ｓ１（ｎ）、Ｓ２（ｎ）…フレーム画像
DESCRIPTION OF SYMBOLS 1 ... Image recognition apparatus 10 ... Camera 20 ... Illumination 30 ... Control part 31 ... Image processing part 32 ... Gravity center detection part 33 ... Luminance detection part 34 ... Size detection part 35 ... Motion identification part 60 ... Imaging range 80 ... Hand 81 ... Palm 100 ... frame image 110 ... background G ... centroid S (0), S 1 ( n), S 2 (n) ... frame image
Claims (3)
前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の輝度変化又はサイズ変化により前記撮像対象物の前記所定の方向における変化量を検出する制御部と、
を有することを特徴とする画像認識装置。 Imaging means for imaging an imaging object from a predetermined direction;
Control for detecting a change amount of the imaging object in the predetermined direction based on a change in luminance or size of the imaging object based on image information in a plane orthogonal to the predetermined direction imaged by the imaging means. And
An image recognition apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016105247A JP2017211302A (en) | 2016-05-26 | 2016-05-26 | Image recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016105247A JP2017211302A (en) | 2016-05-26 | 2016-05-26 | Image recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017211302A true JP2017211302A (en) | 2017-11-30 |
Family
ID=60475465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016105247A Pending JP2017211302A (en) | 2016-05-26 | 2016-05-26 | Image recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017211302A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117122262A (en) * | 2023-04-11 | 2023-11-28 | 深圳信息职业技术学院 | Positioning method for endoscope acquired image and endoscope system |
-
2016
- 2016-05-26 JP JP2016105247A patent/JP2017211302A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117122262A (en) * | 2023-04-11 | 2023-11-28 | 深圳信息职业技术学院 | Positioning method for endoscope acquired image and endoscope system |
| CN117122262B (en) * | 2023-04-11 | 2024-08-02 | 深圳信息职业技术学院 | Positioning method for endoscope acquired image and endoscope system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6070833B2 (en) | Input device and input program | |
| JP2012118698A (en) | Image processing system | |
| US11141557B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR20170056860A (en) | Method of generating image and apparatus thereof | |
| US9041776B2 (en) | 3-dimensional depth image generating system and method thereof | |
| US10212330B2 (en) | Autofocusing a macro object by an imaging device | |
| JP5342413B2 (en) | Image processing method | |
| US10574904B2 (en) | Imaging method and electronic device thereof | |
| WO2012042580A1 (en) | Line-of-sight estimation device | |
| JP2014137762A (en) | Object detector | |
| US12025719B2 (en) | Determining imperfections in an imaging camera for determining the orientation of objects in space | |
| JP2018156408A (en) | Image recognizing and capturing apparatus | |
| JP2013542528A (en) | Night scene image blur detection system | |
| JP6657024B2 (en) | Gesture judgment device | |
| TWI590099B (en) | Interaction system and motion detection method | |
| JP2017211302A (en) | Image recognition device | |
| US10965877B2 (en) | Image generating method and electronic apparatus | |
| US10416814B2 (en) | Information processing apparatus to display an image on a flat surface, method of controlling the same, and storage medium | |
| CN110021044B (en) | Method for calculating coordinates of shot object by using double-fisheye image and image acquisition device | |
| JP2018010538A (en) | Image recognition device | |
| JP2017204183A (en) | Image recognition device | |
| TW201642008A (en) | Image capturing device and dynamic focus method thereof | |
| JP2018010539A (en) | Image recognition device | |
| US20240205543A1 (en) | Imaging device and imaging method | |
| JP2018132986A (en) | Image recognition apparatus |