JP2014092886A - Image processor, program, and method - Google Patents
Image processor, program, and method Download PDFInfo
- Publication number
- JP2014092886A JP2014092886A JP2012242243A JP2012242243A JP2014092886A JP 2014092886 A JP2014092886 A JP 2014092886A JP 2012242243 A JP2012242243 A JP 2012242243A JP 2012242243 A JP2012242243 A JP 2012242243A JP 2014092886 A JP2014092886 A JP 2014092886A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- human body
- orientation
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 42
- 238000003672 processing method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 10
- 238000003708 edge detection Methods 0.000 description 4
- 230000005021 gait Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本明細書で議論される実施態様は、画像処理装置、プログラム、及び方法に関する。 The embodiments discussed herein relate to an image processing device, a program, and a method.
防犯カメラを用いて、犯罪の抑止をするために犯罪の瞬間や証拠を記録、監視するだけでなく、事件が起きた際、その周辺の防犯カメラの画像を確認し、不審者がいないか捜索する技術が知られている。 In addition to recording and monitoring crime moments and evidence to prevent crime using a security camera, when an incident occurs, check the surrounding security camera images and search for suspicious individuals. The technology to do is known.
例えば、多数のカメラ画像を用いた人の追跡システムは、セキュリティに使用された場合、それぞれ異なる場所で撮影された映像を利用して、検出した人の移動ルートを示すことで、犯罪捜査に役に立つことができる。視野の重なりがない異なる場所に設置した複数カメラを用いて人を自動的に追跡するためには、異なるカメラ画像から同一人物を同定することが好ましい。 For example, a human tracking system using a large number of camera images, when used for security, is useful for criminal investigations by showing the moving route of a detected person using images taken at different locations. be able to. In order to automatically track a person using a plurality of cameras installed at different places where there is no overlap in the field of view, it is preferable to identify the same person from different camera images.
例えば、監視カメラが取得をした画像の中から同一人物を抽出し、同一人物か否かの同定を人物画像における画像の特徴量の近似から判断する際、ある同一人物の画像の特徴量は、正面を向いている時と側面を向いている時などのように、その人物が向いている方向により大きく変わる。そこで、同じ方向を向いている時の画像について、特徴量から同一人物か否かを判断することが好ましい。そのため、人物画像がどの向きを向いているかを自動的に判断することが好ましい。 For example, when extracting the same person from the images acquired by the surveillance camera and determining whether the person is the same person from the approximation of the feature quantity of the image in the person image, the feature quantity of the image of the same person is: It varies greatly depending on the direction the person is facing, such as when facing the front and when facing the side. Therefore, it is preferable to determine whether or not the images are facing the same direction based on the feature amount. Therefore, it is preferable to automatically determine which direction the person image is facing.
人物画像の向きを推定する技術として、例えば、動画像の連続するフレームにおいて、体の各ブロックの動きから、人体の向きを判断する技術が知られている。
また、同一人物の同定手法としては、顔、歩容情報や形状特徴などを用いた認証方法が提案されている。しかし、顔認証は人が後ろを向いている場合は適用できない。また、歩容情報を用いた方法も、人同士の重なりで遮蔽される可能性が高いため適用できない場合がある。そのため、人の画像特徴を用いて同定する技術が知られている（例えば、非特許文献１参照）。
As a technique for estimating the orientation of a person image, for example, a technique for determining the orientation of a human body from the motion of each block of the body in successive frames of a moving image is known.
As a method for identifying the same person, an authentication method using face, gait information, shape features, and the like has been proposed. However, face recognition cannot be applied when a person is facing backwards. In addition, the method using gait information may not be applicable because it is highly likely that the gait information is shielded by overlapping people. For this reason, a technique for performing identification using human image features is known (for example, see Non-Patent Document 1).
また、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する技術が知られている（例えば、特許文献１参照）。例えば、レントゲン写真が正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かの判断において、中心線から左右が対称か否かで判断をする技術が知られている。 In addition, there is known a technique for determining whether a center line of an image is symmetric or asymmetric and whether it is a front surface or a side surface in one image (see, for example, Patent Document 1). For example, there is known a technique for determining whether a radiograph is a front-facing radiograph or a lateral X-ray photo by determining whether left and right are symmetrical from the center line.
また、顔画像と非顔画像とを識別ずる技術が知られている（例えば、特許文献２参照）。
また、１枚の画像で、人体を表現する複数のパーツに対応するテンプレートを作成し、分割領域との類似度を計算することで人体の向きを推定する技術が知られている（例えば、非特許文献２参照）。
In addition, a technique for discriminating between a face image and a non-face image is known (for example, see Patent Document 2).
In addition, a technique is known in which a template corresponding to a plurality of parts representing a human body is created from a single image, and the orientation of the human body is estimated by calculating the similarity with a divided region (for example, non-images). Patent Document 2).
しかしながら、監視カメラが取得した画像から、同一人物の同定をしたいという状況は、撮影中のリアルタイムよりも、後刻に要求されることが多い。例えば、犯罪現場から立ち去った人物がどこに立ち去ったかの確認などに用いられる場合がある。そのため、人の画像特徴を用いて同定する方法では、人体の向きの違いによって画像上の映り方が異なるため、同一の人物の同定は非常に難しくなるという問題がある。 However, the situation in which it is desired to identify the same person from the images acquired by the surveillance camera is often requested later than in real time during shooting. For example, it may be used to confirm where a person who has left the crime scene has left. For this reason, in the method of identifying using human image features, there is a problem that it is very difficult to identify the same person because the way the image is reflected differs depending on the orientation of the human body.
また、監視カメラの画像は、その保管用の装置の容量の都合から、撮影時のデータをすべて記録しているのではなく、例えば１秒１フレームなどに大きく間引きをしてデータを格納している。そのため、前後のフレームにおける体のブロックの動きから、体がどこを向いているのかの判断ができない。そこで、動画像から、検出された人の位置を連続フレームで観測し移動方向を求める方法では、人体の向きを推定することが可能だが、人が立ち止まっている場合や、蓄積された不連続の画像を処理する場合は適用できないという問題がある。 In addition, because of the capacity of the storage device, the surveillance camera image is not recorded all of the data at the time of shooting, but is stored by thinning it out, for example, at 1 frame per second. Yes. For this reason, it is impossible to determine where the body is facing from the movement of the body blocks in the preceding and following frames. Therefore, the method of observing the position of a detected person from a moving image in a continuous frame and determining the direction of movement can estimate the direction of the human body, but when the person is stationary or accumulated discontinuous There is a problem that it cannot be applied when processing an image.
更に、長期間に渡って映像を蓄積するには、膨大な容量が必要になるため、不連続な画像を保存することが現実的・経済的である。
また、実環境で人体を表現する各パーツの領域を抽出しにくい場面では、非特許文献２による人体の向きの推定が困難であるという問題がある。
Furthermore, storing a video over a long period of time requires an enormous capacity, so it is practical and economical to store discontinuous images.
Further, there is a problem that it is difficult to estimate the orientation of the human body according to Non-Patent Document 2 in a scene where it is difficult to extract the region of each part that represents the human body in a real environment.
また、レントゲン写真などにおいて、中心線から左右が対称か否かで、正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かを判断する方法を用いる場合、正面か側面かの判断しかできない。監視カメラに映る人の画像は、正面あるいは側面以外に斜めからの画像も多い。そのような画像に、正面あるいは側面の時にしか向きを判断できない方法を用いて向きの判断を行う場合、正面あるいは側面の時の画像の数が判断可能な数だけ揃わないことがあり、同一人物の同定が行えないという問題がある。 In addition, in a radiograph or the like, when using a method for determining whether the X-ray is a front-side X-ray or a side-to-side X-ray, depending on whether left and right are symmetrical with respect to the center line, only the front or side can be determined. There are many images of people appearing on the surveillance camera from an angle other than the front or side. When determining the orientation of such images using a method that can determine the orientation only at the front or side, the number of images at the front or side may not be the same as the number that can be determined. There is a problem that it cannot be identified.
つまり、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する方法では、例えば斜め方向については判定が困難である。人体の向きは正面、横、斜め方向によって見え方が大きく変わるため、少なくとも画像から検出された人の８方向の人体の向きを推定することが望ましい。 That is, it is difficult to determine, for example, an oblique direction by a method of determining whether the center line of the image is symmetrical or asymmetrical and whether it is the front or the side in one image. Since the appearance of the human body varies greatly depending on the front, side, and diagonal directions, it is desirable to estimate at least the eight human body directions detected from the image.
１つの側面において、本発明は、１枚の画像において対象人物の人体の向きを容易に推定することを目的とする。 In one aspect, an object of the present invention is to easily estimate the orientation of a human body of a target person in one image.
本明細書で後述する人体の向きを推定するための画像処理装置に、検出部と、画像特徴算出部と、記憶部と、判定部とを備えているというものがある。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを求める。 Some image processing apparatuses for estimating the orientation of a human body described later in this specification include a detection unit, an image feature calculation unit, a storage unit, and a determination unit. Here, a detection part calculates | requires the outline of the area | region around a person's shoulder detected from the image. The image feature calculation unit calculates the image feature from the contour line obtained by the detection unit. The storage unit stores information indicating a correspondence relationship between the image feature and the orientation of the human body. The determination unit obtains the orientation of the human body from the image feature calculated by the image feature calculation unit based on the information indicating the correspondence relationship.
本明細書で後述する人体の向きを推定するための画像処理装置は、１枚の画像において対象人物の人体の向きを容易に推定することができる。 The image processing apparatus for estimating the orientation of the human body described later in this specification can easily estimate the orientation of the human body of the target person in one image.
以下、図面を参照しながら、実施形態を詳細に説明する。
発明者らは、撮影をした人物画像で、肩の部分の中心線と、体の中心線との角度の差が、体の向きと一定の間隔を有することを見出した。そこで、向きを判断すべき人物画像について、肩の部分の中心線と体の中心線との角度の差を求めて、体の向きとの関連付けから体の向きを判定することで、課題が解決されることを見出した。
Hereinafter, embodiments will be described in detail with reference to the drawings.
The inventors have found that the difference in angle between the center line of the shoulder portion and the center line of the body has a certain distance from the body direction in the photographed human image. Therefore, for the person image whose orientation is to be determined, the problem is solved by determining the angle of the shoulder centerline and the body centerline and determining the body orientation from the association with the body orientation. I found out that
本実施形態に係る人体の向きを推定するための画像処理装置は、検出部と、画像特徴算出部と、記憶部と、判定部とを備えている。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを推定する。 An image processing apparatus for estimating the orientation of a human body according to the present embodiment includes a detection unit, an image feature calculation unit, a storage unit, and a determination unit. Here, a detection part calculates | requires the outline of the area | region around a person's shoulder detected from the image. The image feature calculation unit calculates the image feature from the contour line obtained by the detection unit. The storage unit stores information indicating a correspondence relationship between the image feature and the orientation of the human body. The determination unit estimates the orientation of the human body from the image feature calculated by the image feature calculation unit based on the information indicating the correspondence relationship.
更に、画像特徴算出部は、肩輪郭の角度算出部と、肩の傾き算出部と、顔領域の判定部とを備えている。肩輪郭の角度算出部は、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。肩の傾き算出部は、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。顔領域の判定部は、頭部に顔を含むか否かを判定する。 The image feature calculation unit further includes a shoulder contour angle calculation unit, a shoulder inclination calculation unit, and a face region determination unit. The shoulder contour angle calculation unit calculates a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder. The shoulder inclination calculation unit compares the first angle and the second angle, and determines whether or not the angle obtained by combining the first angle and the second angle is greater than a predetermined threshold. The face area determination unit determines whether or not the head includes a face.
更に、肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、顔領域の判定部は、頭部のエッジ量を求め、画像特徴算出部は、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。 Further, the shoulder contour angle calculation unit obtains two straight lines passing through the left and right contour lines with the head at the center, and calculates the angles formed by the two straight lines and the center line as the first angle and the second angle, respectively. Then, the face area determination unit obtains the edge amount of the head, and the image feature calculation unit includes a logical relationship between the magnitude of the angle formed by the two straight lines, and the magnitude of the first angle and the second angle, The direction of the face can be determined from the edge amount of the head.
図１は、本実施形態に係る人体の向きを推定するための画像処理装置１０の構成の概要を示す。人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続可能であり、画像入力部１０４、検出部１０６、画像特徴算出部１０８、記憶部１０９、判定部１１０、及び出力部１１２を備える。 FIG. 1 shows an outline of the configuration of an image processing apparatus 10 for estimating the orientation of a human body according to this embodiment. The image processing apparatus 10 for estimating the orientation of the human body can be connected to the camera 102, and includes an image input unit 104, a detection unit 106, an image feature calculation unit 108, a storage unit 109, a determination unit 110, and an output unit 112. Prepare.
検出部１０６は、移動体検出部１０６２と、頭部及び肩領域検出部１０６４とを含む。
画像特徴算出部１０８は、肩輪郭の角度算出部１０８２、肩の傾き算出部１０８４、及び、顔領域の判定部１０８６を含む。
The detection unit 106 includes a moving body detection unit 1062 and a head and shoulder region detection unit 1064.
The image feature calculation unit 108 includes a shoulder contour angle calculation unit 1082, a shoulder inclination calculation unit 1084, and a face area determination unit 1086.
まず、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。以下、画像の画像データを、単に画像と省略する。 First, the image input unit 104 acquires image data obtained by converting an image captured by the camera 102 into an electrical signal. Further, the image processing apparatus 10 for estimating the orientation of the human body can also acquire image data from a server on the cloud without being connected to the camera 102. Hereinafter, image data of an image is simply abbreviated as an image.
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。 The camera 102 may be connected to the image processing apparatus 10 for estimating the orientation of the human body via a network, or may be directly connected to the image processing apparatus 10 for estimating the orientation of the human body.
検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。 The detection unit 106 receives the image acquired by the image input unit 104 and performs the following preprocessing. First, the moving body detection unit 1062 detects a target person from the input image acquired by the image input unit 104. Subsequently, the head and shoulder region detection unit 1064 selects a region corresponding to the head and shoulder portions of the target person in the detected image region of the target person, and detects a contour line.
次に、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求め、二つの直線と中心角がなす角度の大きさを比較する。続いて、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。 Next, the image feature calculation unit 108 receives the image pre-processed by the detection unit 106 and calculates the feature of the image. First, the shoulder contour angle calculation unit 1082 obtains left and right straight lines that approximate the contour line around the shoulder, and compares the angles formed by the two straight lines and the central angle. Subsequently, the shoulder inclination calculation unit 1084 obtains an angle formed by the two straight lines. Further, the face area determination unit 1086 determines whether or not the head edge image includes a face. For example, an edge histogram of the head may be obtained to determine whether the face is forward or backward.
また、記憶部１０９は、図６に示すような画像特徴と人体の向きとの対応関係を示す情報が記憶されている。図６については、後で詳細に述べる。 Further, the storage unit 109 stores information indicating the correspondence between the image feature and the human body orientation as shown in FIG. FIG. 6 will be described in detail later.
最後に、判定部１１０は、記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。出力部１１２は、判定部１１０が推定した結果を出力する。 Finally, the determination unit 110 uses the image feature calculated by the image feature calculation unit 108 based on the information (see FIG. 6) indicating the correspondence relationship between the image feature stored in the storage unit 109 and the orientation of the human body. Estimate the orientation of the human body. The output unit 112 outputs the result estimated by the determination unit 110.
このようにして、本実施形態に係る人体の向きを推定するための画像処理装置１０は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。 In this way, the image processing apparatus 10 for estimating the orientation of the human body according to the present embodiment uses the image features that are not affected by the movements of the hands and feet of the target person, and the shoulder of the target person in one image. The direction of the human body can be estimated from the region. In addition, by acquiring human characteristics for each human body direction, it is possible to provide characteristic information effective for identifying the same person. Further, by extracting different person image features for each human body direction, the same person can be identified in different camera images.
以下に、人体の向きについて詳細に説明する。
まず、図２Ａ〜図２Ｃを参照しながら、人体の向きの定義について説明する。図２Ａは、人の体がＹ軸周りに左右に傾く状態を示す図であり、図２Ｂは、人の体がＸ軸周りに前後に傾く状態を示す図であり、図２Ｃは、人の体がＺ軸周りに回転する状態を示す図である。ここで、人体の向きとは、図２Ｃに示すように、人の体がＺ軸周りに回転している方向を指す。
Hereinafter, the orientation of the human body will be described in detail.
First, the definition of the orientation of the human body will be described with reference to FIGS. 2A to 2C. 2A is a diagram illustrating a state in which the human body is tilted left and right around the Y axis, FIG. 2B is a diagram illustrating a state in which the human body is tilted back and forth around the X axis, and FIG. It is a figure which shows the state which a body rotates around a Z-axis. Here, the orientation of the human body refers to the direction in which the human body rotates around the Z axis, as shown in FIG. 2C.
続いて、図３Ａ〜図３Ｃを参照しながら、人体の向きによる異なる特徴について説明する。図３Ａは、正面向きを示す図であり、図３Ｂは、横向きを示す図であり、図３Ｃは、斜め向きを示す図である。図３Ａ〜図３Ｃに示されるように、人はこのような人体の向きの違いによって、体の各部における形状、すなわち角度、長さ、幅等のそれぞれ異なる特徴がある。 Next, different features depending on the orientation of the human body will be described with reference to FIGS. 3A to 3C. FIG. 3A is a diagram showing a front orientation, FIG. 3B is a diagram showing a landscape orientation, and FIG. 3C is a diagram showing an oblique orientation. As shown in FIG. 3A to FIG. 3C, a person has different characteristics such as a shape in each part of the body, that is, an angle, a length, a width, and the like depending on the difference in the orientation of the human body.
次に、図４を参照しながら、人体の向きの８方向定義について説明する。地面をＸ軸とＹ軸でなる平面とみなし、人の胴体をＺ軸に平行であるとみなす。このとき、Ｙ軸の正方向を０度とし、４５度刻みに時計回りで8方向を人体の向きと定義する。 Next, the eight-direction definition of the human body direction will be described with reference to FIG. The ground is regarded as a plane composed of the X axis and the Y axis, and the human torso is regarded as being parallel to the Z axis. At this time, the positive direction of the Y-axis is defined as 0 degree, and eight directions are defined as the direction of the human body clockwise in increments of 45 degrees.
続いて、図５〜図７Ｃを参照しながら、人体の向き推定に有効な特徴について説明する。
まず、１枚の画像から検出された人体の向きを推定するためには、画像から得られる特徴パターンと人体の向きが１対１で対応する必要がある。そこで、人体の向き推定には以下の条件を同時に満たすことが考えられる。
＜条件１＞人体の向きの違いによって、異なるパターン情報が得られる。
＜条件２＞人体の向きを一意的に表すパターンは、人の手や足の動きで影響を受けにくい。
Next, features effective for estimating the orientation of the human body will be described with reference to FIGS.
First, in order to estimate the orientation of the human body detected from one image, it is necessary to have a one-to-one correspondence between the feature pattern obtained from the image and the orientation of the human body. Therefore, it is conceivable that the following conditions are simultaneously satisfied for estimating the human body orientation.
<Condition 1> Different pattern information is obtained depending on the direction of the human body.
<Condition 2> A pattern that uniquely represents the orientation of a human body is not easily affected by the movement of a person's hand or foot.
図５は、人体の向きの推定に有効な情報の比較を示す表である。全身または上半身の領域部分は、条件１を満たすものの、手や足の動きで画像上写りのパターンが不特定に変化するため条件２は満たさない。肩以上の部分は、人の足や手の動きによって影響を受けにくいことから、条件１と２を満たす。また、肩以上の部分は、監視カメラなどを用いた場合に遮蔽される確率が低く最も安定して撮像される確率が高い。 FIG. 5 is a table showing comparison of information effective for estimating the orientation of the human body. The whole body or upper body region portion satisfies the condition 1, but does not satisfy the condition 2 because the pattern of the projected image changes indefinitely due to the movement of the hand or foot. Since the portion above the shoulder is not easily affected by the movement of a person's foot or hand, the conditions 1 and 2 are satisfied. In addition, the portion above the shoulder has a low probability of being shielded when a surveillance camera or the like is used, and the probability of being most stably imaged is high.
図６Ａ〜図７Ｃに、人体の向きの推定に有効な特徴を示す。図６Ａ〜図６Ｃは、胴体の場合を示す図である。図６Ａは、胴体の場合の体全体を示す図であり、図６Ｂは、胴体の場合の上半身を示す図であり、図６Ｃは、胴体の場合の肩周り部分を示す図である。図７Ａ〜図７Ｃは輪郭の場合を示す図であり、それぞれ図６Ａ〜図６Ｃに対応している。図７Ａは、輪郭の場合の体全体を示す図であり、図７Ｂは、輪郭の場合の上半身を示す図であり、図７Ｃは、輪郭の場合の肩周り部分を示す図である。 FIGS. 6A to 7C show features effective for estimating the orientation of the human body. 6A to 6C are diagrams showing the case of the trunk. 6A is a diagram illustrating the entire body in the case of a torso, FIG. 6B is a diagram illustrating the upper body in the case of the torso, and FIG. 6C is a diagram illustrating a portion around the shoulder in the case of the torso. FIG. 7A to FIG. 7C are diagrams showing cases of contours, and correspond to FIG. 6A to FIG. 6C, respectively. FIG. 7A is a diagram illustrating the entire body in the case of a contour, FIG. 7B is a diagram illustrating the upper body in the case of the contour, and FIG. 7C is a diagram illustrating a portion around the shoulder in the case of the contour.
ここで、画像上において見える頭部と肩部分は、以下の（１）〜（３）のような特徴を持つ。
（１）肩がカメラ側から前後一列になる(横向き)ときは左右輪郭線間が狭く、肩がカメラ側から左右に並ぶときは左右輪郭線間が広い。
（２）頭部を中心とした左右の肩周りの輪郭線は、人体の向きによって同じ高さか一方が高い。
（３）頭部の顔が見える場合は、顔の輪郭特徴で頭部領域内のエッジが多く、頭部の顔が見えない場合は、頭部領域内のエッジ量が少ない。
Here, the head and shoulder portions visible on the image have the following features (1) to (3).
(1) The width between the left and right contour lines is narrow when the shoulder is lined up and down from the camera side (sideways), and the width between the left and right contour lines is wide when the shoulder is lined up side to side from the camera side.
(2) The contour lines around the left and right shoulders centered on the head have the same height or one depending on the orientation of the human body.
(3) When the face of the head is visible, there are many edges in the head region due to the facial contour feature, and when the face of the head is not visible, the amount of edges in the head region is small.
そこで、画像上の肩周りの輪郭線でなす角度の大きさが狭いか広いかを判断することと、左右肩周りのどちらが高いかを判断することと、頭部に顔を含むか含まないかを判断することとを有し、これらで構成される画像特徴と人体の向きの対応表に基づいて、人体の向きを推定することによって、同一人物の同定に有効な特徴情報を提供することが可能である。 Therefore, determine whether the angle formed by the contour line around the shoulder on the image is narrow or wide, determine which is greater around the left and right shoulders, and whether the head includes or does not include a face And providing feature information effective for identifying the same person by estimating the orientation of the human body based on the correspondence table between the image features and the orientation of the human body. Is possible.
本実施形態に係る人体の向きを推定するための画像処理方法は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、予め画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。 In the image processing method for estimating the orientation of a human body according to the present embodiment, first, an outline of a region around a person's shoulder detected from an image is obtained. Next, an image feature is calculated from the obtained contour line. Information indicating the correspondence between the image feature and the orientation of the human body is stored in advance, and the orientation of the human body is estimated from the calculated image feature based on the information indicating the correspondence.
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。 Further, calculating the image feature calculates a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder. In addition, the first angle and the second angle are compared, and it is determined whether or not the sum of the first angle and the second angle is greater than a predetermined threshold value. Furthermore, it is determined whether or not the head includes a face.
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。 Further, calculating the image feature is to obtain two straight lines passing through the left and right contour lines with the head as the center, and calculate the angles formed by the two straight lines and the center line as the first angle and the second angle, respectively. Then, the edge amount of the head is obtained, and the face direction is determined from the size of the angle formed by the two straight lines, the logical relationship between the sizes of the first angle and the second angle, and the edge amount of the head. be able to.
以下、図８Ａ〜図１７Ｂを参照しながら、本実施形態に係る人体の向きを推定するための画像処理方法について詳細に説明する。
まず、この実施例において用いる用語について簡単に説明する。
背景画像：天井、壁など見え方が変化しない、人が映っていない画像。
対象領域：画像から検出された頭部と肩部分の領域。
Hereinafter, the image processing method for estimating the orientation of the human body according to the present embodiment will be described in detail with reference to FIGS. 8A to 17B.
First, terms used in this embodiment will be briefly described.
Background image: An image that does not change the appearance of the ceiling, walls, etc. and does not show people.
Target area: The area of the head and shoulder detected from the image.
次に、人体の向きを推定するための画像処理方法における処理の実施例について、下記の（１）〜（１１）によって説明する。図８Ａ〜図８Ｄは、人体の向きを推定するための画像処理方法における処理の実施例を示す図である。図８Ａは、検出された人の領域を示す図であり、図８Ｂは、対象領域を示す図あり、図８Ｃは、エッジ検出による輪郭線を示す図であり、図８Ｄは、直線検出で求めた角度を示す図である。 Next, examples of processing in the image processing method for estimating the orientation of the human body will be described with reference to (1) to (11) below. 8A to 8D are diagrams illustrating an example of processing in an image processing method for estimating the orientation of a human body. 8A is a diagram showing a detected human region, FIG. 8B is a diagram showing a target region, FIG. 8C is a diagram showing a contour line by edge detection, and FIG. 8D is obtained by straight line detection. FIG.
（１）入力画像から人を検出する（図８Ａ参照）。ここで、入力画像から人を検出する方法は、例えば、非特許文献３に記載されているように、予め準備した人が存在しない画像（背景画像）を入力画像から差し引いた背景差分画像により、移動体の人の領域を前景として抽出する方法を用いることができる。例えば、背景画像を用いて出現物体から分離するためのフィルタ処理として、背景画像と対象画像との間の類似部分と非類似部分を画素ごとに判定するための統計量を定義し、明度変動の影響を抑えながら画素単位の分解能で局所的なテクスチャを評価する方法が知られている（非特許文献３参照）。また、例えば、移動体の領域を検出する方法を用いることができる。また、認識対象が人らしい特徴モデルであることを利用して、人の輪郭を前景として抽出する方法を用いることができる。
更に、例えば、非特許文献４に記載されているように、人の特徴を学習し、入力画像から人の特徴を抽出する方法を用いることができる。例えば、Ｂｏｏｓｔｉｎｇに基づく特徴量の共起表現による人検出法として、弱識別器の出力が連続値である方法を用いて、出力を演算子によって結合した共起表現による人検出法が知られている（非特許文献４参照）。
(1) A person is detected from the input image (see FIG. 8A). Here, as described in Non-Patent Document 3, for example, a method for detecting a person from an input image is based on a background difference image obtained by subtracting an image (background image) in which a person prepared in advance does not exist from the input image, It is possible to use a method of extracting a moving person's region as a foreground. For example, as a filter process for separating from an appearing object using a background image, a statistic for determining a similar part and a dissimilar part between the background image and the target image for each pixel is defined, A method of evaluating a local texture with a resolution in pixel units while suppressing the influence is known (see Non-Patent Document 3). Further, for example, a method for detecting a region of a moving body can be used. Further, it is possible to use a method of extracting a person's outline as a foreground by utilizing that the recognition target is a human-like feature model.
Furthermore, for example, as described in Non-Patent Document 4, a method of learning human characteristics and extracting human characteristics from an input image can be used. For example, as a human detection method based on the co-occurrence representation of feature values based on Boosting, a human detection method based on a co-occurrence representation in which the output of the weak classifier is a continuous value and the outputs combined by an operator is known. (See Non-Patent Document 4).
（２）検出された人の対象領域（頭部と肩部分）を検出する（図８Ｂ参照）。検出された人の領域に対しては、人の身長を基に、肩に相当する位置は比例的に決まるので、その部分を人の頭部及び肩部分（以下対象領域とする）とすることができる。例えば、非特許文献５に記載されているように、逆投影法とカルマンフィルタを用いて、画像上の人の領域から、３次元上の人の位置を得ることができ、人の３次元上の頭部位置を基に、画像上人の対象領域を推定することができる。例えば、多視点画像を用いて複数移動物体の位置認識及び追跡を行う方法として、物体の運動予測と対応付けを用いる方法が知られている（非特許文献５参照）。
また、例えば、人の身長をＨとした場合、肩以上の範囲をＨ〜Ｈ＊７／８に設定し、人の対象領域を求めることができる。
あるいは、画像上頭部と肩部分が示すオメガ（Ω）形状を検出することで、対象領域を推定することができる。例えば、非特許文献４に記載されているように、頭部と肩を含む部分とそれ以外の部分の二つのカテゴリに分けて、数多くのサンプルを学習させることで、検出された人の領域画像から認識することが可能である。
(2) The target region (head and shoulder portions) of the detected person is detected (see FIG. 8B). For the detected person's area, the position corresponding to the shoulder is proportionally determined based on the person's height, so that the part should be the person's head and shoulder parts (hereinafter referred to as the target area) Can do. For example, as described in Non-Patent Document 5, a back projection method and a Kalman filter can be used to obtain a three-dimensional position of a person from a person area on the image. Based on the head position, it is possible to estimate the target area of the person on the image. For example, as a method of performing position recognition and tracking of a plurality of moving objects using a multi-viewpoint image, a method using object motion prediction and association is known (see Non-Patent Document 5).
For example, when the height of the person is H, the range above the shoulder is set to H to H * 7/8, and the target area of the person can be obtained.
Alternatively, the target region can be estimated by detecting the omega (Ω) shape indicated by the upper head portion and the shoulder portion of the image. For example, as described in Non-Patent Document 4, a region image of a detected person is obtained by learning a large number of samples by dividing into two categories of a portion including a head and a shoulder and another portion. Can be recognized from.
（３）対象領域のエッジ画像を求める。検出された対象領域に対してエッジ検出処理を行う。エッジ検出処理は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなど１次微分（差分）系のフィルタや、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルタなど２次微分（差分）系のフィルタを用いることができる。 (3) An edge image of the target area is obtained. Edge detection processing is performed on the detected target area. For edge detection processing, a first-order differential (difference) filter such as a Sobel filter or a Prewitt filter, or a second-order differential (difference) filter such as a Laplacian filter can be used.
（４）輪郭線を抽出する（図８Ｃ参照）。閾値ＴＨを用いてエッジ画像の２値化処理を行い、肩部分の輪郭線を抽出することができる。この輪郭線上の点をｐ(ｘ,ｙ)とする。 (4) An outline is extracted (see FIG. 8C). The edge image can be binarized using the threshold value TH to extract the contour line of the shoulder portion. Let p (x, y) be a point on this contour line.
（５）頭部を中央とした左右両側の輪郭線位置で直線を求める（図９参照）。図９は、直線の定義を示す図である。例えば、Ｈｏｕｇｈ（ハフ）変換に基づいて直線を求めることができる。図９の左上に示すように、画像の左上角を原点として、画像のｘ−ｙ座標上の点ｐ（ｘ,ｙ）を通るすべての直線は、その直線と直角に交わる垂線のｘ軸との角度θと長さρで表わされる。
ρ=ｘ・cosθ＋ｙ・sinθ ・・・（式１）
上記の式１を用いて、輪郭線上の点ｐ(ｘ,ｙ)を変えながら、θ−ρ空間上の曲線が共有する点（ピーク点）を求めることで、ｘ−ｙ座標上の直線を求める。
(5) A straight line is obtained at the left and right contour positions with the head at the center (see FIG. 9). FIG. 9 is a diagram illustrating the definition of a straight line. For example, a straight line can be obtained based on Hough transformation. As shown in the upper left of FIG. 9, with the upper left corner of the image as the origin, all straight lines passing through the point p (x, y) on the xy coordinates of the image are perpendicular to the x axis of the perpendicular. Is expressed by an angle θ and a length ρ.
ρ = x · cosθ + y · sinθ (Formula 1)
Using the above equation 1, the point (peak point) shared by the curve in the θ-ρ space is obtained while changing the point p (x, y) on the contour line. Ask.
（６）求めた左右の直線と画像上Ｘ軸に垂直となる中心線との角度(α及びβ)を算出する（図１０及び図１１参照）。図１０は、左側直線及び角度αの算出方法を示す図である。まず、頭部を中央として求めた左側直線を下記の式２で示すことができる。図１０に示すように、左側直線とｘ軸が交差する交点Ａ(ｘ,ｙ０)を通る垂線を中心線とみなした場合、左側直線と中心線でなす角度αは、左側直線の角度θ１と等しい（式３）。
ρ１=ｘ・cosθ１＋ｙ・sinθ１ ・・・（式２）
α=θ１ ・・・（式３）
図１１は、右側直線及び角度βの算出方法を示す図である。右側直線を下記の式４で示すことができる。図１１に示すように、右側直線とｘ軸が交差する交点Ｂ（ｘ,ｙ０）を通る垂線を中心線とみなした場合、右側直線と中心線でなす角度βは、左側直線の角度π−θ２と等しい（式５）。
ρ２=ｘ・cosθ２＋ｙ・sinθ２ ・・・（式４）
β=π−θ２ ・・・（式５）
(6) The angles (α and β) between the obtained left and right straight lines and the center line perpendicular to the X axis on the image are calculated (see FIGS. 10 and 11). FIG. 10 is a diagram illustrating a calculation method of the left straight line and the angle α. First, the left straight line obtained with the head as the center can be expressed by the following formula 2. As shown in FIG. 10, when a perpendicular passing through the intersection A (x, y 0 ) where the left straight line intersects the x axis is regarded as the center line, the angle α formed by the left straight line and the center line is the angle θ of the left straight line. Equal to 1 (Equation 3).
ρ 1 = x · cos θ 1 + y · sin θ 1 (Expression 2)
α = θ 1 (Formula 3)
FIG. 11 is a diagram illustrating a method of calculating the right straight line and the angle β. The right straight line can be expressed by Equation 4 below. As shown in FIG. 11, when a perpendicular passing through the intersection B (x, y 0 ) where the right straight line intersects the x axis is regarded as the center line, the angle β formed by the right straight line and the center line is the angle π of the left straight line. It is equal to −θ 2 (Equation 5).
ρ 2 = x · cos θ 2 + y · sin θ 2 (Formula 4)
β = π−θ 2 (Formula 5)
（７）角度αとβを比較して論理関係を判定する（図１２及び図１３参照）。角度αとβの差分を求め、下記の式６〜式８に基づいて論理関係を判定する。ここでは、誤差範囲を考慮して閾値Ｔｈ１用いる。これを人体の向き対応基準１とする。
|α-β|≦Ｔｈ１ の場合は α=β・・・（式６）
α-β＜−Ｔｈ１ の場合は α＜β・・・（式７）
α-β＞Ｔｈ１ の場合は α＞β・・・（式８）
図１２及び図１３は、左右角度の比較の実施例を示す。図１２は、左右角度の比較１を示す図であり、α＜βの場合である。図１３は、左右角度の比較２を示す図であり、α=βの場合である。
(7) The logical relationship is determined by comparing the angles α and β (see FIGS. 12 and 13). The difference between the angles α and β is obtained, and the logical relationship is determined based on the following equations 6 to 8. Here, the threshold Th 1 is used in consideration of the error range. This is the human body orientation correspondence criterion 1.
When | α-β | ≦ Th 1 , α = β (Formula 6)
When α-β <-Th 1 α <β (Expression 7)
When α-β> Th 1 , α> β (Equation 8)
12 and 13 show an example of left-right angle comparison. FIG. 12 is a diagram showing the comparison 1 of the left and right angles, where α <β. FIG. 13 is a diagram showing the comparison 2 of the left and right angles, where α = β.
（８）算出した角度αとβの合計を求め、大きさで２分類する（図１４Ａ及び図１４Ｂ参照）。左右両直線間の角度（α＋β）は、所定の閾値Ｔｈ２を設け、閾値Ｔｈ２以上か閾値Ｔｈ２未満かによって２分類する。このとき、角度（α＋β）が閾値Ｔｈ２以上の場合は１（ケース１）とし、閾値Ｔｈ２未満の場合は０（ケース２）とする。これを人体の向き対応基準２とする。なお、閾値Ｔｈ２は、特に限定されるものではないが、例えば、Ｔｈ２＝９０度等とすればよい。
図１４Ａ及び図１４Ｂは、Ｔｈ２＝９０度の場合の実施例における左右両直線間の角度（α＋β）を示す。図１４Ａは、ケース１すなわち（α＋β）≧Ｔｈ２（＝９０度）の場合を示す。図１４Ｂは、ケース２すなわち（α＋β）＜Ｔｈ２（＝９０度）の場合を示す。
(8) The sum of the calculated angles α and β is obtained and classified into two according to the size (see FIGS. 14A and 14B). The angle (α + β) between the left and right straight lines is classified into two according to whether a predetermined threshold Th 2 is provided and whether it is greater than or equal to threshold Th 2 or less than threshold Th 2 . At this time, when the angle (alpha + beta) is the threshold value Th 2 or more and 1 (case 1), if it is less than the threshold Th 2 and 0 (case 2). This is the human body orientation correspondence standard 2. The threshold Th 2 is not particularly limited, but may be, for example, Th 2 = 90 degrees.
14A and 14B show the angle (α + β) between the left and right straight lines in the example in the case of Th 2 = 90 degrees. FIG. 14A shows the case 1, that is, the case of (α + β) ≧ Th 2 (= 90 degrees). FIG. 14B shows the case 2, that is, the case of (α + β) <Th 2 (= 90 degrees).
（９）頭部の顔向きを判定する（図１５Ａ及び図１５Ｂ参照）。例えば、特許文献２に記載されているような顔画像と非顔画像とを識別する方法を用いることができる。
図１５Ａ及び図１５Ｂは、頭部に顔を含むか否かの判定方法を示す図である。図１４Ａは、頭部に顔を含む場合（前方）を示す図であり、図１５Ｂは、頭部に顔を含まない場合（後方）を示す図である。図１５Ａ及び図１５Ｂに示すように、例えば、エッジ画像から頭部位置のエッジヒストグラムを求め、指定の閾値Ｔｈ２（＝９０度）以上であれば顔が前方向、逆に閾値以下である場合は後ろ向きと判断することができる。但し、左右両直線間の角度(α＋β)がＴｈ２（＝９０度）未満の場合は、顔の向きは判定しない。これを人体の向き対応基準３とする。
(9) The head orientation of the head is determined (see FIGS. 15A and 15B). For example, a method for identifying a face image and a non-face image as described in Patent Document 2 can be used.
15A and 15B are diagrams illustrating a method of determining whether or not a head includes a face. FIG. 14A is a diagram illustrating a case where the head includes a face (front), and FIG. 15B is a diagram illustrating a case where the head does not include a face (rear). As shown in FIGS. 15A and 15B, for example, an edge histogram of a head position is obtained from an edge image, and the face is forward if it is equal to or greater than a specified threshold Th 2 (= 90 degrees), and conversely, is less than or equal to the threshold Can be judged backwards. However, when the angle (α + β) between the left and right straight lines is less than Th 2 (= 90 degrees), the face orientation is not determined. This is the human body orientation correspondence standard 3.
（１０）対応表に基づいて人体の向きを推定する（図１９参照）。手順７〜９で求めた対応基準１〜３を用いて、図１６に示すような、画像特徴と人体の向きとの対応表に従って人体の向きを推定する。
図１７Ａ及び図１７Ｂは、人体の向きを推定するための画像処理方法における推定結果を示す図である。図１７Ａは、人体の向きが１３５度と推定された図であり、図１７Ｂは、人体の向きが２２５度と推定された図である。
(10) The direction of the human body is estimated based on the correspondence table (see FIG. 19). Using the correspondence criteria 1 to 3 obtained in the procedures 7 to 9, the orientation of the human body is estimated according to the correspondence table between the image features and the orientation of the human body as shown in FIG.
17A and 17B are diagrams illustrating estimation results in the image processing method for estimating the orientation of the human body. FIG. 17A is a diagram in which the orientation of the human body is estimated to be 135 degrees, and FIG. 17B is a diagram in which the orientation of the human body is estimated to be 225 degrees.
（１１）推定した人体の向きに対応する特徴を抽出し、同一人物の同定を行う。
このようにして、本実施形態に係る人体の向きを推定するための画像処理方法は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
(11) The feature corresponding to the estimated human body direction is extracted, and the same person is identified.
In this way, the image processing method for estimating the orientation of the human body according to the present embodiment estimates the orientation of the human body from one image using image features that are not affected by the movement of the hand or foot of the target person. can do. In addition, by acquiring human characteristics for each human body direction, it is possible to provide characteristic information effective for identifying the same person. Further, by extracting different person image features for each human body direction, the same person can be identified in different camera images.
ここで、上記実施の形態による人体の向きを推定するための画像処理装置の動作、及び人体の向きを推定するための画像処理方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１８は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１８に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。 Here, the operations of the image processing apparatus for estimating the orientation of the human body according to the above-described embodiment and the processing of the image processing method for estimating the orientation of the human body are commonly applied to cause the computer to perform the processing. An example will be described. FIG. 18 is a block diagram illustrating an example of a hardware configuration of a standard computer. As shown in FIG. 18, a computer 300 includes a central processing unit (CPU) 302, a memory 304, an input device 306, an output device 308, an external storage device 312, a medium driving device 314, a network connection device, and the like via a bus 310. It is connected.
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。 The CPU 302 is an arithmetic processing unit that controls the operation of the entire computer 300. The memory 304 is a storage unit for storing in advance a program for controlling the operation of the computer 300 or using it as a work area when necessary when executing the program. The memory 304 is, for example, a random access memory (RAM), a read only memory (ROM), or the like. The input device 306 is a device that, when operated by a computer user, acquires various information inputs from the user associated with the operation content and transmits the acquired input information to the CPU 302. Keyboard device, mouse device, etc. The output device 308 is a device that outputs a processing result by the computer 300, and includes a display device and the like. For example, the display device displays text and images according to display data sent by the CPU 302.
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。 The external storage device 312 is a storage device such as a hard disk, and stores various control programs executed by the CPU 302, acquired data, and the like. The medium driving device 314 is a device for writing to and reading from the portable recording medium 316. The CPU 302 can read out and execute a predetermined control program recorded on the portable recording medium 316 via the recording medium driving device 314 to perform various control processes. The portable recording medium 316 is, for example, a Compact Disc (CD) -ROM, a Digital Versatile Disc (DVD), a Universal Serial Bus (USB) memory, or the like. The network connection device 318 is an interface device that manages transmission / reception of various data performed between the outside by wired or wireless. A bus 310 is a communication path for connecting the above devices and the like to exchange data.
上記それぞれの実施の形態による人体の向きを推定するための画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検出の動作を行う。このとき、画像検出の処理をＣＰＵ３０２に行わせるための制御プログラムは、予め外部記憶装置３１２に記憶されている。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。 A program that causes a computer to execute the image processing method for estimating the orientation of the human body according to each of the above embodiments is stored in, for example, the external storage device 312. The CPU 302 reads a program from the external storage device 312 and performs an image detection operation. At this time, a control program for causing the CPU 302 to perform image detection processing is stored in the external storage device 312 in advance. Then, a predetermined instruction is given from the input device 306 to the CPU 302 so that the control program is read from the external storage device 312 and executed. The program may be stored in the portable recording medium 316.
続いて、上記の画像処理方法をコンピュータに行わせるプログラムについて説明する。
本実施形態に係るプログラムは、以下の処理をコンピュータに実行させる。この処理は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
Next, a program for causing a computer to perform the above image processing method will be described.
The program according to the present embodiment causes the computer to execute the following processing. In this process, first, an outline of a region around a person's shoulder detected from an image is obtained. Next, an image feature is calculated from the obtained contour line. Information indicating the correspondence between the image feature and the orientation of the human body is stored, and the orientation of the human body is estimated from the calculated image feature based on the information indicating the correspondence.
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。 Further, calculating the image feature calculates a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder. In addition, the first angle and the second angle are compared, and it is determined whether or not the sum of the first angle and the second angle is greater than a predetermined threshold value. Furthermore, it is determined whether or not the head includes a face.
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。 Further, calculating the image feature is to obtain two straight lines passing through the left and right contour lines with the head as the center, and calculate the angles formed by the two straight lines and the center line as the first angle and the second angle, respectively. Then, the edge amount of the head is obtained, and the face direction is determined from the size of the angle formed by the two straight lines, the logical relationship between the sizes of the first angle and the second angle, and the edge amount of the head. be able to.
図１９及び図２０に処理の流れを示す。具体的な処理の流れは下記のとおりである。
図１９について説明する。図１９は、本実施形態に係るプログラムの処理内容の全体を図解したフローチャートである。
19 and 20 show the flow of processing. The specific processing flow is as follows.
FIG. 19 will be described. FIG. 19 is a flowchart illustrating the entire processing contents of the program according to the present embodiment.
まず、Ｓ１００において、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。 First, in S100, the image input unit 104 acquires image data obtained by converting an image captured by the camera 102 into an electrical signal. Further, the image processing apparatus 10 for estimating the orientation of the human body can also acquire image data from a server on the cloud without being connected to the camera 102.
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。 The camera 102 may be connected to the image processing apparatus 10 for estimating the orientation of the human body via a network, or may be directly connected to the image processing apparatus 10 for estimating the orientation of the human body.
次に、Ｓ１０２及びＳ１０４において、検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、Ｓ１０２において、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、Ｓ１０４において、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。 Next, in S102 and S104, the detection unit 106 receives the image acquired by the image input unit 104 and performs the following preprocessing. First, in S <b> 102, the moving object detection unit 1062 detects a target person from the input image acquired by the image input unit 104. Subsequently, in S104, the head and shoulder region detection unit 1064 selects a region corresponding to the head and shoulder portions of the target person in the detected image region of the target person, and detects a contour line.
続いて、Ｓ１０６〜Ｓ１１２において、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、Ｓ１０６において、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求める。続いて、Ｓ１０８において、肩輪郭の角度算出部１０８２は、二つの直線と中心線でなす角度の大きさを比較する。次に、Ｓ１１０において、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、Ｓ１１２において、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。 Subsequently, in S106 to S112, the image feature calculation unit 108 receives the image pre-processed by the detection unit 106, and calculates the feature of the image. First, in S106, the shoulder contour angle calculation unit 1082 obtains left and right straight lines that approximate the contour line around the shoulder. Subsequently, in S108, the shoulder contour angle calculation unit 1082 compares the angles formed by the two straight lines and the center line. Next, in S110, the shoulder inclination calculation unit 1084 obtains an angle formed by the two straight lines. In step S112, the face area determination unit 1086 determines whether the head edge image includes a face. For example, an edge histogram of the head may be obtained to determine whether the face is forward or backward.
続いて、Ｓ１１４において、判定部１１０は、予め記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。 Subsequently, in S <b> 114, the determination unit 110 is calculated by the image feature calculation unit 108 based on information (see FIG. 6) indicating a correspondence relationship between the image feature and the orientation of the human body stored in advance in the storage unit 109. The orientation of the human body is estimated from the obtained image features.
ここで、図２０を参照しながら、画像特徴と人体の向きの対応表に基づいて人体の向きを推定する処理内容について更に詳細に説明する。
まず、Ｓ２００において、判定部１１０は、角度α及びβの大きさを比較する。Ｓ２００における比較の結果、α＜βならば、Ｓ２０２に進み、α＝βならば、Ｓ２０４に進み、α＞βならば、Ｓ２０６に進む。
Here, with reference to FIG. 20, the processing contents for estimating the human body direction based on the correspondence table between the image features and the human body direction will be described in more detail.
First, in S200, the determination unit 110 compares the magnitudes of the angles α and β. If α <β as a result of comparison in S200, the process proceeds to S202. If α = β, the process proceeds to S204. If α> β, the process proceeds to S206.
Ｓ２０２において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き９０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２０８に進む。Ｓ２０８において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０８の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き３１５度と判定する。Ｓ２０８の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１３５度と判定する。 In S202, the determination unit 110 determines whether the (α + β) ≧ threshold Th 2. Here, when the result of the determination is NO, that is, (α + β) <threshold Th 2, it is determined that the human body direction is 90 degrees. If the determination result is YES, that is, (α + β) ≧ threshold Th 2 , the process proceeds to S208. In S208, the determination unit 110 determines whether or not the face orientation is forward. If the result of the determination in S208 is YES, that is, if the face direction is forward, it is determined that the human body direction is 315 degrees. When the result of the determination in S208 is NO, that is, when the face direction is not forward, it is determined that the human body direction is 135 degrees.
Ｓ２０４において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０４の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き０度と判定する。Ｓ２０４の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１８０度と判定する。 In S204, the determination unit 110 determines whether or not the face orientation is forward. When the result of the determination in S204 is YES, that is, when the face direction is forward, it is determined that the human body direction is 0 degree. If the result of the determination in S204 is NO, that is, if the face direction is not forward, it is determined that the human body direction is 180 degrees.
Ｓ２０６において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き２７０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２１０に進む。Ｓ２１０において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２１０の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き４５度と判定する。Ｓ２１０の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き２２５度と判定する。 In S206, the determination unit 110 determines whether the (α + β) ≧ threshold Th 2. Here, when the result of the determination is NO, that is, (α + β) <threshold Th 2, it is determined that the human body direction is 270 degrees. If the determination result is YES, that is, (α + β) ≧ threshold Th 2 , the process proceeds to S210. In S210, the determination unit 110 determines whether or not the face orientation is forward. If the result of determination in S210 is YES, that is, if the face direction is forward, it is determined that the human body direction is 45 degrees. When the result of the determination in S210 is NO, that is, when the face direction is not forward, it is determined that the human body direction is 225 degrees.
最後に、Ｓ１１６において、出力部１１２は、判定部１１０が推定した結果を出力する。 Finally, in S116, the output unit 112 outputs the result estimated by the determination unit 110.
このようにして、本実施形態に係るプログラムは、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になる。 In this way, the program according to the present embodiment can estimate the orientation of the human body from the shoulder area of the target person in one image using image features that are not affected by the movement of the target person's hands and feet. . In addition, by acquiring human characteristics for each human body direction, it is possible to provide characteristic information effective for identifying the same person. Further, by extracting different person image features for each human body direction, it is possible to identify the same person in different camera images.
本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、ＰＣ上で動作をするプログラムの提供だけでなく、クラウド上のサーバによるサービスの提供であってもよい。また、画像検出の方法は上記に限定されるものではなく、公知の別の方法を用いてもよい。詳細処理の方法も、公知の別の方法を用いてもよい。 The present invention is not limited to the embodiments described above, and various configurations or embodiments can be adopted without departing from the gist of the present invention. For example, not only a program that operates on a PC but also a service provided by a server on a cloud may be used. Further, the image detection method is not limited to the above, and another known method may be used. As the detailed processing method, another known method may be used.
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、付記１に記載の画像処理装置。
（付記３）
更に、前記肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。
（付記５）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記４に記載のプログラム。
（付記６）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記４に記載のプログラム。
（付記７）
コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。
（付記８）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記７に記載の画像処理方法。
（付記９）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記７に記載の画像処理方法。
In addition, the following additional remarks are disclosed regarding the embodiment described above.
(Appendix 1)
A detection unit for obtaining an outline of a region around a person's shoulder detected from an image;
An image feature calculation unit for calculating an image feature from an outline obtained by the detection unit;
A storage unit for storing information indicating a correspondence relationship between the image feature and the orientation of the human body;
A determination unit that obtains the orientation of the human body corresponding to the image feature calculated by the image feature calculation unit based on the information indicating the correspondence;
An image processing apparatus comprising:
(Appendix 2)
The image feature calculation unit
A shoulder contour angle calculation unit for calculating a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder;
A shoulder inclination calculation unit that compares the first angle with the second angle and determines whether an angle obtained by combining the first angle and the second angle is greater than a predetermined threshold value. When,
A determination unit of a face region for determining whether or not the head includes a face;
The image processing apparatus according to attachment 1, further comprising:
(Appendix 3)
Further, the shoulder contour angle calculation unit obtains two straight lines passing through the right and left contour lines with the head at the center, and the angles formed by the two straight lines and the center line are the first angle and the second angle, respectively. Calculated as the angle of
The face area determination unit obtains the edge amount of the head,
The image feature calculation unit determines a face direction from the magnitude of the angle formed by the two straight lines, the logical relationship between the magnitudes of the first angle and the second angle, and the edge amount of the head. To
The image processing apparatus according to appendix 1, wherein:
(Appendix 4)
Find the outline of the area around the shoulder of the person detected from the image,
Calculating image features from the obtained contour lines;
Based on the information indicating the correspondence relationship between the image feature and the orientation of the human body stored in the storage unit, the orientation of the human body is obtained from the calculated image feature.
A program that causes a computer to execute processing.
(Appendix 5)
Further, calculating the image feature includes:
Calculating a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder;
Comparing the first angle with the second angle and determining whether the combined angle of the first angle and the second angle is greater than a predetermined threshold;
Determining whether the head includes a face;
The program according to appendix 4, including the above.
(Appendix 6)
Further, the calculation of the image feature is to obtain two straight lines passing through the right and left contour lines with the head at the center, and the angles formed by the two straight lines and the center line are the first angle and the first Calculated as an angle of 2,
Obtain the edge amount of the head,
The direction of the face is determined from the magnitude of the angle formed by the two straight lines, the logical relationship between the magnitude of the first angle and the second angle, and the edge amount of the head.
The program according to appendix 4, including the above.
(Appendix 7)
An image processing method executed by a computer,
Find the outline of the area around the shoulder of the person detected from the image,
Calculating image features from the obtained contour lines;
Based on the information indicating the correspondence relationship between the image feature and the orientation of the human body stored in the storage unit, the orientation of the human body is obtained from the calculated image feature.
An image processing method.
(Appendix 8)
Further, calculating the image feature includes:
Calculating a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder;
Comparing the first angle with the second angle and determining whether the combined angle of the first angle and the second angle is greater than a predetermined threshold;
Determining whether the head includes a face;
The image processing method of Claim 7 including this.
(Appendix 9)
Further, the calculation of the image feature is to obtain two straight lines passing through the right and left contour lines with the head at the center, and the angles formed by the two straight lines and the center line are the first angle and the first Calculated as an angle of 2,
Obtain the edge amount of the head,
The direction of the face is determined from the magnitude of the angle formed by the two straight lines, the logical relationship between the magnitude of the first angle and the second angle, and the edge amount of the head.
The image processing method of Claim 7 including this.
１０ 画像処理装置
１０２ カメラ
１０４ 画像入力部
１０６ 検出部
１０６２ 移動体検出部
１０６４ 頭部及び肩領域検出部
１０８ 画像特徴算出部
１０８２ 肩輪郭の角度算出部
１０８４ 肩の傾き算出部
１０８６ 顔領域の判定部
１０９ 記憶部
１１０ 判定部
１１２ 出力部
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 102 Camera 104 Image input part 106 Detection part 1062 Moving body detection part 1064 Head and shoulder area | region detection part 108 Image feature calculation part 1082 Shoulder contour angle calculation part 1084 Shoulder inclination calculation part 1086 Face area determination part 109 storage unit 110 determination unit 112 output unit
Claims (5)
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。 A detection unit for obtaining an outline of a region around a person's shoulder detected from an image;
An image feature calculation unit for calculating an image feature from an outline obtained by the detection unit;
A storage unit for storing information indicating a correspondence relationship between the image feature and the orientation of the human body;
A determination unit that obtains the orientation of the human body corresponding to the image feature calculated by the image feature calculation unit based on the information;
An image processing apparatus comprising:
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、請求項１に記載の画像処理装置。 Furthermore, the image feature calculation unit
A shoulder contour angle calculation unit for calculating a first angle formed by a contour line around the right shoulder on the image and a second angle formed by a contour line around the left shoulder;
A shoulder inclination calculation unit that compares the first angle with the second angle and determines whether an angle obtained by combining the first angle and the second angle is greater than a predetermined threshold value. When,
A determination unit of a face region for determining whether or not the head includes a face;
The image processing apparatus according to claim 1, comprising:
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする請求項１に記載の画像処理装置。 Further, the shoulder contour angle calculation unit obtains two straight lines passing through the right and left contour lines with the head at the center, and the angles formed by the two straight lines and the center line are the first angle and the second angle, respectively. Calculated as the angle of
The face area determination unit obtains the edge amount of the head,
The image feature calculation unit determines a face direction from the magnitude of the angle formed by the two straight lines, the logical relationship between the magnitudes of the first angle and the second angle, and the edge amount of the head. To
The image processing apparatus according to claim 1.
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。 Find the outline of the area around the shoulder of the person detected from the image,
Calculating image features from the obtained contour lines;
Based on the information indicating the correspondence relationship between the image feature and the orientation of the human body stored in the storage unit, the orientation of the human body is obtained from the calculated image feature.
A program that causes a computer to execute processing.
画像から検出された人の肩周りの領域の輪郭線を求め、
前記検出部で得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。 An image processing method executed by a computer,
Find the outline of the area around the shoulder of the person detected from the image,
An image feature is calculated from the contour line obtained by the detection unit,
Based on the information indicating the correspondence between the image feature and the orientation of the human body stored in the storage unit, the orientation of the human body is obtained from the image feature calculated by the image feature calculation unit.
An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242243A JP6163732B2 (en) | 2012-11-01 | 2012-11-01 | Image processing apparatus, program, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242243A JP6163732B2 (en) | 2012-11-01 | 2012-11-01 | Image processing apparatus, program, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014092886A true JP2014092886A (en) | 2014-05-19 |
| JP6163732B2 JP6163732B2 (en) | 2017-07-19 |
Family
ID=50936927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012242243A Expired - Fee Related JP6163732B2 (en) | 2012-11-01 | 2012-11-01 | Image processing apparatus, program, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6163732B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3115956A1 (en) | 2015-07-09 | 2017-01-11 | Fujitsu Limited | Interest degree determination device, interest degree determination method, and interest degree determination program |
| US10489640B2 (en) | 2015-02-27 | 2019-11-26 | Fujitsu Limited | Determination device and determination method of persons included in imaging data |
| WO2021251184A1 (en) * | 2020-06-11 | 2021-12-16 | ソニーグループ株式会社 | Image processing device, image processing method, and recording medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139369A (en) * | 2004-11-10 | 2006-06-01 | Fuji Photo Film Co Ltd | Image processing method and apparatus, and program |
| JP2010152556A (en) * | 2008-12-24 | 2010-07-08 | Sony Computer Entertainment Inc | Image processor and image processing method |
-
2012
- 2012-11-01 JP JP2012242243A patent/JP6163732B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139369A (en) * | 2004-11-10 | 2006-06-01 | Fuji Photo Film Co Ltd | Image processing method and apparatus, and program |
| JP2010152556A (en) * | 2008-12-24 | 2010-07-08 | Sony Computer Entertainment Inc | Image processor and image processing method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10489640B2 (en) | 2015-02-27 | 2019-11-26 | Fujitsu Limited | Determination device and determination method of persons included in imaging data |
| EP3115956A1 (en) | 2015-07-09 | 2017-01-11 | Fujitsu Limited | Interest degree determination device, interest degree determination method, and interest degree determination program |
| US10395101B2 (en) | 2015-07-09 | 2019-08-27 | Fujitsu Limited | Interest degree determination device, interest Degree determination method, and non-transitory computer-readable recording medium |
| WO2021251184A1 (en) * | 2020-06-11 | 2021-12-16 | ソニーグループ株式会社 | Image processing device, image processing method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6163732B2 (en) | 2017-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| JP6043856B2 (en) | Head pose estimation using RGBD camera | |
| KR101776622B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| JP6700752B2 (en) | Position detecting device, position detecting method and program | |
| CN109977833B (en) | Object tracking method, object tracking device, storage medium, and electronic apparatus | |
| US8331614B2 (en) | Method and apparatus for tracking listener's head position for virtual stereo acoustics | |
| JP6221390B2 (en) | Image processing apparatus, program, and image processing method | |
| KR101784183B1 (en) | APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF | |
| US8571274B2 (en) | Person-judging device, method, and program | |
| TWI438702B (en) | Method for setting dynamic enviromental image borders and method for instantly determining the content of staff member activities | |
| JP2016099982A (en) | Behavior recognition device, behaviour learning device, method, and program | |
| JP5936561B2 (en) | Object classification based on appearance and context in images | |
| JP6620443B2 (en) | Monitoring program, monitoring apparatus, and monitoring method | |
| KR102295183B1 (en) | object tracking method for CCTV video by use of CCTV projection model | |
| JP2018120283A (en) | Information processing device, information processing method and program | |
| CN111382637A (en) | Pedestrian detection tracking method, device, terminal equipment and medium | |
| JP6240706B2 (en) | Line tracking using automatic model initialization with graph matching and cycle detection | |
| JP2019212148A (en) | Information processing device and information processing program | |
| JP6163732B2 (en) | Image processing apparatus, program, and method | |
| KR101241813B1 (en) | Apparatus and method for detecting objects in panoramic images using gpu | |
| CN112215036A (en) | Cross-mirror tracking method, device, equipment and storage medium | |
| Pane et al. | A people counting system for business analytics | |
| JP6606340B2 (en) | Image detection apparatus, image detection method, and program | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium | |
| Van Crombrugge et al. | People tracking with range cameras using density maps and 2D blob splitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6163732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |