JP2019207523A - Target recognition device - Google Patents
Target recognition device Download PDFInfo
- Publication number
- JP2019207523A JP2019207523A JP2018102163A JP2018102163A JP2019207523A JP 2019207523 A JP2019207523 A JP 2019207523A JP 2018102163 A JP2018102163 A JP 2018102163A JP 2018102163 A JP2018102163 A JP 2018102163A JP 2019207523 A JP2019207523 A JP 2019207523A
- Authority
- JP
- Japan
- Prior art keywords
- target
- likelihood
- image
- recognition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、目標物認識装置に関し、特に、画像に示される目標物を認識する装置に関する。 The present invention relates to a target recognition apparatus, and more particularly to an apparatus for recognizing a target shown in an image.
画像に示された特定の物体を認識する技術につき研究開発が行われている。画像認識技術には、時間経過と共に順次取得される画像のそれぞれにおいて目標物を認識し、目標物を追跡するものがある。 Research and development has been conducted on technology for recognizing specific objects shown in images. Some image recognition techniques recognize a target in each of images sequentially acquired with time and track the target.
例えば、以下の特許文献１には、カメラ映像から人物を検出し、検出された人物を追跡する画像認識装置が記載されている。この画像認識装置は、時間経過と共に順次取得された画像から検出対象物としての人物を検出し、各画像における人物の位置を求めることで人物を追跡する。人物を検出する処理は、処理対象の画像における特定の領域が人物を示す可能性としての尤度を求め、尤度が所定の尤度閾値よりも大きい場合に、その特定の領域に対応する物体を人物として確定することで行われる。 For example, Patent Document 1 below describes an image recognition apparatus that detects a person from a camera video and tracks the detected person. This image recognition apparatus detects a person as a detection target from images sequentially acquired over time, and tracks the person by obtaining the position of the person in each image. The process of detecting a person obtains likelihood as a possibility that a specific area in the image to be processed indicates a person, and when the likelihood is larger than a predetermined likelihood threshold, an object corresponding to the specific area This is done by confirming as a person.
なお、画像上で認識される物体は、実際には、画像上で特定の領域を占める物体の像を指すが、本願明細書では、表現を簡略化するため、画像上で特定の領域を占める物体の像を、単に画像上の物体と表現する。 The object recognized on the image actually refers to an image of an object that occupies a specific area on the image. However, in this specification, in order to simplify the expression, the object occupies a specific area on the image. An image of an object is simply expressed as an object on the image.
画像上で目標物を認識する処理については、次のような課題がある。すなわち、尤度が近い複数の物体が１つの画像から認識された場合、いずれの物体を目標物として認識すべきかの判定が困難となる場合がある。これによって、例えば、時間経過と共に順次取得される画像において目標物を追跡する場合には、追跡の途中で目標物でない別の物体を誤って追跡してしまうことがある。 The processing for recognizing a target on an image has the following problems. That is, when a plurality of objects having similar likelihoods are recognized from one image, it may be difficult to determine which object should be recognized as a target. Thus, for example, when a target is tracked in images that are sequentially acquired with time, another object that is not the target may be erroneously tracked during tracking.
本発明は、画像に示された目標物を確実に認識することを目的とする。 It is an object of the present invention to reliably recognize a target shown in an image.
本発明は、時間経過と共に画像を順次取得する画像取得部と、画像上で目標物を認識する物体認識部と、を備え、前記物体認識部は、先に取得された画像で認識された前記目標物の位置に基づいて、前記目標物が認識されると予測される予測範囲を、次に取得された画像上に設定する予測範囲設定部と、次に取得された画像上の物体について前記目標物に対する尤度を求めると共に、当該尤度が所定の認識条件を満たす物体のうち、前記予測範囲に対する所定の位置条件が満たされる物体を前記目標物として認識する目標物認識部と、を備え、前記目標物認識部は、前記尤度が前記認識条件を満たさない物体であって、前記予測範囲に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、前記尤度が前記認識条件を満たすことで前記目標物が認識された目標物認識画像の数に応じて、当該仮目標物についての前記尤度を修正し、修正尤度を求める修正処理と、前記修正尤度が前記認識条件を満たすときに、前記仮目標物を前記目標物として認識する修正認識処理と、を実行することを特徴とする。 The present invention includes an image acquisition unit that sequentially acquires images over time, and an object recognition unit that recognizes a target on the image, wherein the object recognition unit is recognized by the previously acquired image. Based on the position of the target, a prediction range that is predicted to be recognized by the target is set on the next acquired image, and the object on the next acquired image A target recognition unit that obtains a likelihood for the target and recognizes, as the target, an object that satisfies a predetermined position condition for the prediction range among objects that satisfy the predetermined recognition condition. The target recognition unit is an object whose likelihood does not satisfy the recognition condition, and when there is a temporary target that satisfies a predetermined position condition with respect to the prediction range, The likelihood is According to the number of target recognition images in which the target is recognized by satisfying the condition, the likelihood for the temporary target is corrected, a correction process for obtaining a correction likelihood, and the correction likelihood is the correction likelihood And a correction recognition process for recognizing the temporary target as the target when a recognition condition is satisfied.
望ましくは、前記修正尤度は、前記目標物認識画像の数が大きい程、大きい値を有する。 Preferably, the correction likelihood has a larger value as the number of the target recognition images is larger.
本発明によれば、画像に示された目標物を確実に認識することができる。 According to the present invention, the target shown in the image can be reliably recognized.
図１には、本発明の実施形態に係る物体認識装置１０の構成が示されている。物体認識装置１０は、画像取得部１２、物体認識部１４、追跡結果記憶部２６、プログラム記憶部２８、物体認識データベース３０および追跡成功回数記憶部３２を備えている。追跡結果記憶部２６、プログラム記憶部２８、および追跡成功回数記憶部３２は、アドレスによって複数の部分に分けられた１つのメモリによって構成されてもよい。 FIG. 1 shows the configuration of an object recognition apparatus 10 according to an embodiment of the present invention. The object recognition apparatus 10 includes an image acquisition unit 12, an object recognition unit 14, a tracking result storage unit 26, a program storage unit 28, an object recognition database 30, and a tracking success number storage unit 32. The tracking result storage unit 26, the program storage unit 28, and the tracking success number storage unit 32 may be configured by a single memory divided into a plurality of parts by addresses.
物体認識装置１０は、画像取得部１２によって動画像を撮影し、動画像上の目標物を認識し追跡する。動画像は、画像取得部１２によって時間経過と共に順次撮影される個々の画像によって構成される。すなわち、物体認識装置１０は、時間経過と共に順次撮影される画像上で目標物を認識し、各画像上で認識された目標値の位置を求めることで目標物の追跡を行う。 The object recognition apparatus 10 captures a moving image by the image acquisition unit 12 and recognizes and tracks a target on the moving image. The moving image is configured by individual images that are sequentially captured by the image acquisition unit 12 over time. In other words, the object recognition apparatus 10 recognizes a target on images that are sequentially photographed over time, and tracks the target by obtaining the position of the target value recognized on each image.
画像取得部１２はカメラを備えており、所定のフレームレートで画像を撮影（取得）し、１フレーム周期が経過するごとに１フレームの画像データを物体認識部１４に出力する。画像取得部１２が取得する画像データが示す画像の視野（撮影視野）は一定であり、目標物の追跡は一定の撮影視野内で行われる。また、画像取得部１２はカメラを備えていなくてもよく、画像取得部１２に接続された外部のカメラから画像を取得してもよい。さらに、画像取得部１２は、外部に設けられたメモリから動画データを読み込んでもよいし、動画データを出力する情報処理装置から動画データを読み込んでもよい。 The image acquisition unit 12 includes a camera, captures (acquires) an image at a predetermined frame rate, and outputs one frame of image data to the object recognition unit 14 every time one frame period elapses. The field of view (imaging field of view) indicated by the image data acquired by the image acquisition unit 12 is constant, and the tracking of the target is performed within the certain field of view. The image acquisition unit 12 may not include a camera, and may acquire an image from an external camera connected to the image acquisition unit 12. Furthermore, the image acquisition unit 12 may read moving image data from a memory provided outside, or may read moving image data from an information processing apparatus that outputs moving image data.
物体認識部１４は、予測範囲設定部１８、目標物認識部２０、追跡結果生成部２２および出力画像生成部２４を備えている。物体認識部１４は、例えば、プログラム記憶部２８に記憶されたプログラムを実行するプロセッサによって構成される。この場合、プロセッサはプログラムを実行することで、予測範囲設定部１８、目標物認識部２０、追跡結果生成部２２および出力画像生成部２４を自らの内部に構成する。また、これらの構成要素は、ハードウエアとしてのディジタル回路によって個別に構成されてもよい。 The object recognition unit 14 includes a prediction range setting unit 18, a target recognition unit 20, a tracking result generation unit 22, and an output image generation unit 24. The object recognition unit 14 is configured by, for example, a processor that executes a program stored in the program storage unit 28. In this case, the processor executes the program to configure the prediction range setting unit 18, the target object recognition unit 20, the tracking result generation unit 22, and the output image generation unit 24 therein. Moreover, these components may be individually configured by a digital circuit as hardware.
物体認識部１４は、画像取得部１２から出力された画像データが示す画像において目標物を探索し、撮影視野内で目標物を追跡する。具体的には、以下に説明する目標物追跡処理を実行し、１フレームの画像における目標物の位置を求め、目標物の位置を表す追跡結果データを１フレームごとに求め、追跡結果記憶部２６に記憶させる。追跡結果データは、目標物の位置を座標値によって表す数値データであってもよいし、目標物の位置を画像によって表す画像データであってもよい。目標物の位置を表す画像は、画像取得部１２が取得した画像データが示す画像上に目標物を示す図形を重ねたものであってもよい。 The object recognition unit 14 searches for the target in the image indicated by the image data output from the image acquisition unit 12 and tracks the target within the shooting field of view. Specifically, the target tracking process described below is executed, the position of the target in one frame image is determined, tracking result data representing the position of the target is determined for each frame, and the tracking result storage unit 26 Remember me. The tracking result data may be numerical data that represents the position of the target by coordinate values, or image data that represents the position of the target by an image. The image representing the position of the target may be an image obtained by superimposing a graphic representing the target on the image indicated by the image data acquired by the image acquisition unit 12.
目標物追跡処理について説明する。予測範囲設定部１８は、画像取得部１２から出力された画像データが示す画像に対し、目標物が認識される予測範囲を設定する。予測範囲の設定は、最新の画像データよりも先に取得されたＭフレームの画像データのそれぞれに対して求められた追跡結果データを用いて行われる。ただし、Ｍは１以上の整数であり、最新の画像データよりも先に取得された画像データが１フレームであるときは、予測範囲設定部１８は、先に取得された画像データが示す画像上で認識された目標物の位置から所定距離だけ所定方向にずれた範囲を予測範囲として設定する。また、最新の画像データよりも先に画像データが取得されていないときは、予測範囲設定部１８は、予め定められた初期範囲を予測範囲として設定する。 The target tracking process will be described. The prediction range setting unit 18 sets a prediction range in which the target is recognized for the image indicated by the image data output from the image acquisition unit 12. The prediction range is set using tracking result data obtained for each of M frame image data acquired before the latest image data. However, M is an integer equal to or greater than 1, and when the image data acquired earlier than the latest image data is one frame, the prediction range setting unit 18 displays the image on the image indicated by the image data acquired earlier. A range that is shifted in a predetermined direction by a predetermined distance from the position of the target recognized in is set as a prediction range. When the image data is not acquired before the latest image data, the prediction range setting unit 18 sets a predetermined initial range as the prediction range.
予測範囲設定部１８は、追跡結果記憶部２６に記憶されている各追跡結果データ、すなわち、過去のＭフレームの画像データに対して求められた各追跡結果データを参照する。そして、Ｍフレームの間に目標物が撮影視野内で移動した経路を示す軌跡を求め、その軌跡を未来側に延長する処理によって、最後に取得された画像データが示す画像、すなわち、最新の画像データが示す最新画像に対して予測範囲を設定する。 The prediction range setting unit 18 refers to each tracking result data stored in the tracking result storage unit 26, that is, each tracking result data obtained for the image data of the past M frames. Then, a trajectory indicating a path that the target has moved within the field of view during the M frame is obtained, and an image indicated by the image data acquired last by the process of extending the trajectory to the future side, that is, the latest image. A prediction range is set for the latest image indicated by the data.
図２には、予測範囲を設定する処理が概念的に示されている。この図では、目標物としてワゴン車が撮影視野３４内に示されている。目標物Ｔ１〜Ｔ３は、最新の画像データよりも先に取得された３フレームの画像データが示す画像上で認識された目標物である。目標物Ｔ１は、最も先に取得された第１の画像データが示す画像上で認識された目標物であり、目標物Ｔ２はその次に取得された第２の画像データが示す画像上で認識された目標物である。目標物Ｔ３は、第２の画像データの次に取得された第３の画像データが示す画像上で認識された目標物である。なお、図２では、説明の便宜上、１フレーム周期で目標物が移動する距離、すなわち、隣接する目標物の距離が誇張して描かれている。実際の１フレーム周期では、１フレーム周期で目標物が移動する距離は図２に示されているよりも短い場合が多い。 FIG. 2 conceptually shows the process of setting the prediction range. In this figure, a wagon car is shown in the photographing field of view 34 as a target. The targets T1 to T3 are targets recognized on the image indicated by the three frames of image data acquired before the latest image data. The target T1 is a target recognized on the image indicated by the first image data acquired first, and the target T2 is recognized on the image indicated by the second image data acquired next. Target. The target T3 is a target recognized on the image indicated by the third image data acquired next to the second image data. In FIG. 2, for convenience of explanation, the distance that the target moves in one frame period, that is, the distance between adjacent targets is exaggerated. In one actual frame period, the distance that the target moves in one frame period is often shorter than that shown in FIG.
予測範囲設定部１８は、目標物Ｔ１〜Ｔ３の移動軌跡を求め、その移動軌跡の未来側への延長線上に予測範囲３６を設定する。図２では、矩形の予測範囲３６が二点鎖線によって示されている。予測範囲３６の形状は、矩形の他、円形や楕円形、あるいはその他の多角形であってもよい。また、予測範囲３６の形状は、目標物に近似した形状であってもよい。なお、図２には、目標物としてのワゴン車が最新画像上で探索される可能性のある位置が、ワゴン車を表す破線で示されている。 The prediction range setting unit 18 obtains the movement trajectories of the targets T1 to T3 and sets the prediction range 36 on the extension line to the future side of the movement trajectories. In FIG. 2, the rectangular prediction range 36 is indicated by a two-dot chain line. The shape of the prediction range 36 may be a circle, an ellipse, or another polygon other than a rectangle. Further, the shape of the prediction range 36 may be a shape that approximates the target. In FIG. 2, a position where a wagon car as a target may be searched on the latest image is indicated by a broken line representing the wagon car.
目標物認識部２０は、目標物に対する尤度が０でない領域を最新画像上で検出し、その領域を物体であると認識すると共に、目標物に対する尤度が尤度閾値Ｈを超える物体を最新画像において探索する。ここで、目標物に対する尤度とは、物体が目標物である可能性の高さを示す値（物体が目標物であるらしいことの度合いを示す値）をいう。以下の説明では「目標物に対する尤度」を単に「尤度」という。尤度は、物体からの距離または方向が異なる複数の位置から物体を眺めたときの画像についても、目標物である可能性が高い物体については、尤度閾値Ｈを超えるように定義されている。 The target recognition unit 20 detects a region where the likelihood for the target is not 0 on the latest image, recognizes the region as an object, and updates the object whose likelihood for the target exceeds the likelihood threshold H. Search in the image. Here, the likelihood with respect to the target refers to a value indicating a high possibility that the object is the target (a value indicating a degree that the object is likely to be the target). In the following description, “likelihood for a target” is simply referred to as “likelihood”. Likelihood is defined to exceed the likelihood threshold H for an object that has a high possibility of being a target even for an image when the object is viewed from a plurality of positions with different distances or directions from the object. .
最新画像上で尤度を求める処理は、物体認識データベース３０を参照しながら実行される。物体認識データベース３０には、複数の異なる位置から１つの物体を見たときの形状を示す多元的物体データが、複数種の目標物のそれぞれについて予め記憶されている。多元的物体データが記憶される複数種の目標物は、自動車、オートバイ、人、動物等、物体認識装置１０が認識することを予定している複数種の物体であってもよい。目標物認識部２０は、目標物としてのワゴン車の多元的物体データを参照し、尤度が尤度閾値Ｈを超える物体を最新画像において探索する。 The process of obtaining the likelihood on the latest image is executed with reference to the object recognition database 30. In the object recognition database 30, multi-object data indicating a shape when one object is viewed from a plurality of different positions is stored in advance for each of a plurality of types of targets. The plurality of types of targets in which the multi-object data is stored may be a plurality of types of objects that the object recognition device 10 is scheduled to recognize, such as an automobile, a motorcycle, a person, and an animal. The target recognition unit 20 refers to the multi-object data of the wagon car as the target, and searches the latest image for an object whose likelihood exceeds the likelihood threshold H.
目標物認識部２０は、尤度が尤度閾値Ｈを超える１つの物体が最新画像上で探索されたときは、この物体と予測範囲３６との間の判定距離を求める。判定距離は、例えば、探索された物体の重心と、予測範囲３６の重心との間の距離として定義される。目標物認識部２０は、判定距離が所定の距離閾値以下である場合には、この物体を目標物であると認識する。 When one object whose likelihood exceeds the likelihood threshold H is searched on the latest image, the target object recognition unit 20 obtains a determination distance between this object and the prediction range 36. The determination distance is defined as, for example, a distance between the centroid of the searched object and the centroid of the prediction range 36. The target recognition unit 20 recognizes this object as a target when the determination distance is equal to or smaller than a predetermined distance threshold.
目標物認識部２０は、尤度が尤度閾値Ｈを超える複数の物体が最新画像上で探索されたときは、これら複数の物体のそれぞれについて判定距離を求める。目標物認識部２０は、これら複数の物体のうち、判定距離が所定の距離閾値以下であり、判定距離が最短である物体を目標物であると認識する。 When a plurality of objects whose likelihood exceeds the likelihood threshold H are searched on the latest image, the target object recognition unit 20 obtains a determination distance for each of the plurality of objects. The target object recognition unit 20 recognizes an object having a determination distance that is equal to or smaller than a predetermined distance threshold among the plurality of objects as a target object.
追跡結果生成部２２は、目標物認識部２０が目標物を認識したことに応じて追跡結果データを生成し、追跡結果記憶部２６に追跡結果データを記憶させる。追跡結果生成部２２は、追跡成功回数記憶部３２に記憶されている追跡成功回数を１だけ増加させる。追跡成功回数は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下である物体が探索された追跡成功回数を示す０以上の整数である。なお、尤度が尤度閾値Ｈを超えると共に、判定距離が距離閾値以下である物体が最新画像上で探索されなかった場合の修正処理については後述する。 The tracking result generation unit 22 generates tracking result data in response to the target recognition unit 20 recognizing the target, and causes the tracking result storage unit 26 to store the tracking result data. The tracking result generation unit 22 increases the number of tracking successes stored in the tracking success number storage unit 32 by one. The number of tracking successes is an integer of 0 or more indicating the number of tracking successes in which an object whose likelihood exceeds the likelihood threshold value H and the determination distance is equal to or less than the distance threshold value is searched. Note that correction processing when the likelihood exceeds the likelihood threshold H and the object whose determination distance is equal to or smaller than the distance threshold is not searched on the latest image will be described later.
図３には、目標物Ｔ１〜Ｔ３に加えて、第３の画像データの次に取得された第４の画像データが示す画像上で認識された目標物Ｔ４が示されている。第１〜第４の画像データに対して実行された処理と同様の処理によって、物体認識部１４は、最新の画像データ（第５の画像データ）が示す最新画像上に予測範囲３６を設定し、尤度が尤度閾値Ｈを超える物体を最新画像上で探索する。物体認識部１４は、探索された物体について判定距離を求め、判定距離が距離閾値以下である場合には、この物体を目標物であると認識する。また、最新画像において尤度が尤度閾値Ｈを超える複数の物体が探索された場合には、物体認識部１４は、判定距離が距離閾値以下であり、判定距離が最短である物体を目標物であると認識する。物体認識部１４は、さらに、目標物に対して追跡結果データを生成して追跡結果記憶部２６に記憶させると共に、追跡成功回数記憶部３２に記憶されている追跡成功回数を１だけ増加させる。 FIG. 3 shows the target T4 recognized on the image indicated by the fourth image data acquired next to the third image data, in addition to the targets T1 to T3. The object recognition unit 14 sets the prediction range 36 on the latest image indicated by the latest image data (fifth image data) by the same process as the process executed on the first to fourth image data. An object whose likelihood exceeds the likelihood threshold H is searched on the latest image. The object recognition unit 14 obtains a determination distance for the searched object, and recognizes this object as a target when the determination distance is equal to or less than the distance threshold. When a plurality of objects whose likelihood exceeds the likelihood threshold value H are searched for in the latest image, the object recognition unit 14 selects an object whose determination distance is equal to or smaller than the distance threshold value and whose determination distance is the shortest as the target object. Recognize that The object recognition unit 14 further generates tracking result data for the target and stores the tracking result data in the tracking result storage unit 26, and increases the tracking success number stored in the tracking success number storage unit 32 by one.
出力画像生成部２４は、追跡結果記憶部２６に記憶された追跡結果データを参照することで目標物の軌跡を示す出力画像データを生成し、物体認識部１４から出力する。出力画像データが示す出力画像は、例えば、最新画像に対して目標物の軌跡を示す図形を重ねて示したものである。図４には、出力画像の例が示されている。この出力画像４０では、最新画像に対し、曲線および矢印によって表された目標物Ｔの軌跡３８が重ねて示されている。出力画像生成部２４は、画像取得部１２から順次出力された各画像データに対応する出力画像データを物体認識部１４から順次出力する。また、出力画像生成部２４は、各出力画像データを動画像データとして追跡結果記憶部２６に記憶させてもよいし、物体認識部１４に接続されたその他のメモリに記憶させてもよい。 The output image generation unit 24 generates output image data indicating the trajectory of the target by referring to the tracking result data stored in the tracking result storage unit 26 and outputs the output image data from the object recognition unit 14. The output image indicated by the output image data is, for example, a figure showing the trajectory of the target superimposed on the latest image. FIG. 4 shows an example of an output image. In the output image 40, the locus 38 of the target T represented by a curve and an arrow is superimposed on the latest image. The output image generation unit 24 sequentially outputs output image data corresponding to each image data sequentially output from the image acquisition unit 12 from the object recognition unit 14. Further, the output image generation unit 24 may store each output image data as moving image data in the tracking result storage unit 26 or may be stored in another memory connected to the object recognition unit 14.
尤度が尤度閾値Ｈを超えると共に、判定距離が距離閾値以下である物体が最新画像上で探索されなかった場合の修正処理について説明する。目標物認識部２０は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である物体を最新画像上で探索する。 A correction process when an object whose likelihood exceeds the likelihood threshold H and whose determination distance is equal to or smaller than the distance threshold is not searched on the latest image will be described. The target recognition unit 20 searches the latest image for an object whose likelihood exceeds the likelihood threshold H0 and is equal to or less than the likelihood threshold H.
目標物認識部２０は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である１つの物体が最新画像上で探索されたときは、この物体と予測範囲３６との間の判定距離を求める。目標物認識部２０は、判定距離が所定の距離閾値以下である場合には、この物体を仮目標物であると認識する。 When one object whose likelihood exceeds the likelihood threshold value H0 and is less than or equal to the likelihood threshold value H is searched for on the latest image, the target object recognition unit 20 determines the determination distance between the object and the prediction range 36. Ask for. The target object recognition unit 20 recognizes this object as a temporary target object when the determination distance is equal to or smaller than a predetermined distance threshold value.
目標物認識部２０は、目標物に対する尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である複数の物体が最新画像上で探索されたときは、これら複数の物体のそれぞれについて判定距離を求める。目標物認識部２０は、これら複数の物体のうち、判定距離が所定の距離閾値以下であり、判定距離が最短である物体を仮目標物であると認識する。物体認識部１４は、各物体について求められた判定距離が所定の距離閾値を超える場合には、目標物の追跡を終了する。この場合、物体認識部１４は、目標物を探索し追跡する処理を最初から実行する。 When a plurality of objects whose likelihood with respect to the target exceeds the likelihood threshold value H0 and is less than or equal to the likelihood threshold value H are searched on the latest image, the target object recognition unit 20 determines the determination distance for each of the plurality of objects. Ask for. The target object recognition unit 20 recognizes an object having a determination distance that is equal to or smaller than a predetermined distance threshold among the plurality of objects as a temporary target object. The object recognition unit 14 ends the tracking of the target when the determination distance obtained for each object exceeds a predetermined distance threshold. In this case, the object recognition unit 14 executes a process for searching for and tracking a target from the beginning.
目標物認識部２０は、追跡成功回数記憶部３２に記憶されている追跡成功回数ＳＣを読み込み、仮目標物に対して求められた尤度Ｌ０と追跡成功回数ＳＣを用いた以下の（数１）に基づいて尤度Ｌ０を修正し、修正尤度Ｌ１を求める。 The target object recognition unit 20 reads the tracking success number SC stored in the tracking success number storage unit 32, and uses the likelihood L0 and the tracking success number SC obtained for the provisional target (Equation 1) ) To correct the likelihood L0 to obtain the corrected likelihood L1.
（数１）Ｌ１＝Ｌ０＋ｋ・ＳＣ (Expression 1) L1 = L0 + k · SC
ｋは正の調整係数であり、例えば、実験やシミュレーションによって適切な値に設定される。（数１）は、最新の画像データよりも先に取得された画像データに対して求められた追跡成功回数ＳＣが大きい程、尤度Ｌ０に対する加算値ｋ・ＳＣを大きくし、追跡成功回数ＳＣが大きい程、修正尤度Ｌ１を大きくすることを意味する。 k is a positive adjustment coefficient, and is set to an appropriate value by experiment or simulation, for example. In (Expression 1), the larger the tracking success count SC obtained for image data acquired earlier than the latest image data, the larger the added value k · SC for the likelihood L0, and the tracking success count SC. The larger the value, the larger the correction likelihood L1.
目標物認識部２０は、修正尤度Ｌ１が尤度閾値Ｈを超えるときは、仮目標物を目標物として認識する。追跡結果生成部２２は、目標物認識部２０が仮目標物を目標物として認識したことに応じて追跡結果データを生成し、追跡結果記憶部２６に追跡結果データを記憶させる。 When the modified likelihood L1 exceeds the likelihood threshold H, the target recognition unit 20 recognizes the temporary target as a target. The tracking result generation unit 22 generates tracking result data in response to the target recognition unit 20 recognizing the temporary target as the target, and causes the tracking result storage unit 26 to store the tracking result data.
なお、修正処理では、追跡成功回数記憶部３２に記憶されている追跡成功回数はそのままに維持される。目標物認識部２０は、修正尤度Ｌ１が尤度閾値Ｈ以下であるときは、これまで追跡していた目標物の追跡を終了する。この場合、物体認識部１４は、目標物を探索し追跡する処理を最初から実行する。 In the correction process, the number of tracking successes stored in the tracking success number storage unit 32 is maintained as it is. When the modified likelihood L1 is equal to or smaller than the likelihood threshold H, the target recognition unit 20 ends the tracking of the target that has been tracked so far. In this case, the object recognition unit 14 executes a process for searching for and tracking a target from the beginning.
図５には、目標物追跡処理において、画像上で目標物を認識する処理を例示するフローチャートが示されている。物体認識部１４は、画像取得部１２から出力された画像データが示す画像上で尤度が０でない領域を検出することで物体を探索する（Ｓ１０１）。物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体があるか否かを判定し（Ｓ１０２）、その物体が複数あるときは、判定距離が最短の物体を目標物として認識する（Ｓ１０３）。また、物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体が１つである場合には、その物体を目標物として認識する（Ｓ１０３）。物体認識部１４は、追跡成功回数記憶部３２に記憶された追跡成功回数に１を加算する（Ｓ１０４）。物体認識部１４は、処理対象の画像上で目標物を探索する処理を終了し、次の画像上で目標物を認識する処理に進む。 FIG. 5 is a flowchart illustrating processing for recognizing a target on an image in target tracking processing. The object recognition unit 14 searches for an object by detecting a region whose likelihood is not 0 on the image indicated by the image data output from the image acquisition unit 12 (S101). The object recognition unit 14 determines whether or not there is an object whose likelihood exceeds the likelihood threshold value H and the determination distance is equal to or less than the distance threshold value (S102). Is recognized as a target (S103). Further, when the likelihood exceeds the likelihood threshold H and there is one object whose determination distance is equal to or less than the distance threshold, the object recognition unit 14 recognizes the object as a target (S103). The object recognition unit 14 adds 1 to the number of tracking successes stored in the tracking success number storage unit 32 (S104). The object recognizing unit 14 ends the process of searching for the target on the processing target image, and proceeds to the process of recognizing the target on the next image.
物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体がないときは、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体があるか否かを判定し（Ｓ１０５）、そのような物体が複数あるときは、判定距離が最短の物体を仮目標物として認識する（Ｓ１０６）。物体認識部１４は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体が１つである場合には、その物体を仮目標物として認識する（Ｓ１０６）。 When there is no object whose likelihood exceeds the likelihood threshold H and the determination distance is equal to or less than the distance threshold, the object recognition unit 14 exceeds the likelihood threshold H0 and is equal to or less than the likelihood threshold H. Then, it is determined whether there is an object whose determination distance is equal to or less than the distance threshold (S105). If there are a plurality of such objects, the object having the shortest determination distance is recognized as a temporary target (S106). If the likelihood exceeds the likelihood threshold value H0, is less than or equal to the likelihood threshold value H, and is one object whose determination distance is less than or equal to the distance threshold value, the object recognition unit 14 sets the object as a temporary target. Recognize (S106).
物体認識部１４は、仮目標物についての尤度Ｌ０を修正して修正尤度Ｌ１を求める（Ｓ１０７）。そして、修正尤度Ｌ１が尤度閾値Ｈを超えるか否かを判定する（Ｓ１０８）。物体認識部１４は、修正尤度Ｌ１が尤度閾値Ｈを超えるときは、その仮目標物を目標物として認識し（Ｓ１０９）、処理対象の画像上で目標物を探索する処理を終了し、次の画像上で目標物を認識する処理に進む。 The object recognizing unit 14 corrects the likelihood L0 for the temporary target to obtain the corrected likelihood L1 (S107). Then, it is determined whether or not the modified likelihood L1 exceeds the likelihood threshold H (S108). When the modified likelihood L1 exceeds the likelihood threshold H, the object recognition unit 14 recognizes the temporary target as a target (S109), and ends the process of searching for the target on the processing target image. Proceed to the process of recognizing the target on the next image.
物体認識部１４は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体がないとき（Ｓ１０５）、あるいは、仮目標物の修正尤度が尤度閾値Ｈ以下であるときは（Ｓ１０８）、処理対象の画像上で目標物を探索する処理を終了し、目標物の追跡を終了する。 The object recognizing unit 14 determines whether the likelihood exceeds the likelihood threshold value H0, is equal to or less than the likelihood threshold value H, and there is no object whose determination distance is equal to or less than the distance threshold value (S105). Is less than or equal to the likelihood threshold H (S108), the process of searching for the target on the image to be processed is terminated, and the tracking of the target is terminated.
図６には、第４の画像データが示す画像上で認識された物体Ｏの尤度が尤度閾値Ｈ以下であったときの例が示されている。この例では、物体Ｏに対して修正尤度Ｌ１が求められ、修正尤度Ｌ１が尤度閾値Ｈを超えたことによって、物体Ｏが目標物Ｔ４として認識されている。尤度が尤度閾値Ｈ以下となった原因としては、例えば、処理対象の物体Ｏが暗闇にあることや、逆光で撮影されたこと等によって尤度が低下したことがある。物体認識部１４は、目標物Ｔ１〜Ｔ３に加えて目標物Ｔ４に基づいて、第５の画像データが示す画像上に予測範囲を設定し、目標物追跡処理を引き続き実行し、目標物Ｔ５を認識する。 FIG. 6 shows an example when the likelihood of the object O recognized on the image indicated by the fourth image data is equal to or less than the likelihood threshold H. In this example, the corrected likelihood L1 is obtained for the object O, and the corrected likelihood L1 exceeds the likelihood threshold H, so that the object O is recognized as the target T4. The cause of the likelihood being equal to or less than the likelihood threshold H is, for example, that the likelihood has decreased due to the fact that the object to be processed O is in the dark, or has been photographed in backlight. The object recognition unit 14 sets a prediction range on the image indicated by the fifth image data based on the target T4 in addition to the targets T1 to T3, continues the target tracking process, and sets the target T5. recognize.
このように、本実施形態に係る物体認識装置１０は、時間経過と共に画像を順次取得する画像取得部１２と、画像上で目標物を認識する物体認識部１４とを備えている。物体認識部１４は、少なくとも予測範囲設定部１８および目標物認識部２０を備えている。予測範囲設定部１８は、先に取得された画像で認識された目標物の位置に基づいて、目標物が認識されると予測される予測範囲３６を、次に取得された画像上に設定する。目標物認識部２０は、次に取得された画像上の物体について尤度を求めると共に、尤度が所定の認識条件を満たす物体のうち、予測範囲３６に対する所定の位置条件が満たされる物体を目標物として認識する。 As described above, the object recognition apparatus 10 according to the present embodiment includes the image acquisition unit 12 that sequentially acquires images over time, and the object recognition unit 14 that recognizes a target on the image. The object recognition unit 14 includes at least a prediction range setting unit 18 and a target object recognition unit 20. Based on the position of the target recognized in the previously acquired image, the prediction range setting unit 18 sets the prediction range 36 predicted to be recognized as the target on the next acquired image. . The target recognizing unit 20 obtains the likelihood of the object on the next acquired image, and targets an object satisfying a predetermined position condition with respect to the prediction range 36 among objects whose likelihood satisfies a predetermined recognition condition. Recognize as a thing.
本実施形態における認識条件は、目標物に対する尤度が尤度閾値Ｈを超えるという条件である。また、本実施形態における位置条件は、物体または仮目標物と予測範囲３６との間の判定距離が距離閾値以下であるという条件である。 The recognition condition in the present embodiment is a condition that the likelihood for the target exceeds the likelihood threshold H. Further, the position condition in the present embodiment is a condition that the determination distance between the object or the temporary target and the prediction range 36 is equal to or less than the distance threshold.
目標物認識部２０は、目標物に対する尤度が認識条件を満たさない物体であって、予測範囲３６に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、追跡成功回数ＳＣ（尤度が認識条件を満たすことで目標物が認識された目標物認識画像の数）に応じて、その仮目標物についての尤度を修正し、修正尤度を求める修正処理を実行する。目標物認識部２０は、修正尤度が認識条件を満たすときに、仮目標物を目標物として認識する修正認識処理を実行する。 The target object recognition unit 20 is an object whose likelihood for the target object does not satisfy the recognition condition, and when there is a temporary target object that satisfies the predetermined position condition for the prediction range 36, The tracking success count SC (the number of target recognition images in which the target is recognized when the likelihood satisfies the recognition condition) is corrected for the provisional target and the correction likelihood is obtained. Execute the process. The target object recognition unit 20 executes correction recognition processing for recognizing a temporary target object as a target object when the correction likelihood satisfies the recognition condition.
なお、上記の尤度閾値Ｈ、尤度閾値Ｈ０、および距離閾値は、実験やシミュレーションによって適切な値が求められてもよい。 Note that the likelihood threshold H, the likelihood threshold H0, and the distance threshold may be determined as appropriate values through experiments or simulations.
本実施形態に係る物体認識装置１０では、尤度が認識条件を満たさないものの予測範囲に対する位置条件が満たされる物体が仮目標物として認識される。仮目標物については、過去に追跡が成功した回数が多い程、その値が大きくなるような修正尤度が求められ、修正尤度によって、仮目標物が目標物であると認識され得る。したがって、画像取得部１２で順次取得される画像が、目標物追跡の途中で劣化した場合であっても、過去に目標物として認識された物体は再び目標物として認識され易く、目標物の追跡が確実に行われる。なお、画像の劣化には、視界が良好でない領域に目標物が入り込んだり、逆光で撮影されたりしたことによるものがある。 In the object recognition apparatus 10 according to the present embodiment, an object whose likelihood does not satisfy the recognition condition but satisfies the position condition with respect to the prediction range is recognized as a temporary target. For the temporary target, a correction likelihood is obtained such that the larger the number of successful tracking in the past, the larger the value is obtained, and the temporary target can be recognized as the target by the correction likelihood. Therefore, even if the images sequentially acquired by the image acquisition unit 12 are deteriorated during the tracking of the target, an object that has been recognized as a target in the past is easily recognized as a target again. Is surely done. Note that the deterioration of the image may be due to a target entering an area where the field of view is not good or being photographed with backlight.
従来技術では、目標物に対する尤度が近い複数の物体が１つの画像内にある場合には、目的物とすべきでない物体を誤って追跡してしまう可能性がある。例えば、図７に示されているように、目標物としてのワゴン車の他、目標物でない乗用車が撮影視野３４内に現れている場合について、追跡誤りが生じる問題点について説明する。対象物体Ａ１〜Ａ４は、それぞれ、画像取得部１２で順次取得された第１〜第４の画像データから認識された目標物を撮影視野３４内に概念的に示したものである。非対象物体Ｂ１〜Ｂ４は、それぞれ、第１〜第４の画像データから認識された目標物でない物体を撮影視野３４内に概念的に示したものである。対象物体Ａ１、Ａ２およびＡ４の尤度は尤度閾値Ｈを超えるものの、対象物体Ａ３の尤度は尤度閾値Ｈ以下であるものとする。 In the related art, when a plurality of objects having similar likelihoods to the target are in one image, there is a possibility that an object that should not be the target is erroneously tracked. For example, as shown in FIG. 7, a problem that a tracking error occurs when a passenger car that is not a target appears in the imaging field of view 34 in addition to a wagon as a target will be described. The target objects A1 to A4 conceptually show the targets recognized from the first to fourth image data sequentially acquired by the image acquisition unit 12 in the imaging field of view 34, respectively. The non-target objects B1 to B4 conceptually show objects that are not targets recognized from the first to fourth image data in the imaging field of view 34, respectively. Although the likelihoods of the target objects A1, A2, and A4 exceed the likelihood threshold value H, the likelihood of the target object A3 is assumed to be less than or equal to the likelihood threshold value H.
乗用車はワゴン車に形態が近似しているため、非対象物体Ｂ１〜Ｂ４の尤度は、対象物体Ａ１〜Ａ４の尤度に近くなる可能性が高い。さらに、非対象物体Ｂ３は、対象物体Ａ３に接近している。このような条件の下、従来技術では、対象物体Ａ３ではなく非対象物体Ｂ３が誤って目標物であると認識され、それ以降は、ワゴン車ではなく乗用車が追跡されてしまう可能性がある。 Since the form of a passenger car is similar to that of a wagon car, the likelihood of the non-target objects B1 to B4 is likely to be close to the likelihood of the target objects A1 to A4. Furthermore, the non-target object B3 is approaching the target object A3. Under such conditions, in the conventional technology, not the target object A3 but the non-target object B3 is erroneously recognized as the target, and thereafter, there is a possibility that the passenger car is tracked instead of the wagon car.
本実施形態に係る物体認識装置１０によれば、非対象物体Ｂ３は、尤度について認識条件が満たされたとしても、予測範囲に対する位置条件が満たされない可能性が高い。一方、対象物体Ａ３については修正尤度が求められ、修正尤度に基づいて対象物体Ａ３が目標物であると認識される可能性が高い。したがって、非対象物Ｂ３を目標物であると誤って認識してしまう可能性が低くなり、目標物の追跡が確実に行われる。 According to the object recognition device 10 according to the present embodiment, the non-target object B3 has a high possibility that the position condition for the prediction range is not satisfied even if the recognition condition is satisfied for the likelihood. On the other hand, a correction likelihood is obtained for the target object A3, and it is highly likely that the target object A3 is recognized as a target based on the correction likelihood. Therefore, the possibility that the non-object B3 is erroneously recognized as the target is reduced, and the target is reliably tracked.
なお、修正尤度Ｌ１は、（数１）で定義される他、追跡成功回数ＳＣが大きい程、大きい値となるように定義されるものであればよい。例えば、修正尤度Ｌ１は、（数２）で定義される値であってもよい。（数２）中のｃは１を超える調整係数であり、実験やシミュレーションによって適切な値に設定される。 The modified likelihood L1 may be defined as (Equation 1) as long as the tracking success count SC is larger so as to be larger. For example, the correction likelihood L1 may be a value defined by (Equation 2). C in (Equation 2) is an adjustment coefficient exceeding 1, and is set to an appropriate value by experiment or simulation.
（数２）Ｌ１＝Ｌ０・ｃ・ＳＣ (Expression 2) L1 = L0 · c · SC
物体認識部１４は、物体認識データベース３０を自ら更新する学習機能を備えていてもよい。すなわち、物体認識部１４は、自動車、オートバイ、人物等に分類される目標物の各分類について、多元的物体データを自動的に生成する機能を備えていてもよい。この場合、物体認識部１４はインターネットに接続されていてもよい。物体認識部１４は、目標物の分類ごとにインターネットから物体の外見の特徴を表す情報を取得して多元的物体データを生成し、物体認識データベース３０に蓄積する。多元的物体データの生成に際しては、画像取得部１２によって取得された画像データが素材として用いられてもよい。 The object recognition unit 14 may have a learning function for updating the object recognition database 30 itself. That is, the object recognition unit 14 may have a function of automatically generating multi-dimensional object data for each classification of targets classified as automobiles, motorcycles, persons, and the like. In this case, the object recognition unit 14 may be connected to the Internet. The object recognition unit 14 obtains information representing the appearance characteristics of an object from the Internet for each target classification, generates multi-object data, and accumulates it in the object recognition database 30. When generating multi-dimensional object data, the image data acquired by the image acquisition unit 12 may be used as a material.
１０ 物体認識装置、１２ 画像取得部、１４ 物体認識部、１８ 予測範囲設定部、２０ 目標物認識部、２２ 追跡結果生成部、２４ 出力画像生成部、２６ 追跡結果記憶部、２８ プログラム記憶部、３０ 物体認識データベース、３２ 追跡成功回数記憶部、３４ 撮影視野、３６ 予測範囲、３８ 軌跡、４０ 出力画像。
DESCRIPTION OF SYMBOLS 10 Object recognition apparatus, 12 Image acquisition part, 14 Object recognition part, 18 Prediction range setting part, 20 Target object recognition part, 22 Tracking result generation part, 24 Output image generation part, 26 Tracking result storage part, 28 Program storage part, 30 object recognition database, 32 tracking success number storage unit, 34 field of view, 36 prediction range, 38 locus, 40 output image.
Claims (2)
画像上で目標物を認識する物体認識部と、を備え、
前記物体認識部は、
先に取得された画像で認識された前記目標物の位置に基づいて、前記目標物が認識されると予測される予測範囲を、次に取得された画像上に設定する予測範囲設定部と、
次に取得された画像上の物体について前記目標物に対する尤度を求めると共に、当該尤度が所定の認識条件を満たす物体のうち、前記予測範囲に対する所定の位置条件が満たされる物体を前記目標物として認識する目標物認識部と、を備え、
前記目標物認識部は、
前記尤度が前記認識条件を満たさない物体であって、前記予測範囲に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、前記尤度が前記認識条件を満たすことで前記目標物が認識された目標物認識画像の数に応じて、当該仮目標物についての前記尤度を修正し、修正尤度を求める修正処理と、
前記修正尤度が前記認識条件を満たすときに、前記仮目標物を前記目標物として認識する修正認識処理と、を実行することを特徴とする物体認識装置。 An image acquisition unit that sequentially acquires images over time;
An object recognition unit for recognizing a target on an image,
The object recognition unit
A prediction range setting unit that sets a prediction range predicted to be recognized by the target on the next acquired image based on the position of the target recognized in the previously acquired image;
Next, a likelihood for the target object is obtained for an object on the acquired image, and an object satisfying a predetermined position condition for the prediction range is selected as an object among the objects for which the likelihood satisfies a predetermined recognition condition. A target recognition unit that recognizes as
The target recognition unit
When there is an object whose likelihood does not satisfy the recognition condition and there is a temporary target that satisfies a predetermined position condition with respect to the prediction range, the likelihood is the recognition condition among the previously acquired images. A correction process for correcting the likelihood for the temporary target according to the number of target recognition images in which the target is recognized by satisfying
And a correction recognition process for recognizing the temporary target as the target when the correction likelihood satisfies the recognition condition.
前記修正尤度は、前記目標物認識画像の数が大きい程、大きい値を有することを特徴とする物体認識装置。 The object recognition apparatus according to claim 1,
The correction likelihood has a larger value as the number of the target recognition images is larger.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018102163A JP6871199B2 (en) | 2018-05-29 | 2018-05-29 | Target recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018102163A JP6871199B2 (en) | 2018-05-29 | 2018-05-29 | Target recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019207523A true JP2019207523A (en) | 2019-12-05 |
| JP6871199B2 JP6871199B2 (en) | 2021-05-12 |
Family
ID=68767038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018102163A Active JP6871199B2 (en) | 2018-05-29 | 2018-05-29 | Target recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6871199B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007336235A (en) * | 2006-06-15 | 2007-12-27 | Sony Corp | Method for detecting motion, program for its method, recording medium recording its program, and device for detecting motion |
| JP2010204830A (en) * | 2009-03-02 | 2010-09-16 | Fujitsu Ltd | System and method for delivering data |
| JP2010244194A (en) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | Object identification device |
| JP2016071830A (en) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2017182437A (en) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | Image recognition device, mobile device, and image recognition program |
-
2018
- 2018-05-29 JP JP2018102163A patent/JP6871199B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007336235A (en) * | 2006-06-15 | 2007-12-27 | Sony Corp | Method for detecting motion, program for its method, recording medium recording its program, and device for detecting motion |
| JP2010204830A (en) * | 2009-03-02 | 2010-09-16 | Fujitsu Ltd | System and method for delivering data |
| JP2010244194A (en) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | Object identification device |
| JP2016071830A (en) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2017182437A (en) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | Image recognition device, mobile device, and image recognition program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6871199B2 (en) | 2021-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10255663B2 (en) | Image processing device, image processing method, computer program product | |
| US9298976B2 (en) | Method, apparatus and computer readable recording medium for managing a reference face database to improve face recognition performance under a restricted memory environment | |
| JP5923746B2 (en) | Object detection frame display device and object detection frame display method | |
| WO2019042426A1 (en) | Augmented reality scene processing method and apparatus, and computer storage medium | |
| JP6572345B2 (en) | Method and apparatus for lane detection | |
| US10748294B2 (en) | Method, system, and computer-readable recording medium for image object tracking | |
| US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| CN112001456B (en) | Vehicle positioning method and device, storage medium and electronic equipment | |
| US20110285897A1 (en) | Imaging device for recognition and method of controlling the same | |
| JP2012226665A (en) | Information processing device, processing method thereof, program and imaging apparatus | |
| US10474884B2 (en) | Action determination device | |
| KR20180102639A (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
| US8958601B2 (en) | Optical navigation method and device using same | |
| EP2899706A1 (en) | Method and system for analyzing human behavior in an intelligent surveillance system | |
| JP2020177648A (en) | Recognition method of false detection of abandoned object, device, and image processor | |
| US8929590B2 (en) | Object tracking device capable of tracking object accurately, object tracking method, and storage medium | |
| CN113674306A (en) | Pedestrian trajectory acquisition method, system, device and medium based on fisheye lens | |
| JP2016173795A (en) | Image processing apparatus, image processing method, and program | |
| US20200226763A1 (en) | Object Detection Method and Computing System Thereof | |
| JP2019207523A (en) | Target recognition device | |
| JP2011071925A (en) | Mobile tracking apparatus and method | |
| JP2015153040A (en) | System, information processing device, information processing method, and information processing program | |
| JP2008243111A (en) | Image processing device and image processing method | |
| KR102136245B1 (en) | Apparatus, method, computer-readable storage medium and computer program for detecting and selecting target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6871199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |