JP2022140069A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2022140069A JP2022140069A JP2021040714A JP2021040714A JP2022140069A JP 2022140069 A JP2022140069 A JP 2022140069A JP 2021040714 A JP2021040714 A JP 2021040714A JP 2021040714 A JP2021040714 A JP 2021040714A JP 2022140069 A JP2022140069 A JP 2022140069A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- frame
- feature
- tracked object
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000002156 mixing Methods 0.000 claims description 74
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 27
- 239000000203 mixture Substances 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000011410 subtraction method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】画像処理装置1は、動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部122と、第1フレームで設定した追跡対象の第1特徴に基づいて、第2フレームで追跡対象を追跡する第1特徴追跡部123と、第1フレームで設定した追跡対象の第2特徴に基づいて、第2フレームで追跡対象を追跡する第2特徴追跡部124と、所定の混合率で、第1特徴追跡部による追跡結果と、第2特徴追跡部による追跡結果とを混合する追跡管理部125と、を有する制御部及び追跡管理部125が混合した混合結果に基づいて、第2フレームでの追跡対象の検出位置を出力する出力部13を備える。
【選択図】図3
Description
されない場合があるため、安定して取得できる特徴についての混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。
方法である。
図1は、実施形態に係る画像処理装置の適用例を説明する図である。画像処理装置は、撮像画像から人体等をトラッキングする場合、例えば、色特徴または形状特徴に基づいて追跡対象を追跡することができる。
せることができる。即ち、撮像範囲の外周部分では色特徴に関するアルゴリズムを用いて追跡し、撮像範囲の内周部分では形状特徴に関するアルゴリズムを用いて追跡することで、追跡対象への追従性は向上する。
(ハードウェア構成)
図2を参照して、画像処理装置1のハードウェア構成の一例について説明する。図2は、画像処理装置1のハードウェア構成を例示する図である。画像処理装置1は、プロセッサ101、主記憶装置102、補助記憶装置103、通信インタフェース(I/F)104、出力装置105を備える。プロセッサ101は、補助記憶装置103に記憶されたプログラムを主記憶装置102に読み出して実行することにより、図3で説明する各機能構成としての機能を実現する。通信インタフェース104は、有線または無線通信を行うためのインタフェースである。出力装置105は、例えば、ディスプレイ等の出力を行うための装置である。
図3は、画像処理装置1の機能構成を例示する図である。画像処理装置1は、画像取得部11、処理部12、出力部13を含む。処理部12は、検出部121、追跡対象設定部122、第1特徴追跡部123、第2特徴追跡部124、追跡管理部125を含む。
り、対象物を検出することができる。
図4を参照して、トラッキング処理の全体的な流れを説明する。図4は、トラッキング処理を例示するフローチャートである。トラッキング処理は、例えば、ユーザが画像処理
装置1に対し、トラッキングを指示することにより開始される。図4に示す例では、動画像のフレームごとにループ処理L1が実行される。
素および2画素移動させたフレームである。
し、特徴量空間で比較する手法を用いてもよい。この手法は、KCFを用いた場合よりも計算量が増える可能性があるが、KCFよりも高い追従性を実現することができる。
形状特徴の混合率=1.0-(追跡対象までの距離/d1)×α … (式1)
色特徴の混合率=1.0-形状特徴の混合率 … (式2)
混合特徴=色特徴×色特徴の混合率+形状特徴×形状特徴の混合率 … (式3)
マップ1301のピーク位置1302とされる。
上記の実施形態において、画像処理装置1は、カメラに対する追跡対象の相対位置に基づいて、色特徴による追跡結果と形状特徴による追跡結果の混合率を設定する。具体的には、画像の中心位置から離れた外周付近では、服の色などの色特徴が安定するため、色特徴の混合率は、形状特徴の混合率より高く設定される。一方、画像の中心位置の付近では、手足が見えにくく形状特徴が安定するため、形状特徴の混合率は、色特徴の混合率より高く設定される。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
、魚眼カメラに限られない。カメラ2は、追跡対象の位置に応じて、追跡対象を上から見た状態または横から見た状態で撮像できる撮像装置であればよい。また、カメラ2は、天井に設置される場合に限られず、追跡対象を見下ろして撮影できる場所に設置されればよい。
(1)動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部(122)と、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部(123)と、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部(124)と、
所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部(125)と、
前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部(13)と、
を備える画像処理装置(1)。
動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップ(S105)と、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップ(S107)と、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップ(S108)と、
所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップ(S109、S110)と、
前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップ(S112)と、
を含む画像処理方法。
22:追跡対象設定部、123:第1特徴追跡部、124:第2特徴追跡部、125:追跡管理部、13:出力部
Claims (13)
- 動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部と、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部と、
所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部と、
前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部と、
を備える画像処理装置。 - 前記第1特徴追跡部による追跡結果は、前記第1特徴に基づいて求められる、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
前記第2特徴追跡部による追跡結果は、前記第2特徴に基づいて求められる、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
前記出力部は、前記混合結果の尤度マップで最も尤度が高い位置を、前記第2フレームでの前記追跡対象の検出位置として出力する、
請求項1に記載の画像処理装置。 - 前記所定の混合率は、前記第1フレームの撮像範囲での前記追跡対象の位置に基づいて設定される、
請求項1または2に記載の画像処理装置。 - 前記所定の混合率は、前記第1フレームの撮像面に対する前記追跡対象の向きに基づいて設定される、
請求項1または2に記載の画像処理装置。 - 前記第1フレームから前記追跡対象を検出する検出部をさらに備える、
請求項1から4のいずれか1項に記載の画像処理装置。 - 前記追跡対象設定部は、前記第1フレームの撮像範囲の中心位置から、前記追跡対象までの距離を取得し、
前記追跡管理部は、前記距離に基づいて前記所定の混合率を設定する、
請求項1から5のいずれか1項に記載の画像処理装置。 - 前記第1特徴は色特徴であり、前記第2特徴は形状特徴である、
請求項1から6のいずれか1項に記載の画像処理装置。 - 前記追跡管理部は、前記第1フレームの撮像範囲の中心位置から、前記追跡対象までの距離が大きいほど、前記色特徴の混合率が大きくなるように前記所定の混合率を設定する、
請求項7に記載の画像処理装置。 - 前記第1特徴追跡部は、前記第2フレームにおいて、前記第1フレームでの前記追跡対象の色との色距離を求め、前記色距離に基づいて、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成し、
前記第2特徴追跡部は、前記第2フレームにおいて、前記第1フレームで前記追跡対象の位置をずらした画像との形状についての差分を求め、前記差分に基づいて、前記第2フ
レームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
請求項7または8に記載の画像処理装置。 - 前記第2特徴追跡部は、KCF(Kernelized Correlation Filter)を用いて、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
請求項9に記載の画像処理装置。 - 前記出力部は、前記第2フレームでの前記追跡対象の位置を中心として、前記第1フレームで前記追跡対象を囲む枠と同じ大きさの検出枠を出力する、
請求項1から10のいずれか1項に記載の画像処理装置。 - コンピュータが、
動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップと、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップと、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップと、
所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップと、
を含む画像処理方法。 - 請求項12に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040714A JP7439784B2 (ja) | 2021-03-12 | 2021-03-12 | 画像処理装置および画像処理方法 |
US18/547,465 US20240153108A1 (en) | 2021-03-12 | 2021-12-20 | Image processing device and image processing method |
PCT/JP2021/047098 WO2022190529A1 (ja) | 2021-03-12 | 2021-12-20 | 画像処理装置および画像処理方法 |
CN202180094085.2A CN116897369A (zh) | 2021-03-12 | 2021-12-20 | 图像处理装置以及图像处理方法 |
DE112021007302.8T DE112021007302T5 (de) | 2021-03-12 | 2021-12-20 | Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040714A JP7439784B2 (ja) | 2021-03-12 | 2021-03-12 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022140069A true JP2022140069A (ja) | 2022-09-26 |
JP7439784B2 JP7439784B2 (ja) | 2024-02-28 |
Family
ID=83226257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021040714A Active JP7439784B2 (ja) | 2021-03-12 | 2021-03-12 | 画像処理装置および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240153108A1 (ja) |
JP (1) | JP7439784B2 (ja) |
CN (1) | CN116897369A (ja) |
DE (1) | DE112021007302T5 (ja) |
WO (1) | WO2022190529A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149641A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020149111A (ja) * | 2019-03-11 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020149642A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020160901A (ja) * | 2019-03-27 | 2020-10-01 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203613A (ja) | 2011-03-25 | 2012-10-22 | Sony Corp | 画像処理装置および方法、記録媒体並びにプログラム |
-
2021
- 2021-03-12 JP JP2021040714A patent/JP7439784B2/ja active Active
- 2021-12-20 DE DE112021007302.8T patent/DE112021007302T5/de active Pending
- 2021-12-20 US US18/547,465 patent/US20240153108A1/en active Pending
- 2021-12-20 WO PCT/JP2021/047098 patent/WO2022190529A1/ja active Application Filing
- 2021-12-20 CN CN202180094085.2A patent/CN116897369A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149111A (ja) * | 2019-03-11 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020149641A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020149642A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP2020160901A (ja) * | 2019-03-27 | 2020-10-01 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
Also Published As
Publication number | Publication date |
---|---|
US20240153108A1 (en) | 2024-05-09 |
DE112021007302T5 (de) | 2024-01-25 |
WO2022190529A1 (ja) | 2022-09-15 |
CN116897369A (zh) | 2023-10-17 |
JP7439784B2 (ja) | 2024-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830141B2 (en) | Systems and methods for 3D facial modeling | |
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
JP6467787B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
US9697415B2 (en) | Recording medium, image processing method, and information terminal | |
JP5484184B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20170316575A1 (en) | Image processing apparatus, image processing method and program | |
JP6579950B2 (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
CN110264493A (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
US20090207260A1 (en) | Image pickup apparatus and image pickup method | |
JP6045378B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10205928B2 (en) | Image processing apparatus that estimates distance information, method of controlling the same, and storage medium | |
JP7334432B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
US9811909B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
JP2014026429A (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
JP6585668B2 (ja) | 物体検出装置 | |
TW202001783A (zh) | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
WO2022190529A1 (ja) | 画像処理装置および画像処理方法 | |
CN104937608B (zh) | 道路区域检测 | |
WO2020149149A1 (en) | Information processing apparatus, information processing method, and program | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP2019062436A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230017607A1 (en) | Imaging apparatus | |
KR101652116B1 (ko) | 피사체 영역 및 움직임 검출 장치 및 방법 | |
KR101844004B1 (ko) | 거리 정보를 포함하는 영상 생성 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7439784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |