JP2019036288A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2019036288A JP2019036288A JP2018074669A JP2018074669A JP2019036288A JP 2019036288 A JP2019036288 A JP 2019036288A JP 2018074669 A JP2018074669 A JP 2018074669A JP 2018074669 A JP2018074669 A JP 2018074669A JP 2019036288 A JP2019036288 A JP 2019036288A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- time
- shape model
- processing
- detection range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、本実施形態に係る画像処理システム1の構成例について、図1を参照して説明する。図1に示される通り、カメラ101a〜101jそれぞれは、動画像を撮像するカメラであり、競技場などのフィールド10の周囲に該フィールド10に向けて配置されている。カメラ101a〜101jそれぞれが撮像した動画像を構成する画像群は、画像処理装置100に対して送出される。図1に示される通り、本実施形態では、フィールド10上を移動する人物11,12が、カメラ101a〜101jにより撮影されるオブジェクトである例が示されている。
Qi(n)=Pi(n−1)+Δt・Vi(n−1)・・・(式1)
Vi(n)=[Pi(n)―Pi(n−1)]/Δt・・・(式2)
実施形態1では、オブジェクトの予測位置Qiとオブジェクトの大きさとに基づいて、検出範囲Riを設定する例を中心に説明した。これに対し、本実施形態のオブジェクトの追跡方法では、検出範囲Riを画像ごとに動的に変更できるようにする。これにより、本実施形態の画像処理装置は、オブジェクトの追跡ミスを抑制しつつ、オブジェクトの3次元位置を高精度に追跡することができる。以下、本実施形態におけるオブジェクトの追跡方法について説明する。なお、実施形態1と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。
次に、オブジェクトの軸の傾きに応じて検出範囲Riを回転させることにより、オブジェクトの追跡ミスを抑制しつつ、高精度のオブジェクトの3次元位置を追跡することができる態様を実施形態3として説明する。なお、実施形態1,2と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。
実施形態1〜3に係る画像処理システム1は、撮像装置101が撮像したオブジェクト(人物)の位置を追跡して、追跡した位置情報を記憶領域に記憶することができる。このような画像処理システム1は、例えば、サッカーやラグビーなどの試合において、フィールド10上の選手の位置を追跡し、当該選手の走行距離を計測するなどの用途に使用され得る。主にこのような用途において、画像処理装置100は、撮像装置101によって撮像された画像群から、ボールの3次元形状モデルを生成し、当該3次元形状モデルの位置を画像ごとに追跡してもよい。例えば、ボールの形状および大きさは、フィールド10において催される競技に応じて規定される。そのため、画像処理装置100は、ボールに対応する形状や特徴量に基づいて画像群を探索し、画像群のそれぞれの座標から三角測量を利用して、3次元位置を特定することができる。
実施形態1〜4では、検出範囲Riとして区画される形状が直方体および球形状である実施例が説明された。しかしながら、検出範囲Riとして区画される形状は直方体および球形状に限定されず、立方体、角錐形、円錐形、紡錘形などの形状を適用することができる。
Claims (11)
- 複数のカメラがオブジェクトを撮影することにより得られる複数の画像を用いて生成される3次元形状モデルに関する処理を行う画像処理装置であって、
第1時刻におけるオブジェクトの位置情報に基づいて、前記第1時刻より後の第2時刻におけるオブジェクトの3次元形状モデルに関する処理範囲を特定する特定手段と、
前記特定手段により特定された処理範囲に対して、前記第2時刻におけるオブジェクトの3次元形状モデルに関する処理を行う処理手段と
を有することを特徴とする画像処理装置。 - 前記特定手段は、前記第1時刻におけるオブジェクトの3次元形状モデルの位置情報に基づいて、前記第2時刻におけるオブジェクトの3次元形状モデルの検出範囲を特定し、
前記処理手段は、前記検出範囲において検出されたオブジェクトの3次元形状モデルと、前記第1時刻におけるオブジェクトの3次元形状モデルとの対応付け処理を行う
ことを特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、前記第1時刻におけるオブジェクトの位置情報に基づいて、前記第2時刻におけるオブジェクトの検出範囲を特定し、
前記処理手段は、前記検出範囲において検出された前記第2時刻におけるオブジェクトの画像に基づいて、前記第2時刻におけるオブジェクトの3次元形状モデルを生成する処理を行う
ことを特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、前記第1時刻におけるオブジェクトの位置情報に基づいて、前記第2時刻に関連付けられた複数の画像内の座標と前記オブジェクトの3次元空間上の座標との対応付けの判定処理を行う処理範囲を特定し、
前記処理手段は、前記特定手段により特定された処理範囲に対する判定処理の結果に基づいて、前記オブジェクトの3次元形状モデルを生成する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、前記第1時刻におけるオブジェクトの速度、加速度、及び運動モデルの少なくとも1つをさらに用いることによって、前記処理範囲を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記特定手段は、第1オブジェクトの処理範囲と第2オブジェクトの処理範囲が重複しないように、複数のオブジェクトの処理範囲をそれぞれ特定することを特徴とする請求項1に記載の画像処理装置。
- 前記3次元形状モデルの傾きを取得する傾き取得手段を有し、
前記特定手段は、前記取得した傾きに応じて、前記処理範囲を特定する
ことを特徴とする請求項1に記載の画像処理装置。 - 複数のカメラがオブジェクトを撮影することにより得られる複数の画像を用いて生成される3次元形状モデルに関する処理を行う画像処理方法であって、
第1時刻におけるオブジェクトの位置情報に基づいて、前記第1時刻より後の第2時刻におけるオブジェクトの3次元形状モデルに関する処理範囲を特定する特定ステップと、
前記特定ステップにより特定された処理範囲に対して、前記第2時刻におけるオブジェクトの3次元形状モデルに関する処理を行う処理ステップと
を有することを特徴とする画像処理方法。 - 前記特定ステップにおいては、前記第1時刻におけるオブジェクトの3次元形状モデルの位置情報に基づいて、前記第2時刻におけるオブジェクトの3次元形状モデルの検出範囲を特定し、
前記処理ステップにおいては、前記検出範囲において検出されたオブジェクトの3次元形状モデルと、前記第1時刻におけるオブジェクトの3次元形状モデルとの対応付け処理を行うことを特徴とする請求項8に記載の画像処理方法。 - 前記特定ステップにおいては、前記第1時刻におけるオブジェクトの位置情報に基づいて、前記第2時刻におけるオブジェクトの検出範囲を特定し、
前記処理ステップにおいては、前記検出範囲において検出された前記第2時刻におけるオブジェクトの画像に基づいて、前記第2時刻におけるオブジェクトの3次元形状モデルを生成する処理を行うことを特徴とする請求項8に記載の画像処理方法。 - コンピュータを、請求項1乃至7のうち何れか1項に記載の画像処理装置の各手段として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/051,823 US10726620B2 (en) | 2017-08-14 | 2018-08-01 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017156480 | 2017-08-14 | ||
JP2017156480 | 2017-08-14 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200112A Division JP2019036346A (ja) | 2017-08-14 | 2018-10-24 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6425847B1 JP6425847B1 (ja) | 2018-11-21 |
JP2019036288A true JP2019036288A (ja) | 2019-03-07 |
Family
ID=64379109
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018074669A Active JP6425847B1 (ja) | 2017-08-14 | 2018-04-09 | 画像処理装置、画像処理方法およびプログラム |
JP2018200112A Pending JP2019036346A (ja) | 2017-08-14 | 2018-10-24 | 画像処理装置、画像処理方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200112A Pending JP2019036346A (ja) | 2017-08-14 | 2018-10-24 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10726620B2 (ja) |
JP (2) | JP6425847B1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6817770B2 (ja) * | 2016-09-30 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP7033865B2 (ja) | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境系统及记录介质 |
JP7446756B2 (ja) * | 2019-10-02 | 2024-03-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110942481B (zh) * | 2019-12-13 | 2022-05-20 | 西南石油大学 | 一种基于图像处理的纵跳检测方法 |
WO2022044900A1 (ja) * | 2020-08-31 | 2022-03-03 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
JP2014211404A (ja) * | 2013-04-22 | 2014-11-13 | 株式会社ノビテック | モーションキャプチャー方法 |
JP2015194901A (ja) * | 2014-03-31 | 2015-11-05 | セコム株式会社 | 追跡装置および追尾システム |
JP2017102708A (ja) * | 2015-12-02 | 2017-06-08 | 日本放送協会 | オブジェクト追跡装置及びそのプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3567066B2 (ja) * | 1997-10-31 | 2004-09-15 | 株式会社日立製作所 | 移動体組合せ検出装置および方法 |
JP4014140B2 (ja) | 2002-03-13 | 2007-11-28 | 日本放送協会 | 三次元モデリング装置及びその方法及びそのプログラム |
JP6029394B2 (ja) * | 2012-09-11 | 2016-11-24 | 株式会社キーエンス | 形状測定装置 |
JP6280020B2 (ja) | 2014-10-28 | 2018-02-14 | セコム株式会社 | 移動物体追跡装置 |
JP2017021759A (ja) | 2015-07-15 | 2017-01-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10628956B2 (en) * | 2015-09-03 | 2020-04-21 | Sony Corporation | Video processing device, video processing method, and program |
US10818018B2 (en) | 2016-11-24 | 2020-10-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
-
2018
- 2018-04-09 JP JP2018074669A patent/JP6425847B1/ja active Active
- 2018-08-01 US US16/051,823 patent/US10726620B2/en active Active
- 2018-10-24 JP JP2018200112A patent/JP2019036346A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
JP2014211404A (ja) * | 2013-04-22 | 2014-11-13 | 株式会社ノビテック | モーションキャプチャー方法 |
JP2015194901A (ja) * | 2014-03-31 | 2015-11-05 | セコム株式会社 | 追跡装置および追尾システム |
JP2017102708A (ja) * | 2015-12-02 | 2017-06-08 | 日本放送協会 | オブジェクト追跡装置及びそのプログラム |
Non-Patent Citations (1)
Title |
---|
岩下 友美,外5名: "並列Fast Level Set Methodによる移動体の高速な三次元形状復元", 電子情報通信学会論文誌, vol. 第J90−D巻,第8号, JPN6018022802, 1 August 2007 (2007-08-01), JP, pages 1888 - 1899, ISSN: 0003819161 * |
Also Published As
Publication number | Publication date |
---|---|
US20190051045A1 (en) | 2019-02-14 |
US10726620B2 (en) | 2020-07-28 |
JP2019036346A (ja) | 2019-03-07 |
JP6425847B1 (ja) | 2018-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6425847B1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11025878B2 (en) | Image processing apparatus, image processing method thereof and storage medium | |
JP5950973B2 (ja) | フレームを選択する方法、装置、及びシステム | |
TWI467494B (zh) | 使用深度圖進行移動式攝影機定位 | |
US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
JP7017689B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
KR102387891B1 (ko) | 화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체 | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
JP2015075429A (ja) | マーカ、マーカの評価方法、情報処理装置、情報処理方法、及びプログラム | |
US20210019900A1 (en) | Recording medium, object detection apparatus, object detection method, and object detection system | |
JP2019003428A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20210046217A (ko) | 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 | |
CN113362441A (zh) | 三维重建方法、装置、计算机设备和存储介质 | |
JP5356036B2 (ja) | モーションキャプチャにおけるグループトラッキング | |
CN110891168A (zh) | 信息处理装置、信息处理方法和存储介质 | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20230224576A1 (en) | System for generating a three-dimensional scene of a physical environment | |
WO2018134866A1 (ja) | カメラ校正装置 | |
JP6817770B2 (ja) | 画像処理装置、画像処理方法 | |
JP2020149163A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Kim et al. | Pose initialization method of mixed reality system for inspection using convolutional neural network | |
CN116385273B (zh) | 步进式全景漫游中点位间的移动方法、系统及存储介质 | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
US20220319028A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181023 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6425847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |