JP2022068308A - 位置関係決定装置 - Google Patents
位置関係決定装置 Download PDFInfo
- Publication number
- JP2022068308A JP2022068308A JP2022024685A JP2022024685A JP2022068308A JP 2022068308 A JP2022068308 A JP 2022068308A JP 2022024685 A JP2022024685 A JP 2022024685A JP 2022024685 A JP2022024685 A JP 2022024685A JP 2022068308 A JP2022068308 A JP 2022068308A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- captured image
- moving
- player
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000011410 subtraction method Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 22
- 230000005484 gravity Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】位置関係決定装置は、複数の移動体を含む第1所定エリア2の第1撮像画像を取得する第1撮像画像取得手段10と、第1撮像画像よりも縮尺が拡大されている第2撮像画像を取得する第2撮像画像取得手段12と、第1撮像画像に基づいて、撮像されている少なくとも複数の移動体を認識する第1移動体認識手段14と、第2撮像画像に基づいて、撮像されている少なくとも複数の移動体および他の移動体を認識する第2移動体認識手段16と、第2撮像画像において認識した複数の移動体の位置関係と、第1撮像画像において認識した複数の移動体の位置関係とのマッチングに基づいて、第2移動体認識手段によって認識した他の移動体の第1撮像画像中の位置を特定する撮像エリア特定手段18と、を備える。
【選択図】図1
Description
前記第1撮像動画の画像に基づいて、撮像されている一以上のプレイヤの塊を認識する第1プレイヤ認識手段と、前記第2撮像動画の画像に基づいて、撮像されているプレイヤを個々に区別して認識する第二プレイヤ認識手段と、前記第2撮像動画の画像において個々に区別して認識できた複数のプレイヤの位置関係と、前記第1撮像動画の対応する画像において認識されたプレイヤの塊の位置関係とのマッチングに基づいて、前記第1撮像画像において複数のプレイヤの塊として認識されたプレイヤのそれぞれについて、前記第2撮像画像によって区別して認識して前記第1撮像画像における位置を決定し、当該各プレイヤの前記フィールド上の位置を決定する撮像エリア特定手段とを備えている。
1.1関係決定装置の機能構成
図1に、この発明の一実施形態による関係決定装置の機能ブロック図を示す。カメラ6は、複数の移動体が含まれる第1所定エリア2を撮像し、第1撮像画像を出力する。第1撮像画像は、第1撮像画像取得手段10によって取り込まれる。第1移動体認識手段14は、第1撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
図2に、一実施形態による関係決定装置の設置例を示す。この例では、アメリカンフットボール場における各プレイヤの位置を動的に把握するために用いた場合を示している。
図4に、関係決定プログラム44のフローチャートを示す。ここでは、ハードディスク38に、カメラ6の動画(全体動画)とカメラ8の動画(ズーム動画)が記録されているものとする。
1/(背景差分法の矩形の面積+背景差分法の矩形の面積のうち最大のものの面積)
矩形の中にスケルトンの重心点が含まれていれば、両者は対応しているということである。また、その矩形の面積が小さいほど、両者が対応している確率は高いということになる。ただし、ノイズや抽出不十分などの理由によって微小な矩形が存在する場合、この中に重心点がたまたま含まれると、極端に評価値が大きくなってしまう。これを避けるために、矩形の面積に最大の矩形の面積を加えたものを分母としている。
(1)上記実施形態では、カメラによって取得した動画を、PCに取り込むようにしている。しかし、撮像した動画をインターネットなどを介してサーバ装置に送信し、当該サーバ装置にて上記の関係決定処理を行うようにしてもよい。サーバ装置に記録された処理結果は、インターネットなどを介して端末装置から取得できるようにすることができる。
2.1関係決定装置の機能構成
図18に、この発明の第2の実施形態による関係決定装置の機能ブロック図を示す。カメラ6は、複数の移動体が含まれる第1所定エリア2を撮像し、第1撮像画像を出力する。第1撮像画像は、第1撮像画像取得手段10によって取り込まれる。第1移動体認識手段14は、第1撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
システム構成およびハードウエア構成は、第1の実施形態と同様である。ただし、この実施形態では、全体画像を撮像するカメラ6、ズーム画像を撮像するカメラ8の他に、さらなるズーム画像を撮像するカメラ9を設けている。
関係決定プログラム44のフローチャートを図19に示す。ステップS1において、カメラ6の全体画像、カメラ8のズーム画像に加えて、カメラ9の強ズーム画像も取り込むようにしている。背景差分法による全体画像とobject detectionによるズーム画像との対応付け(ステップS2~S5)は、第1の実施形態と同様である。
なお、重なりの面積は重なった部分の面積である(図25の面積C)。一方の枠の面積は、重なった枠の一方の全体の面積である(図25の面積A)。他方の枠の面積は、重なった枠の他方の全体の面積である(図25の面積B)。これを全ての枠について行って、各評価値を算出し全て合計して評価値とする(ステップS465、S466)。
(1)上記実施形態では、図29Aに示すように、第1撮像画像αから第3撮像画像γまでを用いている。しかし、第n撮像画像までを用いるようにしてもよい。この場合、nの数が大きくなるほどズームが強くなるようにする。nは4以上でもよく、2としてもよい。
Claims (12)
- 第1撮像部によって複数の移動体を含む第1所定エリアを撮像した第1撮像画像を取得する第1撮像画像取得手段と、
第1撮像部と実質的に同じ方向から前記第1所定エリアよりも狭い第2所定エリアを撮像した第2撮像画像を取得する第2撮像画像取得手段と、
前記第1撮像画像に基づいて、撮像されている一以上の移動体の塊を認識する第1移動体認識手段と、
前記第2撮像画像に基づいて、撮像されている移動体を個々に区別して認識する第2移動体認識手段と、
前記第2撮像画像において個々に区別して認識できた複数の移動体の位置関係と、前記第1撮像画像において認識された塊の位置関係とのマッチングに基づいて、前記第2撮像画像が前記第1撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段と、
を備えた関係決定装置。 - コンピュータによって関係決定装置を実現するための関係決定プログラムであって、コンピュータを、
第1撮像部によって複数の移動体を含む第1所定エリアを撮像した第1撮像画像を取得する第1撮像画像取得手段と、
第1撮像部と実質的に同じ方向から前記第1所定エリアよりも狭い第2所定エリアを撮像した第2撮像画像を取得する第2撮像画像取得手段と、
前記第1撮像画像に基づいて、撮像されている一以上の移動体の塊を認識する第1移動体認識手段と、
前記第2撮像画像に基づいて、撮像されている移動体を個々に区別して認識する第2移動体認識手段と、
前記第2撮像画像において個々に区別して認識できた複数の移動体の位置関係と、前記第1撮像画像において認識された塊の位置関係とのマッチングに基づいて、前記第2撮像画像が前記第1撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段として機能させるための関係決定プログラム。 - 請求項1の装置または請求項2のプログラムにおいて、
前記撮像エリア特定手段は、前記第1撮像画像において複数の移動体の塊として認識された移動体について、前記第2撮像画像によって区別して認識し、前記第2撮像画像の撮像エリアの特定に基づいて、当該個々の移動体の前記第1撮像画像における位置を決定することを特徴とする装置またはプログラム。 - 請求項1~3のいずれかの装置またはプログラムにおいて、
前記第1撮像画像には、位置を推定するための基準となる基準体が含まれることを特徴とする装置またはプログラム。 - 請求項1~4のいずれかの装置またはプログラムにおいて、
前記移動体は人を含むことを特徴とする装置またはプログラム。 - 請求項1~5のいずれかの装置またはプログラムにおいて、
前記第1移動体認識手段は、背景差分法に基づいて一以上の移動体の塊を認識するものであり、
前記第2移動体認識手段は、オブジェクトディテクション(object detection)により個々の人を認識するものであることを特徴とする装置またはプログラム。 - 請求項1~6のいずれかの装置またはプログラムにおいて、
前記第1移動体認識手段および前記第2移動体認識手段は、人のスケルトンを推定して個々の人を認識するものであることを特徴とする装置またはプログラム。 - 第1撮像部~第n撮像部によって、それぞれ複数の移動体を含む第1所定エリア~第n所定エリアを撮像した第1撮像画像~第n撮像画像を取得する第1~第n撮像画像取得手段と、
前記第1~第n撮像画像に基づいて、撮像されている一以上の移動体の塊または個々の移動体を認識する第1~第n移動体認識手段と、
前記第m撮像画像中の複数の移動体の位置関係と、前記第m-1撮像画像中の複数の移動体の位置関係とのマッチングに基づいて、前記第m撮像画像が前記第m-1撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段と、
を備えた関係決定装置であって、
前記第m撮像画像は、前記第m-1撮像画像と実質的に同じ方向から撮像され、前記第m所定エリアは、前記第m-1所定エリアより狭い範囲であることを特徴とする関係決定装置。 - コンピュータによって関係決定装置を実現するための関係決定プログラムであって、コンピュータを、
第1撮像部~第n撮像部によって、それぞれ複数の移動体を含む第1所定エリア~第n所定エリアを撮像した第1撮像画像~第n撮像画像を取得する第1~第n撮像画像取得手段と、
前記第1~第n撮像画像に基づいて、撮像されている一以上の移動体の塊または個々の移動体を認識する第1~第n移動体認識手段と、
前記第m撮像画像中の複数の移動体の位置関係と、前記第m-1撮像画像中の複数の移動体の位置関係とのマッチングに基づいて、前記第m撮像画像が前記第m-1撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段として機能させる関係決定プログラムであって、
前記第m撮像画像は、前記第m-1撮像画像と実質的に同じ方向から撮像され、前記第m所定エリアは、前記第m-1所定エリアより狭い範囲であることを特徴とする関係決定プログラム。 - 請求項1~9のいずれかの装置またはプログラムにおいて、
前記撮像画像は動画であることを特徴とする装置またはプログラム。 - 第1撮像部によって四隅に基準体が設けられ複数のプレイヤが競技を行うフィールド全体を撮像した第1撮像動画を取得する第1撮像動画取得手段と、
第1撮像部と実質的に同じ方向から前記フィールドの一部を撮像した第2撮像動画を取得する第2撮像動画取得手段と、
前記第1撮像動画の画像に基づいて、撮像されている一以上のプレイヤの塊を認識する第1プレイヤ認識手段と、
前記第2撮像動画の画像に基づいて、撮像されているプレイヤを個々に区別して認識する第二プレイヤ認識手段と、
前記第2撮像動画の画像において個々に区別して認識できた複数のプレイヤの位置関係と、前記第1撮像動画の対応する画像において認識されたプレイヤの塊の位置関係とのマッチングに基づいて、前記第1撮像画像において複数のプレイヤの塊として認識されたプレイヤのそれぞれについて、前記第2撮像画像によって区別して認識して前記第1撮像画像における位置を決定し、当該各プレイヤの前記フィールド上の位置を決定する撮像エリア特定手段と、
を備えたプレイヤ位置決定装置。 - コンピュータによってプレイヤ位置決定装置を実現するためのプレイヤ位置決定プログラムであって、コンピュータを、
第1撮像部によって四隅に基準体が設けられ複数のプレイヤが競技を行うフィールド全体を撮像した第1撮像動画を取得する第1撮像動画取得手段と、
第1撮像部と実質的に同じ方向から前記フィールドの一部を撮像した第2撮像動画を取得する第2撮像動画取得手段と、
前記第1撮像動画の画像に基づいて、撮像されている一以上のプレイヤの塊を認識する第1プレイヤ認識手段と、
前記第2撮像動画の画像に基づいて、撮像されているプレイヤを個々に区別して認識する第二プレイヤ認識手段と、
前記第2撮像動画の画像において個々に区別して認識できた複数のプレイヤの位置関係と、前記第1撮像動画の対応する画像において認識されたプレイヤの塊の位置関係とのマッチングに基づいて、前記第1撮像画像において複数のプレイヤの塊として認識されたプレイヤのそれぞれについて、前記第2撮像画像によって区別して認識して前記第1撮像画像における位置を決定し、当該各プレイヤの前記フィールド上の位置を決定する撮像エリア特定手段として機能させるためのプレイヤ位置決定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022024685A JP7256314B2 (ja) | 2018-02-23 | 2022-02-21 | 位置関係決定装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031047A JP7048347B2 (ja) | 2018-02-23 | 2018-02-23 | 位置関係決定装置 |
JP2022024685A JP7256314B2 (ja) | 2018-02-23 | 2022-02-21 | 位置関係決定装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018031047A Division JP7048347B2 (ja) | 2018-02-23 | 2018-02-23 | 位置関係決定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022068308A true JP2022068308A (ja) | 2022-05-09 |
JP7256314B2 JP7256314B2 (ja) | 2023-04-11 |
Family
ID=87888278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022024685A Active JP7256314B2 (ja) | 2018-02-23 | 2022-02-21 | 位置関係決定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7256314B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279494A1 (en) * | 2004-04-16 | 2007-12-06 | Aman James A | Automatic Event Videoing, Tracking And Content Generation |
JP2010244440A (ja) * | 2009-04-09 | 2010-10-28 | Nippon Hoso Kyokai <Nhk> | 動物体照合装置および動物体照合プログラム |
-
2022
- 2022-02-21 JP JP2022024685A patent/JP7256314B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279494A1 (en) * | 2004-04-16 | 2007-12-06 | Aman James A | Automatic Event Videoing, Tracking And Content Generation |
JP2010244440A (ja) * | 2009-04-09 | 2010-10-28 | Nippon Hoso Kyokai <Nhk> | 動物体照合装置および動物体照合プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7256314B2 (ja) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330470B2 (en) | Method and system for modeling subjects from a depth map | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
KR101870902B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP6286474B2 (ja) | 画像処理装置および領域追跡プログラム | |
JP5722381B2 (ja) | ビデオ解析 | |
JP5674465B2 (ja) | 画像処理装置、カメラ、画像処理方法およびプログラム | |
JP2009510541A (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
JP2009089077A5 (ja) | ||
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
KR20210084449A (ko) | 목표 대상 인식 시스템, 방법, 장치, 전자 디바이스 및 기록 매체 | |
CN113850248A (zh) | 运动姿态评估方法、装置、边缘计算服务器及存储介质 | |
TW201541407A (zh) | 辨識二維影像產生三維資訊之方法 | |
JP2010198566A (ja) | 人数計測装置、方法及びプログラム | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP2006185109A (ja) | 画像計測装置及び画像計測方法 | |
JP2015219879A (ja) | 画像認識システム、画像認識方法およびプログラム | |
JP2008288684A (ja) | 人物検出装置及びプログラム | |
JP7048347B2 (ja) | 位置関係決定装置 | |
JP2007199864A (ja) | 画像列生成方法および画像列生成装置 | |
KR101891439B1 (ko) | 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치 | |
JP7256314B2 (ja) | 位置関係決定装置 | |
JP2020173781A (ja) | 番号認識装置、方法及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7256314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |