JP2023018398A - Control support device, control support method, and control support program - Google Patents
Control support device, control support method, and control support program Download PDFInfo
- Publication number
- JP2023018398A JP2023018398A JP2021122498A JP2021122498A JP2023018398A JP 2023018398 A JP2023018398 A JP 2023018398A JP 2021122498 A JP2021122498 A JP 2021122498A JP 2021122498 A JP2021122498 A JP 2021122498A JP 2023018398 A JP2023018398 A JP 2023018398A
- Authority
- JP
- Japan
- Prior art keywords
- detected
- sensor
- moving object
- moving
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 94
- 238000001514 detection method Methods 0.000 claims abstract description 158
- 230000008569 process Effects 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 53
- 238000012790 confirmation Methods 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000007704 transition Effects 0.000 description 17
- 101100480513 Caenorhabditis elegans tag-52 gene Proteins 0.000 description 16
- 230000003068 static effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 101100480514 Caenorhabditis elegans tag-53 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、移動体の管制を支援するための画像を生成する技術に関する。 The present disclosure relates to technology for generating an image for assisting control of mobile objects.
管制業務は目視確認が原則である。しかし、空港拡張又はメンテナンス工事等に伴い、物理的に視界が遮られてしまうケースと、遠方あるいは雲又は悪天等により目視確認が難しいケースとが想定される。そのため、空港処理能力向上のためには管制官に対する目視確認の支援が必要である。 In principle, control work is based on visual confirmation. However, there may be cases where the field of view is physically blocked due to airport expansion or maintenance work, and cases where visual confirmation is difficult due to distance, clouds, bad weather, or the like. Therefore, it is necessary to support visual confirmation for air traffic controllers in order to improve airport processing capacity.
特許文献１には、管制対象の航空機が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成して表示することが記載されている。また、特許文献１には、表示画像において、航空機の隣に識別子を含むタグを表示することが記載されている。表示画像を表示することにより、特許文献１では、管制官に対する目視確認の支援を行っている。
In
特許文献１では、撮影画像から航空機が検知されており、かつ、センサによって航空機が検知されていることが前提となっている。そのため、例えば、一時的にセンサによって航空機が検知されず、センサ情報が取得されなくなってしまうと、その航空機についての識別子等が表示されない状態になってしまい、管制官に対する目視確認の支援が適切に行えなくなってしまう。
本開示は、撮影画像からの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の支援を可能にすることを目的とする。
In
An object of the present disclosure is to enable visual confirmation support for air traffic controllers even when only one of detection from a captured image and detection by a sensor is performed.
本開示に係る管制支援装置は、
画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備える。
The control support device according to the present disclosure is
a detection unit that detects a moving object to be controlled from image data;
a sensor acquisition unit that acquires sensor information about the moving object to be controlled obtained by being detected by a sensor;
A superimposed image is generated by superimposing a tag generated from the sensor information acquired by the sensor acquisition unit on a display position in the image data determined based on the position where the moving object is detected by the detection unit. In the superimposed image generation unit, for a moving object detected by only one of the detection unit and the sensor, a tag is generated using information obtained in the past by the other of the detection unit and the sensor. and a superimposed image generation unit for superimposed display.
本開示では、検知部とセンサとのどちらか一方だけで検知された移動体については、過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。 In the present disclosure, for a moving object detected by only one of the detection unit and the sensor, a superimposed image is generated using information detected in the past. As a result, even when only one of the detection from the image data and the detection by the sensor is performed, it is possible to appropriately support the visual confirmation for the air traffic controller.
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る管制支援装置１０の構成を説明する。
管制支援装置１０は、コンピュータである。
管制支援装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
*** Configuration description ***
A configuration of a
The
The
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
The
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
The
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
The
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
管制支援装置１０は、通信インタフェース１４を介して、センサ４１と、撮影装置４２と、表示装置４３とに接続されている。図１では、センサ４１及び撮影装置４２は複数だが、１つでもよい。
The
The
管制支援装置１０は、機能構成要素として、センサ取得部２１と、タグ生成部２２と、画像取得部２３と、検知部２４と、同一性判定部２５と、重畳画像生成部２６とを備える。管制支援装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、管制支援装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、管制支援装置１０の各機能構成要素の機能が実現される。
The
The
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
Only one
＊＊＊動作の説明＊＊＊
図２から図９を参照して、実施の形態１に係る管制支援装置１０の動作を説明する。
実施の形態１に係る管制支援装置１０の動作手順は、実施の形態１に係る管制支援方法に相当する。また、実施の形態１に係る管制支援装置１０の動作を実現するプログラムは、実施の形態１に係る管制支援プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
図２を参照して、実施の形態１に係る管制支援装置１０の全体的な処理を説明する。
（ステップＳ１１：センサ取得処理）
センサ取得部２１は、通信インタフェース１４を介して、センサ４１によって管制対象の移動体５１が検知されて生成された１つ以上のセンサ情報を取得する。
センサ情報は、センサ４１によって検知された移動体５１毎に生成される。センサ情報は、移動体５１の識別子である移動体ＩＤと、移動体５１の位置及び速度を示す位置情報と、移動体５１から送信された移動体５１に関する移動体情報とを含む。移動体情報は、具体例としては、移動体５１の出発地である。実施の形態１では、移動体５１は、航空機である。しかし、移動体５１は、航空機の他に、空港を走行する車両等を含んでもよい。
Overall processing of the
(Step S11: Sensor Acquisition Processing)
The
Sensor information is generated for each
（ステップＳ１２：タグ生成処理）
タグ生成部２２は、ステップＳ１１で取得された１つ以上のセンサ情報それぞれを対象として、対象のセンサ情報から、対象のセンサ情報が示す移動体５１についてのタグ５２を生成する。
タグ５２は、対象の移動体５１についての移動体ＩＤと位置情報と移動体情報との少なくともいずれかを示し、枠で囲まれた画像である。実施の形態１では、タグ５２は、移動体ＩＤを含む。
(Step S12: tag generation processing)
The
The
（ステップＳ１３：画像取得処理）
画像取得部２３は、通信インタフェース１４を介して、各撮影装置４２によって撮影されて得られた画像データを取得する。各撮影装置４２は、空港及び空港の周辺を撮影するように設置されている。各撮影装置４２は、撮影領域の一部が重なるように、少しずつ撮影領域をずらして設置されている。
(Step S13: Image Acquisition Processing)
The
（ステップＳ１４：パノラマ生成処理）
画像取得部２３は、ステップＳ１３で取得された画像データを合成して、各撮影装置４２の撮影領域全体を撮影した画像データであるパノラマ画像を生成する。画像データを合成する方法は、既存の手法を用いればよい。
(Step S14: panorama generation processing)
The
（ステップＳ１５：検知処理）
検知部２４は、ステップＳ１４で生成されたパノラマ画像から、管制対象の移動体５１を検知する。
具体的には、検知部２４は、テンプレートマッチングを用いる、又はニューラルネットワークを用いた物体検知モデルを用いるといった方法により、パノラマ画像から管制対象の移動体５１を検知する。
(Step S15: detection processing)
The
Specifically, the
（ステップＳ１６：同一性判定処理）
同一性判定部２５は、ステップＳ１１で取得されたセンサ情報が示す移動体５１である第１移動体５１１と、ステップＳ１４で検知された移動体５１である第２移動体５１２とが同一の移動体５１であるか否かを判定する。そして、同一性判定部２５は、同一の移動体５１であると判定された第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１として扱う。
これにより、図３に示すように、同一性判定部２５は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とに分類した移動体リスト５３を生成する。ここで、第１移動体５１１と第２移動体５１２とが対応付けされた移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１である。第２移動体５１２と対応付けされなかった第１移動体５１１は、センサ４１だけで検知された移動体５１である。第１移動体５１１と対応付けされなかった第２移動体５１２は、検知部２４だけで検知された移動体５１である。
同一性判定部２５は、移動体リスト５３の移動体５１に対して、それぞれを一意に識別できるように、識別番号を割り当てる。同一性判定部２５は、前回検知された移動体５１が次の検知状態更新のタイミングで再び検知された場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新する。例えば、同一性判定部２５は、センサ４１又は検知部２４の一方だけにより検知された移動体５１について次の検知状態更新のタイミングで両方で検知した場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新すればよい。
また、移動体リストは移動体５１の検知部２４及びセンサ２４の前回検知状態を保持する。これは、現在の検知状態に更新するタイミングで、過去の検知状態を前回検知として記録するものである。
(Step S16: identity determination process)
The
As a result, as shown in FIG. A moving
The
Further, the moving body list holds the previous detection state of the
（ステップＳ１７：重畳画像生成処理）
図４に示すように、重畳画像生成部２６は、ステップＳ１５で移動体５１が検知された位置を基準として決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示して重畳画像５４を生成する。
具体的には、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１については、ステップＳ１５で検知部２４によって検知された位置から決められる、パノラマ画像における表示位置に、タグ５２を重畳表示する。一方、重畳画像生成部２６は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、図３の移動体リストの前回検知状態に基づき、検知部２４とセンサ４１との他方で過去に検知された情報を用いて、パノラマ画像に対してタグ５２を重畳表示する。
(Step S17: superimposed image generation processing)
As shown in FIG. 4, the
Specifically, the superimposed
この際、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体と、検知部２４だけで検知された移動体５１とで、パノラマ画像に対して区別した表示を行う。実施の形態１では、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体と、検知部２４だけで検知された移動体５１とで、異なる態様の検知枠５５を重畳表示する。検知枠５５は、検知部２４によって移動体５１が検知された位置を示す枠であり、ここでは移動体５１が検知された領域を囲む矩形の枠である。
図４では、検知部２４とセンサ４１との両方で検知された移動体５１についての検知枠５５は、実線で描かれている。センサ４１だけで検知された移動体についての検知枠５５は、破線で描かれている。検知部２４だけで検知された移動体５１についての検知枠５５は、一点鎖線で描かれている。
At this time, the superimposed
In FIG. 4, the
（ステップＳ１８：表示処理）
重畳画像生成部２６は、ステップＳ１７で生成された重畳画像５４を表示装置４３に表示する。
(Step S18: display processing)
The
図５を参照して、実施の形態１に係る重畳画像生成処理（図２のステップＳ１７）を説明する。
重畳画像生成部２６は、１秒毎に最新の検知状態に更新される移動体リスト５３のレコードを入力として、ステップＳ２１からステップＳ２８の処理を実行する。
The superimposed image generation process (step S17 in FIG. 2) according to the first embodiment will be described with reference to FIG.
The superimposed
（ステップＳ２１：結果判定処理）
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とのいずれかであるかを判定する。
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１である場合には、処理をステップＳ２２に進める。重畳画像生成部２６は、処理対象の移動体５１が、センサ４１だけで検知された移動体５１である場合には、処理をステップＳ２３に進める。重畳画像生成部２６は、検知部２４だけで検知された移動体５１である場合には、処理をステップＳ２６に進める。
(Step S21: result determination processing)
The superimposed
When the moving
（ステップＳ２２：第１重畳処理）
重畳画像生成部２６は、ステップＳ１５で検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を実線で描く。
ここで、表示位置は、ステップＳ１５で検知部２４によって検知された位置の付近である。例えば、表示位置は、ステップＳ１５で検知部２４によって検知された位置を基準として、基準方向に基準距離だけずらした位置である。基準距離は、特定の撮影装置４２から移動体５１までの距離に応じて変更されてもよい。
(Step S22: first superimposing process)
The superimposed
Here, the display position is near the position detected by the
（ステップＳ２３：第１過去判定処理）
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間において検知部２４により検知されていたか否かを判定する。センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、重畳画像生成部２６は、過去基準期間に得られたセンサ情報から処理対象の移動体５１の移動体ＩＤを含むセンサ情報を抽出することにより、処理対象の移動体５１を検知して得られたセンサ情報を特定できる。重畳画像生成部２６は、特定されたセンサ情報が示す移動体５１である第１移動体５１１が、第２移動体５１２と対応付けされたか否かにより、処理対象の移動体５１が、検知部２４により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２４に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２５に進める。
(Step S23: First past determination process)
The superimposed
The
（ステップＳ２４：第２重畳処理）
重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置から特定される推定位置に検知枠５５を破線で描き、検知枠５５の右下に“＊”を加える。
ここで、図７に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置と、過去に取得された処理対象の移動体５１についてのセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して推定位置及び表示位置を決定する。図７に示すように、重畳画像生成部２６は、過去基準期間における各時点において、検知部２４によって検知された位置と取得されたセンサ情報に含まれる位置情報が示す位置との差の平均値を補正値として計算する。図７では、時刻ｔ－１，ｔ－２，ｔ－３それぞれにおける差の平均値が補正値として計算されている。そして、重畳画像生成部２６は、今回新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正値により補正した位置を推定位置とする。重畳画像生成部２６は、推定位置を基準として、基準方向に基準距離だけずらした位置を表示位置に決定する。
(Step S24: second superimposing process)
The superimposed
Here, as shown in FIG. 7, the superimposed
（ステップＳ２５：第３重畳処理）
重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置から推測される移動体５１の推測位置に検知枠５５を破線で描く。なお、検知枠５５の右下に“＊”は加えられない。
センサ情報に含まれる位置情報が示す位置は、数秒程度前の移動体５１の位置である。そのため、重畳画像生成部２６は、過去のセンサ情報の位置の軌跡から移動体５１の移動ベクトルを計算し、直近のセンサ情報に含まれる位置情報が示す位置を基準として、移動ベクトルに従い指定時間（数秒）後の位置を推定して推定位置を特定する。
(Step S25: third superimposing process)
The
The position indicated by the position information included in the sensor information is the position of the
（ステップＳ２６：第２過去判定処理）
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間においてセンサ４１により検知されていたか否かを判定する。ここでは、検知部２４によって検知された移動体５１について追跡処理が行われているものとする。追跡処理は既存技術を用いて実現可能である。したがって、過去基準期間に検知部２４によって検知された処理対象の移動体５１を特定できる。重畳画像生成部２６は、特定された処理対象の移動体５１である第２移動体５１２が、第１移動体５１１と対応付けされたか否かにより、処理対象の移動体５１が、センサ４１により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２７に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２８に進める。
(Step S26: Second past determination process)
The
The
（ステップＳ２７：第４重畳処理）
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、センサ４１によって過去に検知され取得されたセンサ情報から生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描き、検知枠５５の右下に“＊”を加える。
重畳画像生成部２６は、処理対象の移動体５１について過去基準期間に複数のセンサ情報が得られている場合には、できるだけ新しいセンサ情報から生成されたタグ５２を重畳表示する。図８に示すように、重畳画像生成部２６は、過去基準期間における各時点において取得されたセンサ情報のうち、最も新しいセンサ情報から生成されたタグ５２を取得して重畳表示する。
なお、表示位置は、ステップＳ２２と同じ方法により決定される。
(Step S27: fourth superimposing process)
The superimposed
The superimposed
The display position is determined by the same method as in step S22.
（ステップＳ２８：第５重畳処理）
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描く。なお、検知枠５５の右下に“＊”は加えられない。
ここでは、処理対象の移動体５１について、センサ情報が得られないため、タグ５２は重畳表示されない。
(Step S28: fifth superimposing process)
The superimposed
Here, since sensor information cannot be obtained for the moving
図９を参照して、実施の形態１に係る移動体５１の検知状態の遷移を説明する。
移動体５１の検知状態としては、検知部２４とセンサ４１との両方で検知されている両検知状態６１と、センサ４１だけで検知されたセンサ検知状態６２と、検知部２４だけで検知された画像検知状態６３と、検知部２４とセンサ４１とのどちらでも検知されていない未検知状態６４とがある。
図９において矢印で示すように、各検知状態の間で状態の遷移が発生する。遷移が発生するのは、図２のＳ１６の同一性判定結果により図３の移動体リスト５３の分類（航空機の状態）が更新された場合である。この遷移のうち、両検知状態６１からセンサ検知状態６２に遷移した場合において実行される処理が第２重畳処理（図５のステップＳ２４）である。未検知状態６４からセンサ検知状態６２に遷移した場合において実行される処理が第３重畳処理（図５のステップＳ２５）である。両検知状態６１から画像検知状態６３に遷移した場合において実行される処理が第４重畳処理（図５のステップＳ２７）である。未検知状態６４から画像検知状態６３に遷移した場合において実行される処理が第５重畳処理（図５のステップＳ２８）である。遷移元に関わらず、両検知状態６１において実行される処理が第１重畳処理（図５のステップＳ２２）である。
なお、検知部２４で検知されないとは、例えば天候不良や障害物により画像データから移動体５１が検知されない場合である。
A transition of the detection state of the moving
The detection state of the moving
As indicated by the arrows in FIG. 9, state transitions occur between each detection state. A transition occurs when the classification (aircraft status) of the
Not being detected by the
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る管制支援装置１０は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、検知部２４とセンサ４１との他方で過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサ４１による検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。
*** Effect of
As described above, the
移動体５１の検知状態は、図９に示すように変化する。状況によっては、数秒おきに検知状態が変化することがある。特に、両検知状態６１とセンサ検知状態６２との間での遷移と、両検知状態６１と画像検知状態６３との間での遷移とが頻繁に発生することがある。
両検知状態６１とセンサ検知状態６２との間での遷移と、両検知状態６１と画像検知状態６３との間での遷移といずれかが発生すると、従来はタグ５２の表示がされない状態が発生していた。そのため、これらの遷移が頻繁に発生すると、管制官に対する目視確認の適切な支援が行えない状態になっていた。
実施の形態１に係る管制支援装置１０は、これらの遷移が発生した場合には、過去に取得された情報を用いてタグ５２を重畳表示する。これにより、これらの遷移が頻繁に発生しても、管制官に対する目視確認の適切な支援が可能である。
The detection state of the moving
Conventionally, when either the transition between the both
The air traffic
また、実施の形態１に係る管制支援装置１０は、両検知状態６１とセンサ検知状態６２と画像検知状態６３とで、パノラマ画像に対して区別した表示を行う。これにより、管制官は、検知状態がどの状態であるかを容易に判別可能である。そのため、検知状態を考慮した管制を行うことが可能である。
Further, the air traffic
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
***Other Configurations***
<
In
図１０を参照して、変形例１に係る管制支援装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、管制支援装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
The configuration of the
When each functional component is implemented by hardware, the
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
The
Each functional component may be implemented by one
＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<
As a
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
The
実施の形態２．
実施の形態２では、同一性判定処理について説明する。
In the second embodiment, identity determination processing will be described.
ここでは、図１１に示すように、ステップＳ１１で過去基準期間に取得されたセンサ情報と、このセンサ情報からステップＳ１２で生成されたタグ５２とが関連付けされてメモリ１２に蓄積されているものとする。
Here, as shown in FIG. 11, it is assumed that the sensor information acquired in the past reference period in step S11 and the
また、図１１に示すように、センサ情報に含まれる位置情報が示す位置が、パノラマ画像における画素の位置に変換された画素位置も、センサ情報に関連付けされてメモリ１２に蓄積されているものとする。
センサ情報に含まれる位置情報が示す位置を、基準位置を原点とするＥＮＵ（Ｅａｓｔ
Ｎｏｒｔｈ Ｕｐ）座標系の座標に変換し、ＥＮＵ座標系の座標を、パノラマ画像における画素に変換することにより、位置情報が示す位置を画素位置に変換することができる。基準位置は、具体例としては、特定の撮影装置４２の設置位置である。位置情報が示す位置は、緯度及び経度を示す。したがって、緯度及び経度とＥＮＵ座標系の座標との対応関係を事前に設定しておくことにより、位置情報が示す位置をＥＮＵ座標系の座標に変換することができる。また、ＥＮＵ座標系の座標とパノラマ画像における画素との対応関係を事前に設定しておくことにより、ＥＮＵ座標系の座標とパノラマ画像における画素に変換することができる。
Further, as shown in FIG. 11, the pixel positions obtained by converting the positions indicated by the position information included in the sensor information into pixel positions in the panorama image are also stored in the
ENU (East
The position indicated by the position information can be converted into a pixel position by converting the coordinates of the North Up) coordinate system and converting the coordinates of the ENU coordinate system into pixels in the panorama image. A specific example of the reference position is the installation position of a
センサ情報は、１秒毎に取得されるものとする。したがって、基準期間がＮ秒間であれば、センサ情報とタグ５２と画素位置とはＮ個蓄積される。 Assume that the sensor information is acquired every second. Therefore, if the reference period is N seconds, N sensor information, tags 52 and pixel positions are accumulated.
また、図１２に示すように、ステップＳ１３で過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像からステップＳ１５で検知された移動体５１の検知枠５５及び検知位置とが関連付けされてメモリ１２に蓄積されているものとする。検知位置は、移動体５１についての検知枠５５の基準となる位置である。基準となる位置は、例えば、中心である。
パノラマ画像から検知された移動体５１には、検知ＩＤが付与されている。同一と判定された移動体５１には、同一の検知ＩＤが付与されるようになっている。
Further, as shown in FIG. 12, the panoramic image generated from the image data acquired in the past reference period in step S13, and the
A detection ID is assigned to the moving
画像データは１／３０秒毎に取得されるものとする。したがって、基準期間がＮ秒間であれば、パノラマ画像はＮ×３０個蓄積される。 Assume that image data is acquired every 1/30 second. Therefore, if the reference period is N seconds, N×30 panorama images are accumulated.
図１３を参照して、実施の形態２に係る同一性判定処理（図２のステップＳ１６）を説明する。
（ステップＳ３１：センサ読出処理）
同一性判定部２５は、メモリ１２から過去基準期間に取得されたセンサ情報と、このセンサ情報に関連付けされたタグ５２及び画素位置とを読み出す。
The identity determination process (step S16 in FIG. 2) according to the second embodiment will be described with reference to FIG.
(Step S31: Sensor reading process)
The
（ステップＳ３２：第１静動判定処理）
同一性判定部２５は、直近に取得された１つ以上のセンサ情報それぞれを対象のセンサ情報に設定する。同一性判定部２５は、対象のセンサ情報が示す移動体５１を、ステップＳ３１で読み出された過去基準期間に取得されたセンサ情報に含まれる位置情報を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。静状態の移動体５１は、停止している移動体５１である。なお、停止しているとは、完全に停止している状態に限らず、ほぼ停止しているとみなすことができる状態も含む。動状態の移動体５１は、移動している移動体５１である。
(Step S32: First still/movement determination process)
The
（ステップＳ３３：検知位置読出処理）
同一性判定部２５は、メモリ１２から過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像に関連付けされた検知位置とを読み出す。
この際、同一性判定部２５は、ステップＳ３３で読み出されたパノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。ここでは、同一性判定部２５は、１秒毎にパノラマ画像と検知位置との組を１つだけ抽出することによって、パノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。なお、間引きの基準は検知のタイムスタンプとし、検知位置の更新タイムスタンプと最も近い、パノラマ画像の更新タイムスタンプを選択して、それ以外のパノラマ画像を間引きする。
(Step S33: Detection position reading process)
The
At this time, the
（ステップＳ３４：ＩＤ設定処理）
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれについて、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）が付与されるように、検知ＩＤを付与する。
(Step S34: ID setting process)
For each of one or more moving
（ステップＳ３５：第２静動判定処理）
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１に設定する。同一性判定部２５は、対象の移動体５１を、ステップＳ３３で読み出された過去基準期間における検知位置を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。
(Step S35: Second static/movement determination process)
The
（ステップＳ３６：相関処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す移動体５１である第１移動体５１１と、直近のパノラマ画像から検知された移動体５１である第２移動体５１２との位置に相関があるか否かを判定する。ここでは、同一性判定部２５は、ステップＳ３２で静状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で静状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。また、同一性判定部２５は、ステップＳ３２で動状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で動状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。
同一性判定部２５は、相関があると判定された第１移動体５１１と第２移動体５１２とは、同一の移動体５１であるとして、第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１とする。そして、同一性判定部２５は、相関があると判定された移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、センサ情報が示す移動体５１は、センサ４１だけで検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、パノラマ画像から検知された移動体５１は、検知部２４だけで検知された移動体５１に分類する。そして、図３に示すような移動体リスト５３を生成する。
(Step S36: Correlation processing)
The
The
図１４を参照して、実施の形態２に係るＩＤ設定処理（図１３のステップＳ３４）を説明する。
（ステップＳ４１：追跡処理）
ここでは、図２のステップＳ１５で移動体５１を検知する際、同一の移動体５１を追跡する追跡処理が行われているものとする。同一性判定部２５は、追跡処理の結果を取得する。同一性判定部２５は、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤを付与し、過去のパノラマ画像では検知されていなかった移動体５１には新たな検知ＩＤを付与する。
The ID setting process (step S34 in FIG. 13) according to the second embodiment will be described with reference to FIG.
(Step S41: Tracking process)
Here, it is assumed that tracking processing for tracking the same moving
直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ４２からステップＳ４６の処理が実行される。
The processing from step S42 to step S46 is executed with one or more moving
（ステップＳ４２：直前画像読出処理）
同一性判定部２５は、メモリ１２から直近のパノラマ画像の１つ前に取得されたパノラマ画像と、そのパノラマ画像から検知された移動体５１についての検知ＩＤ及び検知枠５５を読み出す。
(Step S42: immediately preceding image reading process)
The
（ステップＳ４３：ＩＤ判定処理）
同一性判定部２５は、直近のパノラマ画像から検知された対象の移動体５１に付与された検知ＩＤが、１つ前のパノラマ画像から検知された移動体５１に付与された検知ＩＤに存在するか否かを判定する。
同一性判定部２５は、存在しない場合には、処理をステップＳ４４に進める。一方、同一性判定部２５は、存在する場合には、処理をステップＳ４５に進める。
(Step S43: ID determination processing)
The
If the
（ステップＳ４４：重なり判定処理）
同一性判定部２５は、対象の移動体５１についての検知枠５５が、直近数フレーム分のパノラマ画像から検知されたいずれかの移動体５１についての検知枠５５と重なっているか否かを判定する。
同一性判定部２５は、重なっていない場合には、処理をステップＳ４５に進める。一方、同一性判定部２５は、重なっている場合には、処理をステップＳ４６に進める。
(Step S44: Overlap determination processing)
The
If they do not overlap, the
（ステップＳ４５：ＩＤ確定処理）
同一性判定部２５は、対象の移動体５１に付与されている検知ＩＤを、対象の移動体５１の検知ＩＤとして確定する。
(Step S45: ID confirmation process)
The
（ステップＳ４６：ＩＤ引継処理）
同一性判定部２５は、１つ前のパノラマ画像から検知された移動体５１の検知枠５５のうち、対象の移動体５１についての検知枠５５と重なる面積が最も大きい検知枠５５を特定する。同一性判定部２５は、特定された検知枠５５に対応する移動体５１に付与された検知ＩＤを、対象の移動体５１に対して付与する。
(Step S46: ID takeover process)
The
図１５を参照して、実施の形態２に係る第１静動判定処理（図１３のステップＳ３２）を説明する。
直近のセンサ情報が示す１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ５１からステップＳ５４の処理が実行される。
The first stationary/movement determination process (step S32 in FIG. 13) according to the second embodiment will be described with reference to FIG.
The processing from step S51 to step S54 is executed with each of the one or more moving
（ステップＳ５１：移動量計算処理）
同一性判定部２５は、対象の移動体５１について、直近の画素位置と、基準期間前の画素位置との差異を移動量として計算する。ここでは、同一性判定部２５は、直近の画素位置と、基準期間前の画素位置とについて、ｕ軸方向の差異をｕ移動量として計算し、ｖ軸方向の差異をｖ移動量として計算する。
直近の画素位置は、直近のセンサ情報から得られた画素位置である。基準期間前の画素位置は、過去基準期間に取得されたセンサ情報のうち、対象の移動体５１についての最も古いセンサ情報から得られた画素位置である。なお、センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、同一性判定部２５は、過去基準期間に取得されたセンサ情報から、対象の移動体５１の移動体ＩＤが含まれるセンサ情報を特定することにより、対象の移動体５１についてのセンサ情報を特定することができる。
(Step S51: Movement amount calculation processing)
The
The nearest pixel position is the pixel position obtained from the most recent sensor information. The pixel position before the reference period is the pixel position obtained from the oldest sensor information about the
（ステップＳ５２：移動量判定処理）
同一性判定部２５は、ステップＳ５１で計算された移動量が閾値以下であるか否かを判定する。ここでは、同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下である場合には、処理をステップＳ５３に進める。一方、同一性判定部２５は、ｕ移動量とｖ移動量との少なくともいずれかが閾値以下でない場合には、処理をステップＳ５４に進める。
(Step S52: Movement amount determination processing)
The
If the u movement amount and the v movement amount are equal to or less than the threshold, the
（ステップＳ５３：静状態分類処理）
同一性判定部２５は、対象の移動体５１を静状態に分類する。
(Step S53: static state classification process)
The
（ステップＳ５４：動状態分類処理）
同一性判定部２５は、対象の移動体５１を動状態に分類する。
(Step S54: dynamic state classification processing)
The
図１６を参照して、実施の形態２に係る第２静動判定処理（図１３のステップＳ３５）を説明する。
直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ６１からステップＳ６６の処理が実行される。
The second stationary/movement determination process (step S35 in FIG. 13) according to the second embodiment will be described with reference to FIG.
The processing from step S61 to step S66 is executed with each of one or more moving
（ステップＳ６１：変位量判定処理）
同一性判定部２５は、対象の移動体５１について、１つ前のパノラマ画像での検知位置から直近のパノラマ画像での検知位置までの距離を変位量として計算する。同一性判定部２５は、計算された変位量が、対象の移動体５１について前回計算された変位量と比較して、基準量以下の差であるか否かを判定する。
１つ前のパノラマ画像とは、直近のパノラマ画像の約１秒前に取得された画像データから生成されたパノラマ画像である。前回計算された変位量とは、１つ前のパノラマ画像を直近のパノラマ画像として計算された変位量である。
同一性判定部２５は、基準量以下の差であり、かつ、対象の移動体５１が静状態であると前回分類されていた場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、基準量以下の差でない場合と、対象の移動体５１が静状態であると前回分類されていない場合との少なくともいずれかの場合には、処理をステップＳ６２に進める。
(Step S61: Displacement amount determination processing)
The
The preceding panorama image is a panorama image generated from image data acquired about one second before the latest panorama image. The displacement amount calculated last time is the displacement amount calculated with the previous panorama image as the latest panorama image.
If the difference is equal to or less than the reference amount and the
（ステップＳ６２：標準偏差計算処理）
同一性判定部２５は、対象の移動体５１についての、過去計算期間における検知位置の標準偏差を計算する。計算期間は、例えば、センサ情報の取得間隔である１秒である。
(Step S62: standard deviation calculation process)
The
（ステップＳ６３：標準偏差判定処理）
同一性判定部２５は、ステップＳ６２で計算された標準偏差が、基準値以下であるか否かを判定する。
同一性判定部２５は、標準偏差が基準値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、標準偏差が基準値以下でない場合には、処理をステップＳ６４に進める。
(Step S63: standard deviation determination process)
The
If the standard deviation is equal to or less than the reference value,
（ステップＳ６４：移動量判定処理）
同一性判定部２５は、対象の移動体５１について、直近の検知位置と、基準期間前の検知位置との差異を移動量として計算する。同一性判定部２５は、移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、移動量が閾値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、移動量が閾値以下でない場合には、処理をステップＳ６６に進める。
直近の検知位置は、直近のパノラマ画像から対象の移動体５１が検知された検知位置である。基準期間前の検知位置は、過去基準期間におけるパノラマ画像のうち、対象の移動体５１が検知された最も古いパノラマ画像から対象の移動体５１が検知された検知位置である。なお、図１３のステップＳ３４において、同一の移動体５１に対して同じ検知ＩＤが付与されている。したがって、同一性判定部２５は、対象の移動体５１に付与された検知ＩＤが付与された移動体５１を特定することにより、過去基準期間におけるパノラマ画像から検知された対象の移動体５１を特定することができる。
(Step S64: Movement amount determination processing)
The
If the movement amount is equal to or less than the threshold, the
The most recent detected position is the detected position where the
（ステップＳ６５：静状態分類処理）
同一性判定部２５は、対象の移動体５１を静状態に分類する。
(Step S65: static state classification process)
The
（ステップＳ６６：動状態分類処理）
同一性判定部２５は、対象の移動体５１を動状態に分類する。
(Step S66: dynamic state classification processing)
The
図１７を参照して、実施の形態２に係る相関処理（図１３のステップＳ３６）を説明する。
直近のパノラマ画像から検知され、図１６のステップＳ６５で静状態に分類された１つ以上の移動体５１それぞれを順に対象の第１移動体５１１として、ステップＳ７１からステップＳ７３の処理が実行される。
The correlation processing (step S36 in FIG. 13) according to the second embodiment will be described with reference to FIG.
One or more
（ステップＳ７１：第１距離計算処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５３で静状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７３で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
(Step S71: first distance calculation process)
The
The
（ステップＳ７２：第１距離判定処理）
同一性判定部２５は、ステップＳ７１で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７３に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
(Step S72: First distance determination process)
The
If a distance equal to or less than the reference distance is included, the
（ステップＳ７３：第１対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７１で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
(Step S73: first correspondence processing)
The
つまり、ステップＳ７１からステップＳ７３で同一性判定部２５は、静状態に分類された移動体５１同士で、同一の移動体５１であるか否かを判定する。この際、同一性判定部２５は、パノラマ画像から検知された移動体５１の検知位置と、センサ情報に含まれる位置情報が示す移動体５１の位置との間の距離に基づき、同一の移動体５１であるか否かを判定する。
In other words, from step S71 to step S73, the
直近のパノラマ画像から検知され、図１６のステップＳ６６で動状態に分類された１つ以上の移動体５１それぞれを順に対象の第１移動体５１１として、ステップＳ７４からステップＳ７６の処理が実行される。
One or more
（ステップＳ７４：第２距離計算処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７６で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
(Step S74: second distance calculation process)
The
The
（ステップＳ７５：第２距離判定処理）
同一性判定部２５は、ステップＳ７４で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７６に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
(Step S75: second distance determination process)
The
If a distance equal to or less than the reference distance is included, the
（ステップＳ７６：第１対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７４で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
(Step S76: first correspondence process)
The
つまり、ステップＳ７４からステップＳ７６で同一性判定部２５は、動状態に分類された移動体５１同士で、同一の移動体５１であるか否かを判定する。この際、同一性判定部２５は、パノラマ画像から検知された移動体５１の検知位置と、センサ情報に含まれる位置情報が示す移動体５１の位置との間の距離に基づき、同一の移動体５１であるか否かを判定する。
That is, in steps S74 to S76, the
（ステップＳ７７：高速相関処理）
同一性判定部２５は、直近のパノラマ画像から検知され、図１６のステップＳ６６で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を基準速度より速い高速で移動する第１移動体５１１に分類する。また、同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を高速で移動する第２移動体５１２に分類する。
同一性判定部２５は、高速で移動する第１移動体５１１と、高速で移動する第２移動体５１２とについて、同一の移動体であるか否かを判定する。
(Step S77: high-speed correlation processing)
The
The
図１８を参照して、実施の形態２に係る高速相関処理（図１７のステップＳ７７）を説明する。
高速で移動する第１移動体５１１それぞれを対象の第１移動体５１１としてステップＳ８１からステップＳ８６の処理が実行される。
The high-speed correlation processing (step S77 in FIG. 17) according to the second embodiment will be described with reference to FIG.
The processing from step S81 to step S86 is executed with each first moving body 511 moving at high speed as the target first moving body 511 .
（ステップＳ８１：第１内積計算処理）
同一性判定部２５は、高速で移動する第２移動体５１２を対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第１移動体５１１の移動ベクトルと、対象の第２移動体５１２の移動ベクトルとの内積を計算する。
対象の第１移動体５１１の移動ベクトルは、対象の第１移動体５１１についての直近のパノラマ画像における検知位置と、１つ前のパノラマ画像における検知位置とから特定される。対象の第２移動体５１２の移動ベクトルは、対象の第２移動体５１２についての直近のセンサ情報に含まれる位置情報が示す位置と、１つ前のセンサ情報に含まれる位置情報が示す位置とから特定される。
(Step S81: First inner product calculation process)
The
The motion vector of the target first moving body 511 is specified from the detected position in the most recent panorama image and the detected position in the previous panorama image for the target first moving body 511 . The movement vector of the target second moving body 512 is the position indicated by the position information included in the latest sensor information about the target second moving body 512 and the position indicated by the position information included in the previous sensor information. identified from
（ステップＳ８２：第１内積判定処理）
同一性判定部２５は、ステップＳ８１で計算された内積に正の値が含まれているか否かを判定する。同一性判定部２５は、内積が正の値である場合には、図１９に示すように、移動方向が近いとして、対応付けの候補にする。
同一性判定部２５は、正の値が含まれている場合には、処理をステップＳ８３に進める。一方、同一性判定部２５は、正の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
(Step S82: First inner product determination process)
The
If a positive value is included,
（ステップＳ８３：第２内積計算処理）
同一性判定部２５は、高速で移動する第２移動体５１２のうち、ステップＳ８１で計算された内積が正の値となった第２移動体５１２それぞれを対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第２移動体５１２についての直近のパノラマ画像における検知位置から、対象の第１移動体５１１について直近のセンサ情報に含まれる位置情報が示す位置へのベクトルを計算する。同一性判定部２５は、対象の第２移動体５１２の移動ベクトルと、ステップＳ８３で計算されたベクトルとの内積を計算する。
(Step S83: Second inner product calculation process)
Among the second mobile bodies 512 moving at high speed, the
（ステップＳ８４：第２内積判定処理）
同一性判定部２５は、ステップＳ８３で計算された内積に負の値が含まれているか否かを判定する。センサ情報は、画像データよりも遅れて取得されるため、センサ情報に含まれる位置情報が示す位置は、少し前の移動体５１の位置を示している。そのため、同一性判定部２５は、内積が負の値である場合には、図２０に示すように、位置関係が適切であるとして、対応付けの候補にする。
同一性判定部２５は、負の値が含まれている場合には、処理をステップＳ８５に進める。一方、同一性判定部２５は、負の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
(Step S84: second inner product determination process)
The
If a negative value is included,
（ステップＳ８５：対応判定処理）
同一性判定部２５は、ステップＳ８３で計算された内積に含まれる負の値が１つだけであるか否かを判定する。負の値が１つだけである場合には、対象の第１移動体５１１に対応する第２移動体５１２が１つだけであることを意味する。
同一性判定部２５は、負の値が１つだけである場合には、処理をステップＳ８６に進める。一方、同一性判定部２５は、負の値が１つだけでない場合には、対象の第１移動体５１１についての処理を終了する。
(Step S85: correspondence determination process)
The
If there is only one negative value,
（ステップＳ８６：対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ８３で計算された内積が負であった第２移動体５１２とを対応付けする。
(Step S86: Correspondence process)
The
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る管制支援装置１０は、静状態の場合及び低速で移動している場合には、距離に基づき同一の移動体５１であるか否かを判定し、高速で移動している場合には、移動方向に基づき同一の移動体５１であるか否かを判定する。これにより、適切に移動体５１の同一性を判定することが可能である。
*** Effect of
As described above, the air traffic
特に、実施の形態２に係る管制支援装置１０は、高速で移動している場合には、パノラマ画像から特定された移動体５１の移動方向と、パノラマ画像における検知位置からセンサ情報に含まれる位置情報が示す位置への方向との関係に基づき、同一の移動体５１であるか否かを判定する。これにより、より適切に移動体５１の同一性を判定することが可能である。
In particular, when the air traffic
適切に移動体５１の同一性を判定することにより、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１について、適切な重畳画像を生成可能である。
By appropriately determining the identity of the moving
また、実施の形態２に係る管制支援装置１０は、同一の移動体５１と認められる場合に、検知ＩＤを引き継ぐ。これにより、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１について、適切な重畳画像を生成可能である。
Further, the
＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、動状態に分類された移動体５１について、距離に基づき対応付けされなかった移動体５１について、高速で移動するとして、高速相関処理（図１７のステップＳ７７）が実行された。
しかし、同一性判定部２５は、図１３のステップＳ３２及びステップＳ３５で、移動体５１が動状態である場合に、移動体５１の移動履歴から移動速度を計算して、移動体５１が低速で移動しているか、高速で移動しているかを分類してもよい。そして、同一性判定部２５は、低速で移動している移動体５１については、図１７のステップＳ７４からステップＳ７６の処理により対応付けを行い、高速で移動している移動体５１については、図１８に示す処理により対応付けを行ってもよい。
***Other Configurations***
<
In the second embodiment, the moving
However, in steps S32 and S35 of FIG. 13, if the moving
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
１０ 管制支援装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ センサ取得部、２２ タグ生成部、２３ 画像取得部、２４ 検知部、２５ 同一性判定部、２６ 重畳画像生成部、４１ センサ、４２ 撮影装置、４３ 表示装置、５１ 移動体、５１１ 第１移動体、５１２ 第２移動体、５２ タグ、５３ 移動体リスト、５４ 重畳画像、５５ 検知枠、６１ 両検知状態、６２ センサ検知状態、６３ 画像検知状態、６４ 未検知状態。
10 control support device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 sensor acquisition unit, 22 tag generation unit, 23 image acquisition unit, 24 detection unit, 25 identity determination unit, 26 superimposed
Claims (12)
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備える管制支援装置。 a detection unit that detects a moving object to be controlled from image data;
a sensor acquisition unit that acquires sensor information about the moving object to be controlled obtained by being detected by a sensor;
A superimposed image is generated by superimposing a tag generated from the sensor information acquired by the sensor acquisition unit on a display position in the image data determined based on the position where the moving object is detected by the detection unit. In the superimposed image generation unit, for a moving object detected by only one of the detection unit and the sensor, a tag is generated using information obtained in the past by the other of the detection unit and the sensor. A control support device comprising a superimposed image generation unit for superimposed display.
請求項１に記載の管制支援装置。 The superimposed image generation unit distinguishes between a moving object detected by both the detecting unit and the sensor, a moving object detected only by the sensor, and a moving object detected only by the detecting unit. 2. The control support device according to claim 1, which displays.
請求項１又は２に記載の管制支援装置。 3. The air traffic control support according to claim 1, wherein the superimposed image generating unit determines the display position of a moving object detected only by the sensor based on a position where the moving object was detected in the past by the detecting unit. Device.
前記重畳画像生成部は、前記検知部によって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する
請求項３に記載の管制支援装置。 The sensor information includes position information indicating the position of the mobile body,
The superimposed image generation unit generates newly acquired sensor information based on a difference between a position at which the moving object was detected in the past by the detection unit and a position indicated by position information included in sensor information acquired in the past. 4. The control support device according to claim 3, wherein the display position is determined by correcting the position indicated by the position information included in the.
請求項１から４までのいずれか１項に記載の管制支援装置。 5. The superimposed image generation unit according to any one of claims 1 to 4, wherein for a moving object detected only by the detection unit, a tag generated from sensor information acquired in the past is superimposed and displayed. Control support equipment.
前記検知部によって検知された移動体と、前記センサ取得部によって取得されたセンサ情報が示す移動体とが同一の移動体であるか否かを判定する同一性判定部
を備え、
前記重畳画像生成部は、前記検知部と前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると前記同一性判定部によって判定された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する
請求項１から５までのいずれか１項に記載の管制支援装置。 The control support device further includes:
An identity determination unit that determines whether the moving object detected by the detection unit and the moving object indicated by the sensor information acquired by the sensor acquisition unit are the same moving object,
The superimposed image generating unit determines, by the identity determining unit, that the moving object detected by only one of the detecting unit and the sensor is the same moving object as the moving object. 6. The control support device according to any one of claims 1 to 5, wherein a tag is superimposed and displayed using information obtained in the past by the other of said detection unit and said sensor.
前記同一性判定部は、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定する
請求項６に記載の管制支援装置。 The sensor information includes position information indicating the position of the mobile body,
For a moving object moving at a speed equal to or lower than a reference speed, the identity determination unit determines the distance between the detected position of the moving object and the position of the moving object indicated by the position information included in the sensor information. 7. The control support system according to claim 6, wherein it is determined whether or not they are the same mobile object.
前記同一性判定部は、基準速度よりも速い速度で移動している移動体については、検知された移動体の位置から特定される移動方向と、センサ情報に含まれる位置情報が示す移動体の位置から特定される移動方向との間の差に基づき、同一の移動体であるか否かを判定する
請求項６又は７に記載の管制支援装置。 The sensor information includes position information indicating the position of the mobile body,
For a moving object moving at a speed faster than a reference speed, the identity determination unit determines the moving direction specified from the detected position of the moving object and the moving object indicated by the position information included in the sensor information. 8. The air traffic control support system according to claim 6 or 7, wherein it is determined whether or not the moving objects are the same based on the difference between the direction of movement specified from the position.
請求項８に記載の管制支援装置。 The identity determination unit determines a direction between a moving direction specified from the detected position of the moving body and a direction from the detected position of the moving body to the position of the moving body indicated by the position information included in the sensor information. 9. The control support system according to claim 8, wherein it is determined whether or not the mobile objects are the same based on the difference.
請求項６から９までのいずれか１項に記載の管制支援装置。 The identity determination unit determines the identity between the moving object newly detected by the detecting unit and the moving object previously detected by the detecting unit based on the area in which the moving object is detected by the detecting unit. 10. The control support device according to any one of claims 6 to 9.
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援方法。 The computer detects moving objects to be controlled from the image data,
A computer acquires sensor information about the moving object to be controlled obtained by being detected by a sensor;
The computer generates a superimposed image by superimposing a tag generated from the sensor information on a display position in the image data, which is determined based on the position where the moving object is detected, to generate a superimposed image, and the image data and the sensor. A control support method for superimposing and displaying a tag for a moving object detected by only one of the sensors, using information obtained in the past by the other of the image data and the sensor.
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と
を行う管制支援装置としてコンピュータを機能させる管制支援プログラム。 detection processing for detecting moving objects to be controlled from image data;
a sensor acquisition process for acquiring sensor information about the moving object to be controlled obtained by being detected by a sensor;
A superimposed image is generated by superimposing a tag generated from the sensor information acquired by the sensor acquisition process on a display position in the image data determined based on the position where the moving object is detected by the detection process. In the superimposed image generation process, for a moving object detected by only one of the detection process and the sensor, a tag is attached using information obtained in the past by the other of the detection process and the sensor. A control support program that causes a computer to function as a control support device that performs superimposed image generation processing for superimposed display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021122498A JP7241818B2 (en) | 2021-07-27 | 2021-07-27 | Control support device, control support method, and control support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021122498A JP7241818B2 (en) | 2021-07-27 | 2021-07-27 | Control support device, control support method, and control support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023018398A true JP2023018398A (en) | 2023-02-08 |
| JP7241818B2 JP7241818B2 (en) | 2023-03-17 |
Family
ID=85158294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021122498A Active JP7241818B2 (en) | 2021-07-27 | 2021-07-27 | Control support device, control support method, and control support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7241818B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09281212A (en) * | 1996-04-16 | 1997-10-31 | Sony Corp | Position detecting device for moving body |
| JPH11160424A (en) * | 1997-11-27 | 1999-06-18 | Nec Corp | Airport ground surface monitor device |
| JP2002277544A (en) * | 2001-03-21 | 2002-09-25 | Toshiba Corp | Airport runway monitoring device |
| JP2005207892A (en) * | 2004-01-22 | 2005-08-04 | Denso Corp | Radio wave transmitter and navigation device |
| JP2006270404A (en) * | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | Device and method for controlling photographing and photographing control program |
| JP2012070260A (en) * | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | Aircraft managing system, onboard device, ground device, onboard device program, ground device program, and information processing method |
| JP2013161113A (en) * | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | Travel lane recognition device |
| JP2019022178A (en) * | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | Air traffic control support device, air traffic control support method, and air traffic control support program |
-
2021
- 2021-07-27 JP JP2021122498A patent/JP7241818B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09281212A (en) * | 1996-04-16 | 1997-10-31 | Sony Corp | Position detecting device for moving body |
| JPH11160424A (en) * | 1997-11-27 | 1999-06-18 | Nec Corp | Airport ground surface monitor device |
| JP2002277544A (en) * | 2001-03-21 | 2002-09-25 | Toshiba Corp | Airport runway monitoring device |
| JP2005207892A (en) * | 2004-01-22 | 2005-08-04 | Denso Corp | Radio wave transmitter and navigation device |
| JP2006270404A (en) * | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | Device and method for controlling photographing and photographing control program |
| JP2012070260A (en) * | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | Aircraft managing system, onboard device, ground device, onboard device program, ground device program, and information processing method |
| JP2013161113A (en) * | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | Travel lane recognition device |
| JP2019022178A (en) * | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | Air traffic control support device, air traffic control support method, and air traffic control support program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7241818B2 (en) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7221089B2 (en) | Stable simultaneous execution of location estimation and map generation by removing dynamic traffic participants | |
| EP3420530B1 (en) | A device and method for determining a pose of a camera | |
| US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| Akolkar et al. | Real-time high speed motion prediction using fast aperture-robust event-driven visual flow | |
| JP5663352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11887318B2 (en) | Object tracking | |
| US9953225B2 (en) | Image processing apparatus and image processing method | |
| JP3279479B2 (en) | Video monitoring method and device | |
| US20130215270A1 (en) | Object detection apparatus | |
| US10867390B2 (en) | Computer vision processing | |
| WO2020154990A1 (en) | Target object motion state detection method and device, and storage medium | |
| JP2014137815A (en) | System and method for correcting camera image with distortion | |
| JP2006338272A (en) | Vehicle behavior detector and vehicle behavior detection method | |
| CN113396423A (en) | Method of processing information from event-based sensors | |
| Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
| JPWO2018159467A1 (en) | Moving object detecting device, moving object detecting method, and program | |
| JP7241818B2 (en) | Control support device, control support method, and control support program | |
| Liu et al. | Learning TBox with a cascaded anchor-free network for vehicle detection | |
| JP2008165595A (en) | Obstacle detection method, obstacle detection device, and obstacle detection system | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
| JP7384158B2 (en) | Image processing device, moving device, method, and program | |
| JP2020144758A (en) | Moving object detector, moving object detection method, and computer program | |
| JP2002027480A (en) | Dynamic image processing method and apparatus thereof | |
| JP2013179614A (en) | Imaging apparatus | |
| JP7026729B2 (en) | Control support equipment, control support methods and control support programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7241818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |