JP2023144242A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画データの再生と、動画データ中の車両検出とを並行して行う技術を提供する。【解決手段】画像処理装置は、通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得する取得部と、複数の静止画像データそれぞれについて、静止画像データ中の車両を検出する車両検出部と、動画データを再生して表示装置１２に表示するとともに、複数の静止画像データを時系列に表示装置１１に表示し、静止画像データにおいて検出された車両を枠線２０で囲む、表示制御部と、を備える。【選択図】図３

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、道路沿いなど、街中のいたるところに車両を監視する監視カメラが設置されている。この監視カメラが撮像した映像は、警察機関による事件または事故の捜査に用いられることがある。これまでに、監視カメラの映像を用いて、警察機関による捜査の利便性を向上させる技術が種々提案されている（例えば特許文献１参照）。

特許文献１に開示されたシステムは、事件が発生した地点の交差点を通過した車両の特徴と、車両の交差点の通過方向が示された地図データとを対応付けて、クライアント端末に表示し、クライアント端末で受け付けた指定車両を追跡対象車両とする指示をサーバに送る。指示を受け取ったサーバでは、現在時刻と追跡対象車両の交差点の進行方向とに基づいて、その追跡対象車両が次に進入する可能性の高い交差点のカメラを特定し、そのカメラのカメラ情報をクライアント端末に送る。カメラ情報を受け取ったクライアント端末は、そのカメラ情報に対応するカメラの位置を地図データに重畳して表示する。これにより、交差点で事件等が発生した場合に、その交差点から逃走した車両の絞り込みに費やす手間を軽減し、事件等の被疑者あるいは犯人の早期発見を支援することを可能としている。

特開２０２０－０６５２００号公報

ところで、道路沿いに設置された監視カメラが撮影した動画は、標準フォーマット（ｍｐ４等）の動画でなく、専用ビューワでのみ視聴可能な独自フォーマットで出力されることがある。この場合、警察機関は、監視カメラが撮影した動画を用いて捜査を行う際に、独自フォーマットの動画を標準フォーマットの動画へ変換してから、特許文献１に開示された技術などを利用して車両の特定を行ったり、専用ビューワで視聴しながら肉眼によって車両検出を行ったりする必要がある。このため、動画を用いた捜査に時間と手間とを要し、事件等の早期解決に支障を来すおそれがあった。

本開示の目的の一例は、動画データの再生と、動画データ中の車両検出とを並行して行うことができる、画像処理装置、画像処理方法およびプログラムを提供することにある。

上記目的を達成するため、本開示の一側面における画像処理装置は、
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得する取得部と、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出する車両検出部と、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、表示制御部と、
を備える、ことを特徴とする。

また、上記目的を達成するため、本開示の一側面における画像処理方法は、
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得するステップと、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出するステップと、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、ステップと、
を備える、ことを特徴とする。

更に、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得するステップと、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出するステップと、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、ステップと、
を実行させる命令を含む、ことを特徴とする。

以上のように本開示によれば、動画データの再生と、動画データ中の車両検出とを並行して行うことができる。

図１は、実施形態における画像処理装置の概略構成を示す構成図である。 図２は、実施形態における画像処理装置の具体的な構成を示す構成図である。 図３は、表示装置の表示画面を説明するための図である。 図４は、検出されなかった車両がある場合の静止画像データが表示された表示装置の表示画面を示す図である。 図５は、検出されなかった車両が指定された場合の静止画像データが表示された表示装置の表示画面を示す図である。 図６は、静止画像データと車両の一覧とが表示された表示装置の表示画面を示す図である。 図７は、実施形態における画像処理装置が実行する表示処理を示すフロー図である。 図８は、実施形態における画像処理装置が実行する車両一覧作成処理を示すフロー図である。 図９は、実施形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

以下、本実施形態における画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。

［装置構成］
最初に、本実施形態における画像処理装置の概略構成について図１を用いて説明する。図１は、本実施形態における画像処理装置の概略構成を示す構成図である。画像処理装置１０は、車両が通行する地点に設置され、その地点の通過車両を撮影する撮像装置から動画データを取得し、その動画データから通過車両を検出する装置である。

図１に示すように、画像処理装置１０は、取得部１と、車両検出部２と、表示制御部３と、を備えている。

取得部１は、通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得する。

車両検出部２は、複数の静止画像データそれぞれについて、静止画像データ中の車両を検出する。

表示制御部３は、動画データを再生して表示部に表示するとともに、複数の静止画像データを時系列に表示部に表示し、静止画像データにおいて検出された車両を枠線で囲む。

以上のように、本実施形態の画像処理装置１０によれば、動画データの再生と、動画データ中の車両検出とを並行して行うことができる。動画データが、標準フォーマットでなく、独自フォーマットである場合、動画データ中の車両検出を行う際には、動画データを、標準フォーマットに変換する必要があった。このため、通過車両の確認作業に時間を要していたが、本実施形態の画像処理装置１０により、通過車両の確認作業を行う作業者は、動画データの視聴と並行して、検出された通過車両の確認を行うことができ、作業時間を短縮できる。

続いて、図２～図８を用いて、本実施形態における画像処理装置１０の構成および機能について具体的に説明する。

図２は、本実施形態における画像処理装置１０の具体的な構成を示す構成図である。画像処理装置１０には、表示装置１１と、表示装置１２と、入力装置１３とが接続されている。表示装置１１、１２は、図１で説明した表示部であり、表示装置１１は、本開示の第１表示装置に相当し、表示装置１２は、本開示の第２表示装置に相当する。表示装置１１、１２は、例えば液晶ディスプレイ装置である。入力装置１３は、例えば、マウス、キーボードまたはタッチパネルである。

画像処理装置１０は、図１で説明した、取得部１、車両検出部２および表示制御部３に加え、特定操作受付部４と、選択操作受付部５と、一覧作成部６と、を備えている。

取得部１は、動画データが再生されると、その再生された動画データの画面をキャプチャして、複数の静止画像データを取得する。取得部１は、例えば１５ｆｐｓの間隔で、キャプチャして、静止画像データを取得する。取得部１が取得した静止画像データは、不図示の記憶部に逐次記憶される。記憶部は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置であり、画像処理装置１０に備えられていてもよいし、画像処理装置１０の外部に設けられていてもよい。

なお、記憶部に記憶された複数の静止画像データから、動画データが生成されるようにしてもよい。この場合、動画データが独自フォーマットである場合、その動画データを再生しつつ、標準フォーマットの動画データを生成することができる。

車両検出部２は、取得部１が取得した静止画像データ中の車両を検出する。車両検出部２が行う車両検出には、例えば、ディープラーニングなどの機械学習により構築された学習モデルが用いられて行われる。具体的には、車両検出部２は、静止画像データの特徴量を利用して静止画像データ中の物体を検出する。そして、車両検出部２は、物体の画像の特徴量を利用して、検出した物体を分類する学習モデルを用いて、静止画像データに含まれる車両を検出する。なお、静止画像データ中の車両を検出する方法は、これに限定されない。なお、車両検出部２が検出した車両の画像は、静止画像データから切り出されて、不図示の記憶部に記憶される。

なお、車両検出部２は、一の静止画像データにおいて車両を検出した場合、車両が検出された位置近傍の領域を対象として、以降の静止画像データにおいて、検出した車両と同様の特徴を有する物体が含まれているかを判定することで、車両の追跡を行う。

図３は、表示装置１１、１２の表示画面を説明するための図である。図３に示すように、表示制御部３は、動画データを再生して表示装置１２に表示する。また、表示制御部３は、取得部１が取得した複数の静止画像データを、時系列に表示装置１１に表示する。また、表示制御部３は、車両検出部２が検出した静止画像データ中の車両を囲む枠線２０を表示する。これにより、作業者は、表示装置１２で再生される動画データを視聴しつつ、表示装置１１で、検出された車両を確認することができる。なお、複数の静止画像データを時系列に表示する際に、静止画像データを切り替える速度は、予め決められていてもよいし、作業者により指定されてもよい。

特定操作受付部４は、表示装置１１に表示される静止画像データに対して、車両を指定する操作を受け付ける。図４および図５を用いて、車両を指定する操作について説明する。図４は、検出されなかった車両がある場合の静止画像データが表示された表示装置１１の表示画面を示す図である。図４では、車両２１Ａ、２１Ｂは、車両検出部２により検出され、枠線２０で囲まれている。車両２１Ｃは、車両検出部２により検出されず、枠線で囲まれていない。この場合、作業者は、例えば、マウスでポインタを操作して、車両２１Ｃを囲む操作をし、特定操作受付部４は、その操作を受け付ける。図５は、検出されなかった車両が指定された場合の静止画像データが表示された表示装置１１の表示画面を示す図である。特定操作受付部４が操作を受け付けると、表示制御部３は、静止画像データにおいて指定された車両２１Ｃを囲む枠線２０を表示する。

選択操作受付部５は、表示装置１１に表示された静止画像データにおいて、枠線２０で囲まれた車両を選択する操作を受け付ける。作業者は、例えば、マウスでポインタを操作して枠線２０で囲まれた車両を選択し、選択操作受付部５は、その操作を受け付ける。

一覧作成部６は、静止画像データにおいて、作業者が、枠線２０で囲まれた車両の中から選択した車両の一覧を作成する。一覧作成部６が作成する一覧は、特に限定されないが、例えば、選択された車両の画像と、その車両が通過した通過時間等とが対応付けられている。通過時間は、動画データ内の時刻から取得される。

表示制御部３は、一覧作成部６により作成された車両の一覧を表示装置１１に表示する。表示制御部３は、作成された車両の一覧を、静止画像データと共に表示装置１１に表示する。図６は、静止画像データと車両の一覧２５とが表示された表示装置１１の表示画面を示す図である。表示制御部３は、作成された車両の一覧２５を、静止画像データと共に表示装置１１に表示する。車両の一覧２５を表示することで、作業者は、通過車両の種類、通過時刻などの確認がし易くなる。

なお、表示制御部３は、車両の一覧２５のなかの車両を選択することで、選択された車両を車両の一覧２５から削除するようにしてもよい。また、一覧作成部６により作成された車両の一覧は、印刷装置から出力されるようにしてもよい。また、表示制御部３は、一のディスプレイ上に、動画データと、その動画データから取得された静止画像データを並べて表示するようにしてもよい。この場合、二つの表示装置を用意する必要がない。

［装置動作］
次に、本実施形態における画像処理装置１０の動作について図７および図８を用いて説明する。以下の説明においては、適宜図１～図６を参照する。また、本実施形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

図７は、本実施形態における画像処理装置１０が実行する表示処理を示すフロー図である。図７に示す処理は、例えば、画像処理装置１０が、動画データの再生開始操作を受け付けたときに実行される。また、前提として、画像処理装置１０は、撮像装置から出力された動画データが入力されているものとする。

表示制御部３は、動画データを再生し、表示装置１２に表示する（ステップＳ１）。取得部１は、再生される動画データを画面キャプチャして、複数の静止画像データを取得する（ステップＳ２）。取得部１は、取得した静止画像データを記憶部に記憶する。車両検出部２は、取得された静止画像データから車両を検出する（ステップＳ３）。なお、車両検出部２は、時系列における前の静止画像データにおいて車両が検出された場合、車両が検出された位置近傍の領域を対象として、検出処理中の静止画像データにおいて、検出された車両と同様の特徴を有する物体が含まれているかを判定することで、車両の追跡を行う。

表示制御部３は、取得された複数の静止画像データを時系列に表示装置１１に表示する（ステップＳ４）。表示制御部３は、ステップＳ３で検出された車両を囲むように枠線２０を表示する（ステップＳ５）。

画像処理装置１０は、特定操作受付部４が、表示装置１１に表示された静止画像データに対して、車両を指定する操作を受け付けたか否かを判定する（ステップＳ６）。車両を指定する操作を受け付けていない場合（ステップＳ６：ＮＯ）、ステップＳ８の処理が実行される。車両を指定する操作を受け付けた場合（ステップＳ６：ＹＥＳ）、表示制御部３は、図５で説明したように、指定された車両を囲む枠線２０を表示する（ステップＳ７）。

ステップＳ８では、画像処理装置１０は、動画データの再生が終了したか否かを判定する（ステップＳ８）。動画データの再生が終了した場合（ステップＳ８：ＹＥＳ）、本処理は終了する。動画データの再生が終了していない場合（ステップＳ８：ＮＯ）、ステップＳ２の処理が実行される。

図８は、本実施形態における画像処理装置１０が実行する車両一覧作成処理を示すフロー図である。図８に示す処理は、画像処理装置１０が表示装置１１に複数の静止画像データを表示している際に実行される。

画像処理装置１０は、選択操作受付部５が、静止画像データにおいて、枠線２０で囲まれた車両の選択操作を受け付けたか否かを判定する（ステップＳ１１）。選択操作を受け付けていない場合（ステップＳ１１：ＮＯ）、ステップＳ１４の処理が実行する。選択操作を受け付けた場合（ステップＳ１１：ＹＥＳ）、一覧作成部６は、選択された車両の一覧を作成する（ステップＳ１２）。表示制御部３は、作成された一覧を表示装置１１に表示する（ステップＳ１３）。

動画データの再生が終了したか否かを判定する（ステップＳ１４）。動画データの再生が終了していない場合（ステップＳ１４：ＮＯ）、ステップＳ１１の処理が実行される。動画データの再生が終了した場合（ステップＳ１４：ＹＥＳ）、本処理は終了する。

以上のように本実施形態の画像処理装置１０によれば、動画データを再生しつつ、車両検出を行うことができる。このため、動画データが独自フォーマットであっても、その動画データから車両検出を行う前に、フォーマットを独自フォーマットから標準フォーマットに変換する必要がなく、変換作業にかかる時間を短縮できる。また、静止画像データ中の検出されなかった車両を、作業者が検出対象に指定することで、作業者は、通過車両を漏れなく監視することができる。また、作業者が選択した車両の一覧を出力することで、作業者は、通過車両の確認作業が容易となる。

［プログラム］
本実施形態におけるプログラムは、コンピュータに、図７に示すステップＳ１～Ｓ８、および図８に示すステップＳ１１～Ｓ１４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、取得部１、車両検出部２、表示制御部３、特定操作受付部４、選択操作受付部５及び一覧作成部６として機能し、処理を行なう。

また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、取得部１、車両検出部２、表示制御部３、特定操作受付部４、選択操作受付部５及び一覧作成部６のいずれかとして機能しても良い。

［物理構成］
ここで、実施形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図９を用いて説明する。図９は、実施形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。画像処理装置１０は、プロセッサ、回路、ソフトウェア、または、これらの組み合わせで実現されていてもよい。

なお、上述した実施形態の一部又は全部は、以下に記載する（付記１）～（付記２４）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得する取得部と、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出する車両検出部と、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、表示制御部と、
を備える、画像処理装置。

（付記２）
付記１に記載の画像処理装置であって、
前記取得部は、再生した前記動画データをキャプチャして前記静止画像データを取得する、
画像処理装置。

（付記３）
付記１または付記２に記載の画像処理装置であって、
前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付ける特定操作受付部、
を備え、
前記表示制御部は、前記静止画像データにおいて指定された前記車両を前記枠線で囲む、
画像処理装置。

（付記４）
付記１から付記３の何れか一つに記載の画像処理装置であって、
前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付ける選択操作受付部と、
選択された前記車両の一覧を作成する一覧作成部と、
を備えた、画像処理装置。

（付記５）
付記４に記載の画像処理装置であって、
前記表示制御部は、作成された前記車両の一覧を前記表示部に表示する、
画像処理装置。

（付記６）
付記１から付記５の何れか一つに記載の画像処理装置であって、
前記表示部は、第１表示装置と第２表示装置とを有し、
前記表示制御部は、
前記動画データを再生して前記第１表示装置に表示し、前記複数の静止画像データを時系列に前記第２表示装置に表示する、
画像処理装置。

（付記７）
付記１から付記５の何れか一つに記載の画像処理装置であって、
前記表示部は一つのディスプレイを有し、
前記表示制御部は、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示する、
画像処理装置。

（付記８）
付記１から付記７の何れか一つに記載の画像処理装置であって、
前記車両検出部は、
前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出し、前記物体の画像の特徴量を利用して検出した前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出する、
画像処理装置。

（付記９）
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得するステップと、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出するステップと、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、ステップと、
を備える、画像処理方法。

（付記１０）
付記９に記載の画像処理方法であって、
前記複数の静止画像データを取得するステップでは、再生した前記動画データをキャプチャして前記静止画像データを取得する、
画像処理方法。

（付記１１）
付記９または付記１０に記載の画像処理方法であって、
前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付けるステップ、
を備え、
前記枠線で囲むステップでは、前記静止画像データにおいて指定された前記車両を前記枠線で囲む、
画像処理方法。

（付記１２）
付記９から付記１１の何れか一つに記載の画像処理方法であって、
前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付けるステップと、
選択された前記車両の一覧を作成するステップと、
を備えた、画像処理方法。

（付記１３）
付記１２に記載の画像処理方法であって、
前記表示部に表示するステップでは、作成された前記車両の一覧を前記表示部に表示する、
画像処理方法。

（付記１４）
付記９から付記１３の何れか一つに記載の画像処理方法であって、
前記表示部は、第１表示装置と第２表示装置とを有し、
前記表示部に表示するステップでは、
前記動画データを再生して前記第１表示装置に表示し、前記複数の静止画像データを時系列に前記第２表示装置に表示する、
画像処理方法。

（付記１５）
付記９から付記１３の何れか一つに記載の画像処理方法であって、
前記表示部は一つのディスプレイを有し、
前記表示部に表示するステップでは、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示する、
画像処理方法。

（付記１６）
付記９から付記１５の何れか一つに記載の画像処理方法であって、
前記車両を検出するステップでは、
前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出し、前記物体の画像の特徴量を利用して検出した前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出する、
画像処理方法。

（付記１７）
コンピュータに、
通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得するステップと、
前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出するステップと、
前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、ステップと、
を実行させる命令を含む、プログラム。

（付記１８）
付記１７に記載のプログラムであって、
前記複数の静止画像データを取得するステップでは、再生した前記動画データをキャプチャして前記静止画像データを取得する、
プログラム。

（付記１９）
付記１７または付記１８に記載のプログラムであって、
前記コンピュータに、
前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付けるステップ、
を実行させる命令を含み、
前記枠線で囲むステップでは、前記静止画像データにおいて指定された前記車両を前記枠線で囲む、
プログラム。

（付記２０）
付記１７から付記１９の何れか一つに記載のプログラムであって、
前記コンピュータに、
前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付けるステップと、
選択された前記車両の一覧を作成するステップと、
を実行させる命令を含む、プログラム。

（付記２１）
付記２０に記載のプログラムであって、
前記表示部に表示するステップでは、作成された前記車両の一覧を前記表示部に表示する、
プログラム。

（付記２２）
付記１７から付記２１の何れか一つに記載のプログラムであって、
前記表示部は、第１表示装置と第２表示装置とを有し、
前記表示部に表示するステップでは、
前記動画データを再生して前記第１表示装置に表示し、前記複数の静止画像データを時系列に前記第２表示装置に表示する、
プログラム。

（付記２３）
付記１７から付記２１の何れか一つに記載のプログラムであって、
前記表示部は一つのディスプレイを有し、
前記表示部に表示するステップでは、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示する、
プログラム。

（付記２４）
付記１７から付記２３の何れか一つに記載のプログラムであって、
前記車両を検出するステップでは、
前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出し、前記物体の画像の特徴量を利用して検出した前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出する、
プログラム。

以上、実施形態を参照して本開示を説明したが、本開示は上述した実施形態に限定されるものではない。本開示の構成および詳細には、本開示のスコープ内で当業者が理解しえる様々な変更をすることができる。

以上のように、本開示の画像処理装置は、独自フォーマットの動画データから車両を検出するのに有用である。

１ ：取得部
２ ：車両検出部
３ ：表示制御部
４ ：特定操作受付部
５ ：選択操作受付部
６ ：一覧作成部
１０ ：画像処理装置
１１ ：表示装置
１２ ：表示装置
１３ ：入力装置
２０ ：枠線
２１Ａ ：車両
２１Ｂ ：車両
２１Ｃ ：車両
２５ ：一覧
１１０ ：コンピュータ
１１１ ：ＣＰＵ
１１２ ：メインメモリ
１１３ ：記憶装置
１１４ ：入力インターフェイス
１１５ ：表示コントローラ
１１６ ：ライタ
１１７ ：通信インターフェイス
１１８ ：入力機器
１１９ ：ディスプレイ装置
１２０ ：記録媒体
１２１ ：バス

Claims (24)

1. 通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得する取得部と、
   前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出する車両検出部と、
   前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、表示制御部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記取得部は、再生した前記動画データをキャプチャして前記静止画像データを取得する、
   画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付ける特定操作受付部、
   を備え、
   前記表示制御部は、前記静止画像データにおいて指定された前記車両を前記枠線で囲む、
   画像処理装置。
4. 請求項１から請求項３の何れか一つに記載の画像処理装置であって、
   前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付ける選択操作受付部と、
   選択された前記車両の一覧を作成する一覧作成部と、
   を備えた、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記表示制御部は、作成された前記車両の一覧を前記表示部に表示する、
   画像処理装置。
6. 請求項１から請求項５の何れか一つに記載の画像処理装置であって、
   前記表示部は、第１表示装置と第２表示装置とを有し、
   前記表示制御部は、
   前記動画データを再生して前記第１表示装置に表示し、前記複数の静止画像データを時系列に前記第２表示装置に表示する、
   画像処理装置。
7. 請求項１から請求項５の何れか一つに記載の画像処理装置であって、
   前記表示部は一つのディスプレイを有し、
   前記表示制御部は、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示する、
   画像処理装置。
8. 請求項１から請求項７の何れか一つに記載の画像処理装置であって、
   前記車両検出部は、
   前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出し、前記物体の画像の特徴量を利用して検出した前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出する、
   画像処理装置。
9. 通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得し、
   前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出し、
   前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲む、
   画像処理方法。
10. 請求項９に記載の画像処理方法であって、
    前記複数の静止画像データを取得する場合、再生した前記動画データをキャプチャして前記静止画像データを取得する、
    画像処理方法。
11. 請求項９または請求項１０に記載の画像処理方法であって、
    前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付け、
    前記枠線で囲む場合、前記静止画像データにおいて指定された前記車両を前記枠線で囲む、
    画像処理方法。
12. 請求項９から請求項１１の何れか一つに記載の画像処理方法であって、
    前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付け、
    選択された前記車両の一覧を作成する、
    画像処理方法。
13. 請求項１２に記載の画像処理方法であって、
    前記表示部に表示する場合、作成された前記車両の一覧を前記表示部に表示する、
    画像処理方法。
14. 請求項９から請求項１３の何れか一つに記載の画像処理方法であって、
    前記表示部は、第１表示装置と第２表示装置とを有し、
    前記表示部に表示する場合、
    前記動画データを再生して前記第１表示装置に表示し、前記複数の静止画像データを時系列に前記第２表示装置に表示する、
    画像処理方法。
15. 請求項９から請求項１３の何れか一つに記載の画像処理方法であって、
    前記表示部は一つのディスプレイを有し、
    前記表示部に表示する場合、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示する、
    画像処理方法。
16. 請求項９から請求項１５の何れか一つに記載の画像処理方法であって、
    前記車両を検出する場合、
    前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出し、前記物体の画像の特徴量を利用して検出した前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出する、
    画像処理方法。
17. コンピュータに、
    通過車両を撮影する撮像装置が出力した動画データから、複数の静止画像データを取得させ、
    前記複数の静止画像データそれぞれについて、前記静止画像データ中の車両を検出させ、
    前記動画データを再生して表示部に表示するとともに、前記複数の静止画像データを時系列に前記表示部に表示し、前記静止画像データにおいて検出された前記車両を枠線で囲ませる、
    命令を含む、プログラム。
18. 請求項１７に記載のプログラムであって、
    前記複数の静止画像データを取得させる場合、再生した前記動画データをキャプチャして前記静止画像データを取得させる、
    プログラム。
19. 請求項１７または請求項１８に記載のプログラムであって、
    前記コンピュータに、
    前記表示部に表示される前記静止画像データに対して、車両を指定する操作を受け付けさせる、
    命令を含み、
    前記枠線で囲ませる場合、前記静止画像データにおいて指定された前記車両を前記枠線で囲ませる、
    プログラム。
20. 請求項１７から請求項１９の何れか一つに記載のプログラムであって、
    前記コンピュータに、
    前記表示部に表示された前記静止画像データにおいて、前記枠線で囲まれた車両を選択する操作を受け付けさせ、
    選択された前記車両の一覧を作成させる、
    命令を含む、プログラム。
21. 請求項２０に記載のプログラムであって、
    前記表示部に表示させる場合、作成された前記車両の一覧を前記表示部に表示させる、
    プログラム。
22. 請求項１７から請求項２１の何れか一つに記載のプログラムであって、
    前記表示部は、第１表示装置と第２表示装置とを有し、
    前記表示部に表示させる場合、
    前記動画データを再生して前記第１表示装置に表示させ、前記複数の静止画像データを時系列に前記第２表示装置に表示させる、
    プログラム。
23. 請求項１７から請求項２１の何れか一つに記載のプログラムであって、
    前記表示部は一つのディスプレイを有し、
    前記表示部に表示させる場合、前記ディスプレイ上に、前記動画データおよび前記静止画像データを並べて表示させる、
    プログラム。
24. 請求項１７から請求項２３の何れか一つに記載のプログラムであって、
    前記車両を検出させる場合、
    前記静止画像データの特徴量を利用して前記静止画像データ中の物体を検出させ、前記物体の画像の特徴量を利用して検出された前記物体を分類する学習モデルを用いて、前記静止画像データに含まれる車両を検出させる、
    プログラム。
    
    

Images