JP2022039921A

JP2022039921A - 目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体

Info

Publication number: JP2022039921A
Application number: JP2021040067A
Authority: JP
Inventors: ペンハオ・チャオ; Penghao Zhao; ハイビン・チャン; Haibin Zhang; シューペン・リー; Shupeng Li; エン・シー; En Shi; ヨンカン・シー; Yongkang Xie
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-08-27
Filing date: 2021-03-12
Publication date: 2022-03-10
Anticipated expiration: 2041-03-12
Also published as: EP3819823A3; EP3819823B1; JP7079358B2; US20220067375A1; EP3819823A2; KR102558704B1; CN112001912B; CN112001912A; KR20220027739A

Abstract

【課題】人間の介入を必要とせず、小さい目標の検出タスクを高品質的に完成する目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体を提供する。【解決手段】目標検出方法は、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける典型的目標割合を確定しＳ１０１、少なくとも一つの典型的目標割合に基づき画像スケーリングサイズを確定し、画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングしＳ１０２、各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得しＳ１０３、第２トレーニングデータセットを用いて目標検出モデルをトレーニングしＳ１０４、トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うＳ１０５を含む。【選択図】図１

Description

本開示はコンピュータビジョンと画像処理分野に関し、具体的には、目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体に関する。

近年、目標検出を代表とするコンピュータビジョン技術は目覚ましく進んでいる。目標検出技術の応用により、多くの業界に、より良い体験、より高い効率をもたらすと同時に、コストも削減される。例えば、自動車の自動運転分野において、目標検出技術を用いて、行人、車輌、障害物を検出することができ、それにより自動車運転の安全性と便利さを高め、セキュリティ警備とモニタリング分野において、目標検出技術を用いて、特定の人物又は物の出現、移動などの情報をモニタリングすることができ、また、医療診断分野において、目標検出技術を用いて病変領域を発見したり、細胞の数を統計したりすることができる。
但し、いくつかの業界又は分野において、目標が画像取得領域に対して非常に小さく、一般的に、１：１００～１：１０００の範囲にあるため、現在の目標検出技術を用いて目標収集領域に対して撮影された画像でこのような非常に小さい目標を検出することを実現しにくく、ひていは実現できない場合がある。例えば、工業分野において、溶接鋼板のＸ線スキャン図でコールドジョイントを測定したり、携帯電話のカバーガラスのスキャン画像で欠陥を検出する必要がある場合、コールドジョイントの可動欠陥が画像の全体に対する割合は非常に小さいため、現在の目標検出技術をそのまま用いて、このような非常に小さい目標の検出を実現することができない。

本開示の第１の態様によれば、本開示の実施例は、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定することと、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングすることと、各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得することと、第２トレーニングデータセットを用いて目標検出モデルをトレーニングすることと、トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うこととを含む目標検出方法を開示する。
本開示の第２の態様によれば、本開示の実施例は、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定し、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングするように構成される画像スライシング構成モジュールと、各スケーリングされたトレーニング画像をスケーリングすることによって、第２トレーニングデータセットを取得し、第２トレーニングデータセットを用いて目標検出モデルをトレーニングするように構成されるモデルトレーニングモジュールと、トレーニングされた目標検出モデルを用いて、検出すべき画像に目標検出を行うように構成される目標検出モジュールとを含む目標検出装置を開示する。
本開示の第３態様によれば、本開示の実施例はプロセッサと、コンピュータプログラムが記憶されたメモリとを含むコンピュータシステムを開示し、当該コンピュータプログラムはプロセッサにより実行される時に、プロセッサに前記目標検出方法を実行させる。
本開示の第４態様によれば、本開示の実施例はコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を開示し、当該コンピュータプログラムはコンピュータシステムのプロセッサにより実行される時に、コンピュータシステムに前記目標検出方法を実行させる。
本開示の第5態様によれば、本開示の実施例はコンピュータプログラムを含むコンピュータプログラム製品を開示し、当該コンピュータプログラムはプロセッサにより実行される時に、前記目標検出方法を実現させる。
本開示の一つ以上の実施例によれば、第１トレーニングデータセットにおける目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定し、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングし、各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得し、第２トレーニングデータセットを用いて目標検出モデルをトレーニングすることによって、トレーニングされた目標検出モデルは、目標の検出すべき画像に対する割合が非常に小さい場合でも検出すべき画像で目標を的確に検出でき、従って、人間の介入を必要とせず、小さい目標の検出タスクを高品質的に完成することができる。

図面は、実施例を例示的に示して、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。示される実施例は例示の目的のみであり、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は類似しているが、必ずしも同じとは限らない要素を指す。
本開示の実施例による目標検出方法を示す流れ図である。スケーリングされたトレーニング画像の一例を示す概略図である。図２ａに示すスケーリングされたトレーニング画像をスライシングすることを示す概略図である。図１に示す目標検出方法におけるステップＳ１０５を示す流れ図である。本開示の実施例による目標検出装置を示す構造ブロック図である。本開示の実施例を実現するために用いられる例示的なコンピュータシステムを示す構造ブロック図である。

以下、図面及び実施例に合わせて本発明を詳細に説明する。理解できるように、ここで記載された具体的な実施例は、関連発明を説明するためのものに過ぎず、本発明を限定するものではない。なお、説明すべきこととして、本開示を簡単に説明するために、図面において関連発明に関連する部分のみを示す。
説明すべきこととして、矛盾しない限り、本開示の実施例及び実施例における特徴は、互いに組み合わせることができる。コンテキストで別途、明確に示されていない限り、特に要素の数を限定しなければ、当該要素は一つであってもよいし、複数であってもよい。なお、本開示で使用されるステップ又は機能モジュールの番号は各ステップ又は機能モジュールを識別するためのものに過ぎず、各ステップの実行順序又は各機能モジュールの間の接続関係を限定するものではない。
現在、以下のいくつかの小さい目標の検出案を有する。案１）、特徴ピラミッドネットワーク（ＦＰＮ）レイヤを用いて、入力画像での特徴に対するマルチスケールの融合によって、小さい目標の検出効果を改善する。案２）、入力画像に対して異なるスケールの拡大を行い、異なるスケールで拡大された入力画像に目標検出を行い、続いて異なるスケールで拡大された入力画像の目標検出の結果を合併する。案３）、トレーニング画像をスライシングし、トレーニング画像に関連する注釈情報を修正することにより、トレーニング画像スライスとそれに関連する注釈情報とを取得し、トレーニング画像スライス及びそれに関連する注釈情報を用いて目標検出モデルをトレーニングし、トレーニングされた目標検出モデルを用いて目標検出を行う。
以上のいくつかの案には以下の欠点を有する。案１）は目標割合が１：１０のようなレベルの小さい目標のみに検出効果を改善することができ、例えば、目標割合が１：１００である非常に小さい目標検出に適用しない。案２）は目標のサイズを対応的に増大することができるが、画像プロセッサ（ＧＰＵ）のディスプレイメモリに制限があるため、目標検出モデルの入力画像サイズは一般的に２０００画素程度にあるしかなく、明らかに、入力画像を５０００画素、ひいては１００００画素に拡大する必要のある非常に小さい目標の検出に適用しない。案３）は異なるトレーニングデータセットに対して異なるトレーニング画像スライスサイズを手動で選択する必要があり、トレーニングされた目標検出モデルは検出すべき画像全体に目標検出を行うため、非常に小さい目標の検出に適用しない。
現在の小さい目標の検出案は目標割合が非常に小さい極小の目標に対して検出効果が非常に悪く、人間の介入を必要とせず目標検出モデルをトレーニングし極小目標の検出タスクを高品質的に完成することができない。
現在の小さい目標検出案における上記問題に鑑み、本開示は目標検出方法及び装置を開示し、それにより人間の介入を必要とせず、極小目標の検出タスクを高品質的に完成する。本開示の実施例による目標検出方法及び装置は、例えば、工業品質検査、農業航空撮影などのシーンに適用することができる。以下、図面を参照しながら、本開示の実施例による目標検出方法及び装置について詳細に説明する。
図１は本開示の実施例による目標検出方法１００を示す流れ図である。図１に示すように、目標検出方法１００は、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定するステップＳ１０１と、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングするステップＳ１０２と、各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得するテップＳ１０３と、第２トレーニングデータセットを用いて目標検出モデルをトレーニングするステップＳ１０４と、トレーニングされた目標検出モデルを用いて、検出すべき画像に目標検出を行うステップＳ１０５とを含む。
本開示の実施例による目標検出方法は、第１トレーニングデータセットにおける典型的目標割合に基づき、少なくとも一つ画像スケーリングサイズを適応的に確定し、少なくとも一つ画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングし、各スケーリングされたトレーニング画像をスライシングすることによって第２トレーニングデータセットを取得し、第２トレーニングデータセットを用いて目標検出モデルをトレーニングすることにより、トレーニングされた目標検出モデルは、目標の検出すべき画像に対する割合が非常に小さい場合でも検出すべき画像で目標を的確に検出することができ、従って、人間の介入を必要とせず、極小目標の検出タスクを高品質的に完成することができる。
ここでは、第１トレーニングデータセットは複数のトレーニング画像と複数のトレーニング画像にそれぞれ関連する注釈情報とを含む。いずれか一つのトレーニング画像に対して、当該トレーニング画像において、一つ以上の目標を有してもよく、いずれか一つの目標の目標割合とは、当該目標の目標検出フレームのサイズが当該トレーニング画像全体のサイズに対する比例を指し、当該トレーニング画像に関連する注釈情報は当該トレーニング画像における各目標検出フレームに関連する座標情報を含む。
いくつかの実施例において、第１トレーニングデータセットにおける各トレーニング画像での全ての目標割合をクラスタすることによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を取得することができる。例えば、いずれか一つのトレーニングデータセットＡに対して、トレーニングデータセットＡにおける各トレーニング画像での全ての目標割合をクラスタすることによって、トレーニングデータセットＡにおける三つの典型的目標割合Ｒ１、Ｒ２、Ｒ３を取得することができる。
いくつかの実施例において、目標検出モデルを容易にトレーニングするために、第１トレーニングデータセットにおける各トレーニング画像での大部分の目標検出フレームのサイズをある固定サイズの近くにスケーリングすることができる。従って、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合と当該固定サイズに基づき、少なくとも一つの画像スケーリングサイズを確定することができる。例えば、トレーニングデータセットＡに対して、各トレーニング画像での大部分の目標検出フレームのサイズを固定サイズＴ_０にスケーリングする必要があるとすれば、固定サイズＴ_０をトレーニングデータセットＡにおける三つの典型的目標割合Ｒ１、Ｒ２、及びＲ３で除算することによって、三つの画像スケーリングサイズＴ_０／Ｒ_１、Ｔ_０／Ｒ_２及びＴ_０／Ｒ_３を確定することができる。
いくつかの実施例において、目標検出モデルのトレーニング効果を高めるために、さらに目標検出モデルの最適検出サイズに基づき、少なくとも一つの画像スケーリングサイズを確定することができる。つまり、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合と目標検出モデルの最適検出サイズに基づき、少なくとも一つの画像スケーリングサイズを確定することができ、それにより第１トレーニングデータセットにおける各トレーニング画像での大部分の目標検出フレームのサイズを目標検出モデルの最適検出サイズの近くにスケーリングされる。例えば、トレーニングデータセットＡに対して、目標検出モデルの最適検出サイズがＴであるとすれば、目標検出モデルの最適検出サイズＴをトレーニングデータセットＡにおける典型的目標割合Ｒ１、Ｒ２、及びＲ３で除算することによって、三つの画像スケーリングサイズＴ／Ｒ_１、Ｔ／Ｒ_２及びＴ／Ｒ_３を確定することができる。
いくつかの実施例において、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングすることは、少なくとも一つの画像スケーリングサイズにおけるいずれか一つの画像スケーリングサイズに対して、第１トレーニングデータセットにおける各トレーニング画像をいずれも当該画像スケーリングサイズにスケーリングすることを含むことができる。例えば、トレーニングデータセットＡに対して、トレーニングデータセットＡにおける各トレーニング画像を画像スケーリングサイズＴ／Ｒ_１、Ｔ／Ｒ_２及びＴ／Ｒ_３に従って三回スケーリングし、それによりトレーニングデータセットＡにおける各トレーニング画像での大部分の目標検出フレームはいずれも目標検出モデルの最適検出サイズＴの近くにスケーリングすることができる。
代替的には、いくつかの実施例において、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングすることは、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合に基づき、第１トレーニングデータセットにおけるトレーニング画像を少なくとも一つのトレーニング画像群に分割し、各トレーニング画像群におけるトレーニング画像を対応する画像スケーリングサイズにスケーリングすることを含むことができる。例えば、トレーニングデータセットＡに対して、トレーニングデータセットＡにおける典型的目標割合Ｒ１、Ｒ２及びＲ３に基づき、トレーニングデータセットＡにおけるトレーニング画像をＡ１、Ａ２及びＡ３の三つのトレーニング画像群に分割し、Ａ１、Ａ２及びＡ３の三つのトレーニング画像群におけるトレーニング画像をそれぞれ三つの画像スケーリングサイズＴ／Ｒ_１、Ｔ／Ｒ_２及びＴ／Ｒ_３にスケーリングすることができる。トレーニングデータセットＡにおける各トレーニング画像を画像スケーリングサイズＴ／Ｒ_１、Ｔ／Ｒ_２及びＴ／Ｒ_３に従って三回スケーリングすることに比べて、本実施例の処理効率は比較的高いが、トレーニング効果は少し劣っている。
極小目標を検出する必要がある応用シーンにおいて、第１トレーニングデータセットにおける典型的目標割合は、例えば、１：１００～１：１０００の範囲にあり、各スケーリングされたトレーニング画像のサイズが非常に大きく、それにより画像プロセッサのディスプレイメモリが足りないという問題は生じる。そのため、各スケーリングされたトレーニング画像をスライシングする必要がある。いくつかの実施例において、各スケーリングされたトレーニング画像をスライシングすることによって第２トレーニングデータセットを取得することは、各スケーリングされたトレーニング画像をスライシングすることによって、トレーニング画像スライスセットを取得することと、第１トレーニングデータセットにおける各トレーニング画像に関連する注釈情報を変換することによって、トレーニング画像スライスセットにおける各トレーニング画像スライスに関連する注釈情報を取得することとを含み、ここでは、トレーニング画像スライスセットとトレーニング画像スライスセットにおける各トレーニング画像スライスに関連する注釈情報とで第２トレーニングデータセットを構成する。第２トレーニングデータセットに基づき、目標検出モデルをトレーニングすることは、画像プロセッサのディスプレイメモリが足りないという問題を避けると共に、目標検出モデルの極小目標への検出能力を向上させることができる。
ここで、第１トレーニングデータセットにおける各トレーニング画像に関連する注釈情報を変換することとは、第１トレーニングデータセットにおける各トレーニング画像での目標検出フレームに関連する座標情報を変換することを意味する。つまり、第１トレーニングデータセットにおけるいずれか一つのトレーニング画像でのいずれか一つの目標検出フレームに対して、当該目標検出フレームに関連する座標情報を当該トレーニング画像に基づく座標情報から当該目標検出フレームを含むトレーニング画像スライスに基づく座標情報に変換し、ここでは、当該トレーニング画像スライスは当該トレーニング画像をスライシングすることによって取得されたものである。
いくつかの実施例において、目標検出モデルの入力画像サイズをトレーニング画像スライスサイズとして用いて、各スケーリングされたトレーニング画像をスライシングすることができる。つまり、トレーニング画像スライスサイズを手作業で設置する必要がなく、目標検出モデルの入力画像サイズを直接利用して各スケーリングされたトレーニング画像をスライシングすることができる。
いくつかの実施例において、目標検出モデルの入力画像サイズをトレーニング画像スライスサイズとして用いる場合、目標検出モデルの入力画像サイズと最適検出サイズとの差より小さい動きステップ長を用いて、各スケーリングされたトレーニング画像をスライシングすることができる。このようにして、各スケーリングされたトレーニング画像での各目標検出フレームは少なくとも一つのトレーニング画像スライスに完全に現れることを保証できる。
例えば、目標検出モデルの入力画像サイズはＩで、最適検出サイズはＴであるとすれば、トレーニング画像スライスサイズをＩに設置し、且つ動きステップ長ＳをＩ－Ｔより小さく（即ち、Ｓ＜Ｉ－Ｔ、例えば、Ｓ＝Ｉ－２Ｔ）設置することができる。図２ａはスケーリングされたトレーニング画像の一例を示す概略図である。図２ｂは図２ａに示すスケーリングされたトレーニング画像をスライシングすることを示す概略図である。図２ａと図２ｂに示すように、トレーニング画像スライスサイズがＩで、動きステップ長がＳである場合、大きさがＩ×Ｉであるスライドウィンドウをスケーリングされたトレーニング画像の左上隅の頂点からそれぞれ横軸方向と縦軸方向に沿ってスライドさせることによって、スケーリングされたトレーニング画像をスライシングし、ここでは、スライドウィンドウが毎回移動する距離、即ち、動きステップ長はＳであり、スライドウィンドウがスライドするたびに、トレーニング画像スライスを取得することができ、例えば、トレーニング画像スライスＱ及びＱ１である。場合によっては、多くのトレーニング画像スライスを取得するために、動きステップ長Ｓを適当に小さくすることができる。
いくつかの実施例において、目標検出モデルの入力画像サイズをトレーニング画像スライスサイズとして用いて、目標検出モデルの入力画像サイズと最適検出サイズとの差より小さい動きステップ長を用いて、各スケーリングされたトレーニング画像をスライシングする場合、各スケーリングされたトレーニング画像での各目標検出フレームはいずれも、少なくとも一つのトレーニング画像スライス中に完全に現れることができる。トレーニング画像スライス間の重ね合わせ領域を何度も検出することを減るために、第２トレーニングデータセットにおけるいずれか一つのトレーニング画像スライスに対して、当該トレーニング画像スライスに関連する注釈情報から当該トレーニング画像スライスでの不完全な目標検出フレームに関連する座標情報を除去することができる。例えば、図２ｂに示すように、目標検出フレームａ１がトレーニング画像スライスＱにおいて不完全であるため、トレーニング画像スライスＱに関連する注釈情報から目標検出フレームａ１に関連する座標情報を除去することができ、一方、目標検出フレームａ１はトレーニング画像スライスＱ１に完全に現れるため、トレーニング画像スライスＱ１に関連する注釈情報において目標検出フレームａ１に関連する座標情報を保持する。
いくつかの実施例において、第２トレーニングデータセットにおける各トレーニング画像スライスに関連する注釈情報から、そのサイズと目標検出モデルの最適検出サイズとの差が大きい目標検出フレームに関連する座標情報を除去することができ、それによりそれらの目標検出フレームは目標検出モデルのトレーニングに参与しない。このようにして、目標検出モデルのトレーニング効率を高めると同時に、目標検出モデルのトレーニング効果を向上させることができる。
いくつかの実施例において、極小目標を検出する必要がある応用シーンにおいて、第１トレーニングデータセットにおける各トレーニング画像での目標割合が非常に小さく、各トレーニング画像の大部分の領域は目標検出フレームを含まない背景領域であり、目標検出フレームを含むトレーニング画像スライスのみを用いて目標検出モデルをトレーニングすれば、トレーニングされた目標検出モデルはこの後の検出すべき画像の背景領域を引き続き検出する時に多くの誤検出問題を生じる可能性がある。こういう状況の発生を避けるために、第２トレーニングデータセットにおける目標検出フレームを含むトレーニング画像スライス、目標検出フレームを含まないトレーニング画像スライス、及びそれらに関連する注釈情報を用いて、目標検出モデルをトレーニングすることができる。このようにして、目標検出モデルの目標検出フレームを含まない背景領域への学習を補強し、非常に小さい目標の検出を実現する時に目標検出フレームを含まない背景領域への誤検出の問題を減少することができる。
いくつかの実施例において、図３に示すように、トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うことは、少なくとも一つの画像スケーリングサイズに基づき、検出すべき画像をスケーリングするステップＳ１０５１と、ススケーリングされた検出すべき画像をスライシングすることによって検出すべき画像スライスセットを取得するテップＳ１０５２と、検出すべき画像スライスセットをトレーニングされた目標検出モデルに入力して目標検出を行うステップＳ１０５３とを含むことができる。検出すべき画像をスケーリングしスライシングすることによって、画像プロセッサのディスプレイメモリが足りないという問題を避ける一方、検出すべき画像スライスへの極小目標の検出を実現でき、それにより検出すべき画像の全体への非常に小さい目標の検出を実現できる。
いくつかの実施例において、目標検出モデルの入力画像サイズを検出すべき画像スライスサイズとして用いて、スケーリングされた検出すべき画像をスライシングすることができる。このようにして、画像プロセッサのディスプレイメモリが足りないという問題を避けることができる。つまり、検出すべき画像スライスサイズがトレーニング画像スライスサイズと同一になるように設置してよく、即ち、目標検出モデルの入力画像サイズに等しい。理解すべきことは、検出すべき画像スライスサイズを適切に増大してもよく、それを目標検出モデルの入力画像サイズより大きいようにすることにより検出すべき画像のスライシング効率を増加することである。
いくつかの実施例において、目標検出モデルの入力画像サイズと最適検出サイズとの差より小さい動きステップ長を用いて、スケーリングされた検出すべき画像をスライシングすることができる。例えば、スケーリングされた検出すべき画像をスライシングするために用いられる動きステップ長を、スケーリングされたトレーニング画像をスライシングするために用いられる動きステップ長に等しくするように設置できる。このようにして、スケーリングされたト検出すべき画像での各目標検出フレームは少なくとも一つの検出すべき画像スライス中に完全に現れることを保証できる。
いくつかの実施例において、検出すべき画像スライスセットにおけるいずれか一つの検出すべき画像スライスに対して、当該検出すべき画像スライスでそのエッジと重なる目標検出フレームを検出すれば、当該目標検出フレームを捨てる。例えば、トレーニングされた目標検出モデルは、ある検出すべき画像スライスに目標検出を行う時、当該検出すべき画像スライスでのある目標検出モデルが不完全であると発見したら、該目標検出モデルを捨てることができる（即ち、当該目標検出モデルを検出したと見なさない）。このようにして、検出すべき画像スライスの間の重ね合わせ領域を何度も検出することを減らす。
いくつかの実施例において、検出すべき画像スライスセットをトレーニングされた目標検出モデルに入力して目標検出を行うことは、トレーニングされた目標検出モデルを用いて、検出すべき画像スライスセットにおける各検出すべき画像スライスでの目標検出フレームに関連する座標情報を取得することと、検出すべき画像スライスセットにおける各検出すべき画像スライスでの目標検出フレームに関連する座標情報を、検出すべき画像に基づく座標情報に変換することとを含むことができる。例えば、いずれか一つの検出すべき画像スライスで検出されたいずれか一つの目標検出フレームに対して、当該目標検出フレームに関連する座標情報を、当該検出すべき画像スライスに基づく座標情報から検出すべき画像に基づく座標情報に変換することができる。このようにして、検出すべき画像に対する直観的な目標検出結果を得ることができる。
上述したように、本開示の実施例による目標検出方法は人間の介入を必要とせず、非常に小さい目標の検出タスクを高品質的に完成することができ、例えば、工業品質検査、農業航空撮影などのシーンに適用される。
図４は本開示の実施例による目標検出装置４００を示す構造ブロック図である。図４に示すように、目標検出装置４００は、画像スライシング構成モジュール４０１、モデルトレーニングモジュール４０２、及び目標検出モジュール４０３を含む。画像スライシング構成モジュール４０１は、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定し、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングするように構成される。モデルトレーニングモジュール４０２は各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得し、第２トレーニングデータセットを用いて目標検出モデルをトレーニングするように構成される。目標検出モジュール４０３は、トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うように構成される。
本実施例において、目標検出装置４００及びその対応する機能モジュールの具体的な実施形態と技術的効果は図１の説明した実施例での関連説明を参照することができ、ここでは説明しない。
図５は本開示の実施例を実現するために用いられる例示的なコンピュータシステムを示す構造ブロック図である。以下、図５に関連して、本開示の実施例を実現するために適するコンピュータシステム５００を説明する。図５に示すコンピュータシステム５００は一例に過ぎず、本開示の実施例の機能と使用範囲へのいかなる限定を構成しないことが明らかである。
図５に示すように、コンピュータシステム５００は処理装置（例えば、中央処理装置、グラフィックプロセッサなど）５０１を含むことができ、それはリードオンリーメモリ（ＲＯＭ）５０２に記憶されるプログラム又は記憶装置５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされるプログラムによって、種々の適当な動作と処理を実行することができる。ＲＡＭ５０３の中に、さらにコンピュータシステム５００の動作に必要な種々のプログラムとデータを記憶する。処理装置５０１、ＲＯＭ５０２、及びＲＡＭ５０３はバス５０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続される。
通常、例えば、タッチスクリーン、タッチパネル、カメラ、加速度計、ジャイロスコープなどを含む入力装置５０６、例えば、液晶ディスプレイ（ＬＣＤ、ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、スピーカー、バイブレータなどを含む出力装置５０７、例えば、フラッシュメモリ（ＦｌａｓｈＣａｒｄ）などを含む記憶装置５０８、及び通信装置５０９などの装置はＩ／Ｏインターフェース５０５に接続することができる。通信装置５０９はコンピュータシステム５００と他のデバイスとの無線又は有線通信を許容してデータを交換することができる。図５は種々の装置を有するコンピュータシステム５００を示したが、示した装置を全部実施し又は備えることを要求しないことを理解されたい。代替的に、より多く又はより少ない装置を実施し又は備えることができる。図５に示した各ブロックは一つの装置を表してもよく、必要に応じて、複数の装置を表してもよい。
特に、本開示の実施例によれば、上記の流れ図を参照しながら説明したプロセスをコンピュータソフトウェアプログラムとして実現することができる。例えば、本開示の実施例はコンピュータ可読記憶媒体を提供し、それにコンピュータプログラムが記憶され、当該コンピュータプログラムは図１に示すような方法１００を実行するために用いられるプログラムコードを含む。このような実施例において、当該コンピュータプログラムは通信装置５０９によってネットワークからダウンロードされインストールされ、又は記憶装置５０８からインストールされ、又はＲＯＭ５０２からインストールされることができる。当該コンピュータプログラムは処理装置５０１に実行される時、本開示の実施例による装置に限定される上記機能を実現する。
説明すべきことは、本開示の実施例に記載するコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体でよく、又は上記両者の任意の組み合わせでよいことである。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線又は半導体のシステム、装置、又は部品、又はそれらの任意の組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、一つ以上の導線を有する電気コネクタ、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶部品、磁気記憶部品、又は上記の任意の適当な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体はプログラムを含むか記憶する任意の有形媒体であってよく、当該プログラムはコマンド実行システム、装置、又は部品によって使用し、又はそれと組み合わせて使用することができる。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンドにおいて、又はキャリアの一部として伝播されるデータ信号を含むことができ、その中にコンピュータが可読なプログラムコードが保持される。このような伝播されるデータ信号は複数種の形態を用いることができ、電磁気信号、光信号、又は上記の任意の適当な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、コマンド実行システム、装置、又は部品によって用いられ、又はそれらと組み合わせて用いられるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適当な媒体によって伝送でき、電線、光ファイバーケーブル、ＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ、無線周波数）など、又は上記の任意の適当な組み合わせを含むが、これらに限定されない。
上記のコンピュータ可読媒体は上記のコンピュータシステム５００に含まれるものであってよく、単独に存在し、当該コンピュータシステム５００に組み立てられないものであってもよい。上記のコンピュータ可読媒体に一つ以上のプログラムが保持され、上記の一つ以上のプログラムが当該計算装置に実行される時、当該コンピュータシステムに、第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定し、少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、少なくとも一つの画像スケーリングサイズに基づき、第１トレーニングデータセットにおける各トレーニング画像をスケーリングし、各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得し、第２トレーニングデータセットを用いて目標検出モデルをトレーニングし、トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うようにさせる。
一つ以上のプログラミング言語又はそれらの組み合わせによって本開示の実施例の動作を実行するためのコンピュータプログラムコードを書き、前記プログラミング言語はＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語を含み、さらに「Ｃ」プログラミング言語又は類似のプログラミング言語などの通常の手続き型プログラミング言語を含む。プログラムコードはユーザのコンピュータ上で完全に実行され、ユーザのコンピュータ上で部分的に実行され、独立するパッケージとして実行され、一部がユーザのコンピュータに実行され一部がリモートコンピュータに実行され、又はリモートコンピュータやサーバーに完全に実行されることができる。リモートコンピュータに関する場合に、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザのコンピュータに接続されてよく、或いは、外部のコンピュータに接続されてよい（例えば、インターネットサービスプロバイダを利用してインターネットによって接続される）。
図面における流れ図とブロック図は本開示の各実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び動作を図示する。この点に関して、流れ図又はブロック図内の各ブロックはモジュール、プログラムセグメント、又はコードの一部を表してよく、当該モジュール、プログラムセグメント、又はコードの一部は一つ以上の規定する論理機能を実現するために用いられる実行可能なコマンドを含む。いくつかの代替としての実現において、ブロックに付けられる機能は、図面に付けられる順番と違う順番に従って実現されることも注意すべきである。例えば、二つの連続的に示されるブロックは、実際には、基本的に並列的に実行してもよいし、時には逆の順で実行させてもよいし、それは係る機能によって確定する。注意すべきことは、ブロック図及び／又は流れ図内の各ブロック、及びブロック図及び／又は流れ図内のブロックの組み合わせは、規定する機能又は動作を実行する専用のハードウェアに基づくシステムによって実現でき、専用のハードウェアとコンピュータコマンドとの組み合わせによって実現できることである。
本開示の実施例に記載されたモジュールはソフトウェアによって実現可能であり、ハードウェアによって実現可能である。記載されたモジュールはプロセッサ内に設置されてもよいし、例えば、プロセッサであって、画像スライシング構成モジュール、モデルトレーニングモジュール、及び目標検出モジュールを含むと記載されてもよい。ここで、それらのモジュールの名称は、ある状況で、当該モジュールそのものに対する制限を構成しない。
上述の記載は本開示の好ましい実施例及び運用する技術原理についての説明に過ぎない。当業者であれば、本開示の実施例に係る発明の範囲は上述の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、また、上述の発明構想から逸脱させず、上述の技術的特徴又はその同等特徴の任意組み合わせによって形成された他の技術的解決手段も含むものである。例えば、上述の特徴を本開示の実施例が開示した（これに限定されない）類似する機能を有する技術特徴と相互に置換することによって形成された技術的解決手段である。

Claims

目標検出方法であって、
第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、前記第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定することと、
前記少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、前記少なくとも一つの画像スケーリングサイズに基づき、前記第１トレーニングデータセットにおける各トレーニング画像をスケーリングすることと、
各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得することと、
前記第２トレーニングデータセットを用いて目標検出モデルをトレーニングすることと、
トレーニングされた目標検出モデルを用いて検出すべき画像に目標検出を行うことを含むことを特徴とする目標検出方法。
さらに、前記目標検出モデルの最適検出サイズに基づき、前記少なくとも一つの画像スケーリングサイズを確定することを特徴とする請求項１に記載の目標検出方法。
前記少なくとも一つの画像スケーリングサイズに基づき、前記第１トレーニングデータセットにおける各トレーニング画像をスケーリングすることは、
前記少なくとも一つの画像スケーリングサイズにおけるいずれか一つの画像スケーリングサイズに対して、前記第１トレーニングデータセットにおける各トレーニング画像をいずれも当該画像スケーリングサイズにスケーリングさせることを特徴とする請求項１に記載の目標検出方法。
各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得することは、
前記各スケーリングされたトレーニング画像をスライシングすることによって、トレーニング画像スライスセットを取得することと、
前記第１トレーニングデータセットにおける各トレーニング画像に関連する注釈情報を変換することによって、前記トレーニング画像スライスセットにおける各トレーニング画像スライスに関連する注釈情報を取得することを含み、
前記トレーニング画像スライスセットと前記トレーニング画像スライスセットにおける各トレーニング画像スライスに関連する注釈情報とで前記第２トレーニングデータセットを構成することを特徴とする請求項１に記載の目標検出方法。
前記目標検出モデルの入力画像サイズをトレーニング画像スライスサイズとして用いて、前記各スケーリングされたトレーニング画像をスライシングすることを特徴とする請求項４に記載の目標検出方法。
前記目標検出モデルの入力画像サイズと最適検出サイズとの差より小さい動きステップ長を用いて、前記各スケーリングされたトレーニング画像をスライシングすることを特徴とする請求項５に記載の目標検出方法。
前記第２トレーニングデータセットにおけるいずれか一つのトレーニング画像スライスに対して、当該トレーニング画像スライスに関連する注釈情報から当該トレーニング画像スライス画像での不完全な目標検出フレームに関連する座標情報を除去することをさらに含むことを特徴とする請求項６に記載の目標検出方法。
前記第２トレーニングデータセットにおける目標検出フレームを含むトレーニング画像スライス、目標検出フレームを含まないトレーニング画像スライス、及びそれらに関連する注釈情報を用いて、前記目標検出モデルをトレーニングすることを特徴とする請求項１に記載の目標検出方法。
前記トレーニングされた目標検出モデルを用いて前記検出すべき画像に目標検出を行うことは、
前記少なくとも一つの画像スケーリングサイズに基づき、前記検出すべき画像をスケーリングすることと、
スケーリングされた検出すべき画像をスライシングすることによって、検出すべき画像スライスセットを取得することと、
前記検出すべき画像スライスセットを前記トレーニングされた目標検出モデルに入力して、目標検出を行うこととを含むことを特徴とする請求項１に記載の目標検出方法。
前記目標検出モデルの入力画像サイズを検出すべき画像スライスサイズとして用いて、前記スケーリングされた検出すべき画像をスライシングすることを特徴とする請求項９に記載の目標検出方法。
前記目標検出モデルの入力画像サイズと最適検出サイズとの差より小さい動きステップ長を用いて、前記スケーリングされた検出すべき画像をスライシングすることを特徴とする請求項１０に記載の目標検出方法。
前記検出すべき画像スライスセットにおけるいずれか一つの検出すべき画像スライスに対して、当該検出すべき画像スライスでそのエッジと重なる目標検出フレームを検出すれば、当該目標検出フレームを捨てることを特徴とする請求項１１に記載の目標検出方法。
前記検出すべき画像スライスセットを前記トレーニングされた目標検出モデルに入力して、目標検出を行うことは、
前記トレーニングされた目標検出モデルを用いて、前記検出すべき画像スライスセットにおける各検出すべき画像スライスでの目標検出フレームに関連する座標情報を取得することと、
前記検出すべき画像スライスセットにおける各検出すべき画像スライスでの目標検出フレームに関連する座標情報を、前記検出すべき画像に基づく座標情報に変換することとを含むことを特徴とする請求項９に記載の目標検出方法。
目標検出装置であって、
第１トレーニングデータセットにおける各トレーニング画像での目標割合を統計することによって、前記第１トレーニングデータセットにおける少なくとも一つの典型的目標割合を確定し、
前記少なくとも一つの典型的目標割合に基づき、少なくとも一つの画像スケーリングサイズを確定し、前記少なくとも一つの画像スケーリングサイズに基づき、前記第１トレーニングデータセットにおける各トレーニング画像をスケーリングするように構成される画像スライシング構成モジュールと、
各スケーリングされたトレーニング画像をスライシングすることによって、第２トレーニングデータセットを取得し、
前記第２トレーニングデータセットを用いて、目標検出モデルをトレーニングするように構成されるモデルトレーニングモジュールと、
トレーニングされた目標検出モデルを用いて、検出すべき画像に目標検出を行うように構成される目標検出モデルとを含むことを特徴とする目標検出装置。
コンピュータシステムであって、
プロセッサと、
コンピュータプログラムが記憶されたメモリとを含み、前記コンピュータプログラムは前記プロセッサによって実行される時に、前記プロセッサに請求項１～１３のいずれか一項に記載の目標検出方法を実行させることを特徴とするコンピュータシステム。
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムはコンピュータシステムのプロセッサにより実行される時に、前記コンピュータシステムに請求項１～１３のいずれか一項に記載の目標検出方法を実行させることを特徴とするコンピュータ可読記憶媒体。
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムはプロセッサにより実行される時に、請求項１～１３のいずれか一項に記載の方法を実現させることを特徴とするコンピュータプログラム製品。