JP2019192209A - ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 - Google Patents

Abstract

【課題】ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法を提供する。【解決手段】前記方法は、オリジナル道路走行映像を受信するオリジナル動画受信段階、前記オリジナル道路走行映像と関連する地域の密集変数に基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する１次サンプリング段階、及び、前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する２次サンプリング段階を含み、前記オリジナル道路走行映像と関連する地域の密集変数は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む。【選択図】図１

Description

本発明は、ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法に関する。

近年、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）のトレンドは、音声及びテキスト認識からビデオ映像認識へ技術的に変わりつつある。ビデオ映像の認識は自律走行自動車の制御、ブラックボックス映像、ＣＣＴＶ映像の分析及び医療映像の判読などに使用され得ることから、多様な産業における波及効果が非常に大きい。その中でも４段階の自律走行自動車の研究開発において、全世界的に１、６００億ｋｍのビデオ映像データが必要であり、都市別に１億ｋｍの映像が必要であると判断されている。また、ビデオ映像の認識は、収集されたビデオ映像データを映像の知能化に用いるために別途の加工作業を必要とするが、加工作業は人の認知能力に基づいて手作業で行われるため、多くの時間とコストが発生する。

韓国公開特許公報第１０-２００４-００２６８２５号明細書

そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法を提供することにある。

本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

上述した課題を解決するための本発明の一側面に係るビデオ動画の人工知能のための学習対象イメージパッケージング方法は、オリジナル道路走行映像を受信するオリジナル動画受信段階、前記オリジナル道路走行映像と関連する地域の密集変数に基づいて抽出数を決定し、前記オリジナル道路走行映像から決定された数のフレームイメージを抽出する１次サンプリング段階、及び前記決定された数のフレームイメージのそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する２次サンプリング段階を含み、前記オリジナル道路走行映像と関連する地域の密集変数は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む。

一実施形態において、前記１次サンプリング段階は、前記オリジナル道路走行映像のメタデータを抽出するメタデータ抽出段階を更に含み、前記オリジナル道路走行映像の前記メタデータに更に基づいて前記抽出数を決定する。

一実施形態において、前記メタデータ抽出段階は、前記オリジナル道路走行映像と関連する前記車両のＧＰＳ情報、前記車両の移動速度情報及び前記オリジナル道路走行映像の撮影時間のうち１つ以上を用いて前記オリジナル道路走行映像のメタデータを抽出する。

一実施形態において、前記２次サンプリング段階は、オブジェクト検出アルゴリズムを用いて、それぞれの前記決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の第１学習対象オブジェクトを検出する第１学習対象オブジェクト検出段階、及び第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置と前記第ｎフレームイメージの直前の第ｎ-１フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置とを比較し、前記第ｎフレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトそれぞれの移動量を測定する第１学習対象オブジェクト移動量測定段階を含む。

一実施形態において、前記２次サンプリング段階は、それぞれの前記決定された数のフレームイメージ上で前記第１学習対象オブジェクトを除いた背景を除去する背景除去段階を更に含む。

一実施形態において、前記１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する学習用データセット生成段階を更に含む。

一実施形態において、前記学習用データセット生成段階は、前記学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する第２学習対象オブジェクト検出段階、及び前記学習対象フレームイメージ上の検出された前記１つ以上の第２学習対象オブジェクトに対して注釈化処理を行う学習対象オブジェクト注釈化段階を含む。

一実施形態において、前記学習用データセット生成段階は、前記学習用データセットの有効性を検証する有効性検証段階を更に含む。

上述した課題を解決するための本発明の他の側面に係るビデオ動画の人工知能のための学習対象イメージパッケージング装置は、オリジナル道路走行映像を受信するオリジナル道路走行映像受信部、前記オリジナル道路走行映像と関連する地域の密集変数に基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する第１サンプリング部、及び前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か及び前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する第２サンプリング部を含み、前記オリジナル道路走行映像と関連する地域の密集変数は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

本発明のビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法によれば、第１サンプリング部は、オリジナル道路走行映像と関連する地域の密集変数に基づいてオリジナル道路走行映像を１次サンプリングするため、その後に行われる２次サンプリング段階及び学習用データセット生成段階でデータを処理するのにかかるコストと時間を画期的に短縮することができ、自律走行のための学習対象イメージを抽出する効率を上げることができるという効果を奏する。

また、第２サンプリング部は、第１学習対象オブジェクトの移動量の基準を設定し、事前に決定された基準以上のものに該当するフレームイメージを学習対象フレームイメージとして選定することによって、不要なフレームイメージは低減し、必要なフレームイメージのみを選定することができる。

更に、１次サンプリング及び２次サンプリングを通じて核心的なフレームイメージのみを学習対象フレームイメージとして抽出することによって、学習対象フレームイメージの数が少ないにも拘らず、サンプリングのないフレームイメージに対して同等な水準の性能を有する自律走行のための学習対象イメージが抽出されるようにすることができる。

本発明の効果は、以上で言及された効果に制限されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるはずである。

本発明の一実施形態に係るビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。 本発明の一実施形態に係る図１の１次サンプリング段階により抽出されたフレームイメージの例示図である。 図１の２次サンプリング段階の概略的なフローチャートである。 図１の２次サンプリング段階で第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。 背景除去段階が追加された図１の２次サンプリング段階の概略的なフローチャートである。 背景除去段階が追加された図１の２次サンプリング段階で背景が除去されたフレームイメージを用いて第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。 本発明の他の実施形態に係るメタデータ抽出段階が追加されたビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。 本発明の他の実施形態に係る学習用データセット生成段階が追加されたビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。 図８の学習用データセット生成段階の概略的なフローチャートである。 有効性検証段階が追加された図８の学習用データセット生成段階の概略的なフローチャートである。 図１０の有効性検証段階の概略的なフローチャートである。 本発明の他の実施形態に係るビデオ動画の人工知能のための学習対象イメージパッケージング装置の概略的な構成図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になるはずである。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は、特許請求の範囲の範疇により定義されるに過ぎない。

本明細書で用いられる用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のぞれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのはもちろんである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いられるに過ぎない。従って、当然、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素と表すこともできる。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として使用される。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

以下、添付の図面を参照して本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態に係るビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。

図１を参照すれば、ビデオ動画の人工知能のための学習対象イメージパッケージング方法は、オリジナル動画受信段階（Ｓ１００）、１次サンプリング段階（Ｓ２００）及び２次サンプリング段階（Ｓ３００）を含む。

段階Ｓ１００で、オリジナル道路走行映像受信部６１０は、オリジナル道路走行映像を受信する。オリジナル道路走行映像は、車両の内外部、車道などに設けられているカメラで収集される動画である。例えば、自動車の自律走行のための人工知能映像学習データを生成するためにオリジナル道路走行映像を受信する場合、オリジナル道路走行映像は、自律走行のための学習データの生成のためにカメラを取り付けた自動車から獲得した動画など、自律走行のための学習データの生成が可能な映像を全て含むことができ、これに制限されない。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像と関連する密集変数に基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。密集変数は、特定地域と関連して人口又は車両が密集している程度を示す。例えば、密集変数が相対的に高ければ、該当地域の自律走行のためには相対的に多くのデータの学習が必要であると解析できる。

オリジナル道路走行映像と関連する地域の密集変数は、オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む。密集変数算出部（図示せず）は、特定地域に対する人口統計データ又は車両統計データのうち１つ以上を用いて特定地域の密集変数を算出する。人口統計データは、道路走行映像が撮影された位置及び時間に対応する人口密度、人口分布及び流動人口のうち少なくとも１つを含むことができるが、これに制限されない。また、車両統計データは、道路走行映像が撮影された位置及び時間に対応する車両登録台数、時間帯別交通量の統計及び公共交通機関の分布のうち少なくとも１つを含むことができるが、これに制限されない。

第１サンプリング部６２０は、密集変数が所定の基準以上である場合、フレームイメージを所定の基準以上の数だけ抽出する。例えば、密集変数が１ないし１０の値を有することができると仮定する。この場合、第１サンプリング部６２０は、密集変数が１０で相対的に高い地域では１秒当たり３０のフレームイメージを抽出し、密集変数が５で相対的に低い地域では１秒当たり１５のフレームイメージを抽出することができる。

第１サンプリング部６２０は、公共データサーバを介して、人口統計データ又は車両統計データに該当する密集変数の提供を受けることができるが、これに制限されない。

段階Ｓ３００で、第２サンプリング部６３０は、決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、第１学習対象オブジェクトの移動量に基づいて、決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する。２次サンプリング段階（Ｓ３００）は、図５を用いてより具体的に説明する。

図２は、本発明の一実施形態に係る図１の１次サンプリング段階により抽出されたフレームイメージの例示図である。

図２を参照すれば、フレームイメージは１次サンプリング段階（Ｓ２００）により、例えば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、３０ｆｐｓ又は１ｆｐｓにてフレームイメージを抽出できる。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像と関連する密集変数に基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。例えば、オリジナル道路走行映像のフレームレート（ｆｒａｍｅ ｒａｔｅ）が６０ｆｐｓである場合、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータによって１秒当たり６０個、３０個又は１個のフレームを抽出することができる。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像と関連する密集変数に基づいて、オリジナル道路走行映像を１次サンプリングするため（即ち、不要なデータを除去して２次サンプリング段階に伝達されるデータの量を減少させるため）、その後に行われる２次サンプリング段階（Ｓ３００）及び学習用データセット生成段階（Ｓ５００）でデータを処理するのにかかるコストと時間を画期的に短縮することができる。

図３は、図１の２次サンプリング段階の概略的なフローチャートである。

図３を参照すれば、２次サンプリング段階（Ｓ３００）は、第１学習対象オブジェクト検出段階（Ｓ３１０）及び第１学習対象オブジェクト移動量測定段階（Ｓ３２０）を含む。

段階Ｓ３１０で、第２サンプリング部６３０は、オブジェクト検出アルゴリズムを用いて、それぞれの決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の第１学習対象オブジェクトを検出する。

第１学習対象オブジェクトは、フレームイメージに含まれているオブジェクトである。フレームイメージには１つ以上の第１学習対象オブジェクトが含まれ、１つ以上の類型の第１学習対象オブジェクトが含まれる。例えば、第１学習対象オブジェクトは、人、自動車、自転車、建物、電信柱、オートバイ、木、花、子犬、猫、道路、交通表示板、過速防止用段差、ロードコーン、車線などを含むことができるが、前記例に限定されず、オブジェクトとして区別が可能なものを全て含む。また、第１学習対象オブジェクトの類型は、オブジェクトの前面、後面、右側面、左側面などを含むが、各学習対象オブジェクトの類型は、前記例に限定されず、前記例よりも細分化させて区分することができ、前記例とは全く異なる類型として区分することができる。

第１学習対象オブジェクトの検出として１つ以上の類型の１つ以上のオブジェクトを検出することは、オブジェクト検出アルゴリズムを用いて検出することであり、オブジェクト検出アルゴリズムは、Ｒ-ＣＮＮモデルを含むことができるが、これに制限されない。

段階Ｓ３２０で、第２サンプリング部６３０は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置と、第ｎフレームイメージの直前の第ｎ-１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置とを比較し、第ｎフレームイメージ上の検出された１つ以上の第１学習対象オブジェクトのそれぞれの移動量を測定する。

学習対象フレームイメージを抽出する方法は、検出された１つ以上の第１学習対象オブジェクトの移動量が事前に決定された基準以上であるかを判断し、検出された１つ以上の第１学習対象オブジェクトのうち、予め定められた数以上の第１学習対象オブジェクトの移動量が、事前に決定された基準以上である場合、該当フレームイメージを学習対象フレームイメージとして選定する。しかし、検出された１つ以上の第１学習対象オブジェクトのうち、予め定められた数以上の第１学習対象オブジェクトの移動量が、事前に決定された基準以上に該当しない場合、該当フレームイメージを学習対象フレームイメージとして選定しない。

第１学習対象オブジェクトの移動量の基準を設定し、事前に決定された基準以上のものに該当するフレームイメージを学習対象フレームイメージとして選定することによって、不要なフレームイメージを低減し、必要なフレームイメージのみを選定することができる。

従って、学習対象フレームイメージは、抽出されたフレームイメージの全てが学習対象フレームイメージとして選定されず、オブジェクトの移動量が少なく、学習において影響が大きくないフレームイメージを除いて残りのフレームイメージのみ学習対象フレームイメージとして選定することによって、以後の段階で学習データセットの量を低減することができる。従って、人工知能モジュールの学習において、量が減少した学習データセットを用いて学習にかかる時間を短縮できる。

他の実施形態において、第２サンプリング部６３０は、フレームイメージから交通統制オブジェクトの有無を判断し、該当交通統制オブジェクトが事前に決定された基準に符合する場合、交通統制オブジェクトに更に基づいて、フレームイメージから１つ以上の学習対象フレームイメージを抽出する。交通統制オブジェクトは、フレームイメージ上の信号機、交通安全標識、交通安全線及び道路附帯施設などであり得るが、これに制限されない。例えば、第２サンプリング部６３０は、フレームイメージから信号機が検出され、該当信号機が赤信号から青信号に変わった場合に、該当フレームイメージ全部を学習対象フレームとして抽出し、該当信号機が赤信号に維持される場合には、1秒当たりのフレームイメージの数を半分にして該当フレームイメージの中から一部のみを学習対象フレームとして抽出することができる。

他の実施形態において、第２サンプリング部６３０は、オリジナル道路走行映像から撮影する時、車両の内部音及び外部音のうち少なくとも１つを抽出し、車両の内部音及び外部音の周波数が所定の基準範囲内である場合、車両の内部音及び外部音のうち少なくとも１つに更に基づいて、フレームイメージから１つ以上の学習対象フレームイメージを抽出する。例えば、第２サンプリング部６３０は、ブラックボックスの道路走行映像からオーディオデータを抽出し、該当オーディオデータから叫び声が検出される場合、１秒当たり３０の学習対象フレームを抽出し、何らの音も検出されない場合、１秒当たり１５の学習対象フレームを抽出することができる。

第１学習対象オブジェクト移動量測定段階（Ｓ３２０）を、図４を用いて具体的に説明する。

図４は、図１の２次サンプリング段階で第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。

図４を参照すれば、第１学習対象オブジェクト移動量測定段階（Ｓ３２０）での移動量の測定方法が示されている。図４（ａ）は第ｎ-１フレームイメージ１１、図４（ｂ）は第ｎフレームイメージ１２を示す。

第１学習対象オブジェクトの移動量測定は、第ｎ-１フレームイメージ１１上での第１学習対象オブジェクト２１と、第ｎフレームイメージ１２上での第１学習対象オブジェクト２２の位置を比較するものである。

第ｎ-１フレームイメージ１１上での第１学習対象オブジェクト２１と第ｎフレームイメージ１２上での第１学習対象オブジェクト２２は、同一形態のオブジェクトであって、第１学習対象オブジェクトの同一位置に該当する部分をまず選定する。

第１学習対象オブジェクトの同一位置に該当する部分の選定は、コンピュータが第ｎ-１フレームイメージ１１上の第１学習対象オブジェクト２１で特定部分をＡに選定したとするとき、第ｎフレームイメージ１２上の第１学習対象オブジェクト２２上でＡと同一位置に該当する部分をＡ’に選定する。

コンピュータは、第１学習対象オブジェクトの同一位置に該当する部分を選定した後、第ｎ-１フレームイメージ１１と第ｎフレームイメージ１２を同一平面上に置いた後、Ａ及びＡ’に対する座標を抽出する。

コンピュータはＡ及びＡ’に対する座標を抽出した後、Ａ座標及びＡ’座標の差を用いて移動量を測定する。

図５は、背景除去段階が追加された図１の２次サンプリング段階の概略的なフローチャートである。

図５を参照すれば、背景除去段階（Ｓ３３０）は、第１学習対象オブジェクト検出段階（Ｓ３１０）の後に行われる。

段階Ｓ３３０で、第２サンプリング部６３０は、それぞれの決定された数のフレームイメージ上で第１学習対象オブジェクトを除いた背景を除去する。

背景除去段階（Ｓ３３０）は、フレームイメージ上で検出された第１学習対象オブジェクトを除いたものなどを背景として処理し、背景部分を全て除去する。背景部分の除去は、背景に該当する領域のピクセルの値をｎｕｌｌ状態にするか、所定の特殊な値に処理することを含むことができる。例えば、背景に該当する領域のピクセルのグレー（ｇｒａｙ）を０グレー又は２５６グレーに処理することができるが、これに制限されない。

背景除去段階（Ｓ３３０）が追加された２次サンプリング段階（Ｓ３００）を、図６を用いて具体的に説明する。

図６は、背景除去段階が追加された図１の２次サンプリング段階で背景が除去されたフレームイメージを用いて、第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。

図６を参照すれば、図６（ａ）は１次サンプリング段階（Ｓ２００）により抽出されたフレームイメージ１０を示しており、フレームイメージ１０は第１学習対象オブジェクト２０及び背景３０を含む。

図６を参照すれば、図６（ｂ）は、図６（ａ）のフレームイメージ１０において、背景除去段階（Ｓ３３０）により背景３０が除去されたことを示す図であって、フレームイメージ１０は第１学習対象オブジェクト２０のみを含む。

図６を参照すれば、図６（ｃ）は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクト２１の位置と、第ｎフレームイメージの直前の背景が除去された第ｎ-１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクト２２の位置とを比較することを示す図である。

コンピュータは、それぞれの第１学習対象オブジェクト２１、２２間の比較を通じて、第１学習対象オブジェクトの移動量を測定することができる。

第１学習対象オブジェクト２１、２２の位置比較を通じて、移動量を測定した後、コンピュータは、検出された１つ以上の第１学習対象オブジェクト２０のうち、予め定められた数以上の第１学習対象オブジェクトの移動量が、予め定められた基準以上である場合には、第ｎフレームイメージを学習対象フレームイメージとして選定し、そうでない場合には、第ｎフレームイメージを学習対象フレームイメージとして選定しない。

例えば、コンピュータは、第１フレームイメージ上で検出された第１学習対象オブジェクトと、第２フレームイメージ上で検出された第１学習対象オブジェクトの移動量とを比較して、移動量が予め定められた基準以上である場合には、第２フレームイメージを学習対象フレームイメージとして選定する。移動量が予め定められた基準以上に該当しない場合には、第２フレームイメージを学習対象フレームイメージとして選定しない。

また、コンピュータは、第２フレームイメージを学習対象フレームイメージとして選定又は選定しないことに止まらず、再び第２フレームイメージ上で検出された第１学習対象オブジェクトと、第３フレームイメージ上で検出された第１学習対象オブジェクトの移動量を比較し、移動量が予め定められた基準以上である場合には、第３フレームイメージを学習対象フレームイメージとして選定する。

フレームイメージ上の第１学習対象オブジェクトの移動量を測定し、学習対象フレームイメージとして選定又は選定しない段階は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトと、第ｎ-１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置とを比較するものであって、抽出された全てのフレームイメージ上の検出された１つ以上の第１学習対象オブジェクトに対して比較し、学習対象フレームとして選定又は選定しないことが完了するまで繰り返される。

第１学習対象オブジェクト２０は１つ以上であって、コンピュータは、１つのフレームイメージ１０上に複数の第１学習対象オブジェクト２０がある場合には、それぞれの第１学習対象オブジェクト２０を比較し、それぞれの第１学習対象オブジェクト２０の移動量を測定する。

例えば、１つのフレームイメージ１０上に複数の第１学習対象オブジェクト２０を含む場合、コンピュータは、複数の第１学習対象オブジェクト２０全部の移動量を測定し、予め定められた数の第１学習対象オブジェクト２０の移動量が予め定められた基準以上である場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

一実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０全部の移動量を測定し、複数の第１学習対象オブジェクト２０全部の移動量が予め定められた基準以上である場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

他の実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０のうち、予め定められた数の第１学習対象オブジェクト２０の移動量のみを測定し、測定した第１学習対象オブジェクト２０の移動量のうち、予め定められた数の第１学習対象オブジェクト２０の移動量が予め定められた基準以上である場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

更に他の実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０のうち、予め定められた数の第１学習対象オブジェクト２０の移動量のみを測定し、測定した第１学習対象オブジェクト２０全部の移動量が予め定められた基準以上である場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

図６（ｃ）の移動量の測定により選定された学習対象フレームイメージとして、図６（ｄ）に示すように、抽出されたフレームイメージ１１、１２、１３、１４、１５の中から、学習対象フレームイメージ１２、１４が選定される。

図７は、本発明の他の実施形態に係るメタデータ抽出段階が追加されたビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。

図７を参照すれば、メタデータ抽出段階（Ｓ４００）は、オリジナル動画受信段階（Ｓ１００）の後に行われる。

段階Ｓ４００で、メタデータ抽出部６４０は、オリジナル道路走行映像と関連する車両のＧＰＳ情報、車両の移動速度情報、及び、オリジナル道路走行映像の撮影時間のうち１つ以上を用いて、オリジナル道路走行映像のメタデータを抽出する。

第１サンプリング部は、密集変数以外にも、オリジナル道路走行映像のメタデータに更に基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。オリジナル道路走行映像のメタデータは、オリジナル道路走行映像と関連する車両のＧＰＳ情報、車両の移動速度情報、及び、オリジナル道路走行映像の撮影時間のうち１つ以上を含む。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの車両のＧＰＳ情報に更に基づいて、前記車両のＧＰＳ情報が事前に決定された地域に含まれる場合、該当地域に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両が賑やかなＡ地域にある場合、１秒当たり３０のフレームを抽出し、車両が閑静なＢ地域にある場合、１秒当たり１５のフレームを抽出することができる。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの車両移動速度情報に更に基づいて、車両の移動速度が事前に決定された速度範囲内にある場合、該当速度範囲に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両の移動速度が相対的に高速である１００ｋｍ／ｈの場合、１秒当たり３０のフレームを抽出し、車両の移動速度が相対的に低速である５０ｋｍ／ｈの場合、１秒当たり１５のフレームを抽出することができる。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの撮影時間に更に基づいて、車両の移動時間が事前に決定された時間範囲内にある場合、該当時間範囲に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両の移動が混雑する出退勤時間である７時から９時又は１８時から２０時までの場合、１秒当たり３０のフレームを抽出し、車両の移動が閑散な明け方である１時から５時までの場合、１秒当たり１５のフレームを抽出することができる。

他の実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの撮影時間に相応する天気情報に更に基づいて、天気情報が事前に決定された天気に含まれる場合、該当天気に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、撮影時間に相応する天気情報が曇り、強風、暴雨、大雪などである場合、１秒当たり３０のフレームを抽出し、天気情報が晴れである場合、１秒当たり１５のフレームを抽出することができる。

図８は、本発明の他の実施形態に係る学習用データセット生成段階が追加されたビデオ動画の人工知能のための学習対象イメージパッケージング方法の概略的なフローチャートである。

図８を参照すれば、学習用データセット生成段階（Ｓ５００）は、２次サンプリング段階（Ｓ３００）の後に行われる。

段階Ｓ５００で、学習用データセット生成部６５０は、１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する。段階Ｓ５００を、図９を用いて具体的に説明する。

図９は、図８の学習用データセット生成段階の概略的なフローチャートである。

図９を参照すれば、学習用データセット生成段階（Ｓ５００）は、第２学習対象オブジェクト検出段階（Ｓ５１０）及び第２学習対象オブジェクト注釈化段階（Ｓ５２０）を含む。

段階Ｓ５１０で、学習用データセット生成部６５０は、学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する。

第２学習対象オブジェクトは、学習対象フレームイメージに含まれているオブジェクトである。学習対象フレームイメージには１つ以上の第２学習対象オブジェクトが含まれ、１つ以上の類型の第１学習対象オブジェクトが含まれる。例えば、第２学習対象オブジェクトは、人、自動車、自転車、建物、電信柱、オートバイ、木、花、子犬、猫、道路、交通表示板、過速防止用段差、ロードコーン、車線などを含むことができるが、前記例に限定されず、オブジェクトとして区別が可能なものを全て含む。また、第２学習対象オブジェクトの類型は、オブジェクトの前面、後面、右側面、左側面などを含むが、各学習対象オブジェクトの類型は、前記例に限定されず、前記例よりも細分化させて区分することができ、前記例とは全く異なる類型として区分することができる。

上述した段階Ｓ３００で、第１学習対象オブジェクトの検出が人工知能の学習のためのイメージの選別、即ち学習対象フレームイメージの選別のためのものであったならば、段階Ｓ５１０で第２学習対象オブジェクトの検出は、注釈化処理のための対象の選別のためのものである。

第２学習対象オブジェクトの検出として、１つ以上の類型の１つ以上のオブジェクトを検出することは、オブジェクト検出アルゴリズムを用いて検出することであり、オブジェクト検出アルゴリズムは、Ｒ-ＣＮＮモデルを含むことができるが、これに制限されない。

段階Ｓ５２０で、学習用データセット生成部６５０は、学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトに対して、注釈化処理を行う。

注釈化処理は、学習対象フレームイメージ上の検出された第２学習対象オブジェクトを説明するデータの生成作業を意味する。注釈化処理は、第２学習対象オブジェクトに対してラベリング（ｌａｂｅｌｉｎｇ）、カラーリング（ｃｏｌｏｒｉｎｇ）又はレイヤリング（ｌａｙｅｒｉｎｇ）を行うことを含む。また、第２学習対象オブジェクトが何かを表示することを全て、注釈化処理として含めることができる。例えば、学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトを、ボックス（ｂｏｘ）などの形態で領域を区分して表示することができる。注釈化処理は、自動処理される道具を活用することができる。

第２学習対象オブジェクトを区分して表示した領域に対して、各第２学習対象オブジェクトが何かについて説明を作成することができ、ラベリングは１つの単語で作成されてもよく、１つの単語ではなく、文章で詳細に作成されてもよい。

注釈化処理は、１つ以上の作業者がラベリング、カラーリング又はレイヤリングした情報をデータベース化し、コンピュータにより学習されたモジュールを生成し、学習されたモジュールにより、新たに入ってきた学習対象フレームイメージ上の第２学習対象オブジェクトが、データベース化された第２学習対象オブジェクトと類似しているかを判断することによって、該当第２学習対象オブジェクトにラベリング、カラーリング又はレイヤリングを行うことができる。

他の実施形態において、学習用データセット生成部６５０は、映像処理を用いて学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトの重要度を判断し、重要度が所定の基準以上である場合、該当第２学習対象オブジェクトに対する注釈情報を生成できる。学習用データセット生成部６５０は、１つ以上の第２学習対象オブジェクトがある場合、重要度が高い第２学習対象オブジェクトに対してのみ注釈情報を生成できる。例えば、学習対象フレームイメージ上に、自動車、信号機がある場合、該当自動車、信号機を重要度が高いと判断し、該当学習した自動車、信号機に対してのみ注釈情報を生成できる。

図１０は、有効性検証段階が追加された図８の学習用データセット生成段階の概略的なフローチャートである。

図１０を参照すれば、有効性検証段階（Ｓ５３０）は、学習対象オブジェクト注釈化段階の後に行われる。

段階Ｓ５３０で、検査者は、学習用データセットの有効性を検証する。検査者端末は、ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００から学習用データセットを受信する。段階Ｓ５３０を、図１１を用いて具体的に説明する。

図１１は、図１０の有効性検証段階の概略的なフローチャートである。

図１１を参照すれば、有効性検証段階（Ｓ５３０）は、学習用データセットの検査を要請する段階（Ｓ５３１）及び学習用データセットを検査する段階（Ｓ５３２）を含む。

段階Ｓ５３１で、ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００は、検査者端末に検査を要請する。

段階Ｓ５３２で、検査者端末を介して、検査者は、学習用データセットを受信し、検査を行う。

一実施形態において、検査者端末は、学習用データセットの検査結果、学習用データセットの信頼度が所定の基準以上である場合、該当学習用データセットと該当信頼度をビデオ動画の人工知能のための学習対象イメージパッケージング装置６００に送信する。従って、ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００は、該当学習用データセットが人工知能モジュールに用いるのに適したデータセットであることを確認することができる。

一実施形態において、学習用データセットの検査結果、学習用データセットの信頼度が所定の基準未満である場合、該当学習用データセットを返却する。その後、検査者端末は、ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００に該当学習用データセットの再作業を要請する。ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００により再作業された学習用データセットは、段階Ｓ５３１ないしＳ５３２の段階により再検査を受ける。

図１２は、本発明の他の実施形態に係るビデオ動画の人工知能のための学習対象イメージパッケージング装置の概略的な構成図である。

図１２を参照すれば、ビデオ動画の人工知能のための学習対象イメージパッケージング装置６００は、オリジナル道路走行映像受信部６１０、第１サンプリング部６２０、第２サンプリング部６３０、メタデータ抽出部６４０及び学習用データセット生成部６５０を含む。

図１２のビデオ動画の人工知能のための学習対象イメージパッケージング装置６００の構成要素は、図１ないし図１１を参照して説明した方法の構成要素に相応する。オリジナル道路走行映像受信部６１０は、オリジナル動画受信段階（Ｓ１００）、第１サンプリング部６２０は、１次サンプリング段階（Ｓ２００）、第２サンプリング部６３０は、２次サンプリング段階（Ｓ３００）、メタデータ抽出部６４０は、メタデータ抽出段階（Ｓ４００）、学習用データセット生成部６５０は、学習用データセット生成段階（Ｓ５００）を行うことができる。以下、装置６００の各構成要素の機能又は動作を説明するにおいて、重複する説明は省略する。

オリジナル道路走行映像受信部６１０は、オリジナル道路走行映像を受信する。

第１サンプリング部６２０は、オリジナル道路走行映像と関連する地域の密集変数に基づいて、抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。

オリジナル道路走行映像と関連する地域の密集変数は、オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む。

第２サンプリング部６３０は、決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、第１学習対象オブジェクトの移動量に基づいて、決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する。

メタデータ抽出部６４０は、オリジナル道路走行映像のメタデータを抽出する。

学習用データセット生成部６５０は、１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する。

本発明の実施形態と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現するか、ハードウェアにより実行されるソフトウェアモジュールで実現するか、又はこれらの結合により実現することができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読み取り可能な記録媒体に存在することもできる。

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できるはずである。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

６００ ビデオ動画の人工知能のための学習対象イメージパッケージング装置
６１０ オリジナル道路走行映像受信部
６２０ 第１サンプリング部
６３０ 第２サンプリング部
６４０ メタデータ抽出部
６５０ 学習用データセット生成部

Claims (10)

1. オリジナル道路走行映像を受信するオリジナル動画受信段階と、
   前記オリジナル道路走行映像と関連する地域の密集変数に基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する１次サンプリング段階と、
   前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する２次サンプリング段階と、を含み、
   前記オリジナル道路走行映像と関連する地域の密集変数は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む、ビデオ動画の人工知能のための学習対象イメージパッケージング方法。
2. 前記１次サンプリング段階は、
   前記オリジナル道路走行映像のメタデータを抽出するメタデータ抽出段階を更に含み、
   前記オリジナル道路走行映像の前記メタデータに更に基づいて、前記抽出数を決定することを特徴とする、請求項１に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
3. 前記メタデータ抽出段階は、
   前記オリジナル道路走行映像と関連する車両のＧＰＳ情報、車両の移動速度情報、及び、前記オリジナル道路走行映像の撮影時間のうち１つ以上を用いて、前記オリジナル道路走行映像のメタデータを抽出することを特徴とする、請求項２に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
4. 前記２次サンプリング段階は、
   オブジェクト検出アルゴリズムを用いて、それぞれの前記決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の第１学習対象オブジェクトを検出する第１学習対象オブジェクト検出段階と、
   第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置と、前記第ｎフレームイメージの直前の第ｎ-１フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置とを比較し、前記第ｎフレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトそれぞれの移動量を測定する第１学習対象オブジェクト移動量測定段階と、
   を含むことを特徴とする、請求項１に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
5. 前記２次サンプリング段階は、
   それぞれの前記決定された数のフレームイメージ上で、前記第１学習対象オブジェクトを除いた背景を除去する背景除去段階を更に含むことを特徴とする、請求項４に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
6. 前記１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する学習用データセット生成段階を更に含むことを特徴とする、請求項１に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
7. 前記学習用データセット生成段階は、
   前記学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する第２学習対象オブジェクト検出段階と、
   前記学習対象フレームイメージ上の検出された前記１つ以上の第２学習対象オブジェクトに対して注釈化処理を行う学習対象オブジェクト注釈化段階と、
   を含むことを特徴とする、請求項６に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
8. 前記学習用データセット生成段階は、
   前記学習用データセットの有効性を検証する有効性検証段階を更に含むことを特徴とする、請求項７に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法。
9. オリジナル道路走行映像を受信するオリジナル道路走行映像受信部と、
   前記オリジナル道路走行映像と関連する地域の密集変数に基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する第１サンプリング部と、
   前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する第２サンプリング部と、を含み、
   前記オリジナル道路走行映像と関連する地域の密集変数は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を含む、ビデオ動画の人工知能のための学習対象イメージパッケージング装置。
10. コンピュータと結合し、請求項１〜８の何れか１項に記載のビデオ動画の人工知能のための学習対象イメージパッケージング方法を実行させる、コンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム。
    

Images