JP2021103555A - 画像検出方法、装置、電子設備、記憶媒体、及びプログラム - Google Patents

画像検出方法、装置、電子設備、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP2021103555A
JP2021103555A JP2021048278A JP2021048278A JP2021103555A JP 2021103555 A JP2021103555 A JP 2021103555A JP 2021048278 A JP2021048278 A JP 2021048278A JP 2021048278 A JP2021048278 A JP 2021048278A JP 2021103555 A JP2021103555 A JP 2021103555A
Authority
JP
Japan
Prior art keywords
image
detection
index
content
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021048278A
Other languages
English (en)
Other versions
JP7051267B2 (ja
Inventor
サン,レイ
Lei Sun
フー,ビン
Bin Hu
ラオ,スーユエ
Siyue Rao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021103555A publication Critical patent/JP2021103555A/ja
Application granted granted Critical
Publication of JP7051267B2 publication Critical patent/JP7051267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Abstract

【課題】収集画質の画像検出に対して、画像検出の検出精度を高める画像検出方法、画像検出装置、電子設備、コンピュータ可読記憶媒体およびプログラムを提供する。【解決手段】画像検出方法は、検出されるべき結像画像に対して収集処理を実行し、収集画像を得るステップS101と、検出処理に応じて、予め設定された画像検出ネットワークにより、収集画像におけるターゲットオブジェクトの特徴データを抽出するステップS102と、ターゲットオブジェクトの特徴データについて、画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得るステップS103を含む。ターゲットオブジェクトは、結像内容およびカラーバーを含む。カラーバーは、結像内容に関連するカラー情報を記述することに用いられる。【選択図】図2

Description

本発明は、コンピュータビジョン処理分野に関し、特に、人工知能、ディープラーニング、画像処理の分野に関し、画像処理に関連する画像収集、画像検出などの分野に応用することができる。
コンピュータビジョンでは、画像処理について、ユーザのセキュリティや道路状況などの様々なシーンにおける監視、およびカメラやカーナビなどの収集設備から出力される画面の明晰度や正確度などに対するシーン需要がますます高まっており、また、携帯設備や携帯端末などの電子設備も従来よりさらにスマート化が進んでおり、チップの画像解析能力も高くなっており、ユーザーは、画像処理の収集画質について、より高い明晰度および正確度の実現を望んでいる。
現在、収集画質の画像検出に対して、特定の検出環境を設置する必要があることで、検出コストが増加している。あるいは、収集画質に含まれる一部のターゲットオブジェクト(例えば、結像内容)しか検出できず、例えば、該収集画質における結像内容が人であるか、または動物であるか、車の流れにおける車両であるか、又は商業区の店舗であるかなどを検出する。あるいは、実際の収集画質に対して検出するのではなく、そのシミュレーション画質に対して検出し、シミュレーション画質は実際の収集画質ではないため、予期される検出精度の要求に達しない。これに対して、画像検出の検出精度を高めることについて、関連技術には未だに有効な解決策が存在しない。
本発明は、画像検出方法、装置、電子設備および記憶媒体を提供する。
本発明の1つの態様は、画像検出方法を提供し、当該方法は、
検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることと、
検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出することと、
前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることと、を含み、
ここで、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述することに用いられる。
本発明の他の態様は、画像検出装置を提供し、当該装置は、
検出されるべき結像画像に対して収集処理を実行し、収集画像を得るための収集モジュールと、
検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出するための応答モジュールと、
前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得るための検出モジュールと、を備え、
ここで、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述することに用いられる。
本発明の他の態様は、電子設備をさらに提供し、当該電子設備は、
少なくとも1つのプロセッサと、
少なくとも1つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも1つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも1つのプロセッサにより実行される場合、本発明の実施形態の任意の画像検出方法を実行させることを特徴とする。
本発明の他の態様は、コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体は、
本発明の実施形態の任意の画像検出方法をコンピュータに実行させる。
本発明によれば、検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることができ、検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出することことができる。前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることができ、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述するのに用いられるため、前記ターゲットオブジェクトに対応し、少なくとも結像内容指標およびカラーバー指標を含む多次元検出を用いることにより、より正確な検出結果を得ることができ、すなわち、カメラやカーナビ等の収集設備により出力される結像画像の画像(結像内容およびカラー)検出の検出精度を高めることができる。
ここに記載された内容は、本発明の実施形態のキーポイントまたは重要な特徴を記述することを意図せず、また、本発明の範囲を制限することにも用いられないことを理解すべきである。本発明の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本方案をより良く理解するためのものであり、本発明を限定するものではない。
本発明の実施形態に応用される画像検出インタラクションのハードウェアエンティティの模式図である。 本発明の実施形態による画像検出方法のフローチャート模式図である。 本発明の実施形態による画像検出の応用例のターゲットオブジェクトの模式図である。 本発明の実施形態による画像検出の他の応用例のターゲットオブジェクトの模式図である。 本発明の実施形態による画像検出装置の構成の模式図である。 本発明の実施形態による画像検出方法を実現する電子設備のブロック図である。
以下では、本発明の例示的な実施形態を、理解を容易にするために本発明の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本発明の範囲および精神を逸脱することなく、本明細書に記載された実施形態に様々な変更および修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能および構成については、明確化および簡明化のために説明を省略する。
本明細書における用語「および/または」は、単に関連オブジェクトを記述する関連関係であり、表示には3つの関係が存在でき、例えば、Aおよび/またはBは、Aが単独で存在する、AとBとが同時に存在する、Bが単独で存在するという3つの状況を表すことができる。本明細書における用語「少なくとも1つ」は、複数のうちの任意の1つまたは複数のうちの少なくとも2つの任意の組み合わせを表し、例えば、A、B、Cのうちの少なくとも1つを含むは、A、B、およびCからなる集合から選択された任意の1つまたは複数の要素を含むことを表すことができる。本明細書における用語「第1」、「第2」は、複数の類似の技術用語を指して区別することを表し、順序を限定する、または2つのみと限定する意図ではなく、例えば、第1特徴と第2特徴とは、2つのタイプ/2つの特徴があることを指し、第1特徴は1つまたは複数であり、第2特徴も1つまたは複数であることができる。
さらに、本明細書をよりよく説明するために、以下の具体的な実施形態において多くの具体的な詳細が示される。当業者は、特定の詳細がなくても、本発明を同様に実施することができることを理解すべきである。いくつかの例において、当業者の熟知している方法、手段、要素、および回路は、本発明の主旨を明確にするため、詳細に説明しない。
図1は、本発明の実施形態に応用される画像検出インタラクションのハードウェアエンティティの模式図である、図1は、サーバ11(例えば、複数のサーバから構成されるサーバクラスタ)と、例えば、PC、携帯電話、一体型パソコン、カメラ、マイク付きカメラ、カーナビなどの各端末(端末21〜端末26)を含み、各ハードウェアエンティティ間では、得られた収集画像に対して画像検出を行い、さらに互いに各収集画像(収集画像31〜収集画像33)を共有することができる。
各端末は、画像検出ネットワークに基づいて得られた検出モジュールのような、ローカル画像処理チップにおけるモジュールを利用して、少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることができる。
各端末は、各収集画像をバックグラウンドに提供してクラウド処理を行うこともでき、クラウド処理の過程において、画像検出ネットワークに基づいて少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることができる。各端末は、有線ネットワークまたは無線ネットワークにより、サーバ11と各収集画像のインタラクションを行うことができる。
上述の図1の例は、本発明の実施形態を実現するシステムアーキテクチャの1例にすぎず、本発明の実施形態は、上述の図1に記載されたシステム構造に限定されるものではなく、該アーキテクチャに基づき、本発明のそれぞれの実施形態を提案する。
収集設備にはカメラまたはカーナビが含まれ、収集設備をカメラとすると、画像検出の検出精度を高める目的を達するためには、カメラまたはカーナビが出力する結像画像の画像に対し、結像内容およびカラーの両方面から検出を行う必要がある。カメラが収集した「結像内容+カラー」の検出過程において、カメラが収集した「結像内容+カラー」の検出を実現できるが、1つの特殊な検出環境を設定する必要があり、該検出環境の構築およびメンテナンスコストがとても高いため、検出コストの急激な増加を導くこととなる。あるいは、カメラが収集した「結像内容+カラー」のうちの1つにしか検出を実現できず、検出データが不完全であるために検出精度の不正確さを導く。あるいは、カメラで収集した「結像内容+カラー」の検出に対し、ハードウェアインザループの検出を実現することができず、実際の収集画質をシミュレーションした後にシミュレーション画質に対して行われる検出であり、実際の検出データを得ることができないため、検出精度の正確さが足りない。ここで、ハードウェアインザループとは、カメラで収集して得られた実際の撮像を用いることを指す。
本発明の実施形態によれば、画像検出方法を提供し、図2は、本発明の実施形態による画像検出方法のフローチャート模式図であり、該方法は、画像検出装置に応用することができる。例えば、該装置は、端末、サーバ、または他の処理設備にデプロイされて実行する場合、ビデオフレーム抽出、露光品質統計、露光品質評価等を実行することができる。ここで、端末は、ユーザ設備(UE、UserEquipment)、携帯機器、携帯電話、コードレス電話、携帯情報端末(PDA、Personal Digital Assistant)、携帯用デバイス、コンピューティングデバイス、車載デバイス、装着可能デバイスなどであってもよい。いくつかの可能な実施形態において、該方法はさらに、プロセッサがメモリに記憶されたコンピュータ可読コマンドを呼び出すことにより実現されてもよい。図2に示すように、以下を含む。
S101において、検出されるべき結像画像に対して収集処理を実行し、収集画像を得る。
1例において、カメラまたはカーナビなどの収集設備により収集処理を実行し、該収集結果を得ることができる。
S102において、検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出する。
1例において、画像検出ネットワークは、畳み込みニューラルネットワークであってもよく、本発明は該ネットワークタイプに限定されず、本発明の画像検出を実現できるニューラルネットワークはすべて本発明の保護範囲にある。該画像検出ネットワークは予めトレーニングされる必要がある。その後、該収集画像を該トレーニング後に予め設定された画像検出ネットワークに入力して画像検出を行い、画像検出ネットワークの出力を検出結果とする。
該トレーニング後に予め設定された画像検出ネットワークを応用して検出を実現する過程において、該収集画像におけるターゲットオブジェクトの特徴データを先に抽出することができる。ここで、該ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述するのに用いられるため、ターゲットオブジェクトの特徴データは、少なくとも結像内容およびカラーバーとの2つの次元の特徴データを含む。次に、該結像内容およびカラーバーとの2つの次元の特徴データに基づいて識別および比較を行うことで、該画像検出の過程を完了することができる。
S103において、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得る。
1つの例において、ターゲットオブジェクトに対応する特徴データは、少なくとも結像内容およびカラーバーとの2つの次元の特徴データを含むため、該多次元検出を行うには、該少なくとも結像内容およびカラーバーとの2つの次元の特徴データを、それぞれ少なくとも結像内容指標およびカラーバー指標と比較を行う必要があり、該多次元検出により検出結果を得ることができる。
本発明によれば、検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることができ、検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出することことができる。前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることができ、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述するのに用いられるため、前記ターゲットオブジェクトに対応し、少なくとも結像内容指標およびカラーバー指標を含む多次元検出を用いることにより、より正確な検出結果を得ることができ、すなわち、追加のコスト(例えば、特定の検出環境を設置する)を増やすことなく収集設備(例えば、カメラやカーナビ)の収集した結像内容およびカラーの検出を実現することができ、かつ、ハードウェアインザループに適しているため、カメラやカーナビ等の収集設備により出力される結像画像の画像(結像内容およびカラー)検出の検出精度を高めることができる。
1つの実施形態において、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークにより結像内容指標およびカラーバー指標の多次元検出を行い、検出結果を得ることは、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得ることと、前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較し、比較が一致した場合、前記結像画像の検証成功についての検出結果を得ることと、を含み、ここで、前記ターゲット検証値は、前記結像内容指標および前記カラーバー指標を表すことに用いられる。
本実施形態を用いて、識別結果とターゲット検証値とを多次元比較することにより、上述の収集画像の結像内容が歪んでいるか否か、結像内容に重大な変形があるか否かを評価し、および光照射の影響を例えにした場合、カラーバーの彩度に影響があるか否か、カラーバーのカラーが収集設備の出力表示と一致しているか否か、カラーが歪んでいるか否かなどを評価し、比較が一致すれば、検出結果は該収集画像の撮像品質が完璧であるとする。
1つの例において、撮像品質が完整无缺である検出結果の場合、さらに該検出結果により、収集設備(例えば、カメラまたはカーナビ)の正常の動作状態における検証結果を得ることができる。結像内容が顔である場合を例とすると、収集設備が正常の動作状態であるとき、一人の顔しか得ることが出来ず、かつ,顔の位置、顔の面積の大きさなどは不変であり(すなわち,上述のターゲット検証値に一致する)、および、顔のカラーも光などの収集環境に左右されず、顔のカラーバーからみると、カラーバーを「赤、緑、青」を含む3原色に設定することができ、収集設備が正常の動作状態であるとき、3原色の各カラーの位置、各カラーの面積の大きさなどは不変(すなわち、上述のターゲット検証値に一致する)となる。また、収集設備が正常の動作状態でないとき、複数の顔を検出でき(すなわち、顔の個数に変化が生じる)、また、顔の収集画像における顔の位置、顔の面積の大きさなども変化することがある。
1つの実施形態において、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得ることは、前記結像内容の対応する画像特徴データを表すことに用いられる第1特徴データを取得することと、前記カラーバーの対応するカラー特徴データを表すことに用いられる第2特徴データを取得することと、前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得ることと、を含む
1つの実施形態において、前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得ることは、前記第1特徴データを、結像内容の個数、結像内容の面積、結像内容の位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第1識別結果を得ることと、前記第2特徴データを、カラーバーの個数、カラーバーの面積、カラーバーの位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第2識別結果を得ることと、前記第1識別結果および第2識別結果により、前記識別結果を得ることと、を含む。
1つの実施形態において前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較することは、前記結像内容指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、結像内容の個数指標、結像内容の面積指標、結像内容の位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことと、前記カラーバー指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、カラーバーの個数指標、カラーバーの面積指標、カラーバーの位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことと、を含む。ここで、前記識別結果と前記ターゲット検証値との比較処理は、画素レベルの比較処理であってもよい。
1つの実施形態において、検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることは、同一の前記結像画像についての画像動的取得処理に応じて、少なくとも2つの収集画像を得ること、を含み、前記少なくとも2つの収集画像における、前記結像内容およびカラーバーの位置分布は異なる。例えば、結像内容およびカラーバーの位置分布は、上下左右の4方向に任意に設定することができ、同一の結像画像について得られる2つの収集画像を例とすると、1枚の収集画像における結像内容が左側にあり、カラーバーの位置がその右側にある、また、別の収集画像における結像内容は左側にあり、カラーバーの位置がその右側にある。かつ、前記カラーバーにおける「赤、緑、青」の3原色のカラーバーにおける位置も任意に設定することができる。
相応的に、少なくとも2つの画像検出ネットワークを設定し、かつ、それぞれ前記少なくとも2つの収集画像について前記多次元検出を行い、少なくとも2つの検出結果を得ることができる。
本実施形態を用いて、同一の結像画像について少なくとも2つの収集画像を得る複数回の検出により、少なくとも2つの検出結果を得て、少なくとも2つの検出結果から検出精度が閾値よりも高い検出結果を選択し、ターゲット検出結果とすることができる。検出精度を高めるだけでなく、少なくとも2つの画像検出ネットワークに提出することで複数回の検出を実現し、さらに検出の速度を向上する。
1つの実施形態においては、前記結像画像における、少なくとも結像内容トレーニングオブジェクトおよびカラーバートレーニングオブジェクトを含む、オブジェクトを取得し、トレーニングサンプルとすることと、予め注釈された、少なくとも結像内容注釈データおよびカラーバー注釈データを含む、注釈データを取得することと、少なくとも結像内容指標およびカラーバー指標を含む多次元検出指標を取得することと、前記トレーニングサンプル、前記注釈データおよび前記多次元検出指標により、畳み込みニューラルネットワークをトレーニングし、トレーニングされた畳み込みニューラルネットワークを得、前記トレーニングされた畳み込みニューラルネットワークを前記画像検出ネットワークとすることと、をさらに含む。
本実施形態を用いて、該画像検出ネットワークを応用することにより、検出精度および検出の速度を高めることができ、該画像検出ネットワークが画像検出を実行する過程において識別および比較を実現することができ、該画像検出ネットワークを1つのネットワークモジュールとしてもよく、特徴識別ネットワークのモジュールおよび特徴比較ネットワークのモジュールに細かく分けてもよい。該画像検出ネットワークを用いて認識を行い、比較をネットワークを用いずに行ってもよく、他の非人工知能的な比較方式などを用いてもよい。
応用例
本発明の実施形態による応用例の処理フローは以下を含む。
図3は、本発明の実施形態による画像検出の応用例のターゲットオブジェクトの模式図であり、図3に示すように、収集画像41には、結像内容411、および少なくとも「赤、緑、青」の3原色からなるカラーバー412が含まれる。図3に示すように、3原色を例として、異なる印影塗りつぶしを用いて3原色を表す。カメラにより検出されるべき結像画像を収集し、そのうちの結像内容を得ることができる。例えば、顔(該顔は白黒でもよい)の場合、該顔と3原色を含むカラーバーとを1枚の紙に合成し、カメラまたはカーナビを該紙に合わせて、人工知能の方法、例えば、画像検出ネットワークにより、結像内容およびカラーバーを含む検出を行う。具体的に、顔とカラーバーに対して識別を行い、かつ顔およびカラーバーの個数、面積、位置標識に用いる座標等を比較することにより、識別結果と予想されるターゲット検証値とが完全に一致することを保証し、該撮像品質が完整无缺であることを保証する。例えば,紙の上に1つの顔(顔は任意の大きさ、個数を設定できる)があり、座標はx,yとし、面積はZとする。カラーバーは赤、緑、青(カラーは任意の大きさ、個数に設定できる)とする。カメラの取得した収集画像における顔、カラーバーに対して分析し、さらに、予め設定された顔、およびカラーバーの個数、面積、位置標識に用いられる座標と比較するにより、カメラの収集した収集画像における撮像品質が正しいか否かを知ることができる。結像内容に損傷がある場合,顔識別および比較の検出精度に影響を与える。カラーに問題がある場合、カラーバーの個数、面積、座標は必ず変化が起こり、予期されるものとは一致しない。
本発明の実施形態による他の応用例の処理フローは以下を含む。
図4は、本発明の実施形態による画像検出の他の応用例のターゲットオブジェクトの模式図であり、結像内容、および複数枚の収集画像(例えば、収集画像51〜収集画像5n)を含み、ここで、各収集画像は、少なくとも「赤、緑、青」の3原色で構成されるカラーバーを含む。図4に示すように、3原色を例とすると、異なる印影塗りつぶしを用いて3原色を表し、かつ、結像内容およびカラーバーの位置分布、およびカラーバーにおける3原色の位置分布はいずれも任意に設定することができる。この応用例は、動的収集画像シーンであり、主にカーナビのような結像内容を動的に出力する設備に適しており、カーナビにより出力された結像内容およびカラーバーは常に位置を変更することで、複数の収集画像を得ることができ、かつ、複数の収集画像に対して,図3に示される検出原理(ここでは、再度の説明は省略する)を用いて識別および比較の検出処理を行い、かつ、該検出処理を複数の画像検出ネットワーク(例えば、第1画像検出ネットワーク〜第n画像検出ネットワーク)に分布して行い、さらに得られた複数の検出処理結果の中からさらにターゲット検出結果を選択して最終的な検出結果とすることで、検出精度を高めるだけでなく、検出速度も向上させることができる。
本発明の実施形態は、画像検出装置を提供する。図5は、本発明の実施形態による画像検出装置の構成の模式図であり、図5に示すように、検出されるべき結像画像に対して収集処理を実行し、収集画像を得るための収集モジュール61と、検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出するための応答モジュール62と、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得るための検出モジュール63と、を備える。ここで、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述することに用いられる。
1つの実施形態において、前記検出モジュールは、前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得るための識別サブモジュールと、前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較し、比較が一致した場合、前記結像画像の検証成功についての検出結果を得るための比較サブモジュールと、を備える。ここで、前記ターゲット検証値は、前記結像内容指標および前記カラーバー指標を表すことに用いられる
1つの実施形態において、前記識別サブモジュールは、前記結像内容の対応する画像特徴データを表すことに用いられる第1特徴データを取得するための第1取得サブモジュールと、前記カラーバーの対応するカラー特徴データを表すことに用いられる第2特徴データを取得するための第2サブモジュールと、前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得るためのパラメータ識別サブモジュールと、を備える。
1つの実施形態において、前記パラメータ識別サブモジュールは、
前記第1特徴データを、結像内容の個数、結像内容の面積、結像内容の位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第1識別結果を得、前記第2特徴データを、カラーバーの個数、カラーバーの面積、カラーバーの位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第2識別結果を得、前記第1識別結果および第2識別結果により、前記識別結果を得ることに用いられる。
1つの実施形態において、前記比較サブモジュールは、前記結像内容指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、結像内容の個数指標、結像内容の面積指標、結像内容の位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行い、前記カラーバー指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、カラーバーの個数指標、カラーバーの面積指標、カラーバーの位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことに用いられる。
1つの実施形態において、前記収集モジュールは、同一の前記結像画像についての画像動的取得処理に応じて、少なくとも2つの収集画像を得ることに用いられ、前記少なくとも2つの収集画像における、前記結像内容およびカラーバーの位置分布は異なる。
1つの実施形態において、少なくとも2つの画像検出ネットワークを設定し、かつ、それぞれ前記少なくとも2つの収集画像について前記多次元検出を行い、少なくとも2つの検出結果を得、前記少なくとも2つの検出結果から検出精度が閾値よりも高い検出結果を選択し、ターゲット検出結果とするための動的検出モジュール、をさらに備える。
1つの実施形態において、前記結像画像における、少なくとも結像内容トレーニングオブジェクトおよびカラーバートレーニングオブジェクトを含む、オブジェクトを取得し、トレーニングサンプルとし、予め注釈された、少なくとも結像内容注釈データおよびカラーバー注釈データを含む、注釈データを取得し、少なくとも結像内容指標およびカラーバー指標を含む多次元検出指標を取得し、前記トレーニングサンプル、前記注釈データおよび前記多次元検出指標により、畳み込みニューラルネットワークをトレーニングし、トレーニングされた畳み込みニューラルネットワークを得、前記トレーニングされた畳み込みニューラルネットワークを前記画像検出ネットワークとするためのトレーニングモジュール、をさらに備える。
本発明の実施形態における各装置の各モジュールの機能は、上述した方法の対応する説明を参照することができ、ここでは再度説明しない。
本発明の実施形態によれば、本発明は、電子設備および可読記憶媒体をさらに提供する。
図6に示すよう、本発明の実施形態による画像検出方法を実現する電子設備のブロック図である。電子設備は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子設備は携帯情報端末、携帯電話、スマートフォン、装着可能デバイス、およびその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本発明で説明されたものおよび/または要求される本発明の実施を制限することは意図されない。
図6に示すよう、当該電子設備は、1つ又は複数のプロセッサ801と、メモリ802と、高速インターフェースと低速インターフェースとを含む各構成要素を接続するためのインターフェースとを含む。各構成要素は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子設備内で実行される命令を処理してもよく、また、外部入出力デバイス(例えば、インターフェースに接続された表示デバイス)にグラフィックユーザインターフェース(Graphical User Interface,GUI)を表示するための、メモリまたはメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態において、必要に応じて、複数のプロセッサおよび/または複数のバスを複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子設備を接続してもよく、各デバイスは、部分的に必要な動作、例えば、サーバアレイ、ブレードサーバの集合、またはマルチプロセッサシステムとして、提供する。図6においてプロセッサ801を例とする。
メモリ802は、本発明にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本発明で提供される画像検出方法を少なくとも1つのプロセッサに実行させるように、少なくとも1つのプロセッサによって実行されることができる命令を記憶する。本発明における非一過性のコンピュータ可読記憶媒体は、本発明で提供された画像検出方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
メモリ802は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラムおよびモジュールを記憶するために使用されてもよく、本発明の実施形態における画像検出方法に対応するプログラム命令/モジュール、(例えば、図5に示される、収集モジュール、応答モジュール、検出モジュールなどのモジュール)である。プロセッサ801は、メモリ802に記憶されている非一過性のソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理、即ち上述した方法に関する実施形態に係る画像検出方法を実行する。
メモリ802は、オペレーティングシステムや少なくとも1つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、画像検出方法に係る電子設備の使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ802は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態において、メモリ802はオプションとして、プロセッサ801に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して画像検出方法に係る電子設備に接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワークおよびその組み合わせを含むが、これらに限定されない。
本発明の実施形態の画像検出方法に対応する電子設備は、入力装置803と出力装置804とをさらに含むことができる。プロセッサ801、メモリ802、入力装置803、および出力装置804は、バスまたは他の方法で接続されてもよく、図6ではバスを介して接続されている。
入力装置803は、入力された数字または文字を受信し、画像検出方法に係る電子設備のユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、1つまたは複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置804は、表示装置、補助照明装置(例えばLED)、および触覚フィードバック装置(例えば、振動モータ)などを含むことができる。この表示装置は、液晶ディスプレイ(Liquid Crystal Display、LCD)、発光ダイオード(Light Emitting Diode、LED)ディスプレイおよびプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
本発明におけるシステムおよび技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路(Application Specific Integrated Circuits、ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムにおいて実装されてもよく、この1つまたは複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、および/または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置より、データと命令を受信し、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置に、データと命令を送信する。
これらの計算プログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう)は、プログラマブルプロセッサのマシン命令を含み、過程指向および/またはオブジェクト指向プログラミング言語、および/またはアセンブリ/マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、マシン命令および/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および/または装置(例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス(programmable logic device、PLD)を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令および/またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本発明で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置(例えば、CRT(Cathode Ray Tube、ブラウン管)またはLCD(液晶ディスプレイ)モニタ)と、入力をコンピュータに提供するためのキーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザからの入力は、いかなる形式(音響入力、音声入力、または触覚入力を含む)で受信されてもよい。
本発明で説明されているシステムおよび技術は、バックグラウンド構成要素を含む計算システム(例えば、データサーバとして)、または中間部構成要素を含む計算システム(例えば、アプリケーションサーバ)、または、フロントエンド構成要素を含む計算システム(例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェースまたはネットワークブラウザを介して本発明で説明されたシステムおよび技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ)に実行されてもよく、または、このようなバックグラウンド構成要素、中間部構成要素、またはフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク(Local Area Network,LAN)、広域ネットワーク(Wide Area Network,WAN)およびインターネットを含む。
コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。
本発明によれば、検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることができ、検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出することことができる。前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることができ、前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述するのに用いられるため、前記ターゲットオブジェクトに対応し、少なくとも結像内容指標およびカラーバー指標を含む多次元検出を用いることにより、より正確な検出結果を得ることができ、すなわち、カメラやカーナビ等の収集設備により出力される結像画像の画像(結像内容およびカラー)検出の検出精度を高めることができる。
上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。
上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本発明の要旨および原則内における変更、均等な置換および改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (19)

  1. 検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることと、
    検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出することと、
    前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得ることと、を含み、
    前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述することに用いられる、
    ことを特徴とする画像検出方法。
  2. 前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークにより結像内容指標およびカラーバー指標の多次元検出を行い、検出結果を得ることは、
    前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得ることと、
    前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較し、比較が一致した場合、前記結像画像の検証成功についての検出結果を得ることと、を含み、
    前記ターゲット検証値は、前記結像内容指標および前記カラーバー指標を表すことに用いられる、
    ことを特徴とする請求項1に記載の画像検出方法。
  3. 前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得ることは、
    前記結像内容の対応する画像特徴データを表すことに用いられる第1特徴データを取得することと、
    前記カラーバーの対応するカラー特徴データを表すことに用いられる第2特徴データを取得することと、
    前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得ることと、を含む
    ことを特徴とする請求項2に記載の画像検出方法。
  4. 前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得ることは、
    前記第1特徴データを、結像内容の個数、結像内容の面積、結像内容の位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第1識別結果を得ることと、
    前記第2特徴データを、カラーバーの個数、カラーバーの面積、カラーバーの位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第2識別結果を得ることと、
    前記第1識別結果および第2識別結果により、前記識別結果を得ることと、を含む
    ことを特徴とする請求項3に記載の画像検出方法。
  5. 前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較することは、
    前記結像内容指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、結像内容の個数指標、結像内容の面積指標、結像内容の位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことと、
    前記カラーバー指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、カラーバーの個数指標、カラーバーの面積指標、カラーバーの位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことと、を含む
    ことを特徴とする請求項2〜4のいずれか1項に記載の画像検出方法。
  6. 検出されるべき結像画像に対して収集処理を実行し、収集画像を得ることは、
    同一の前記結像画像についての画像動的取得処理に応じて、少なくとも2つの収集画像を得ること、を含み、
    前記少なくとも2つの収集画像における、前記結像内容およびカラーバーの位置分布は異なる、
    ことを特徴とする請求項1に記載の画像検出方法。
  7. 少なくとも2つの画像検出ネットワークを設定し、かつ、それぞれ前記少なくとも2つの収集画像について前記多次元検出を行い、少なくとも2つの検出結果を得ることと、
    前記少なくとも2つの検出結果から検出精度が閾値よりも高い検出結果を選択し、ターゲット検出結果とすることと、をさらに含む
    ことを特徴とする請求項1に記載の画像検出方法。
  8. 前記結像画像における、少なくとも結像内容トレーニングオブジェクトおよびカラーバートレーニングオブジェクトを含む、オブジェクトを取得してトレーニングサンプルとすることと、
    予め注釈された、少なくとも結像内容注釈データおよびカラーバー注釈データを含む、注釈データを取得することと、
    少なくとも結像内容指標およびカラーバー指標を含む多次元検出指標を取得することと、
    前記トレーニングサンプル、前記注釈データおよび前記多次元検出指標により、畳み込みニューラルネットワークをトレーニングし、トレーニングされた畳み込みニューラルネットワークを得、前記トレーニングされた畳み込みニューラルネットワークを前記画像検出ネットワークとすることと、をさらに含む
    ことを特徴とする請求項1に記載の画像検出方法。
  9. 検出されるべき結像画像に対して収集処理を実行し、収集画像を得る収集モジュールと、
    検出処理に応じて、予め設定された画像検出ネットワークにより、前記収集画像におけるターゲットオブジェクトの特徴データを抽出する応答モジュールと、
    前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも結像内容指標およびカラーバー指標を含む多次元検出を行い、検出結果を得る検出モジュールと、を備え、
    前記ターゲットオブジェクトは、結像内容およびカラーバーを含み、前記カラーバーは、前記結像内容に関連するカラー情報を記述することに用いられる、
    ことを特徴とする画像検出装置。
  10. 前記検出モジュールは、
    前記ターゲットオブジェクトの特徴データについて、前記画像検出ネットワークに基づき少なくとも前記結像内容および前記カラーバーを含む多次元識別を行い、識別結果を得る識別サブモジュールと、
    前記画像検出ネットワークにより、前記識別結果とターゲット検証値とを多次元比較し、比較が一致した場合、前記結像画像の検証成功についての検出結果を得る比較サブモジュールと、を備え、
    前記ターゲット検証値は、前記結像内容指標および前記カラーバー指標を表すことに用いられる、
    ことを特徴とする請求項9に記載の画像検出装置。
  11. 前記識別サブモジュールは、
    前記結像内容の対応する画像特徴データを表すことに用いられる第1特徴データを取得する第1取得サブモジュールと、
    前記カラーバーの対応するカラー特徴データを表すことに用いられる第2特徴データを取得する第2サブモジュールと、
    前記第1特徴データおよび前記第2特徴データを、各自の識別次元パラメータに基づいてそれぞれ識別を行い、前記識別結果を得るパラメータ識別サブモジュールと、を備える
    ことを特徴とする請求項10に記載の画像検出装置。
  12. 前記パラメータ識別サブモジュールは、
    前記第1特徴データを、結像内容の個数、結像内容の面積、結像内容の位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第1識別結果を得、
    前記第2特徴データを、カラーバーの個数、カラーバーの面積、カラーバーの位置を少なくとも含む、少なくとも1つの識別次元パラメータに基づいて識別を行い、第2識別結果を得、
    前記第1識別結果および第2識別結果により、前記識別結果を得ることに用いられる
    ことを特徴とする請求項11に記載の画像検出装置。
  13. 前記比較サブモジュールは、
    前記結像内容指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、結像内容の個数指標、結像内容の面積指標、結像内容の位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行い、
    前記カラーバー指標を表すことに用いられる前記ターゲット検証値との比較処理に応じて、カラーバーの個数指標、カラーバーの面積指標、カラーバーの位置指標を少なくとも含む、少なくとも1つの比較次元パラメータを取得し、かつ、前記識別結果と前記比較処理を行うことに用いられる
    ことを特徴とする請求項10〜12のいずれか1項に記載の画像検出装置。
  14. 前記収集モジュールは、
    同一の前記結像画像についての画像動的取得処理に応じて、少なくとも2つの収集画像を得ることに用いられ、
    前記少なくとも2つの収集画像における、前記結像内容およびカラーバーの位置分布は異なる、
    ことを特徴とする請求項9に記載の画像検出装置。
  15. 少なくとも2つの画像検出ネットワークを設定し、かつ、それぞれ前記少なくとも2つの収集画像について前記多次元検出を行い、少なくとも2つの検出結果を得、
    前記少なくとも2つの検出結果から検出精度が閾値よりも高い検出結果を選択し、ターゲット検出結果とするための動的検出モジュール、をさらに備える
    ことを特徴とする請求項14に記載の画像検出装置。
  16. 前記結像画像における、少なくとも結像内容トレーニングオブジェクトおよびカラーバートレーニングオブジェクトを含む、オブジェクトを取得し、トレーニングサンプルとし、
    予め注釈された、少なくとも結像内容注釈データおよびカラーバー注釈データを含む、注釈データを取得し、
    少なくとも結像内容指標およびカラーバー指標を含む多次元検出指標を取得し、
    前記トレーニングサンプル、前記注釈データおよび前記多次元検出指標により、畳み込みニューラルネットワークをトレーニングし、トレーニングされた畳み込みニューラルネットワークを得、前記トレーニングされた畳み込みニューラルネットワークを前記画像検出ネットワークとするためのトレーニングモジュール、をさらに備える
    ことを特徴とする請求項9に記載の画像検出装置。
  17. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、
    前記命令は、前記少なくとも1つのプロセッサにより実行される場合、請求項1〜8のいずれか1項に記載の画像検出方法を実行させることを特徴とする電子設備。
  18. 請求項1〜8のいずれか1項に記載の画像検出方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。
  19. コンピュータにおいて、プロセッサにより実行される場合、請求項1〜8のいずれか1項に記載の画像検出方法を実現することを特徴とするプログラム。
JP2021048278A 2020-07-21 2021-03-23 画像検出方法、装置、電子設備、記憶媒体、及びプログラム Active JP7051267B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010705042.0A CN111833340B (zh) 2020-07-21 2020-07-21 图像检测方法、装置、电子设备及存储介质
CN202010705042.0 2020-07-21

Publications (2)

Publication Number Publication Date
JP2021103555A true JP2021103555A (ja) 2021-07-15
JP7051267B2 JP7051267B2 (ja) 2022-04-11

Family

ID=72924542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048278A Active JP7051267B2 (ja) 2020-07-21 2021-03-23 画像検出方法、装置、電子設備、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11798193B2 (ja)
EP (1) EP3848853A3 (ja)
JP (1) JP7051267B2 (ja)
KR (1) KR102595704B1 (ja)
CN (1) CN111833340B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270356B (zh) * 2020-10-28 2023-10-13 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置及电子设备
CN113011328B (zh) * 2021-03-19 2024-02-27 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113033483B (zh) * 2021-04-20 2024-02-02 北京百度网讯科技有限公司 检测目标对象的方法、装置、电子设备和存储介质
CN113591718A (zh) * 2021-07-30 2021-11-02 北京百度网讯科技有限公司 目标对象识别方法、装置、电子设备和存储介质
CN113607742B (zh) * 2021-08-03 2022-11-15 广东利元亨智能装备股份有限公司 电芯极耳检测方法、装置、电子设备和存储介质
CN113743242A (zh) * 2021-08-13 2021-12-03 成都理工大学 一种基于树莓派的滑坡体检测与识别方法
CN113933294B (zh) * 2021-11-08 2023-07-18 中国联合网络通信集团有限公司 浓度检测方法及装置
CN113933293A (zh) * 2021-11-08 2022-01-14 中国联合网络通信集团有限公司 浓度检测方法及装置
US11594016B1 (en) * 2022-05-03 2023-02-28 Plusai, Inc. Navigating a vehicle based on data processing using synthetically generated images
CN115361297B (zh) * 2022-07-08 2024-03-01 深圳云天励飞技术股份有限公司 设备组网方法及相关设备
CN115620039B (zh) * 2022-10-08 2023-07-18 中电金信软件有限公司 一种图像标注方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103336A (ja) * 1991-10-11 1993-04-23 Olympus Optical Co Ltd カラー映像信号処理装置およびカラー映像信号の色補正方法
WO2005124302A1 (ja) * 2004-06-17 2005-12-29 Digital Fashion Ltd. 画像処理プログラム、画像処理装置、及び画像処理方法
JP2017204241A (ja) * 2016-05-13 2017-11-16 キヤノン株式会社 画像処理装置、画像処理方法、検索装置
WO2018012136A1 (ja) * 2016-07-14 2018-01-18 パナソニックIpマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955180B1 (ko) * 2008-04-11 2010-04-30 엔에이치엔(주) 이미지 품질지수 산출 방법 및 시스템
JP5558995B2 (ja) * 2010-09-30 2014-07-23 富士フイルム株式会社 色値取得方法、画像処理方法、色値取得装置、画像処理装置及びプログラム
CN102393902A (zh) * 2011-12-01 2012-03-28 昆山市工业技术研究院有限责任公司 基于h_s二维直方图和区域颜色匹配的车辆颜色检测方法
CN104463827B (zh) * 2013-09-17 2019-02-05 联想(北京)有限公司 一种图像采集模块的自动检测方法及相应的电子设备
CN105096350B (zh) * 2014-05-21 2019-01-11 腾讯科技(深圳)有限公司 图像检测方法及装置
US9684818B2 (en) * 2014-08-14 2017-06-20 Samsung Electronics Co., Ltd. Method and apparatus for providing image contents
JP6669163B2 (ja) * 2015-04-01 2020-03-18 コニカミノルタ株式会社 測色装置および測色方法
US10109051B1 (en) * 2016-06-29 2018-10-23 A9.Com, Inc. Item recommendation based on feature match
CN106408567A (zh) * 2016-11-23 2017-02-15 北京小米移动软件有限公司 相机成像质量检测方法及装置
JP6890720B2 (ja) * 2017-06-16 2021-06-18 マーカブル インコーポレイテッドMarkable,Inc. 画像処理システム
CN109325933B (zh) * 2017-07-28 2022-06-21 阿里巴巴集团控股有限公司 一种翻拍图像识别方法及装置
CN107909580A (zh) * 2017-11-01 2018-04-13 深圳市深网视界科技有限公司 一种行人衣着颜色识别方法、电子设备及存储介质
CN110472600A (zh) * 2019-08-20 2019-11-19 北京百度网讯科技有限公司 眼底图识别及其训练方法、装置、设备和存储介质
CN110807759B (zh) * 2019-09-16 2022-09-06 上海甜里智能科技有限公司 照片质量的评价方法及装置、电子设备、可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103336A (ja) * 1991-10-11 1993-04-23 Olympus Optical Co Ltd カラー映像信号処理装置およびカラー映像信号の色補正方法
WO2005124302A1 (ja) * 2004-06-17 2005-12-29 Digital Fashion Ltd. 画像処理プログラム、画像処理装置、及び画像処理方法
JP2017204241A (ja) * 2016-05-13 2017-11-16 キヤノン株式会社 画像処理装置、画像処理方法、検索装置
WO2018012136A1 (ja) * 2016-07-14 2018-01-18 パナソニックIpマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法

Also Published As

Publication number Publication date
CN111833340A (zh) 2020-10-27
KR102595704B1 (ko) 2023-10-27
CN111833340B (zh) 2024-03-26
EP3848853A2 (en) 2021-07-14
US11798193B2 (en) 2023-10-24
US20210209802A1 (en) 2021-07-08
KR20210038487A (ko) 2021-04-07
JP7051267B2 (ja) 2022-04-11
EP3848853A3 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
JP7051267B2 (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
CN109313490B (zh) 使用神经网络的眼睛注视跟踪
CN111523468B (zh) 人体关键点识别方法和装置
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
EP3989116A1 (en) Method and apparatus for detecting target object, electronic device and storage medium
CN112132113A (zh) 车辆再识别的方法、装置、训练方法以及电子设备
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN112330730B (zh) 图像处理方法、装置、设备及存储介质
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
EP3852007A2 (en) Method, apparatus, electronic device, readable storage medium and program for classifying video
CN111652103B (zh) 室内定位方法、装置、设备以及存储介质
CN113537374A (zh) 一种对抗样本生成方法
CN113408662A (zh) 图像识别、图像识别模型的训练方法和装置
CN111488821A (zh) 用于识别交通信号灯倒计时信息的方法及装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN111552829A (zh) 用于分析图像素材的方法和装置
CN113298122A (zh) 目标检测方法、装置和电子设备
US11900258B2 (en) Learning device, image generating device, learning method, image generating method, and program
KR20220155882A (ko) 뉴럴 네트워크를 이용하는 데이터 처리 방법 및 장치
US11202000B2 (en) Learning apparatus, image generation apparatus, learning method, image generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220329

R150 Certificate of patent or registration of utility model

Ref document number: 7051267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150