JP2021152966A - シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体 - Google Patents

シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP2021152966A
JP2021152966A JP2021104695A JP2021104695A JP2021152966A JP 2021152966 A JP2021152966 A JP 2021152966A JP 2021104695 A JP2021104695 A JP 2021104695A JP 2021104695 A JP2021104695 A JP 2021104695A JP 2021152966 A JP2021152966 A JP 2021152966A
Authority
JP
Japan
Prior art keywords
area
face
wearing state
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021104695A
Other languages
English (en)
Inventor
ケヤオ ワン，
Keyao Wang
ケヤオ ワン，
ハオチェン フェン，
Haocheng Feng
ハオチェン フェン，
ハイシャオ ユエ，
Haixiao Yue
ハイシャオ ユエ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021152966A publication Critical patent/JP2021152966A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体を提供する。【解決手段】方法は、交通手段を監視して取得した監視画像に対して顔認識を行って、顔領域を取得し、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定し、続いて対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。方法は、対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。【選択図】図１

Description

本出願は、画像処理の分野に関し、具体的には、コンピュータビジョン、人工知能、深層学習技術の分野に関し、特にシートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体に関する。
シートベルトは、交通手段の積極的安全装置であり、交通手段の衝突時又は予期せぬ状況で緊急にブレーキをかける場合、その拘束作用で運転者又は乗客を座席に固定することにより、運転者又は乗客が二次衝突を受け、さらには交通手段から飛び出してしまう情況を回避することができる。
したがって、運転者又は乗客がシートベルトを着用しているか否かを認識することは非常に重要であり、例えば、シートベルトを着用していないときに注意や警告することにより、安全運転を保証すると同時に、交通法を遵守するのに対する意識を高めることができる。
本出願は、関連技術の技術的課題の少なくとも１つをある程度解決することを目的とする。
本出願は、シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体を提供し、本出願において対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。
本出願の第１の態様の実施例にて提供されるシートベルト着用状態の認識方法は、交通手段を監視して取得した監視画像を取得するステップと、前記監視画像に対して顔認識を行って、顔領域を取得するステップと、前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するステップと、前記対象領域の画像特徴に基づいて、シートベルト着用状態を認識するステップと、を含む。
本出願の第２の態様の実施例にて提供されるシートベルト着用状態の認識装置は、交通手段を監視して取得した監視画像を取得するための取得モジュールと、前記監視画像に対して顔認識を行って、顔領域を取得するための顔認識モジュールと、前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するための決定モジュールと、前記対象領域の画像特徴に基づいて、シートベルト着用状態を認識するための状態認識モジュールと、を備える。
本出願の第３の態様の実施例にて提供される電子機器は、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が、前記少なくとも１つのプロセッサが本出願の第１の態様の実施例によって提案されたシートベルト着用状態の認識方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
第４の態様では、コンピュータ命令の非一時的コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が、コンピュータに本出願の第１の態様の実施例にて提案されるシートベルト着用状態の認識方法を実行させるために用いられる。
第５の態様では、コンピュータプログラムを提供し、前記コンピュータプログラムが、コンピュータに本出願の第１の態様の実施例にて提案されるシートベルト着用状態の認識方法を実行させるために用いられる。
上記出願の一実施例は、以下のような有益な技術的効果を有する。
交通手段を監視して取得した監視画像に対して顔認識を行って、顔領域を取得し、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定し、続いて対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。これにより、本出願では、対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。
なお、この部分に記載されている内容は、本出願の実施例の肝心なまたは重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもないことを理解されたい。本出願の他の特徴は、以下の説明を通じて容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本出願の実施例１にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。 本出願の実施例２にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。 本出願の実施例３にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。 本出願の実施例４にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。 本出願における畳み込みニューラルネットワークのネットワーク概略構造図である。 本出願の実施例５にて提供されるシートベルト着用状態の認識装置の概略構造図である。 本出願の実施例６にて提供されるシートベルト着用状態の認識装置の概略構造図である。 本出願の実施例に係るシートベルト着用状態の認識方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、図面を参照して、本出願の実施例のシートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体について説明する。
図１は、本出願の実施例１にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。
本出願の実施例は、当該シートベルト着用状態の認識方法がシートベルト着用状態の認識装置に構成されることを例として説明し、当該シートベルト着用状態の認識装置は、いずれの電子機器にも適用できて、それにより当該電子機器はシートベルト着用状態の認識機能を実行できる。
ここで、電子機器は、計算能力を有するいずれの機器であってもよく、例えば、パーソナルコンピューター（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ，ＰＣと略称される）、モバイル端末、サーバなどであってもよく、モバイル端末は、例えば、携帯電話、タブレットコンピューター、パーソナルデジタルアシスタント、ウェアラブル機器、車載機器などの、様々な操作システム、タッチスクリーン及び／又は表示画面を有するハードウェア機器であってもよい。
図１に示すように、当該シートベルト着用状態の認識方法は、以下のステップ１０１〜ステップ１０４を含んでもよい。
ステップ１０１において、交通手段を監視して取得した監視画像を取得する。
本出願の実施例において、交通手段とは、人の移動や運びに使用される装置を言い、例えば、交通手段は、車両（自動車、列車など）、水上機器（船舶、潜水艦など）、飛行機器（飛行機、宇宙船、ロケットなど）などであってもよい。
本出願の実施例において、監視画像は、電子機器がリアルタイムで撮影した画像、又は、電子機器が予め撮影したか又はダウンロードした画像、又は、電子機器がオンラインで閲覧した画像、又は、電子機器が外部機器側から取得した画像などであってもよく、本出願はこれに対して限定しない。
一例示として、電子機器は、交通手段を監視して監視画像を取得することができ、例えば、電子機器にカメラを設けてもよく、カメラで交通手段をリアルタイム又は間欠的に監視して監視画像を得てもよい。例を挙げると、電子機器は、携帯電話、タブレットコンピューター、車載機器などのモバイル端末であってもよく、それにより、電子機器は、車内環境の画像を撮影して、監視画像を取得することができる。
別の例示として、外部機器で交通手段を監視して監視画像を取得することができ、電子機器は、外部機器と通信して上記監視画像を取得することができる。例を挙げると、交通手段が車両である場合、当該外部機器は交差点のカメラであってもよく、交差点のカメラで交通手段を監視して監視画像を取得し、電子機器は監視センターの機器であり、それにより電子機器は交差点のカメラと通信することで、交差点のカメラが撮影した監視画像を取得することができる。
ここで、電子機器に設けられるカメラの数は限定されず、例えば１つであってもよく、複数であってもよい。カメラが電子機器に設けられる形態も限定されず、例えば、電子機器に内蔵されるカメラであってもよく、電子機器の外側に付けられるカメラであってもよく、また、例えば、フロントカメラであってもよく、バックカメラであってもよい。ここで、カメラは、いかなるタイプのカメラであってもよく、例えば、カメラは、カラーカメラ、白黒カメラ、深度カメラ、望遠カメラ、広角カメラなどであってもよく、ここでは、限定されない。
ここで、電子機器に複数のカメラが設けられている場合、複数のカメラは、同じタイプのカメラであってもよいし、異なるタイプのカメラであってもよく、本出願はこれに対して限定しない。例えば、全部カラーカメラであってもよいし、全部白黒カメラであってもよく、又は、そのうちの１つのカメラは望遠カメラで、他のカメラは広角カメラであってもよいなどの場合がある。
本出願の実施例において、ユーザ操作を検出することができ、ユーザ操作に応答して、監視画像を取得してもよく、又は、画像を継続的又は断続的に撮影して監視画像を取得してもよい。又は、外部機器と継続的又は断続的に通信して、外部機器が撮影した監視画像を取得してもよい。
ステップ１０２において、監視画像に対して顔認識を行って、顔領域を取得する。
本出願の実施例において、顔認識アルゴリズムに基づいて、監視画像に対して顔認識を行って、顔領域を取得してもよいし、対象認識アルゴリズムに基づいて、監視画像に対して顔認識を行って、顔領域を取得してもよい。例えば、シングルショットマルチボックスディテクタ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ、ＳＳＤと略称される）、一度だけ見る（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、ＹＯＬＯと略称される）、Ｆａｓｔｅｒ−ＲＣＮＮなどの対象検出アルゴリズムに基づいて、監視画像に対して顔認識を行って、顔領域を取得することができる。
一例示として、認識結果の精度を向上させるために、深層学習技術に基づいて監視画像に対して顔認識を行って、顔領域を取得することができる。例えば、顔領域のタグ付けが済んだ多くのサンプル画像を用いて顔検出モデルを訓練することにより、訓練後の顔検出モデルが顔領域と画像との対応関係を学習して得るようにする。それにより、本出願では、監視画像を取得した後、当該監視画像を入力とし、顔検出モデルを用いて、当該監視画像に対して顔認識を行い、取得した顔領域を出力する。
なお、監視画像には、例えば、運転席領域と助手席領域に顔が同時に存在するなど、複数の顔が含まれている可能性もあり、この場合、検出結果の精度を向上させるために、監視画像における各々の顔を検出し、各顔に対応する顔領域を取得することができる。
ステップ１０３において、顔領域のサイズと位置に基づいて、監視画像から対象領域を決定する。
本出願の実施例において、対象領域は、シートベルト着用位置を指示するために用いられる。
予備知識から分かるように、運転者又は乗客のシートベルト着用行為は、一般的に顔の下方領域に現れるので、すなわち、シートベルトの着用位置は顔の下方にあるので、本出願では、顔領域を認識した後、顔領域の下方領域に基づいて、本出願では対象領域と記されているシートベルトの認識領域を決定する。ここで、下方とは、顔領域の下方に対する位置を言い、顔領域の位置と対向する位置である。
なお、監視画像に顔領域が１つだけ含まれている場合には、対象領域は１つであり、監視画像に顔領域が複数含まれている場合には、対象領域も複数であり、顔領域のサイズ及び位置に応じて、対応する対象領域をそれぞれ決定することができる。
ステップ１０４において、対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。
本出願の実施例において、シートベルト着用状態には、着用済状態と非着用状態がある。
本出願の実施例において、画像特徴は、色特徴、テクスチャ特徴、形状特徴、空間関係特徴のうちの少なくとも１つを含み得る。
本出願の実施例において、各対象領域を決定した後、特徴抽出アルゴリズムに基づいて、各対象領域に対して特徴抽出を行って、各対象領域の画像特徴を取得することができる。例えば、色ヒストグラム方法を用いて各対象領域の色特徴を抽出し、統計に基づく方法を用いて各対象領域のテクスチャ特徴を抽出し、幾何学的パラメータ法、形状不変モーメント法を用いて各対象領域の形状特徴を抽出し、各対象領域をいくつかの規則的なサブブロックに均一に分割し、続いて各画像サブブロックの特徴を抽出するとともに、インデックスを作成して、各対象領域に対応する空間関係特徴を取得することができる。
ここで、特徴抽出とは、コンピュータビジョンと画像処理の概念である。これは、コンピュータを使用して画像情報を抽出し、各画像の点が１つの画像特徴に属するか否かを決定することを意味する。特徴抽出の結果は、画像上の点を異なるサブセットに分けることであり、これらのサブセットは、孤立点、連続曲線、又は連続領域に属する場合が多い。
本出願の実施例では、各対象領域の画像特徴を決定した後、各対象領域の画像特徴に基づいて、シートベルト着用状態を認識することができる。
可能な一実現形態として、認識結果の精度を向上させるため、深層学習技術に基づいて、各対象領域を認識して、各対象領域におけるシートベルト着用状態を決定することができる。例えば、分類モデルにより、各対象領域を認識して、各対象領域におけるシートベルト着用状態を決定することができる。
ここで、分類モデルは、訓練時に、訓練サンプルピクチャーにおけるシートベルト着用状態が着用済状態であれば、当該訓練サンプルピクチャーのタグを１とし、訓練サンプルピクチャーにおけるシートベルト着用状態が非着用状態であれば、当該訓練サンプルのピクチャーのタグを０とし、訓練後の分類モデルを用いて対象領域の画像特徴を認識し、０から１までの分類確率を出力し、ここで、分類確率が１に近いほど、監視画像におけるシートベルト着用状態が着用済状態である確率が大きいことは示される。したがって、確率閾値を設定してもよく、例えば０．５に設定し、分類モデルから出力された分類確率が当該確率閾値以上である場合、シートベルト着用状態を着用済状態であると決定し、分類モデルから出力された分類確率が当該確率閾値未満である場合、シートベルト着用状態を非着用状態であると決定することができる。
一例示として、各対象領域について、畳み込みニューラルネットワークにより、当該対象領域に対して特徴抽出を行って、当該対象領域の画像特徴を取得し、当該対象領域の画像特徴をフルリンク層に入力し、フルリンク層の出力に基づいて、シートベルト着用状態を決定することができる。例えば、フルリンク層によって出力された分類確率が０．５よりも低いと、近似的に０とみなし、シートベルト着用状態が非着用状態であると決定することができ、フルリンク層によって出力された分類確率が０．５よりも高いと、近似的に１とみなし、シートベルト着用状態が着用済状態であると決定することができる。ここで、畳み込みニューラルネットワークは畳み込み層とプール化層とを含む。
応用シーンとして、電子機器で交通手段の内部環境の画像を撮影して、監視画像を取得し、例えば、電子機器は携帯電話、タブレットコンピューター、車載機器などのモバイル端末であり、当該電子機器は車内に位置してもよく、撮影した監視画像には複数枚の顔が含まれていてもよく、例えば運転席領域、助手席領域、後部乗客領域に同時に顔が存在し、この場合、監視画像に対して顔認識を行い、顔画像を複数枚取得し、各顔領域の下方のシートベルト着用領域、すなわち対象領域に対してシートベルト着用状態の認識を行うことができる。
さらに、シートベルト着用状態が非着用状態である場合には、運転者又は乗客に対して注意を促すこともできる。例えば、スピーカを介して音声でブロードキャストする方式で運転者や乗客に注意メッセージをブロードキャストするか、又は、インジケーターライトを介してシートベルト非着用状態を視覚的に表示するか、又は、表示画面にシートベルト非着用の注意メッセージを表示するか、又は、運転者の移動機器に注意メッセージを送信するか、又は、音声や振動などの方式で運転者や乗客に対してシートベルト非着用の注意を促すことなどができ、本出願はこれに対して限定しない。
別の応用シーンとして、交通手段が車両である場合を例に挙げると、交差点のカメラで交差点の車両を監視して、監視画像を取得し、電子機器は交差点のカメラと通信して監視画像を取得することができる。なお、撮影視角及び撮影距離によっては、カメラが撮影した監視画像には、後部乗客領域の表示ができず、運転席領域及び助手席領域のみが含まれる可能性があるため、本出願では、運転席領域及び助手席領域のみに対して顔認識を行い、かつ、各顔領域の下方のシートベルト着用領域、すなわち、対象領域に対してシートベルト着用状態の認識を行うことができる。
さらに、シートベルト着用状態が非着用状態である場合に、さらに、引き続き車両に対してナンバープレート認識を行うことができ、例えば、対象認識アルゴリズムに基づいて、監視画像からナンバープレート領域を認識し、深層学習技術に基づいて、ナンバープレート領域に対してテキスト認識を行って、ナンバープレート情報を取得することができる。ナンバープレート情報が認識された後、関係者は、当該車両を対応して処罰するために、当該ナンバープレート情報にマークを付けることができ、これにより、運転者に注意や警告促すことができ、運転者の交通法の遵守意識を高めることができる。
なお、本出願は、上記に交通手段が車両である場合のみを例に挙げたが、実際に適用するとき、交通手段は、車両に限定されず、例えば、飛行機、宇宙船などであってもよく、同様に、上記方式に基づいて、撮影された監視画像におけるシートベルト着用状態を認識することができ、本出願はこれに対して限定しない。
なお、モデルにより監視画像を直接検出してシートベルト着用状態を決定することができるが、フル画像を認識する方式は、入力画像のサイズが大きいため、アルゴリズムの演算量が多くなり、計算能力の低い機器には適さない。
本出願では、交通手段を監視して取得した監視画像を取得した後、運転者又は乗客のシートベルト着用行為が、一般的に顔の下方領域に現れる予備知識を利用して、本出願では対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことで、監視画像の他の不要な情報の干渉を効果的に減らすとともに、モデル入力画像のサイズを小さくし、演算量を低減し、認識速度を向上させることに加え、認識結果の精度を向上させることもでき、計算能力が低い機器、例えば車載機器に適用することができ、当該方法の適用性を向上させる。
本出願の実施例のシートベルト着用状態の認識方法は、交通手段を監視して取得した監視画像に対して顔認識を行って、顔領域を取得し、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定し、続いて対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。これにより、本出願では、対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。
可能な一実現形態として、演算量をより一層低減するために、本出願では、顔領域の下方の、顔領域との距離が顔領域の高さに合致する領域を対象領域としてもよい。以下、実施例２を参照しながら、上記過程について詳細に説明する。
図２は本出願の実施例２にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。
図２に示すように、当該シートベルト着用状態の認識方法は、以下のステップ２０１〜ステップ２０５を含んでもよい。
ステップ２０１において、交通手段を監視して取得した監視画像を取得する。
ステップ２０１の実行過程は、上記実施例におけるステップ１０１の実行過程を参照することができ、ここでは説明を省略する。
ステップ２０２において、監視画像に対して顔認識を行って、顔領域を取得する。
可能な一実現形態として、認識結果の精度を向上させるために、深層学習技術に基づいて、監視画像に対して顔認識を行って、顔領域を取得することができる。
例えば、顔検出モデルにより、監視画像に対して顔領域検出を行って、顔領域を取得し、ここで、顔検出モデルにおける６層の畳み込みネットワークによよって顔基礎特徴抽出を行い、各層の畳み込みネットワークによって１回の画像ダウンサンプリングが実施され、最後の３層の畳み込みニューラルネットワークに基づいて、それぞれの異なるサイズの顔アンカー枠を固定数で予め設定して顔検出枠回帰を行い、最終的に、得られた顔領域の認識結果を出力し、すなわち、顔領域に対応する４つの頂点座標を出力する。
ステップ２０３において、顔領域の高さに基づいて、間隔距離を決定する。
本出願の実施例では、顔領域を取得したことが決定されると、顔領域の４つの頂点座標に基づいて、顔領域の高さを決定し、さらに、顔領域の高さを間隔距離とすることができる。具体的には、顔領域の４つの頂点座標は、左上隅に対応する画素点の座標と、左下隅に対応する画素点の座標と、右上隅に対応する画素点の座標と、右下隅に対応する画素点の座標とを含み、左上隅に対応する画素点の座標を（ｘ１，ｙ１）、右上隅に対応する画素点の座標を（ｘ２，ｙ２）、右下隅に対応する画素点の座標を（ｘ３，ｙ３）、左下隅に対応する画素点の座標を（ｘ４，ｙ４）とマークすると、顔領域の幅はｗ＝ｘ２−ｘ１で、高さはｈ＝ｙ４−ｙ１で、間隔距離はｈである。
ステップ２０４において、顔領域の位置に基づいて、顔領域の下方に位置しかつ顔領域との距離が間隔距離に合致する領域を対象領域とする。
予備知識から分かるように、シートベルトの着用位置は顔の下方にあるため、本出願では、顔領域の下方に位置しかつ顔領域との距離が間隔距離ｈに合致する領域を対象領域とすることができる。これにより、画像の不要な情報の干渉を効果的に減らし、画像の処理速度を向上させることができる。ここで、下方とは、顔領域の下方に対する位置を言い、顔領域の位置と対向する位置である。
ステップ２０５において、対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。
ステップ２０５の実行過程は、上記実施例におけるステップ１０４の実行過程を参照することができ、ここでは説明を省略する。
可能な一実現形態として、認識効率をより一層向上させるために、本出願では、顔領域の下方に位置しかつ顔領域から距離ｈ離れた領域全体を対象領域とするのではなく、顔領域の下方に位置し、顔領域から距離ｈ離れ、面積が顔領域の設定倍数である領域を対象領域とすることにより、背景の枠取りを回避する前提で、シートベルトの認識領域を可能な限り最大化することができる。以下、実施例３を参照しながら、上記過程について詳細に説明する。
図３は、本出願の実施例３にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。
図３に示すように、当該シートベルト着用状態の認識方法は、以下のステップ３０１〜ステップ３０７を含み得る。
ステップ３０１において、交通手段を監視して取得した監視画像を取得する。
ステップ３０２において、監視画像に対して顔認識を行って、顔領域を取得する。
ステップ３０３において、顔領域の高さに基づいて、間隔距離を決定する。
ステップ３０１乃至３０３の実行過程は、上記実施例における実行過程を参照することができ、ここでは説明を省略する。
ステップ３０４において、顔領域の面積に基づいて、面積が顔領域の面積の設定倍数である検出枠を生成する。
本出願実施例では、設定倍数は、予め設定されたものである。
本出願の実施例では、検出枠内にある監視画像は、シートベルト着用位置を示すために用いられる。
なお、シートベルト着用状態を正確に認識するために、検出枠の面積をあまり小さく設定してはならず、また、背景領域の枠取りを回避するため、検出枠の面積をあまり大きく設定してもいけない。したがって、本出願では、処理効率を向上させるとともに、認識結果の精度を向上させるために、検出枠の面積は、顔領域の面積の設定倍数にすることができ、ここで、設定倍数は、２以上の整数又はフロートであってもよく、例えば、検出枠の面積は、顔領域の面積の２倍であってもよいため、背景の枠取りを回避する前提で、シートベルトの認識領域を可能な限り最大化することができる。
ステップ３０５において、検出枠を顔領域の下方に、かつ、顔領域と間隔距離を有するように設置する。
予備知識から分かるように、シートベルトの着用位置は顔の下方にあるため、本出願では、検出枠を顔領域の下方に、かつ、顔領域と間隔距離を有するように設置してもよい。
すなわち、顔領域を決定した後、顔領域に対応する４つの頂点座標を決定することができ、例えば、左上隅に対応する画素点の座標（ｘ１，ｙ１）、右上隅に対応する画素点の座標（ｘ２，ｙ２）、右下隅に対応する画素点の座標（ｘ３，ｙ３）、左下隅に対応する画素点の座標（ｘ４，ｙ４）を決定することができ、顔領域の幅はｗ＝ｘ２−ｘ１で、高さはｈ＝ｙ４−ｙ１で、間隔距離はｈである。この場合、顔領域に対応する顔検出枠をｈ単位だけ下方に平行移動して、シートベルト対応検出枠に対応する４つの頂点座標、すなわち左上隅に対応する画素点の座標（ｘ１，ｙ１−ｈ）、右上隅に対応する画素点の座標（ｘ２，ｙ２−ｈ）、右下隅に対応する画素点の座標（ｘ３，ｙ３−ｈ）、左下隅に対応する画素点の座標（ｘ４，ｙ４−ｈ）を取得することができる。さらに、背景の枠取りを回避する前提で、シートベルト認識領域を可能な限り最大化することを実現するために、本出願では、シートベルトに対応する検出枠を設定倍数だけ拡大することも可能であり、例えば、設定倍数は２、２．５などであり得る。
ステップ３０６において、監視画像において、検出枠内にある部分を対象領域とする。
本出願の実施例において、検出枠の位置を設定した後、監視画像において、検出枠内にある部分を対象領域とすることができる。これにより、画像の不要な情報の干渉を効果的に減らし、画像の処理速度を向上させることができる。
ステップ３０７において、対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。
ステップ３０７の実行過程は、上記実施例におけるステップ１０４の実行過程を参照することができ、ここでは説明を省略する。
可能な一実現形態として、監視画像から対象領域を決定した後、対象領域に対して、変換された対象領域が対象解像度に合致するように解像度変換を行うことができる。これにより、対象領域を統一サイズに変換し、後続の認識を容易にすることができる。
ここで、対象解像度は予め設定されている。例えば、分類モデルを用いて対象領域に対してシートベルト着用状態を認識する場合、当該対象解像度は、分類モデルの入力画像のサイズにすることができ、例えば１４４＊１４４である。これにより、対象領域を統一サイズに変換し、後続の分類モデルの入力を容易にすることができる。
なお、対象領域における各画素点の値は、０から２５５の間にあってもよく、対象領域における各画素点の輝度による認識の干渉を回避するために、本出願では、対象解像度の対象領域における各画素点の値に対して、各画素点の値が対象値区間内にあるように正規化処理することができる。
例えば、正規化式は、（ｘ−１２８）／２５６であってもよく、ここで、ｘは画素点の値を表し、ｘは０から２５５の間にあり、対象解像度の対象領域における各画素点の値に対して、各画素点の値が［−０．５，０．５］の間にあるように正規化処理を行うことができる。
可能な一実施形態として、認識結果の精度を向上させるために、深層学習技術に基づいて、対象領域の画像特徴を分類して、シートベルト着用状態を決定することができる。以下、実施例４を参照しながら、上記過程について詳細に説明する。
図４は、本出願の実施例４にて提供されるシートベルト着用状態の認識方法の概略フローチャートである。
図４に示すように、当該シートベルト着用状態の認識方法は、以下のステップ４０１〜ステップ４０５を含んでもよい。
ステップ４０１において、交通手段を監視して取得した監視画像を取得する。
ステップ４０２において、監視画像に対して顔認識を行って、顔領域を取得する。
ステップ４０３において、顔領域のサイズと位置に基づいて、監視画像から対象領域を決定する。
ステップ４０１乃至４０３の実行過程は、上記実施例の実行過程を参照することができ、ここでは説明を省略する。
ステップ４０４において、対象領域の画像特徴に基づいて分類する。
ここで、画像分類の原理は以下のとおりである。画像中の同種のシーンは、同じ条件で同じ又は類似の画像特徴、例えば、スペクトル情報の特徴及び空間情報の特徴を有するべきであり、それにより、同種のシーンの固有の類似性を表し、すなわち、同種のシーンの画素の特徴ベクトルは、同じ特徴の空間領域にクラスター化され、異なるシーンは、スペクトル情報の特徴及び空間情報の特徴が異なるので、異なる特徴の空間領域にクラスター化される。
したがって、本出願では、対象領域の画像特徴を分類して、シートベルト着用状態を決定することができる。例えば、分類モデルを用いて対象領域を分類することができる。
ステップ４０５において、分類して得られたカテゴリに応じて、シートベルト着用状態を決定する。
本出願の実施例では、分類して得られたカテゴリに応じて、シートベルト着用状態を決定することができる。
例えば、分類モデルは、畳み込みネットワークで特徴を抽出した後、フルリンク層及び出力層を接続し、分類確率を出力し、分類確率が０．５以下であれば、近似的に０とみなし、シートベルト着用状態が非着用状態であると決定し、出力の分類確率が０．５以上であれば、近似的に１とみなし、シートベルト着用状態が着用済状態であると決定することができる。
一例示として、図５に示す畳み込みニューラルネットワークに基づいて、対象領域に対して特徴抽出を行い、フルリンク層の出力によりシートベルト着用状態を取得することができる。ここで、畳み込みニューラルネットワークは畳み込み層とプール化層とを含む。
ここで、畳み込みニューラルネットワークは８層の畳み込み層と５層のプール化層（図５に図示せず）とを含み、畳み込みニューラルネットワークの入力は赤、緑、青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢと略称される）の三色チャンネルの画像であり、解像度は１４４＊１４４であり、ここで、異なる畳み込み層は異なる畳み込みカーネルを介して画像特徴を畳み込んで、その中からサイズ又は粒度が異なる特徴を抽出し、最終的に出力した特徴ベクトルのサイズは１＊１＊５（テンソル空間サイズ）である。
一例示として、監視画像を取得した後、顔検出モデルに基づいて、監視画像に対して顔認識を行って、各顔領域に対応する顔検出枠を取得し、各顔領域に対して、顔検出枠の４つの頂点座標、すなわち、左上隅に対応する画素点の座標（ｘ１，ｙ１）、右上隅に対応する画素点の座標（ｘ２，ｙ２）、右下隅に対応する画素点の座標（ｘ３，ｙ３）、左下隅に対応する画素点の座標（ｘ４，ｙ４）をマークすると、顔検出枠の幅はｗ＝ｘ２−ｘ１で、高さはｈ＝ｙ４−ｙ１である。
予備知識から分かるように、シートベルト着用位置が顔の下方にあるため、顔検出枠をｈ単位だけ下方に平行移動して、シートベルト検出枠の４つの頂点座標、すなわち、左上隅に対応する画素点の座標（ｘ１，ｙ１−ｈ）、右上隅に対応する画素点の座標（ｘ２，ｙ２−ｈ）、右下隅に対応する画素点の座標（ｘ３，ｙ３−ｈ）、左下隅に対応する画素点の座標（ｘ４，ｙ４−ｈ）を取得することができる。
背景の枠取りを回避する前提で、シートベルト認識領域を可能な限り最大化するため、本出願では、シートベルトに対応する検出枠を２倍に拡大してトリミングすることも可能である。トリミングされた画像のサイズを変換し、解像度が１４４＊１４４の画像に変換する。
次に、対象領域の各画素点の輝度による認識の干渉を回避するために、本出願では、変換された画像に対して、各画素点の画素値が［−０．５，０．５］の間にあるように正規化処理を行うことができる。
最後に、畳み込みニューラルネットワークにより、処理された画像に対して特徴抽出を行い、フルリンク層によりシートベルト着用状態を出力する。
本出願の実施例に係るシートベルト着用状態の認識方法は、運転者又は乗客のシートベルト着用行為が顔の下方領域に現れるという予備知識を利用し、顔検出に基づいてシートベルト着用領域を予測し、続いて、分類方法により、運転者又は乗客がシートベルトを着用しているか否かを認識することで、画像の他の不要な情報の干渉を効果的に減らすとともに、モデル入力画像のサイズを小さくすることができ、認識結果の精度を向上させるとともに、演算量を大幅に低減し、計算能力が低い機器、例えば車載機器に適用することができ、当該方法の適用性を向上させる。
上記実施例を実現するために、本出願は、シートベルト着用状態の認識装置をさらに提供する。
図６は、本出願の実施例５にて提供されるシートベルト着用状態の認識装置の概略構造図である。
図６に示すように、当該シートベルト着用状態の認識装置６００は、取得モジュール６１０と、顔認識モジュール６２０と、決定モジュール６３０と、状態認識モジュール６４０と、を備える。
ここで、取得モジュール６１０は、交通手段を監視して取得した監視画像を取得するために用いられる。
顔認識モジュール６２０は、監視画像に対して顔認識を行って、顔領域を取得するために用いられる。
決定モジュール６３０は、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定するために用いられる。
状態認識モジュール６４０は、対象領域の画像特徴に基づいて、シートベルト着用状態を認識するために用いられる。
さらに、本出願の実施例の可能な一実施形態において、図７を参照すると、図６に示す実施例に加え、当該シートベルト着用状態の認識装置６００は、さらに、決定ユニット６３１と処理ユニット６３２とを備える決定モジュール６３０と、変換モジュール６５０と、処理モジュール６６０と、を備えてもよい。
決定ユニット６３１は、顔領域の高さに基づいて、間隔距離を決定するために用いられる。
処理ユニット６３２は、顔領域の位置に基づいて、顔領域の下方に位置しかつ顔領域との距離が間隔距離に合致する領域を対象領域とするために用いられる。
可能な一実施形態として、処理ユニットは、具体的には、顔領域の面積に基づいて、面積が顔領域の面積の設定倍数である検出枠を生成し、検出枠を顔領域の下方に、かつ、顔領域と間隔距離を有するように設置し、監視画像において、検出枠内にある部分を対象領域とするために用いられる。
変換モジュール６５０は、対象領域に対して、変換された対象領域が対象解像度に合致するように解像度変換を行うために用いられる。
処理モジュール６６０は、対象解像度の対象領域における各画素点の値に対して、各画素点の値が対象値区間内にあるように正規化処理を行うために用いられる。
可能な一実施形態として、状態認識モジュール６４０は、具体的には、対象領域の画像特徴に基づいて分類し、分類されたカテゴリに基づいてシートベルト着用状態を決定するために用いられる。
なお、上記図１乃至図４の実施例に係るシートベルト着用状態の認識方法の解釈と説明は、当該実施例に係るシートベルト着用状態の認識装置にも適用するため、ここでは説明を省略する。
本出願の実施例のシートベルト着用状態の認識装置は、交通手段を監視して取得した監視画像に対して顔認識を行って、顔領域を取得し、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定し、続いて対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。これにより、本出願では、対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。
本出願の実施例によれば、本出願は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
図８に示すように、本出願の実施例のシートベルト着用状態の認識方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。
図８に示すように、当該電子機器は、１つ又は複数のプロセッサ８０１と、メモリ８０２と、高速インターフェース及び低速インターフェースを備える、各コンポーネントを接続するためのインターフェースと、を備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図８では、１つのプロセッサ８０１を例とする。
メモリ８０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記少なくとも１つのプロセッサが本出願により提供されるシートベルト着用状態の認識方法を実行するようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供されるシートベルト着用状態の認識方法を実行させるためのコンピュータ命令が記憶されている。
メモリ８０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるシートベルト着用状態の認識方法に対応するプログラム命令／モジュール（例えば、図６に示す取得モジュール６１０、顔認識モジュール６２０、決定モジュール６３０及び状態認識モジュール６４０）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ８０１は、メモリ８０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例におけるシートベルト着用状態の認識方法を実現する。
メモリ８０２は、プログラムストレージエリアとデータストレージエリアとを含むことができ、ここで、プログラムストレージエリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアは、シートベルト着用状態の認識方法の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ８０２は、高速ランダムアクセスメモリを備えることができ、非一時的なメモリをさらに備えることができ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ８０２は、プロセッサ８０１に対して遠隔に設定されたメモリを選択的に備えることができ、これらの遠隔メモリは、ネットワークを介しての電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
電子機器は、入力装置８０３と出力装置８０４とをさらに備えてもよい。プロセッサ８０１、メモリ８０２、入力装置８０３、及び出力装置８０４は、バス又は他の方式を介して接続することができ、図８では、バスを介して接続することを例とする。
入力装置８０３は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置８０４は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを備えることができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備えることができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書で使用される「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を備える。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント−サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれるクラウドサーバにすることができ、従来の物理ホストおよびＶＰＳサービスに存在する管理の困難さおよび弱いサービス拡張性の欠点を解決するための、クラウドコンピューティングサービスシステムにおけるホスト製品の１つである。
本出願の実施例の技術案によれば、交通手段を監視して取得した監視画像に対して顔認識を行って、顔領域を取得し、顔領域のサイズ及び位置に基づいて、監視画像から対象領域を決定し、続いて対象領域の画像特徴に基づいて、シートベルト着用状態を認識する。これにより、本出願では、対象領域と記されているシートベルト着用領域を予測して、当該対象領域のみに対してシートベルト着用状態の認識を行うことにより、監視画像の他の不要な情報の干渉を効果的に減らし、演算量を低減し、認識速度を向上させることができ、計算能力が低い機器、例えば車載機器に適用され、当該方法の適用性を向上させることができる。
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (15)

  1. 交通手段を監視して取得した監視画像を取得するステップと、
    前記監視画像に対して顔認識を行って、顔領域を取得するステップと、
    前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するステップと、
    前記対象領域の画像特徴に基づいて、シートベルト着用状態を認識するステップと、
    を含む、シートベルト着用状態の認識方法。
  2. 前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するステップが、
    前記顔領域の高さに基づいて、間隔距離を決定するステップと、
    前記顔領域の位置に基づいて、前記顔領域の下方に位置しかつ前記顔領域との距離が前記間隔距離に合致する領域を前記対象領域とするステップと、
    を含む請求項１に記載の着用状態の認識方法。
  3. 前記顔領域の位置に基づいて、前記顔領域の下方に位置しかつ前記顔領域との距離が前記間隔距離に合致する領域を前記対象領域とするステップが、
    前記顔領域の面積に基づいて、面積が顔領域の面積の設定倍数である検出枠を生成するステップと、
    前記検出枠を顔領域の下方に、かつ、前記顔領域と間隔距離を有するように設置するステップと、
    前記監視画像において、前記検出枠内にある部分を前記対象領域とするステップと、
    を含む請求項２に記載の着用状態の認識方法。
  4. 前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するステップの後に、
    前記対象領域に対して、変換された前記対象領域が対象解像度に合致するように解像度変換を行うステップを含む請求項１から３のいずれか一項に記載の着用状態の認識方法。
  5. 前記対象領域に対して、変換された前記対象領域が対象解像度に合致するように解像度変換を行うステップの後に、
    前記対象解像度の対象領域における各画素点の値に対して、各画素点の値が対象値区間内にあるように正規化処理を行うステップを含む請求項４に記載の着用状態の認識方法。
  6. 前記対象領域の画像特徴に基づいて、シートベルト着用状態を認識するステップが、
    前記対象領域の画像特徴に基づいて分類するステップと、
    分類して得られたカテゴリに応じて、シートベルト着用状態を決定するステップと、
    を含む請求項１から３のいずれか一項に記載の着用状態の認識方法。
  7. 交通手段を監視して取得した監視画像を取得するための取得モジュールと、
    前記監視画像に対して顔認識を行って、顔領域を取得するための顔認識モジュールと、
    前記顔領域のサイズ及び位置に基づいて、前記監視画像から対象領域を決定するための決定モジュールと、
    前記対象領域の画像特徴に基づいて、シートベルト着用状態を認識するための状態認識モジュールと、
    を備える、シートベルト着用状態の認識装置。
  8. 前記決定モジュールが、
    前記顔領域の高さに基づいて、間隔距離を決定するための決定ユニットと、
    前記顔領域の位置に基づいて、前記顔領域の下方に位置しかつ前記顔領域との距離が前記間隔距離に合致する領域を前記対象領域とするための処理ユニットと、
    を備える請求項７に記載の着用状態の認識装置。
  9. 前記処理ユニットが、
    前記顔領域の面積に基づいて、面積が顔領域の面積の設定倍数（２以上の整数）である検出枠を生成し、
    前記検出枠を顔領域の下方に、かつ、前記顔領域と間隔距離を有するように設置し、
    前記監視画像において、前記検出枠内にある部分を前記対象領域とするために用いられる請求項８に記載の着用状態の認識装置。
  10. 前記対象領域に対して、変換された前記対象領域が対象解像度に合致するように解像度変換を行うための変換モジュールを備える請求項７から９のいずれか一項に記載の着用状態の認識装置。
  11. 前記対象解像度の対象領域における各画素点の値に対して、各画素点の値が対象値区間内にあるように正規化処理を行うための処理モジュールを備える請求項１０に記載の着用状態の認識装置。
  12. 前記状態認識モジュールが、
    前記対象領域の画像特徴に基づいて分類し、
    分類されたカテゴリに基づいてシートベルト着用状態を決定するために用いられる請求項７から９のいずれか一項に記載の着用状態の認識装置。
  13. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が、前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１から６のいずれか一項に記載のシートベルト着用状態の認識方法を実行させる電子機器。
  14. コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令が、コンピュータに請求項１から６のいずれか一項に記載のシートベルト着用状態の認識方法を実行させるために用いられる、非一時的コンピュータ読み取り可能な記憶媒体。
  15. コンピュータ上で動作しているときに、請求項１から６のいずれか一項に記載のシートベルト着用状態の認識方法を前記コンピュータに実行させるコンピュータプログラム。
JP2021104695A 2020-06-29 2021-06-24 シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体 Pending JP2021152966A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010604996.2 2020-06-29
CN202010604996.2A CN111950348A (zh) 2020-06-29 2020-06-29 安全带的佩戴状态识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2021152966A true JP2021152966A (ja) 2021-09-30

Family

ID=73337573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104695A Pending JP2021152966A (ja) 2020-06-29 2021-06-24 シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US20210209385A1 (ja)
EP (1) EP3879443A3 (ja)
JP (1) JP2021152966A (ja)
KR (1) KR20210064123A (ja)
CN (1) CN111950348A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022548460A (ja) * 2020-08-07 2022-11-21 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220203930A1 (en) * 2020-12-29 2022-06-30 Nvidia Corporation Restraint device localization
CN113743224B (zh) * 2021-08-04 2023-05-23 国网福建省电力有限公司信息通信分公司 基于边缘计算的登高作业人员安全带佩戴监控方法及系统
CN113887634B (zh) * 2021-10-08 2024-05-28 齐丰科技股份有限公司 基于改进两步检测的电力安全带检测及预警方法
KR102417206B1 (ko) * 2021-12-20 2022-07-06 주식회사 쿠메푸드 식품제조환경 위생 모니터링 서비스 제공 시스템

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP2010039724A (ja) * 2008-08-04 2010-02-18 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011170890A (ja) * 2011-06-06 2011-09-01 Fujifilm Corp 顔検出方法および装置並びにプログラム
WO2013031096A1 (ja) * 2011-08-29 2013-03-07 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
CN104417490A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及装置
CN106650567A (zh) * 2016-08-31 2017-05-10 东软集团股份有限公司 一种安全带检测方法和装置
CN106709443A (zh) * 2016-12-19 2017-05-24 同观科技（深圳）有限公司 一种安全带佩戴状态的检测方法及终端
CN107766802A (zh) * 2017-09-29 2018-03-06 广州大学 一种机动车前排驾乘人员未扣安全带的自适应检测方法
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测系统
CN109359565A (zh) * 2018-09-29 2019-02-19 广东工业大学 一种道路减速带检测方法及系统
CN110472492A (zh) * 2019-07-05 2019-11-19 平安国际智慧城市科技股份有限公司 目标生物检测方法、装置、计算机设备和存储介质
CN111209854A (zh) * 2020-01-06 2020-05-29 苏州科达科技股份有限公司 司乘人员未系安全带识别方法、装置及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images
US9650016B2 (en) * 2014-12-04 2017-05-16 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
CN104657752B (zh) * 2015-03-17 2018-09-07 银江股份有限公司 一种基于深度学习的安全带佩戴识别方法
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
JP6791108B2 (ja) * 2017-12-11 2020-11-25 オムロン株式会社 顔位置検出装置
US10501048B2 (en) * 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
CN109460699B (zh) * 2018-09-03 2020-09-25 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
KR102601354B1 (ko) * 2018-11-29 2023-11-13 현대모비스 주식회사 영상기반 승객 검출 및 안전벨트 착용 검출 장치와 방법
US11420579B2 (en) * 2019-06-21 2022-08-23 GM Global Technology Operations LLC System and method to automatically set the height of the torso section of a seat belt
AU2019369206A1 (en) * 2019-12-16 2021-07-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for distinguishing a driver and passengers in an image captured inside a vehicle
CN111199200A (zh) * 2019-12-27 2020-05-26 深圳供电局有限公司 基于电力防护装备的佩戴检测方法、装置和计算机设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP2010039724A (ja) * 2008-08-04 2010-02-18 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011170890A (ja) * 2011-06-06 2011-09-01 Fujifilm Corp 顔検出方法および装置並びにプログラム
WO2013031096A1 (ja) * 2011-08-29 2013-03-07 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
CN104417490A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及装置
CN106650567A (zh) * 2016-08-31 2017-05-10 东软集团股份有限公司 一种安全带检测方法和装置
CN106709443A (zh) * 2016-12-19 2017-05-24 同观科技（深圳）有限公司 一种安全带佩戴状态的检测方法及终端
CN107766802A (zh) * 2017-09-29 2018-03-06 广州大学 一种机动车前排驾乘人员未扣安全带的自适应检测方法
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测系统
CN109359565A (zh) * 2018-09-29 2019-02-19 广东工业大学 一种道路减速带检测方法及系统
CN110472492A (zh) * 2019-07-05 2019-11-19 平安国际智慧城市科技股份有限公司 目标生物检测方法、装置、计算机设备和存储介质
CN111209854A (zh) * 2020-01-06 2020-05-29 苏州科达科技股份有限公司 司乘人员未系安全带识别方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022548460A (ja) * 2020-08-07 2022-11-21 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム
JP7288097B2 (ja) 2020-08-07 2023-06-06 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム

Also Published As

Publication number Publication date
KR20210064123A (ko) 2021-06-02
EP3879443A2 (en) 2021-09-15
US20210209385A1 (en) 2021-07-08
EP3879443A3 (en) 2021-10-20
CN111950348A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
JP2021152966A (ja) シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体
US20200290608A1 (en) Forward collision control method and apparatus, electronic device, program, and medium
KR102447352B1 (ko) 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스
CN110070056B (zh) 图像处理方法、装置、存储介质及设备
US11250296B2 (en) Automatic generation of ground truth data for training or retraining machine learning models
WO2019179464A1 (zh) 用于预测目标对象运动朝向的方法、车辆控制方法及装置
US20210406599A1 (en) Model training method and apparatus, and prediction method and apparatus
EP3812963B1 (en) Vehicle re-identification method, apparatus, device and storage medium
EP3989116A1 (en) Method and apparatus for detecting target object, electronic device and storage medium
CN109784278B (zh) 基于深度学习的海上弱小运动船舶实时检测方法
WO2022001091A1 (zh) 一种危险驾驶行为识别方法、装置、电子设备及存储介质
US11288887B2 (en) Object tracking method and apparatus
US20210312799A1 (en) Detecting traffic anomaly event
CN111783620A (zh) 表情识别方法、装置、设备及存储介质
US20150269425A1 (en) Dynamic hand gesture recognition with selective enabling based on detected hand velocity
KR20210128491A (ko) 위험 주행 행위 식별 방법, 장치, 전자 설비 및 저장매체
US10860865B2 (en) Predictive security camera system
CN111814636A (zh) 一种安全带检测方法、装置、电子设备及存储介质
CN111932530B (zh) 三维对象检测方法、装置、设备和可读存储介质
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN111008555A (zh) 一种无人机图像弱小目标增强提取方法
CN111710009B (zh) 人流密度的生成方法、装置、电子设备以及存储介质
CN116311181B (zh) 一种异常驾驶的快速检测方法及系统
WO2024065389A1 (zh) 用于检测摄像头干扰的方法、系统和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516