JP2020126638A - 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 - Google Patents

運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 Download PDF

Info

Publication number
JP2020126638A
JP2020126638A JP2020010079A JP2020010079A JP2020126638A JP 2020126638 A JP2020126638 A JP 2020126638A JP 2020010079 A JP2020010079 A JP 2020010079A JP 2020010079 A JP2020010079 A JP 2020010079A JP 2020126638 A JP2020126638 A JP 2020126638A
Authority
JP
Japan
Prior art keywords
driver
body image
eye
keypoint
upper body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020010079A
Other languages
English (en)
Other versions
JP6938055B2 (ja
Inventor
ゲヒョン キム
Kye-Hyeon Kim
ゲヒョン キム
ヨンジュン キム
Yong-Jun Kim
ヨンジュン キム
ハクギョン キム
Hak Kyoung Kim
ハクギョン キム
ウンヒョン ナム
Woonhyun Nam
ウンヒョン ナム
ソクフン ブ
Sukhoon Boo
ソクフン ブ
ミョンチョル ソン
Myungchul Sung
ミョンチョル ソン
ドンス シン
Dongsoo Shin
ドンス シン
ドンフン ヨ
Donghun Yeo
ドンフン ヨ
ウジュ リュ
Wooju Ryu
ウジュ リュ
ミョンチユン イ
Myeong-Chun Lee
ミョンチユン イ
ヒョンス イ
Hyungsoo Lee
ヒョンス イ
テウン ジャン
Taewoong Jang
テウン ジャン
ギョンジュン ジョン
Kyungjoong Jeong
ギョンジュン ジョン
ホンモ ジェ
Hongmo Je
ホンモ ジェ
ホジン ジョ
Hojin Cho
ホジン ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126638A publication Critical patent/JP2020126638A/ja
Application granted granted Critical
Publication of JP6938055B2 publication Critical patent/JP6938055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mounting And Adjusting Of Optical Elements (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

【課題】運転者の身体条件に応じて運転席のミラーの位置を自動的に調整することができるようにする方法及び装置を提案する。【解決手段】運転者の状態に応じて運転者補助装置の位置を調整する方法において、位置調整装置１０００は、運転者が車両の運転席に着席して車両のエンジンを始動した後に取得された運転者の上半身イメージと下半身イメージをポーズ予測ネットワークに入力し、身体キーポイントを取得し、身体部位の長さを計算して運転席位置を調整するようにし、車両が運行中に、上半身イメージを顔検出器に入力して顔部分を検出するようにし、顔部分を目検出器に入力して目部分を検出するようにし、調整された運転席位置と目の２Ｄ座標を３Ｄ座標変換器に入力し、２Ｄ座標と運転席の位置を参照して目の３Ｄ座標を生成するようにし、３Ｄ座標を参照して車両のミラーの位置を調整するようにする段階と、を含む。【選択図】図２

Description

本発明は、車両の運転者補助装置に関し、より詳細には運転者の状態に応じて前記運転者補助装置を自動で調整する方法及び装置に関する。
一般的に、車両を運転する際には常に前方を注視しなければならないと同時に、後方を注視しなければならないので、運転者が前方を見ながら後方を見ることができるようにミラーが車両に装着される。
一方、車両には車両内の前方に１個、車両外の左右フロントドア側に各々１個ずつ、計３個のミラーが配置されるのが一般的である。
車両の左右フロントドア両側にはサイドビューミラー（ｓｉｄｅ−ｖｉｅｗ ｍｉｒｒｏｒ）が装着されて運転者が車両横の後方視野を確保するのに役立ち、車両内の前方ウインドシールドガラスにはリアビューミラー（ｒｅａｒ−ｖｉｅｗ ｍｉｒｒｏｒ）が装着されて運転者が車両の後方視野を確保するのに役立つ。
この際、運転者がミラーを通じて後方視野を確保することが困難な場合、リアビューミラーとサイドビューミラーの角度を手動で調節することではじめて視野の確保が可能になる。
また、運転者は自分の身体条件に合わせて運転席の位置を調整しなければならない。
しかし、ある運転者が他の運転者によって運転席の位置とミラーの位置とが調整された車両を運転しようとすると、自身の身体条件に合うように運転席の位置とミラーの位置とを再び調整しなければならない問題点がある。
したがって、本発明では運転者の身体条件に応じて運転席のミラーの位置を自動的に調整することができるようにする方案を提案しようとする。
本発明は、上述した問題点をすべて解決することをその目的とする。
本発明は、運転者の状態に応じて運転者補助装置を自動で調整することができるようにすることを他の目的とする。
本発明は、運転者の状態に応じて運転席と一つ以上のミラーの位置を自動で調整することができるようにすることをまた他の目的とする。
本発明は、運転者の視線（ｇａｚｅ）を追跡してミラーの位置をリアルタイム自動で調整することができるようにすることをまた他の目的とする。
上記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、運転者の状態に応じて運転者補助装置の位置を調整する方法において、（ａ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにする段階、及び（ｂ）前記位置調整装置が、前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにする段階、を含むことを特徴とする方法が開示される。
一実施例において、前記（ａ）段階で、前記位置調整装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにすることを特徴とする。
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにすることを特徴とする。
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにすることを特徴とする。
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにすることを特徴とする。
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。
一実施例において、前記（ｂ）段階で、前記位置調整装置は、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応することを特徴とする。
一実施例において、前記（ｂ）段階で、前記位置調整装置は、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされることを特徴とする。
一実施例において、前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離であることを特徴とする。
一実施例において、前記（ａ）段階で、前記位置調整装置は、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行することを特徴とする。
本発明の他の態様によれば、運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算し、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにするプロセス、及び（ＩＩ）前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成し、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにするプロセス、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とする位置調整装置が開示される。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにすることを特徴とする。
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにすることを特徴とする。
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにすることを特徴とする。
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにすることを特徴とする。
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされることを特徴とする。
一実施例において、前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離であることを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行することを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータで判読可能な記録媒体がさらに提供される。
本発明は、運転者の状態に応じて運転者補助装置を自動で調整して運転者の便宜性を向上させることができる効果がある。
本発明は、運転者の状態に応じて運転席の位置を自動で調整して運転者の便宜性を向上させることができる効果がある。
本発明は、運転者の視線（ｇａｚｅ）を追跡してミラーの位置をリアルタイム自動で調整して運転者の便宜性を向上させ、運転者をもってミラーを利用して周辺環境を正確に認識することができるようにして交通事故を防止することができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行なわれることなく本図面に基づいて異なる図面が得られ得る。
図１は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置を簡略に示す図面である。 図２は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法を簡略に示す図面である。 図３は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法で、運転者の身体キーポイントを検出する過程を簡略に示す図面である。 図４は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法で、運転者の顔を検出する過程を簡略に示す図面である。
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これら実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び請求項にかけて、「含む」という単語及びその変形は、他の技術的特徴、付加物、構成要素または段階を除外するものとして意図されたものではない。通常の技術者にとって本発明の他の目的、長所及び特性が一部は本説明書から、そして一部は本発明の実施から明らかにされる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
本発明で言及する各種イメージは、舗装または未鋪装道路関連イメージを含む場合があり、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、品物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及する各種イメージは、道路と関係のないイメージ（例えば、未鋪装道路、路地、空地、海、湖、川、山、森、砂漠、空、室内と関連するイメージ）の場合もあり、この場合、未鋪装道路、路地、空地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、品物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置を簡略に示す図面である。図１を参照すると、前記位置調整装置１０００は、前記検出された運転者の状態に応じて前記運転者補助装置の位置を調整するインストラクションを格納するメモリ１１００と、前記運転者の状態に応じて前記運転者補助装置の位置を調整する前記メモリ１１００に格納されたインストラクションに対応するプロセスを遂行するプロセッサ１２００を含み得る。
具体的には、前記位置調整装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワークアタッチストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（即ち、前記コンピューティング装置をもって特定の方式で機能するようにするインストラクション）の組み合わせを利用して所望のシステム性能を達成するものが挙げられる。
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含む場合もある。
しかし、このような前記コンピューティング装置に対する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他コンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するものではない。
このように構成された本発明の一実施例に係る前記位置調整装置１０００を利用して前記運転者の状態に応じて前記運転者補助装置の位置を調整する方法を図２を参照して説明すると次の通りである。
まず、運転者が車両の運転席に着席して前記車両のエンジンを始動した後に第１イメージである前記運転者の少なくとも一つの上半身イメージ及び第２イメージである前記運転者の少なくとも一つの下半身イメージが取得されると、前記位置調整装置１０００は、前記上半身イメージと前記下半身イメージとをポーズ予測ネットワークに入力するプロセスを遂行し、前記ポーズ予測ネットワーク１００をもって、前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし得る。
この際、前記上半身イメージと前記下半身イメージとは、前記車両の室内に設置された一つ以上のカメラによって取得され得る。そして、前記カメラは、前記車両の室内で前記運転者の上半身を撮影する少なくとも一つのカメラと、前記車両の室内で前記運転者の下半身を撮影する少なくとも一つのカメラとを含み得る。また、前記運転者の前記上半身と前記下半身とは、前記運転者の臍を基準に判断し得るが、本発明の範囲はこれに限定されず、前記運転者の少なくとも一つの顔部分が前記運転者の上半身イメージに含まれるように任意の地点に基づいて判断し得る。
そして、前記ポーズ予測ネットワーク１００は、前記運転者の前記上半身イメージと前記下半身イメージとを身体キーポイント検出器１１０に入力し、前記身体キーポイント検出器１１０をもって、前記上半身イメージ及び前記下半身イメージ各々から前記運転者に対応する前記身体キーポイントを取得するようにし得る。
この際、前記車両内に設置された前記カメラで取得した映像またはイメージは、身体が殆ど隠れた状態の場合もあり、このような場合、従来の物体検出器は殆ど隠れた特定の運転者を検出するのに失敗する可能性があるが、前記身体キーポイント検出器１１０は、見える部分のみを利用して前記運転者がいるか否かを判断し得る。そして、前記運転者はポーズの多様性範囲が広いため、前記身体キーポイント検出器１１０は、前記従来の物体検出器よりもはるかに有用である。
一例として、図３を参照し、身体キーポイント検出器１１０が前記身体キーポイントを検出する過程を説明すると次の通りである。
前記第１イメージである前記運転者の上半身イメージと、前記第２イメージである前記運転者の下半身イメージが取得されると、前記身体キーポイント検出器１１０は、前記特徴抽出器ネットワーク１１１をもって前記上半身イメージ及び前記下半身イメージ各々に少なくとも一つのコンボリューション演算を適用して前記上半身イメージ及び前記下半身イメージ各々に対応する一つ以上の特徴テンソル各々を出力するようにする。この際、前記特徴抽出器ネットワーク１１１は、少なくとも一つのコンボリューション演算を遂行することができる一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックであり得る。
そして、前記身体キーポイント検出器１１０は、前記特徴テンソル各々を前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２に入力して、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２をもって、（ｉ）前記特徴テンソル各々に対応するキーポイントヒートマップ各々及び（ｉｉ）前記キーポイント間の関係を示すベクトルマップであるパートアフィニティフィールド各々を生成するようにし得る。この際、各々の前記パートアフィニティフィールドは、特定キーポイントと他のキーポイントとの連結性を示すマップであり、各々のキーポイントヒートマップペアに対して互いに連結され得る確率を示すマップでもあり得る。そして、「ヒートマップ」は、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）とを結合させたもので、色で表現することができる多様な情報を一定のイメージ上に熱分布形態のグラフィックで生成したものである。
この際、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、フルコンボリューションネットワークを含み得る。
また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、少なくとも一つの１×１コンボリューション演算を前記特徴テンソルに適用する一つ以上の１×１コンボリューションレイヤを含み得る。
また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、二部分マッチング（ｂｉｐａｒｔｉｔｅ ｍａｔｃｈｉｎｇ）を利用して各々のキーポイント間の関係を検出することで前記パートアフィニティフィールドを生成し得る。即ち、前記キーポイント間の関係は、前記二部分マッチングを通じて確認し得る。
その後、前記身体キーポイント検出器１１０は、前記キーポイントグルーピングレイヤ１１３をもって、前記キーポイントヒートマップ各々から前記キーポイントを抽出し、前記抽出された相互連結確率を参照し、連結され得る確率が最も高いキーポイント同士をペア各々として連結するようにし得る。この際、前記身体キーポイント検出器は、各チャンネルに対応する各々の前記キーポイントヒートマップ内の各々の最も高い地点、即ち最も高いヒート値を持つ各々のポイントを、各々の前記キーポイントヒートマップに対応する各々の前記キーポイントとして抽出し、前記パートアフィニティフィールドを参照し、前記抽出されたキーポイントのうち連結され得る確率が最も高いキーポイント同士をペアにして連結することで、前記抽出されたキーポイントをグルーピングし得る。一例として、前記抽出されたキーポイントのうちいずれか一つのキーポイントと連結され得る確率が最も高い他の一つのキーポイントを一つのペアとして連結する過程を抽出されたキーポイントすべてに対して遂行することでキーポイントをグルーピングし得る。
次に、再び図２を参照すると、前記位置調整装置１０００は、前記ポーズ予測ネットワーク１００をもって、前記運転者の前記上半身イメージ及び前記下半身イメージ各々から検出された前記運転者の前記身体キーポイントを参照し、前記運転者の一つ以上の身体部位を生成するようにし、前記身体部位を参照して前記身体部位の長さ情報である前記身体部位の長さに関する情報を生成するようにし得る。一例として、前記身体部位の長さに関する情報は、前記運転者の肩幅、腕の長さ、足の長さ、背丈などが挙げられる。
次に、前記位置調整装置１０００は、前記運転者補助装置を調整し、例えば前記ポーズ予測ネットワーク１００を通じて確認された前記運転者の前記身体部位の長さに関する情報に応じて運転席位置または運転台の位置を調整し得る。
次に、上記のような方法によって、前記運転席の位置が前記運転者の状態に応じて調整された状態で、前記位置調整装置１０００は、前記取得された第１イメージである前記運転者の前記上半身イメージを顔検出器２００に入力し、前記顔検出器２００をもって前記上半身イメージから前記運転者の前記顔部分を検出するようにし得る。この際、前記顔検出器２００は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を基盤とする検出器であるが、本発明の範囲はこれに限定されない。また、前記顔検出器２００は、前記全体身体イメージから前記運転者の前記顔部分を検出するものとして説明されたが、他の例として、前記上半身イメージをクロッピング（ｃｒｏｐｐｉｎｇ）して顔が位置すると予測される前記上半身の特定領域のみを利用して顔検出に利用される場合もある。
一例として、図４を参照すると、前記ＣＮＮ基盤の前記顔検出器２００は、少なくとも一つのコンボリューションレイヤ２０１を通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ、２０２）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するプロセスを遂行し得る。そして、前記顔検出器２００は、プーリングレイヤ２０３を通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するプロセス、及びＦＣレイヤ２０４を通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するプロセスを遂行し得る。その後、前記顔検出器２００は、クラシフィケーション演算とリグレッション演算とを前記ＦＣレイヤ２０４の前記ＦＣ出力値に適用して前記物体各々に対するクラス情報とリグレッション情報とを出力し、前記物体各々がプロポーザルボックス各々に対応するクラシフィケーションレイヤ２０５及びリグレッションレイヤ２０６を通じて前記室内イメージ上の前記運転者の前記顔部分を検出し得る。再び図２を参照すると、前記位置調整装置１０００は、目検出器３００をもって前記顔検出器２００から検出された前記運転者の前記顔部分で少なくとも一つの目部分を検出することで少なくとも一つの目の２Ｄ座標を生成するようにし得る。
一例として、前記目検出器３００は、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換し、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされ得る。
次に、前記位置調整装置１０００は、前記検出された目部分で前記運転者の前記目に対応する２Ｄ座標と前記調整された運転席の位置とを３Ｄ座標変換器４００に入力して、前記３Ｄ座標変換器４００をもって、前記調整された運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにし得る。
即ち、前記運転者の前記上半身イメージを取得する前記カメラ及び前記運転席間の距離は、前記身体部位の長さに応じて調整された前記運転席の位置を参照して取得され、前記カメラと前記調整された運転席との距離及び前記目の前記２Ｄ座標を利用して前記目の３Ｄ座標を取得し得る。
そして、前記位置調整装置１０００は、（ｉ）前記目の前記３Ｄ座標を参照して前記運転者の視線方向を予測し、（ｉｉ）前記運転者の前記予測された視線方向によって、前記ミラーの位置、即ち前記ミラーの角度を調整して前記運転者の前記予測された視線方向によって前記ミラーの反射角を自動で調整することで前記運転者をもって前記車両の周辺状況を認識することができるようにし得る。
一方、他の例として、前記運転者の前記上半身イメージと下半身イメージとを用いる場合とは異なり、前記運転者の一つのイメージのみを用いる場合もある。即ち、前記運転者の一つのイメージから前記運転者の前記身体キーポイントと前記顔部分とを検出する場合もある。
上記で説明したように、本発明は、前記カメラから撮影された前記運転者の写真を利用して運転者の状態をモニタリングし、前記運転者の前記身体キーポイントを利用した前記身体部位の長さによって前記運転席の位置を調整し、前記運転者の視線モニタリングを通じて判断された前記運転者の視線によって前記ミラーの角度を調整することで前記運転者補助装置の特化型のオンラインキャリブレーションが可能になり得る。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含み得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればこのような記載から多様な修正及び変形が行なわれ得る。
したがって、本発明の思想は上記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等にまたは等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。

Claims (20)

  1. 運転者の状態に応じて運転者補助装置の位置を調整する方法において、
    （ａ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージとをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにする段階、及び
    （ｂ）前記位置調整装置が、前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにする段階、
    を含むことを特徴とする方法。
  2. 前記（ａ）段階で、
    前記位置調整装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにする、請求項１に記載の方法。
  3. 前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにする、請求項２に記載の方法。
  4. 前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにする、請求項２に記載の方法。
  5. 前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにする、請求項２に記載の方法。
  6. 前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにする、請求項５に記載の方法。
  7. 前記（ｂ）段階で、
    前記位置調整装置は、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応する、請求項１に記載の方法。
  8. 前記（ｂ）段階で、
    前記位置調整装置は、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされる、請求項７に記載の方法。
  9. 前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離である、請求項１に記載の方法。
  10. 前記（ａ）段階で、
    前記位置調整装置は、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行する、請求項１に記載の方法。
  11. 運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置において、
    インストラクションを格納する少なくとも一つのメモリ、及び
    （Ｉ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算し、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにするプロセス、及び（ＩＩ）前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成し、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにするプロセス、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
    を含むことを特徴とする位置調整装置。
  12. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにする、請求項１１に記載の位置調整装置。
  13. 前記プロセッサは、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにする、請求項１２に記載の位置調整装置。
  14. 前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにする、請求項１２に記載の位置調整装置。
  15. 前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにする、請求項１２に記載の位置調整装置。
  16. 前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにする、請求項１５に記載の位置調整装置。
  17. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応する、請求項１１に記載の位置調整装置。
  18. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされる、請求項１７に記載の位置調整装置。
  19. 前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離である、請求項１１に記載の位置調整装置。
  20. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行する、請求項１１に記載の位置調整装置。

JP2020010079A 2019-01-31 2020-01-24 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 Active JP6938055B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799296P 2019-01-31 2019-01-31
US62/799,296 2019-01-31
US16/738,579 2020-01-09
US16/738,579 US10821897B2 (en) 2019-01-31 2020-01-09 Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status

Publications (2)

Publication Number Publication Date
JP2020126638A true JP2020126638A (ja) 2020-08-20
JP6938055B2 JP6938055B2 (ja) 2021-09-22

Family

ID=69326348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010079A Active JP6938055B2 (ja) 2019-01-31 2020-01-24 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置

Country Status (5)

Country Link
US (1) US10821897B2 (ja)
EP (1) EP3699814A1 (ja)
JP (1) JP6938055B2 (ja)
KR (1) KR102349995B1 (ja)
CN (1) CN111507171B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11458915B2 (en) * 2019-07-15 2022-10-04 International Business Machines Corporation Vehicle setting adjustment
US11475589B2 (en) * 2020-04-03 2022-10-18 Fanuc Corporation 3D pose estimation by a 2D camera
US20220084238A1 (en) * 2020-09-11 2022-03-17 Fanuc Corporation Multiple transparent objects 3d detection
CN113044045B (zh) * 2021-03-09 2023-07-04 吉林大学 一种智能座舱内座椅自适应调整方法
CN113043922A (zh) * 2021-04-25 2021-06-29 武汉驰必得科技有限公司 基于用户特征识别和数据分析的电动汽车驾驶座椅智能调控方法、系统、设备和存储介质
DE102022106797B3 (de) 2022-03-23 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN117315726B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种驾驶员坐姿高低识别方法、装置以及处理设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080416A1 (en) * 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
US20110128401A1 (en) * 2009-11-30 2011-06-02 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of controlling the same
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
JP2017502876A (ja) * 2014-02-24 2017-01-26 インテル コーポレイション 車両のミラー調整
JP2017206227A (ja) * 2016-03-23 2017-11-24 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 最適車両部品設定を決定するためのシステムおよび方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN108657029A (zh) * 2018-05-17 2018-10-16 华南理工大学 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP4908704B2 (ja) * 2001-09-27 2012-04-04 株式会社東海理化電機製作所 車両室内監視装置
US8587703B2 (en) * 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
US20120053794A1 (en) * 2010-08-25 2012-03-01 Gm Global Technology Operations, Inc. Individualizable convenience system for drivers
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080416A1 (en) * 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
US20110128401A1 (en) * 2009-11-30 2011-06-02 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of controlling the same
JP2017502876A (ja) * 2014-02-24 2017-01-26 インテル コーポレイション 車両のミラー調整
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
JP2017206227A (ja) * 2016-03-23 2017-11-24 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 最適車両部品設定を決定するためのシステムおよび方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN108657029A (zh) * 2018-05-17 2018-10-16 华南理工大学 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村上達哉 外２名: "人体姿勢アノテーション困難な映像における類似姿勢学習の有用性", 情報処理学会研究報告, vol. Vol. 2018-CVIM-212, No. 13, JPN6021006740, 10 May 2018 (2018-05-10), pages 1 - 7, ISSN: 0004455642 *

Also Published As

Publication number Publication date
JP6938055B2 (ja) 2021-09-22
CN111507171B (zh) 2023-08-01
KR20200095384A (ko) 2020-08-10
US20200247321A1 (en) 2020-08-06
KR102349995B1 (ko) 2022-01-12
EP3699814A1 (en) 2020-08-26
US10821897B2 (en) 2020-11-03
CN111507171A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
JP2020126638A (ja) 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置
CN111507170B (zh) 通过车对车连接警告驾驶员的异常状态的方法和装置
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
Rezaei et al. Look at the driver, look at the road: No distraction! no accident!
US20150347831A1 (en) Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters
JP2020533662A (ja) 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御
EP2757527B1 (en) System and method for distorted camera image correction
US9606623B2 (en) Gaze detecting apparatus and method
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
CN114041175A (zh) 一种用于使用真实感合成数据估计头部姿势和视线的神经网络
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
CN105719311A (zh) 用于检测目标的车辆系统及其操作方法
JP2020061140A (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
WO2024051345A1 (zh) 驾驶员的视线识别方法及装置、车辆和存储介质
JP2016115117A (ja) 判定装置および判定方法
CN113661495A (zh) 视线校准方法及装置、设备、计算机可读存储介质、系统、车辆
US11861842B2 (en) Information processing method, program, and information processing system
Martin et al. Monitoring head dynamics for driver assistance systems: A multi-perspective approach
CN115376113A (zh) 驾驶员分心检测方法、驾驶员监控系统及存储介质
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
JP6572538B2 (ja) 下方視判定装置および下方視判定方法
KR20200040187A (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
Zabihi et al. Frame-rate vehicle detection within the attentional visual area of drivers
CN113361441B (zh) 基于头部姿态和空间注意力的视线区域估计方法及系统
Jeong et al. Facial landmark detection based on an ensemble of local weighted regressors during real driving situation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6938055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150