JP2014160298A - 運転支援システムおよび運転支援方法 - Google Patents

運転支援システムおよび運転支援方法 Download PDF

Info

Publication number
JP2014160298A
JP2014160298A JP2013029588A JP2013029588A JP2014160298A JP 2014160298 A JP2014160298 A JP 2014160298A JP 2013029588 A JP2013029588 A JP 2013029588A JP 2013029588 A JP2013029588 A JP 2013029588A JP 2014160298 A JP2014160298 A JP 2014160298A
Authority
JP
Japan
Prior art keywords
video
mobile terminal
image
pedestrian
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013029588A
Other languages
English (en)
Other versions
JP5561396B1 (ja
Inventor
Takayuki Omino
貴行 小美濃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013029588A priority Critical patent/JP5561396B1/ja
Priority to EP13198511.1A priority patent/EP2767966B1/en
Priority to US14/165,825 priority patent/US9230179B2/en
Application granted granted Critical
Publication of JP5561396B1 publication Critical patent/JP5561396B1/ja
Publication of JP2014160298A publication Critical patent/JP2014160298A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Regulating Braking Force (AREA)

Abstract

【課題】車の周囲の対象物を高精度で検知することができる運転支援システムを提供することを目的とする。
【解決手段】運転支援システムは、自動車に設けられる携帯端末100と、携帯端末100と通信可能な検知サーバ210とを備え、携帯端末100は、自動車の周辺を撮影するための撮影装置190と、撮影された映像を検知サーバ210に送信する映像送信部151とを含み、検知サーバ210は、映像の加工処理を行う映像フィルタ280と、映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知エンジン290とを含み、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信する。
【選択図】図4

Description

本発明は、車両の周囲の対象物を検知する運転支援システム、運転支援方法および運転支援プログラムに関する。
近年、事故を起こさない車両の実現のために、歩行者、前方の先行車、歩行者または障害物等の対象物に衝突する危険を察知し、ドライバーに回避操作を促す運転支援システムが開発されている。一般的な運転支援システムにおいて、歩行者を検知するために、自動車に設置された車載カメラが周囲を撮影し、ECU(Electronic Control Unit)という自動車制御用コンピュータが、撮影された画像を用いて対象物を検知および処理する必要がある。
例えば、特許文献1には、自車が検知物体に衝突する危険度を演算し、画像情報を用いて、検知物体が歩行者か否かを判定する車両システムが開示されている。
特開2010−250501号公報
しかし、特許文献1等に記載された一般的な技術は、車載カメラが捉えた画像に基づいて、ECUが歩行者等を検知する。そのため、ECUの処理能力が低ければ、認識率が低く誤認識が発生しやすいという課題がある。
また、検知のために一般的な画像認識技術を用いた場合、対象となる画像パターンを事前にECUチップに事前に書き込んでおく必要があり、予め登録されている画像パターンと異なる画像データが入力されると認識率が低下する。車両に搭載されるシステムは、記憶容量が少ないため予め登録できる画像パターンが限られ、認識率が低いという課題がある。なお、画像パターンとは、例えば、歩行者が自転車に乗っている状態、カートを押しながら歩いている状態等が映された画像である。
そこで、本発明は、車両の周囲の対象物を高精度で検知することができる運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。
本発明による運転支援システムは、自動車に設けられる携帯端末と、前記携帯端末と通信可能な検知サーバとを備え、前記携帯端末は、前記自動車の周辺を撮影するための撮影装置と、撮影された映像を前記検知サーバに送信する映像送信部とを含み、前記検知サーバは、前記映像の加工処理を行う映像フィルタと、前記映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知エンジンとを含み、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信することを特徴とする。
本発明による運転支援方法は、自動車に設けられた携帯端末が撮影した前記自動車の周辺の映像を、前記携帯端末と通信可能な検知サーバに送信し、前記検知サーバが、前記映像の加工処理を行い、前記加工処理がされた映像に対象物が含まれるかどうかを検知し、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信することを特徴とする。
本発明による運転支援プログラムは、コンピュータに、自動車に設けられた携帯端末が備える撮影装置により撮影された前記自動車の周辺の映像を入力し、当該映像の加工処理を行う映像フィルタ処理と、前記加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知処理と、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信する送信処理とを実行させることを特徴とする。
本発明によれば、車両の周囲の対象物を高精度で検知することができる。
本発明による実施形態の運転支援システムの構成を示すブロック図である。 本発明による実施形態の運転支援システムの動作を示すフローチャートである。 運転支援システムの実施例を示す説明図である。 本発明による運転支援システムの主要部の構成を示すブロック図である。
以下、本発明による運転支援システムの実施形態を、図面を参照して説明する。
図1は、本実施形態の運転支援システムの構成を示すブロック図である。図1に示すように、運転支援システムは、プログラム制御により動作する自動車50と、携帯端末100と、歩行者検知サーバ200とを備える。
自動車50は、シャシ制御部51を含む。シャシ制御部51は、ステアリング制御システム511と、ABS(Antilock Brake System)制御システム512と、トラクション制御システム513と、クルーズ制御システム514とを含む。シャシ制御部51は、無線または有線ネットワークを介して携帯端末100と通信を行うことができる。シャシ制御51は、携帯端末100から送信された指示により、制御されることがある。つまり、自動車50は、携帯端末100の操作により減速、ハンドル操作、レーンチェンジ等の動作を行うことができる。
ステアリング制御システム511は、ステアリング動作により自動車50の向きを制御するシステムである。ABS制御システム512は、ブレーキを自動制御することにより急ブレーキ等によるタイヤのロックを防止するシステムである。トラクション制御システム513は、発進時および加速時におけるタイヤの空転を防止する装置である。クルーズ制御システム514は、運転者がアクセルペダルを踏み続けなくてもセットした速度を維持する制御を行う。
携帯端末100は、センサ113と、歩行者検知エンジン141と、画像フィルタ142と、映像記録部150と、映像送信部151と、アラーム部160と、ディスプレイ部170と、カメラ180とを備える。歩行者検知エンジン141および画像フィルタ142は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するCPU(Central Processing Unit)等の情報処理装置によって実現される。映像記録部150は、例えば、HDD(Hard Disk Drive)等の記憶装置に記憶され、読み出される際にRAM(Random Access Memory)等のメモリに一時的に記憶される。
携帯端末100は、例えば、インターネットとの親和性が高く、パソコンの機能をベースとして作られた多機能なスマートフォンである。携帯端末100は、例えば、自動車50のダッシュボードの上に設置される。
センサ113は、走行中に自動車50の位置情報や状況を把握する。センサ113は、例えば、GPS(Global Positioning System)、3軸ジャイロ、加速度センサ、近接センサ、環境光センサ等である。
歩行者検知エンジン141は、携帯端末100のカメラ180により撮影した画像から歩行者を検知する機能である。歩行者検知エンジン141は、具体的には、走行中の画像から歩行者と思われる部分を検知し、予め定められたルールに基づいて、歩行者であることの確からしさを示す検出率をスコアとして出力する。また、歩行者検知エンジン141は、スコアが規定基準を満たすかどうか判定する。
なお、本実施形態の運転支援システムが検知する対象物は、歩行者でなくてもよく、例えば、他の車または電柱等の障害物であってもよい。以下、対象物が歩行者であるものとして説明する。
画像フィルタ142は、明るさ調整部143と、拡大部144とを含む。明るさ調整部143は、画像の明るさの調整を行う。拡大部144は、画像の拡大を行う。画像フィルタ142は、明るさ調整部143および拡大部144を用いて、携帯端末100から撮影された画像から歩行者を検知しやすい画像に加工する。画像フィルタ142は、携帯端末100の性能範囲において、画像を瞬時に加工および処理できる。
映像記録部150は、カメラ180が撮影した映像を記録する。映像送信部151は、映像記録部150に記録された映像、または画像フィルタ142により加工処理された画像を歩行者検知サーバ200へ送信する。アラーム部160は、歩行者が検知された際に音声等によるアラームを発信し、運転手に歩行者がいることを知らせる。
ディスプレイ部170は、携帯端末100が撮影している映像、および歩行者を検知した際に警告メッセージを表示する。
カメラ180は、一般的なデジタルカメラであり、自動車50の走行中に、周辺を撮影する。カメラ180が撮影する映像は、動画または静止画のいずれであってもよい。本実施形態では、カメラ180が撮影する映像が静止画であるものとして、説明する。
歩行者検知サーバ200は、画像フィルタ250と、歩行者検知エンジン260と、歩行者画像データベース270とを含む。歩行者検知エンジン260および画像フィルタ250は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するCPU等の情報処理装置によって実現される。歩行者画像データベース270は、例えば、HDD等の記憶装置に記憶され、読み出される際にRAM等のメモリに一時的に記憶される。
歩行者検知サーバ200に搭載されるCPUは、コンピューターサーバ用のハイスペックな中央処理装置であり、携帯端末100に搭載されているCPUの機能より高速な処理を行うことができる。歩行者検知サーバ200に搭載されるCPUは、携帯端末100から撮影された画像を加工する機能を備えている。歩行者検知サーバ200に搭載されるHDDは、例えば内蔵されているハードディスクドライブである。歩行者検知サーバ200に搭載されるHDDおよびメモリは、携帯端末100に搭載されているHDDおよびメモリよりも容量が大きい。
画像フィルタ250は、明るさ調整部251と、拡大部252と、雨除去部253と、超解像部254とを含む。画像フィルタ250は、携帯端末100から撮影された画像を、歩行者を検知しやすいに画像に加工する。
雨除去部253は、入力した画像の中から雨が映された部分を除去する。超解像部254は、小さな歩行者などの画像を、鮮明に拡大できる。超解像部254は、具体的には、動画内の画像や連写でとらえた複数の画像を重ね合わせ、1枚の高解像度の画像を生成する。
明るさ調整部251、拡大部252は、一般的な携帯端末にも搭載されている。一方、雨除去部253、超解像部254は、一般的な携帯端末100の処理能力では瞬時にできない加工等を行う。
画像フィルタ250により行われる処理は、携帯端末100が実行すると膨大な時間がかかるが、歩行者検知サーバ200が実行すると迅速に行うことができる。よって、本実施形態の運転支援システムは、画像フィルタ250が画像処理を行うことにより、迅速およびリアルタイムに歩行者を検知できる。
歩行者画像データベース270は、多数の携帯端末が撮影した歩行者の画像が記憶されたデータベースである。具体的には、データベース270には予め歩行者を検知した画像が成果「辞書」として用意されている。辞書には、さまざまな倍率や形態の歩行者の画像が格納されている。
歩行者検知エンジン260は、携帯端末100が撮影した画像から歩行者を検知する。歩行者検知エンジン260は、具体的には、走行中の画像から歩行者と思われる部分を検知し、予め定められたルールに基づいて、歩行者であることの確からしさを示す検出率をスコアとして出力する。また、歩行者検知エンジン260は、スコアが規定基準を満たすかどうか判定する。
歩行者検知エンジン260は、画像フィルタ250による処理を行った後の画像のスコアが規定基準を満たさない場合、入力した画像内の歩行者と思われる部分と類似し高解像度の歩行者画像を、画像データベース270に記憶された辞書から検索し、抽出する。つまり、歩行者検知エンジン260は、画像データベース270を参照することにより、1枚の入力画像と類似した高解像の歩行者画像を得ることができる。そして、歩行者検知エンジン260は、類似画像がある場合、類似画像を基に歩行者を検知する。
次に、本実施形態の運転支援システムの動作を説明する。図2は、本実施形態の運転支援システムの動作を示すフローチャートである。
まず、携帯端末100に備えられたカメラ180は、走行中に自動車50の周辺を撮影する。映像送信部151は、撮影された画像を歩行者検知サーバ200に送信する(ステップA1)。
歩行者検知サーバ200は、送信された画像を歩行者画像データベース270に格納する(ステップA2)。歩行者検知エンジン141は、走行中の画像から歩行者と思われる部分を検知し、予め定められたルールに基づいて、検出率をスコアとして出力する(ステップA3)。歩行者検知エンジン141は、スコアが規定基準を満たすかどうか判定する(ステップA4)。歩行者検知エンジン141は、例えば、画像の中にある人物が歩行者である確率が99%である場合、スコアを99とする。歩行者検知エンジン141は、例えば、スコアが80以上の場合、歩行者が検知されたと判定し、スコアが80未満の場合は、歩行者が検知されていないと判定する。スコアの規定基準のデフォルト設定は、ユーザ自身が変更できる。
ステップA4で歩行者検知のスコアが規定基準を満たす場合、アラーム部160は、携帯端末100の音声等によるアラームを発信する(ステップA5)。また、ディスプレイ部170は、歩行者の警告画面をアラームと同時に表示してもよい。これにより、自動車50の運転手は、歩行者との衝突を防止するための行動をすることができる。
アラーム部160がアラームを発信した後、携帯端末100のセンサ113は、速度や歩行者との距離を測定し、運転手による自動車50の減速やレーンチェンジ等、歩行者を回避するための改善動作が行われたかを確認する。改善動作が行われない場合、携帯端末100は、自動車50のシャシ制御51を制御させることで強制的に自動車を減速させる等の改善動作をさせる(ステップA6)。携帯端末100は、例えば、ステアリング制御システム511にレーンチェンジをさせることにより歩行者との衝突を防止する。または、携帯端末100は、ブレーキ操作とともにABS制御システム512を動作させることにより、自動車50は、歩行者に衝突する前に停止する。携帯端末100は、例えば、歩行者の位置が自動車50と近い場合、アラーム発信するとともに、すぐにシャシ制御部51に改善動作をさせてもよい。
一方、ステップA4で歩行者検出のスコアが規定基準を満たさない場合(例えばスコアが60である場合)、携帯端末100は、画像フィルタ142を用いて画像を加工処理する(ステップA7)。画像フィルタ142は、例えば、明るさ調整部143を用いて画像の明るさを変更したり、拡大部144を用いて歩行者と思われる画像を拡大したりする。歩行者検知エンジン141は、画像フィルタ142から得た画像を入力し、再度歩行者検知を試みる(ステップA8)。
歩行者検知エンジン141は、スコアが規定基準を満たしたかどうか再度確認する(ステップA9)。スコアが規定基準を満たす場合、ステップA5の処理が行われる。また、スコアが規定基準を満たさない場合、映像送信部151は、フィルタ処理された画像を歩行者検知サーバ200へ送信する(ステップA10)。歩行者検知サーバ200は、画像を受信し(ステップA11)、歩行者検知サーバ200に搭載されている画像フィルタ250を用いて画像の加工を行う(ステップA12)。
歩行者検知エンジン260は、送られた画像から歩行者と思われる部分を検知し、予め定められたルールに基づいて、検出率をスコアとして出力する(ステップA13)。歩行者検知エンジン260は、加工された歩行者画像のスコアが、規定基準を満たすかどうか確認する(ステップA14)。規定基準を満たしている場合は、ステップA5に処理が移行する。規定基準を満たさない場合、歩行者検知エンジン260は、歩行者画像データベース270にアクセスし、類似し高解像度の画像を検索し、抽出する(ステップA15)。データベース270にはさまざまな倍率や形態の歩行者等を検知した高解像度の画像が、予め成果「辞書」として格納されている。歩行者検知エンジン260は、この辞書を参照し、入力画像と最も似ている歩行者の画像データを検索し、抽出する。
歩行者検知エンジン260は、歩行者画像データベース270から抽出された画像に対し、再度、歩行者検知処理を実施する(ステップA16)。そして、歩行者検知エンジン260は、検出スコアが規定基準を満たしたかどうか確認する(ステップA17)。規定基準を満たしている場合、処理はステップA5へ移行する。規定基準を満たしている場合、つまり歩行者を検知できない場合、歩行者検知サーバ200は、歩行者を検知できなかったことを示すメッセージを携帯端末100に送信する。
なお、携帯端末100は、画像フィルタ142による加工処理を行わずに、撮影された画像をそのまま歩行者検知サーバ200に送信してもよい。また、歩行者検知サーバ200は、画像フィルタ250を用いた検知処理(ステップA12〜ステップA14)と、歩行者画像データベース270を用いた検知処理(ステップA15〜ステップA17)のいずれか一方のみを実施してもよい。
次に、本実施形態の運転支援システムの実施例を説明する。図3は、運転支援システムの実施例を示す説明図である。
図3に示すように、自動車50に搭載された携帯端末100が、歩行者10を含む範囲を撮影する。そして、検知エンジン141は、撮影した画像に歩行者が含まれるか検知する。歩行者検知エンジン141は、例えば画像が不鮮明である場合、実際に画像に歩行者が含まれていても、歩行者が含まれていないと判定することがある。本実施例では、スコアが52となり、歩行者ではないという判定がされたとする。
この場合、画像フィルタ142は、再度、画像加工を行う。そして、歩行者検知エンジン141が、再度画像検知を行うが、同様の結果が出たとする。携帯端末100は、その判定結果と画像とを自動車クラウドセンター300内の歩行者検知サーバ200に送信する。
歩行者検知サーバ200は、画像フィルタ250を用いて送信された画像を加工する。そして、歩行者検知エンジン260は、歩行者の検知を行う。この検知におけるスコアが規定基準より低い場合、歩行者画像データベース270を用いて類似画像を抽出する。そして、歩行者検知エンジン260は、歩行者の検知を行う。この検知におけるスコアが86となり歩行者であるという判定がされたとする。歩行者検知サーバ200は、その判定結果を携帯端末100に送信する。
携帯端末100は、画像が歩行者であるという判定結果を受けると、アラーム部160を用いて運転者に警告を発する。携帯端末100は、アラーム発生後に運転者が回避行動をしない場合、自動者50のシャシ制御部51に歩行者10を回避する制御を行うように指示を送る。シャシ制御部51は、指示を受けると、例えばステアリング制御システム511を動作させて歩行者10を回避する。または、シャシ制御部51は、ブレーキ操作およびABS制御システム512による制御を行うことにより、自動車50を停止させる。
本実施形態の運転支援システムによれば、携帯端末100ではできない高精度な検出処理を歩行者検知サーバ200が行うことにより、高精度で歩行者を検知することができる。これにより、本実施形態の運転支援システムは、自動車と歩行者との衝突等の事故を抑制することができる。
図4は、本発明による運転支援システムの主要部の構成を示すブロック図である。図4に示すように、本発明による運転支援システムは、自動車に設けられる携帯端末100と、携帯端末100と通信可能な検知サーバ210とを備え、携帯端末100は、自動車の周辺を撮影するための撮影装置190と、撮影された映像を検知サーバ210に送信する映像送信部151とを含み、検知サーバ210は、映像の加工処理を行う映像フィルタ280と、映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知エンジン290とを含み、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信する。
また、上記の実施形態には、以下の(1)〜(6)に記載された運転支援システムも開示されている。
(1)自動車(例えば、自動車50)に設けられる携帯端末(例えば、携帯端末)と、携帯端末と通信可能な検知サーバ(例えば、歩行者検知サーバ200)とを備え、携帯端末は、自動車の周辺を撮影するための撮影装置(例えば、カメラ180)と、撮影された映像を検知サーバに送信する映像送信部(例えば、映像送信部151)とを含み、検知サーバは、映像の加工処理を行う映像フィルタ(例えば、画像フィルタ250)と、映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物(例えば、歩行者)が含まれるかどうかを検知する検知エンジン(例えば、歩行者検知エンジン260)とを含み、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信する運転支援システム。
(2)運転支援システムは、検知サーバが、複数の映像が予め記憶された記憶装置(例えば、歩行者画像データベース270)を含み、検知エンジンは、携帯端末から送信された映像と類似する映像を、前記記憶装置に記憶された複数の映像の中から抽出し、抽出した映像に対象物が含まれるかどうかを検知するように構成されていてもよい。
(3)運転支援システムは、映像フィルタが、入力した映像の中から雨が映された部分を除去する雨除去部(例えば、雨除去部253)を含むように構成されていてもよい。
(4)運転支援システムは、映像フィルタが、入力した複数の映像を重ね合わせることにより高解像度の画像を生成する超解像部(例えば、超解像部254)を含むように構成されていてもよい。
(5)運転支援システムは、携帯端末が、映像の中に対象物が含まれるという判定結果を受信した場合、自動車の運転者に警告を発するアラーム部(例えば、アラーム部160)を含むように構成されていてもよい。このような運転支援システムによれば、対象物が周辺にある場合、運転者に回避させることができる。
(6)運転支援システムは、携帯端末が、映像の中に対象物が含まれるという判定結果を受信した場合、自動車に対象物を回避するための制御(例えば、シャシ制御部51による制御)をさせるように構成されていてもよい。このような運転支援システムによれば、対象物が周辺にある場合、自動車に自動的に回避させることができる。
本発明は、一般的な乗用自動車に適用できる。
50 自動車
51 シャシ制御部
100 携帯端末
151 映像送信部
160 アラーム部
180 カメラ
190 撮影装置
200 歩行者検知サーバ
210 検知サーバ
250 画像フィルタ
253 雨除去部
254 超解像部
260 歩行者検知エンジン
270 歩行者画像データベース
280 映像フィルタ
290 検知エンジン
本発明による運転支援システムは、自動車に設けられる携帯端末と、前記携帯端末と通信可能な検知サーバとを備え、前記携帯端末は、前記自動車の周辺を撮影するための撮影装置と、撮影された映像に含まれる対象物について、対象物であることの確からしさを示すスコアを出力する携帯端末用検知エンジンと、前記スコアが規定基準を満たさない場合に、前記映像の加工処理を行う携帯端末用映像フィルタと、加工処理された前記映像のスコアが前記規定基準を満たさない場合に、加工処理された前記映像を前記検知サーバに送信する映像送信部とを含み、前記検知サーバは、前記映像の加工処理を行う映像フィルタと、前記映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知エンジンとを含み、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信することを特徴とする。
本発明による運転支援方法は、自動車に設けられた携帯端末が撮影した前記自動車の周辺の映像の対象物に含まれる対象物について、対象物であることの確からしさを示すスコアを出力し、前記スコアが規定基準を満たさない場合に、前記映像の加工処理を行い、加工処理された前記映像のスコアが前記規定基準を満たさない場合に、加工処理された前記映像を、前記携帯端末と通信可能な検知サーバに送信し、前記検知サーバが、前記映像の加工処理を行い、前記検知サーバにより加工処理がされた映像に対象物が含まれるかどうかを検知し、当該映像の中に対象物が含まれると判定した場合、判定結果を携帯端末に送信することを特徴とする。

Claims (10)

  1. 自動車に設けられる携帯端末と、
    前記携帯端末と通信可能な検知サーバとを備え、
    前記携帯端末は、
    前記自動車の周辺を撮影するための撮影装置と、
    撮影された映像を前記検知サーバに送信する映像送信部とを含み、
    前記検知サーバは、
    前記映像の加工処理を行う映像フィルタと、
    前記映像フィルタにより加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知エンジンとを含み、
    当該映像の中に対象物が含まれると判定した場合、判定結果を前記携帯端末に送信する
    ことを特徴とする運転支援システム。
  2. 検知サーバは、複数の映像が予め記憶された記憶装置を含み、
    検知エンジンは、携帯端末から送信された映像と類似する映像を、前記記憶装置に記憶された複数の映像の中から抽出し、抽出した映像に対象物が含まれるかどうかを検知する
    請求項1記載の運転支援システム。
  3. 映像フィルタは、入力した映像の中から雨が映された部分を除去する雨除去部を含む
    請求項1または請求項2記載の運転支援システム。
  4. 映像フィルタは、入力した複数の映像を重ね合わせることにより高解像度の画像を生成する超解像部を含む
    請求項1から請求項3のうちのいずれか1項に記載の運転支援システム。
  5. 携帯端末は、映像の中に対象物が含まれるという判定結果を受信した場合、自動車の運転者に警告を発するアラーム部を含む
    請求項1から請求項4のうちのいずれか1項に記載の運転支援システム。
  6. 携帯端末は、映像の中に対象物が含まれるという判定結果を受信した場合、自動車に対象物を回避するための制御をさせる
    請求項1から請求項5のうちのいずれか1項に記載の運転支援システム。
  7. 自動車に設けられた携帯端末が撮影した前記自動車の周辺の映像を、前記携帯端末と通信可能な検知サーバに送信し、
    前記検知サーバが、前記映像の加工処理を行い、
    前記加工処理がされた映像に対象物が含まれるかどうかを検知し、
    当該映像の中に対象物が含まれると判定した場合、判定結果を前記携帯端末に送信する
    ことを特徴とする運転支援方法。
  8. 検知サーバが、複数の映像を予め記憶し、
    携帯端末から送信された映像と類似する映像を、記憶された前記複数の映像の中から抽出し、抽出した映像に対象物が含まれるかどうかを検知する
    請求項7記載の運転支援方法。
  9. コンピュータに、
    自動車に設けられた携帯端末が備える撮影装置により撮影された前記自動車の周辺の映像を入力し、当該映像の加工処理を行う映像フィルタ処理と、
    前記加工処理をされた映像を入力し、当該映像に対象物が含まれるかどうかを検知する検知処理と、
    当該映像の中に対象物が含まれると判定した場合、判定結果を前記携帯端末に送信する送信処理と
    を実行させるための運転支援プログラム。
  10. コンピュータに、
    複数の映像を予め記憶する記憶処理と、
    携帯端末から送信された映像と類似する映像を、記憶された前記複数の映像の中から抽出し、抽出した映像に対象物が含まれるかどうかを検知する処理とを実行させる
    請求項9記載の運転支援プログラム。
JP2013029588A 2013-02-19 2013-02-19 運転支援システムおよび運転支援方法 Expired - Fee Related JP5561396B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013029588A JP5561396B1 (ja) 2013-02-19 2013-02-19 運転支援システムおよび運転支援方法
EP13198511.1A EP2767966B1 (en) 2013-02-19 2013-12-19 Driver assistance system, driver assistance method and driver assistance program
US14/165,825 US9230179B2 (en) 2013-02-19 2014-01-28 Driver assistance system, driver assistance method and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013029588A JP5561396B1 (ja) 2013-02-19 2013-02-19 運転支援システムおよび運転支援方法

Publications (2)

Publication Number Publication Date
JP5561396B1 JP5561396B1 (ja) 2014-07-30
JP2014160298A true JP2014160298A (ja) 2014-09-04

Family

ID=50033307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013029588A Expired - Fee Related JP5561396B1 (ja) 2013-02-19 2013-02-19 運転支援システムおよび運転支援方法

Country Status (3)

Country Link
US (1) US9230179B2 (ja)
EP (1) EP2767966B1 (ja)
JP (1) JP5561396B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
US9846927B2 (en) 2014-05-20 2017-12-19 Qualcomm Incorporated Systems and methods for haziness detection
US9734425B2 (en) 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
EP3409552A1 (en) * 2017-05-31 2018-12-05 Continental Automotive GmbH Driver assistance system, vehicle and method of providing driver assistance
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
CN108846372A (zh) * 2018-06-27 2018-11-20 肖鑫茹 一种智能交通系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023535A (en) 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
JP3444281B2 (ja) 2000-09-29 2003-09-08 ミノルタ株式会社 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
JP3988683B2 (ja) * 2003-06-12 2007-10-10 株式会社日立製作所 画像情報取得システム及び車載端末
WO2008041532A1 (fr) * 2006-09-25 2008-04-10 Pioneer Corporation Appareil de diffusion d'information, dispositif de terminal d'information, procédé de diffusion d'information, procédé d'affichage d'information, programme de diffusion d'information, programme d'affichage d'information et support d'enregistrement
JP2010033321A (ja) * 2008-07-29 2010-02-12 Mitsubishi Heavy Ind Ltd 画像処理アルゴリズムの評価システム
US20100157061A1 (en) * 2008-12-24 2010-06-24 Igor Katsman Device and method for handheld device based vehicle monitoring and driver assistance
JP5210233B2 (ja) 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
GB2476097A (en) * 2009-12-11 2011-06-15 Tony Jones A portable communication device for evaluating an environment
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
US8493198B1 (en) * 2012-07-11 2013-07-23 Google Inc. Vehicle and mobile device traffic hazard warning techniques

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム

Also Published As

Publication number Publication date
JP5561396B1 (ja) 2014-07-30
EP2767966A1 (en) 2014-08-20
EP2767966B1 (en) 2016-03-09
US20140233795A1 (en) 2014-08-21
US9230179B2 (en) 2016-01-05

Similar Documents

Publication Publication Date Title
JP5561396B1 (ja) 運転支援システムおよび運転支援方法
US11295143B2 (en) Information processing apparatus, information processing method, and program
US20180136643A1 (en) Visual communication system for autonomous driving vehicles (adv)
KR102227316B1 (ko) 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템
JP7251120B2 (ja) 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
US20200017123A1 (en) Drive mode switch controller, method, and program
KR102210140B1 (ko) 센서 데이터로부터 생성된 물체를 평활화하기 위한 맵 정보의 이용
US11208100B2 (en) Server device and vehicle
JP2017010560A (ja) 車両の運転支援装置
JP6528213B2 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
JP6595647B2 (ja) 走行制御装置、車両および走行制御方法
TWI573713B (zh) 行車距離提示裝置及其方法
US11383733B2 (en) Method and system for detecting a dangerous driving condition for a vehicle, and non-transitory computer readable medium storing program for implementing the method
JP6370249B2 (ja) 車載警告装置
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113682112A (zh) 对车内气体的控制方法和控制装置
JP2013127754A (ja) 記録装置、記録プログラム及び記録方法
JP7069726B2 (ja) 通知装置及び車載機
US20240161514A1 (en) Electronic device and method for vehicle which enhances driving environment related function
WO2022162770A1 (ja) 車載装置、処理方法及びプログラム
JP6596047B2 (ja) 車両制御装置、車両、及び方法
EP3998769A1 (en) Abnormality detection device, abnormality detection method, program, and information processing system
CN117325837A (zh) 车辆制动控制方法、装置、可读存储介质、芯片及车辆
JP2022189281A (ja) 制御支援装置
JP2022042284A (ja) オブジェクト認識制御装置、およびオブジェクト認識方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R150 Certificate of patent or registration of utility model

Ref document number: 5561396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees