JP2018013847A - 端末装置、運転補助方法及び運転補助プログラム - Google Patents

Abstract

【課題】自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することを課題とする。【解決手段】画像取得部は、歩道を通行する車両の進行方向を撮影した画像を取得する。幅員導出部は、取得された画像から、歩道の幅員を導出する。歩行者識別部は、取得された画像から、歩道を通行する歩行者を識別する。占有割合算出部は、導出された幅員に対して、識別された歩行者が占める割合を示す占有割合を算出する。第１の通行可否判定部は、算出された占有割合をもとに、車両の通行可否を判定する。運転者通知情報出力部は、通行可否の判定結果に応じて、車両の運転者に通知するための情報を示す運転者通知情報を出力する。歩行者通知情報出力部は、通行可否の判定結果に応じて、歩行者に通知するための情報を示す歩行者通知情報を出力する。【選択図】図４

Description

本発明は、端末装置、運転補助方法及び運転補助プログラムに関する。

近年、自動車の自動運転やオートクルーズ、衝突防止のための技術の開発が盛んに行なわれており、実用化されている技術も存在する。自動車の安全走行のための技術としては、例えば、道路標識の情報を運転者に通知するものや、運転時の撮影画像から道路幅を測定し、自車両の進入可否を判定するものがある。このほか、運転時の撮影画像をもとに、対象物が近づいてきているのか、遠ざかっているのかによって危険度を判定し、危険度に応じて対象物を強調した画像を出力する技術もある。これらの技術は、車両の一種である自転車に対しても採用し得る。例えば、自転車に対して採用する場合は、進入や通行が可能な歩道であるかを運転者に通知したり、歩道に存在する対象物の状況に応じて対象物を強調した画像を出力したりすることができる。

しかしながら、従来技術は、自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することが困難であるという問題がある。具体的には、従来技術は、自転車の運転者が各種情報を認識できたとしても、歩行者は自転車の通行を認識しているわけではないため、自転車と歩行者との接触を低減できているとは言い難い。

本発明は、上記に鑑みてなされたものであって、自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る端末装置は、歩道を通行する車両の進行方向を撮影した画像を取得する画像取得部と、取得された前記画像から、前記歩道の幅員を導出する幅員導出部と、取得された前記画像から、前記歩道を通行する歩行者を識別する歩行者識別部と、導出された前記幅員に対して、識別された前記歩行者が占める割合を示す占有割合を算出する占有割合算出部と、算出された前記占有割合をもとに、前記車両の通行可否を判定する第１の通行可否判定部と、前記通行可否の判定結果に応じて、前記車両の運転者に通知するための情報を示す運転者通知情報を出力する運転者通知情報出力部と、前記通行可否の判定結果に応じて、前記歩行者に通知するための情報を示す歩行者通知情報を出力する歩行者通知情報出力部とを有する。

本発明の一つの様態によれば、自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することができるという効果を奏する。

図１は、実施の形態１に係る運転補助システムのシステム構成例を示す図である。 図２は、実施の形態１に係る端末装置のハードウェア構成例を示すブロック図である。 図３は、実施の形態１に係る端末装置の設置例を示す図である。 図４は、実施の形態１に係る端末装置の機能構成例を示すブロック図である。 図５は、実施の形態１に係る道路標識情報の例を示す図である。 図６Ａは、実施の形態１に係る歩道の幅員の導出例を説明する図である。 図６Ｂは、実施の形態１に係る歩道の幅員の導出例を説明する図である。 図７Ａは、実施の形態１に係る角度の測定方法の例を説明する図である。 図７Ｂは、実施の形態１に係る角度の測定方法の例を説明する図である。 図８Ａは、実施の形態１に係る撮影画像の例を示す図である。 図８Ｂは、実施の形態１に係る撮影画像で平面領域を規定する例を説明する図である。 図８Ｃは、実施の形態１に係る歩行者の占有領域を規定する例を説明する図である。 図８Ｄは、実施の形態１に係る歩行者の占有領域を整列した例を説明する図である。 図８Ｅは、実施の形態１に係る歩行者の占有割合の算出例を説明する図である。 図９Ａは、実施の形態１に係る通行不可であることを示す運転者通知情報の例を示す図である。 図９Ｂは、実施の形態１に係る通行可であることを示す運転者通知情報の例を示す図である。 図１０は、実施の形態１に係る歩行者通知情報の例を示す図である。 図１１は、実施の形態１に係る標識判定処理の流れの例を示すフローチャートである。 図１２は、実施の形態１に係る幅員判定処理の流れの例を示すフローチャートである。 図１３は、実施の形態１に係る占有割合判定処理の流れの例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る端末装置、運転補助方法及び運転補助プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。

（実施の形態１）
［システム構成］
図１を用いて、実施の形態１に係る運転補助システムのシステム構成を説明する。図１は、実施の形態１に係る運転補助システムのシステム構成例を示す図である。

図１に示すように、運転補助システム１には、自転車等を運転する運転者が所有する端末装置１０と、歩道を通行する歩行者が所有する端末装置５０とが含まれる。各装置は、それぞれ複数台含まれていても良い。以下では、１台の端末装置１０と、複数台の端末装置５０とが運転補助システム１に含まれる場合を例に挙げる。端末装置１０と端末装置５０とは、インターネット等のネットワークに接続される。

端末装置１０は、カメラが搭載されたスマートフォンやタブレット端末等の情報機器であり、自転車の進行方向（例えば、自転車の前方）を撮影可能なように、自転車の所定箇所に設置される。自転車は、車両の一種であるため、原則として自動車と同様に車道を走行するものであるが、通行可能な歩道も存在する。そこで、端末装置５０を所有する歩行者が通行する歩道を、端末装置１０が設置された自転車が通行する場合を想定する。また、端末装置５０は、スマートフォンやタブレット端末、携帯電話機等の情報機器である。なお、端末装置５０には、カメラが搭載されていることを要しない。

上述した構成において、端末装置１０は、歩道を通行する自転車の進行方向を撮影した画像（カメラによって撮影された画像）を取得する。そして、端末装置１０は、取得された画像から、自転車が通行する歩道の幅員を導出する。また、端末装置１０は、取得された画像から、歩道を通行する歩行者を識別する。続いて、端末装置１０は、導出された幅員に対して、識別された歩行者が占める割合を示す占有割合を算出する。その後、端末装置１０は、算出された占有割合をもとに、歩道を通行する自転車の通行可否を判定する。例えば、端末装置１０は、撮影された画像中での、歩道の幅員に対する歩行者の占有割合が所定割合以上である場合に、歩道を通行する自転車を通行可とし、所定割合未満である場合に、歩道を通行する自転車を通行不可として判定する。すなわち、歩道を通行する歩行者の数が多ければ、歩行者と自転車とが接触する可能性が高くなるため、接触を避けさせるために、歩道の幅員に対して歩行者の占有割合が所定割合以上であれば、歩道を通行する自転車を通行不可として判定する。

そして、端末装置１０は、通行可否の判定結果に応じて、自転車の運転者に通知するための情報を示す運転者通知情報を出力する。例えば、端末装置１０は、通行可であると判定された場合に、通行可であることを示す情報を、該端末装置１０の表示部に表示出力する。一方、端末装置１０は、通行不可であると判定された場合に、通行不可であることを示す情報を、該端末装置１０の表示部に表示出力する。ここで、自転車が通行可能な歩道を通行しているのであれば、通行不可であることを示す情報の出力は、自転車の運転者に注意喚起するためのものとなる。

また、端末装置１０は、通行可否の判定結果に応じて、歩道を通行する歩行者に通知するための情報を示す歩行者通知情報を出力する。例えば、端末装置１０は、通行可又は通行不可であると判定された場合に、自転車が接近していることを示す情報を、端末装置５０に対して送信する。これにより、端末装置５０では、自転車が接近していることを示す情報が表示部に表示出力される。

つまり、端末装置１０は、歩道の幅員に対する歩行者の占有割合が所定割合以上である場合に、歩道を通行する自転車を通行不可とし、通行不可であることを示す情報を該端末装置１０の表示部に表示出力するとともに、自転車が接近していることを示す情報を端末装置５０に対して送信する。この結果、端末装置１０は、自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することができる。

［ハードウェア構成］
次に、図２を用いて、実施の形態１に係る端末装置１０のハードウェア構成を説明する。図２は、実施の形態１に係る端末装置１０のハードウェア構成例を示すブロック図である。

図２に示すように、端末装置１０は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４と、操作表示部１５と、通信Ｉ／Ｆ１６と、カメラ１７と、ＧＰＳ（Global Positioning System）アンテナ１８と、スピーカ１９とを有する。上記各部は、システムバス１１を介して相互に接続される。

ＣＰＵ１２は、端末装置１０の動作を統括的に制御する。例えば、ＣＰＵ１２は、ＲＡＭ１４等を作業領域として、ＲＯＭ１３等に格納されたプログラムを実行することで、端末装置１０全体の動作を制御する。操作表示部１５は、タッチパネルやハードキー等を有し、端末装置１０に対する情報の入力を受け付け、各種画面を表示する。なお、操作表示部１５は、ディスプレイ等の表示装置と、ハードキー等の操作入力装置とに分かれていても良い。ユーザは、端末装置１０の後述する機能を利用する場合に、操作表示部１５を操作する。これにより、端末装置１０は、後述する各種機能を実現する。

通信Ｉ／Ｆ１６は、端末装置５０等の外部装置と通信するためのインタフェースである。カメラ１７は、端末装置１０が設置された自転車の進行方向を撮影するために使用される。ＧＰＳアンテナ１８は、端末装置１０の現在位置を測位するために使用される。スピーカ１９は、ＣＰＵ１２による制御に従って音を出力するために使用される。

［端末装置の設置］
次に、図３を用いて、実施の形態１に係る端末装置１０の設置について説明する。図３は、実施の形態１に係る端末装置１０の設置例を示す図である。

図３に示すように、端末装置１０は、自転車の進行方向側にカメラ面を、自転車の進行方向とは反対側に表示面を向けた状態で、ハンドル支柱の上部に固定器具等を使用して設置される。図３では、進行方向を矢印で示している。但し、進行方向にカメラ１７による撮影を遮るものがないのであれば、図示した位置とは異なる箇所に設置するようにしても良い。

［機能構成］
次に、図４を用いて、実施の形態１に係る端末装置１０の機能構成を説明する。図４は、実施の形態１に係る端末装置１０の機能構成例を示すブロック図である。

図４に示すように、端末装置１０は、画像取得部１０１と、標識検出部１０２と、第３の通行可否判定部１０３と、記憶部１０４と、運転者通知情報出力部１０５と、歩行者通知情報出力部１０６と、幅員導出部１０７とを有する。加えて、端末装置１０は、第２の通行可否判定部１０８と、歩行者識別部１０９と、特定部１１０と、占有割合算出部１１１と、第１の通行可否判定部１１２とを有する。記憶部１０４以外の上記各部は、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

画像取得部１０１は、歩道を通行する自転車の進行方向を撮影した画像を取得する。より具体的には、画像取得部１０１は、端末装置１０に搭載されたカメラ１７によって撮影された画像であって、自転車の進行方向を撮影した画像を取得する。カメラ１７によって撮影された画像は、逐次入力される。以下では、画像取得部１０１によって取得された画像を「撮影画像」と呼ぶ場合がある。

標識検出部１０２は、撮影画像から標識を検出する。より具体的には、標識検出部１０２は、画像取得部１０１によって取得された撮影画像から、道路標識の画像を示す標識画像の候補を検出する。そして、標識検出部１０２は、検出した標識画像の候補と、記憶部１０４に記憶された道路標識情報の標識画像とを照合し、撮影画像に含まれる標識画像を特定する。標識検出部１０２は、色情報と形状特徴とを利用して道路標識を検出すれば良い（例えば、特開２００６−２５９８８５号公報の認識方法）。

かかる認識方法について簡単に説明する。まず、カラーの撮影画像を用意する。続いて、撮影画像中の色情報を用いて、標識が存在する領域を特定する。そして、撮影画像のエッジ画像を作成する。エッジ画像を用いることによって、撮影画像から特徴点を検出する場合よりも、より多くの特徴点を検出することが可能となる。その後、エッジ画像の特徴点と、別途用意された道路標識の画像とのパターンマッチングを行ない、撮影画像に含まれる道路標識の種類を特定する。なお、道路標識の認識は、同様の結果を得られるものであれば、上述した手法に限られるものではない。

図５は、実施の形態１に係る道路標識情報の例を示す図である。図５に示すように、記憶部１０４には、道路標識の画像データと、自転車の通行可否を表す自転車通行可否データとが対応付けて記憶される。図５に示す「補足」は、何を表す道路標識であるかを説明したものである。よって、記憶部１０４には、道路標識画像データと、自転車通行可否データとが記憶されていれば良い。標識検出部１０２は、検出した標識画像とのパターンマッチングで、記憶部１０４に記憶された道路標識画像データを利用する。端末装置１０は、道路標識情報を初期動作時に読み込むことで、以降は記憶部１０４に記憶された道路標識情報をもとに処理を実行すれば良い。また、端末装置１０は、道路標識の更新や変更に応じて、新たな道路標識情報を読み込むようにすれば良い。

但し、撮影画像に標識が含まれない場合も有り得る。例えば、「自転車通行可」を表す道路標識の設置基準は、現状、以下のように定められている。一つは、普通自転車が歩道を通行することができることとする道路の区間の全面又は道路の区間内の必要な地点。一つは、区間内の標識は、市街部道路にあってはおおむね２００メートル、地方部道路にあってはおおむね４００メートルの間隔で設置する。従って、区間の途中から歩道に進入してきた場合には、カメラ１７によって進行方向の画像を撮影したとしても、撮影画像に道路標識が含まれないことがある。

第３の通行可否判定部１０３は、検出された標識をもとに、歩道を通行する自転車の通行可否を判定する。より具体的には、第３の通行可否判定部１０３は、記憶部１０４を参照し、標識検出部１０２によって特定された標識画像（道路標識画像データ）に対応する自転車通行可否データを取得し、歩道を通行する自転車の通行可否を判定する。例えば、第３の通行可否判定部１０３は、自転車通行可否データが「可」であれば通行可であると判定し、自転車通行可否データが「否」であれば通行不可であると判定する。第３の通行可否判定部１０３による判定結果は、上述したように道路標識をもとにしたものである。このため、第３の通行可否判定部１０３によって通行不可と判定された場合、自転車は、その歩道を走行しないようにすべきである。なお、撮影画像に標識が含まれない場合や標識を特定できない場合には、第３の通行可否判定部１０３による通行可否の判定は行なわれない。

運転者通知情報出力部１０５は、通行可否の判定結果に応じて、自転車の運転者に通知するための情報を示す運転者通知情報を出力する。より具体的には、運転者通知情報出力部１０５は、第３の通行可否判定部１０３によって通行不可であると判定された場合に、通行不可であることを示す情報を含む運転者通知情報を、操作表示部１５に表示出力させる。上述したように、第３の通行可否判定部１０３による通行可否の判定は、道路標識をもとに行なわれる。このため、運転者通知情報出力部１０５は、走行してはいけない歩道である旨を、文字データや画像データとして操作表示部１５に表示出力させる。また、運転者通知情報出力部１０５は、走行してはいけない歩道である旨を、音データとしてスピーカ１９から出力させても良い。例えば、運転者通知情報出力部１０５は、走行してはいけない歩道である旨を音声データとしてスピーカ１９から出力させても良いし、所定の警告音をスピーカ１９から出力させても良い。ユーザは、所定の警告音を予め設定することができる。運転者通知情報出力部１０５は、文字データ、画像データ及び音データのうち少なくとも一つを含む運転者通知情報を、操作表示部１５やスピーカ１９に出力すれば良い。

歩行者通知情報出力部１０６は、通行可否の判定結果に応じて、歩行者に通知するための情報を示す歩行者通知情報を出力する。より具体的には、歩行者通知情報出力部１０６は、第３の通行可否判定部１０３によって通行不可であると判定された場合に、自転車が接近していることを示す情報を含む歩行者通知情報を、通信Ｉ／Ｆ１６を介して、端末装置５０に対して送信する。歩行者通知情報は、運転者通知情報と同様に、文字データ、画像データ及び音データのうち少なくとも一つであれば良い。歩行者通知情報を受信した端末装置５０は、該端末装置５０の表示部やスピーカ等から、歩行者通知情報を出力する。これにより、歩道を通行する歩行者は、自転車が接近していることを認識することができる。

幅員導出部１０７は、撮影画像から、歩道の幅員を導出する。より具体的には、幅員導出部１０７は、標識検出部１０２によって標識が検出されなかった場合、又は、第３の通行可否判定部１０３によって通行可であると判定された場合に、撮影画像から、歩道の幅員を導出する。ここで、図６Ａ及び図６Ｂを用いて、実施の形態１に係る歩道の幅員の導出について説明する。図６Ａ及び図６Ｂは、実施の形態１に係る歩道の幅員の導出例を説明する図である。図６Ａは、歩道を真上から見た鳥瞰図である。図６Ｂは、歩道を右側面から見た平面図である。

図６Ａ及び図６Ｂに示すカメラは、端末装置１０に搭載されたカメラ１７を指す。また、端末装置１０が設置された自転車が、図中矢印の方向を進行方向として、点Ａの位置から点Ｂの位置に移動する場合を想定する。図６Ａに示すように、三角形の平面が３つ存在することが分かる。幅員導出部１０７は、これら３つの三角形に対して、正弦定理と余弦定理とを使用して歩道の幅員を導出する。

まず、幅員導出部１０７は、時刻Ｔ０において、歩道の幅員を導出する場所を決定する。歩道の幅員を導出する場所の決定にあたっては、歩道の両端を認識できていることが好ましい。歩道の両端は、段差や建造物が存在することが多いため、歩道の平面に比べて特徴点が多くなる。よって、エッジ画像を用いた画像処理手法等により、歩道の境界を認識することが可能となる。そして、幅員導出部１０７は、歩道の境界を認識した後、歩道の幅員を導出する場所の左右どちらか一点（例えば、図６Ａ及び図６Ｂに示す点Ｃ）を決定する。点の決め方は、画像の何ライン目といった決め方で良い。続いて、幅員導出部１０７は、点Ｃから歩道と垂直に線を延ばしたときに、反対側の歩道の境界と交わる点を点Ｄとする。これらにより、点Ｃと点Ｄとを結ぶラインが、歩道の幅員を導出する場所として決定される。

次に、時刻Ｔ１（Ｔ１＞Ｔ０）に図６Ａ及び図６Ｂに示す点Ａに自転車が存在するものとして、カメラ１７は、点Ａの位置から進行方向（前方）を撮影する。また、幅員導出部１０７は、点Ａの位置の位置座標をＧＰＳアンテナ１８から取得する。そして、幅員導出部１０７は、画像取得部１０１によって取得された時刻Ｔ１の撮影画像から、角度αと角度βとを測定する。角度の測定方法については後述する。続いて、時刻Ｔ２（Ｔ２＞Ｔ１）に図６Ａ及び図６Ｂに示す点Ｂに自転車が存在するものとして、カメラ１７は、点Ｂの位置から進行方向（前方）を撮影する。また、幅員導出部１０７は、点Ｂの位置の位置座標をＧＰＳアンテナ１８から取得する。そして、幅員導出部１０７は、画像取得部１０１によって取得された時刻Ｔ２の撮影画像から、角度γと角度δとを測定する。

その後、幅員導出部１０７は、時刻Ｔ１で取得した位置座標（点Ａの位置座標）と、時刻Ｔ２で取得した位置座標（点Ｂの位置座標）との差分を計算し、時刻Ｔ１から時刻Ｔ２までの間に移動した距離（図６Ａ及び図６Ｂに示す「走行距離ｘ」）を算出する。この時点で、角度αと、角度γと、距離ｘとが既知になったため、幅員導出部１０７は、正弦定理を用いて、図６Ａ及び図６Ｂに示す「ｏ」と「ｐ」との距離を算出する。同様に、角度βと、角度δと、距離ｘとが既知になったため、幅員導出部１０７は、正弦定理を用いて、図６Ａに示す「ｑ」と「ｒ」との距離を算出する。そして、ここまでの算出結果により、角度ε（３６０−角度γ−角度δ）と、距離ｏと、距離ｑとが既知になったため、幅員導出部１０７は、余弦定理を用いて、歩道の幅員ｚ（点Ｃと点Ｄとを結ぶライン）を算出する。

次に、上述した角度の測定方法について説明する。図７Ａ及び図７Ｂは、実施の形態１に係る角度の測定方法の例を説明する図である。図７Ａは、撮影対象と画像との結像の関係を示す図である。図７Ｂは、角度の算出を説明する図である。

図７Ａに示すように、数学的に定式化するために、光学中心Ｏｃに原点が存在する座標系において、レンズの中心を通り、レンズ面と直交する方向にｚ軸をとる。ここでは、ｚ軸を「カメラの光軸」と呼ぶ。また、画像面は、光軸と垂直になるように置かれるものとする。従って、ｘｙ平面が画像面と平行になる。光学中心Ｏｃから画像面までの距離は、レンズの焦点距離ｆに相当する。画像面は、ｚ＝ｆと表される。このような座標系で、（ｘ，ｙ，ｚ）に存在する空間の点の像は、ｇ（ｆ・ｘ／ｚ，ｆ・ｙ／ｚ，ｆ）と表される。このように、カメラで対象を撮影したとき、実際の点と画像上の点とには相関関係がある。

図７Ａに示すように、光学中心Ｏｃと、カメラの光軸（ｚ軸）及び画像面ｚが交わる点ｆと、実際の点に相当する画像上の座標ｇとの３点を頂点とする三角形が出現する。この三角形を別の角度から見た図が図７Ｂである。図７Ｂに示すように、三角形の各辺の長さをａ、ｂ、ｃとする。また、光学中心Ｏｃの内角の角度をαとする。ここで、辺ａの長さは焦点距離ｆであり、辺ｂの長さは画像上の距離なので、辺ａと辺ｂとはともに既知である。そこで、三平方の定理「ａ^２＋ｂ^２＝ｃ^２」を用いて、辺ｃの長さを算出することができる。これにより、三角形の３辺全てが既知になったため、余弦定理を用いて、光学中心Ｏｃの内角の角度αを算出することができる。

図４の説明に戻る。第２の通行可否判定部１０８は、歩道の幅員をもとに、歩道を通行する自転車の通行可否を判定する。より具体的には、第２の通行可否判定部１０８は、幅員導出部１０７によって導出された歩道の幅員が所定値以上である場合に、歩道を通行する自転車を通行可と判定し、歩道の幅員が所定値未満である場合に、歩道を通行する自転車を通行不可と判定する。例えば、自転車の歩道の通行に関して、現状、警察庁から以下の通達がなされている。かかる通達は、普通自転車が歩道を通行可とする歩道の幅員を、原則、３メートル以上とするというものである。従って、例えば、第２の通行可否判定部１０８は、歩道の幅員が３メートル以上である場合に通行可と判定し、歩道の幅員が３メートル未満である場合に通行不可と判定する。

運転者通知情報出力部１０５は、第２の通行可否判定部１０８によって通行不可であると判定された場合に、通行不可であることを示す情報を含む運転者通知情報を出力する。上述したように、第２の通行可否判定部１０８による通行可否の判定は、警察庁からの通達に沿って行なわれる。このため、運転者通知情報出力部１０５は、走行を控えることを推奨する歩道である旨を、文字データや画像データとして操作表示部１５に表示出力させる。また、運転者通知情報出力部１０５は、走行を控えることを推奨する歩道である旨を、音データとしてスピーカ１９から出力させても良い。例えば、運転者通知情報出力部１０５は、走行を控えることを推奨する歩道である旨を音声データとしてスピーカ１９から出力させても良いし、所定の警告音をスピーカ１９から出力させても良い。所定の警告音は、ユーザが予め設定することができるが、第３の通行可否判定部１０３によって通行不可と判定されたときに出力される警告音とは異なるものにすることが好ましい。なお、上述したように、運転者通知情報出力部１０５は、文字データ、画像データ及び音データのうち少なくとも一つを含む運転者通知情報を、操作表示部１５やスピーカ１９に出力すれば良い。

歩行者通知情報出力部１０６は、第２の通行可否判定部１０８によって通行不可であると判定された場合に、自転車が接近していることを示す情報を含む歩行者通知情報を、通信Ｉ／Ｆ１６を介して、端末装置５０に対して送信する。歩行者通知情報は、運転者通知情報と同様に、文字データ、画像データ及び音データのうち少なくとも一つであれば良い。歩行者通知情報を受信した端末装置５０は、該端末装置５０の表示部やスピーカ等から、歩行者通知情報を出力する。これにより、歩道を通行する歩行者は、自転車が接近していることを認識することができる。なお、歩行者にとっては自転車が接近していることを認識できれば良いため、歩行者通知情報は、運転者通知情報のように異なる警告音を出力するような仕組みにしなくても良い。

歩行者識別部１０９は、撮影画像から、歩道を通行する歩行者を識別する。より具体的には、歩行者識別部１０９は、第２の通行可否判定部１０８によって通行可であると判定された場合に、撮影画像から、歩道を通行する歩行者を識別する。図８Ａは、実施の形態１に係る撮影画像の例を示す図である。例えば、歩行者識別部１０９は、図８Ａに示すような撮影画像を使用する。かかる撮影画像は、時刻Ｔ２での撮影画像であり、上述した幅員導出部１０７によって使用されたものである。図８Ａに示すように、歩行者Ｓ、歩行者Ｔ、歩行者Ｕの３人の歩行者が撮影画像に含まれており、歩行者Ｓは、自転車の運転者に対して後向き、歩行者Ｔ及び歩行者Ｕは、自転車の運転者に対して前向きである状態を例に挙げる。

図８Ｂは、実施の形態１に係る撮影画像で平面領域を規定する例を説明する図である。例えば、歩行者識別部１０９は、図８Ｂに示すように、歩道の幅員（図中の太線）を横幅とする平面領域（図中の斜線箇所）を規定する。ここで、高さ方向は特に意味を持たないので、例えば撮影画像の上端を平面領域の上端とする。続いて、歩行者識別部１０９は、撮影画像から対象物（例えば、撮影画像中の自転車、二輪車、乗員、歩行者等）それぞれの移動速度を求め、移動速度に基づいて対象物それぞれの種類を特定することにより、歩道を通行する歩行者を識別する。なお、歩行者の識別は、同様の結果を得られるものであれば、上述した手法に限られるものではない。

特定部１１０は、撮影画像から、歩道を通行する歩行者の進行方向を特定する。より具体的には、特定部１１０は、撮影画像の平面領域に含まれる歩行者について、顔認識を行なうことにより、歩道を通行する歩行者の進行方向を特定する。図８Ｃは、実施の形態１に係る歩行者の占有領域を規定する例を説明する図である。例えば、特定部１１０は、図８Ｃに示すように、歩行者それぞれの占有する領域を規定する。一つの様態として、占有領域は、横方向を歩行者の人体の横方向で最長となる部分とし、高さ方向を歩行者の人体の高さ方向で最長となる部分として、歩行者を囲う方形とする。図８Ｃに示す例では、斜線で示された平面領域内において、歩行者を囲う方形それぞれを占有領域とする。この時点では、歩行者Ｔ、歩行者Ｓ、歩行者Ｕの順に、占有領域が大きいものとなる。

図８Ｄは、実施の形態１に係る歩行者の占有領域を整列した例を説明する図である。例えば、特定部１１０は、図８Ｄに示すように、規定した歩行者それぞれの占有領域を示す方形を、歩道の幅員を示すライン上に端から隙間なく並べる。但し、これは処理のイメージを図示しているものであって、実際に図８Ｄのような画像を生成しなくても良い。ここで、撮影画像には、歩行者がカメラ１７から近いほど大きく写り、歩行者がカメラ１７から遠いほど小さく写る。従って、実際の大きさ（占有領域）を反映するためには、カメラ１７と歩行者との距離をもとに増減させるといったことが考えられる。しかし、本実施の形態においては、カメラ１７の位置（自転車の位置）から遠いほど歩行者と自転車との接触の危険度は低く、カメラ１７の位置から近いほど歩行者と自転車との接触の危険度は高くなると考えられる。そこで、本実施の形態では、撮影画像での大きさ（占有領域）をそのまま使用することとする。

続いて、特定部１１０は、歩行者それぞれについて、顔認識を行なうことにより、歩道を通行する歩行者それぞれの進行方向を特定する。ここで、顔を認識できた歩行者は、自転車の方向に向かって歩いてきているものとし、顔を認識できない歩行者は、自転車と同じ方向に向かって歩いているものとすれば良い。図８Ｄに示す例では、顔を認識できない歩行者Ｓが自転車と同じ方向に向かって歩いていると特定され、顔を認識できた歩行者Ｔ及び歩行者Ｕが自転車の方向に向かって歩いてきていると特定される。

占有割合算出部１１１は、歩道の幅員に対して歩行者が占める割合を示す占有割合を算出する。より具体的には、占有割合算出部１１１は、幅員導出部１０７によって導出された幅員に対して、歩行者識別部１０９によって識別された歩行者が占める割合を示す占有割合を算出する。図８Ｅは、実施の形態１に係る歩行者の占有割合の算出例を説明する図である。例えば、図８Ｅに示すように、占有割合算出部１１１は、特定部１１０によって特定された歩行者それぞれの進行方向に応じて、歩行者それぞれの占有領域に重みを付ける。一つの様態として、歩行者が自転車に向かって歩いてきている場合は、自転車に気付いている可能性が高く、歩行者が自転車と同じ方向に向かって歩いているときと比べて安全性が高いと考えられるため、占有領域に対する重み付けは小さい係数とする。一方、歩行者が自転車と同じ方向に向かって歩いている場合は、占有領域に対する重み付けは大きい係数とする。

例を挙げると、歩行者Ｓは自転車と同じ方向に向かって歩いているため、自転車に気付いていない可能性が高いことから、歩行者Ｓの占有領域に対しては係数「２」を掛けることとする。また、歩行者Ｔや歩行者Ｕは自転車に向かって歩いてきているため、自転車に気付いている可能性が高いことから、歩行者Ｔや歩行者Ｕの占有領域に対しては係数「０．５」を掛けることとする。その後、占有割合算出部１１１は、歩道の幅員に対する、歩行者それぞれの重み付け後の占有領域の横幅を足した値の割合を、占有割合として算出する。つまり、その歩道の存在する歩行者の数や状況（進行方向）に応じて算出された占有割合が高いほど、歩行者と自転車との接触の可能性が高くなると言える。

第１の通行可否判定部１１２は、占有割合をもとに、歩道を通行する自転車の通行可否を判定する。より具体的には、第１の通行可否判定部１１２は、占有割合算出部１１１によって算出された占有割合が所定割合以上である場合に、歩道を通行する自転車を通行不可と判定し、所定割合未満である場合に、歩道を通行する自転車を通行可と判定する。例えば、第１の通行可否判定部１１２は、占有割合が５０％以上である場合に通行不可であると判定し、占有割合が５０％未満である場合に通行可であると判定する。なお、所定割合は、上述した例に限られるものではなく、また、歩道の幅員等に応じて可変としても良い。

運転者通知情報出力部１０５は、第１の通行可否判定部１１２によって通行不可であると判定された場合に、通行不可であることを示す情報を含む運転者通知情報を出力する。上述したように、第１の通行可否判定部１１２による通行可否の判定は、幅員に対する歩行者の占有割合を指標として、歩行者と自転車との接触の可能性が高ければ通行不可とするものであり、法的には自転車の通行は可能である。このため、運転者通知情報出力部１０５は、歩道の状況が混雑していることから注意喚起を促す旨を、文字データや画像データとして操作表示部１５に表示出力させる。また、運転者通知情報出力部１０５は、歩道の状況が混雑していることから注意喚起を促す旨を、音データとしてスピーカ１９から出力させても良い。例えば、運転者通知情報出力部１０５は、歩道の状況が混雑していることから注意喚起を促す旨を音声データとしてスピーカ１９から出力させても良いし、所定の警告音をスピーカ１９から出力させても良い。所定の警告音は、ユーザが予め設定することができるが、第３の通行可否判定部１０３や第２の通行可否判定部１０８によって通行不可と判定されたときに出力される警告音とは異なるものにすることが好ましい。

また、運転者通知情報出力部１０５は、第１の通行可否判定部１１２によって通行可であると判定された場合に、通行可であることを示す情報を含む運転者通知情報を出力する。例えば、運転者通知情報出力部１０５は、通行可である歩道である旨を、文字データや画像データとして操作表示部１５に表示出力させる。また、運転者通知情報出力部１０５は、通行可である歩道である旨を、音データとしてスピーカ１９から出力させても良い。また、運転者通知情報出力部１０５は、占有割合算出部１１１によって算出された占有割合を、文字データや画像データとして操作表示部１５に表示出力させたり、音データとしてスピーカ１９から出力させたりしても良い。なお、上述したように、運転者通知情報出力部１０５は、文字データ、画像データ及び音データのうち少なくとも一つを含む運転者通知情報を、操作表示部１５やスピーカ１９に出力すれば良い。

図９Ａは、実施の形態１に係る通行不可であることを示す運転者通知情報の例を示す図である。図９Ａに示すように、運転者通知情報には、歩道が通行不可であると判定された場合に、通行不可であることを示す文字や画像が含まれる。図９Ｂは、実施の形態１に係る通行可であることを示す運転者通知情報の例を示す図である。図９Ｂに示すように、運転者通知情報には、歩道が通行可であると判定された場合に、通行可であることを示す文字や画像が含まれる。図９Ａや図９Ｂでは、文字と、該当する標識画像とが含まれる場合を例に挙げている。

歩行者通知情報出力部１０６は、第１の通行可否判定部１１２によって通行可又は通行不可であると判定された場合に、自転車が接近していることを示す情報を含む歩行者通知情報を、通信Ｉ／Ｆ１６を介して、端末装置５０に対して送信する。歩行者通知情報は、運転者通知情報と同様に、文字データ、画像データ及び音データのうち少なくとも一つであれば良い。歩行者通知情報を受信した端末装置５０は、該端末装置５０の表示部やスピーカ等から、歩行者通知情報を出力する。これにより、歩道を通行する歩行者は、自転車が接近していることを認識することができる。図１０は、実施の形態１に係る歩行者通知情報の例を示す図である。図１０に示すように、歩行者通知情報には、歩道を通行する自転車が接近していることを示す文字や画像が含まれる。

［処理の流れ］
次に、図１１、図１２及び図１３を用いて、実施の形態１に係る端末装置１０による全体処理の流れを説明する。図１１は、実施の形態１に係る標識判定処理の流れの例を示すフローチャートである。図１２は、実施の形態１に係る幅員判定処理の流れの例を示すフローチャートである。図１３は、実施の形態１に係る占有割合判定処理の流れの例を示すフローチャートである。

図１１に示すように、端末装置１０は、歩道を通行する自転車の進行方向を撮影した画像である撮影画像を取得する（ステップＳ１０１）。撮影画像は、カメラ１７によって撮影された画像である。そして、端末装置１０は、取得した撮影画像から、道路標識の画像を示す標識画像の候補を検出し、検出した標識画像の候補と、記憶部１０４に記憶された道路標識情報の標識画像とを照合し、撮影画像に含まれる標識画像を特定する（ステップＳ１０２）。続いて、端末装置１０は、撮影画像に標識が存在するか否かを判定する（ステップＳ１０３）。

このとき、端末装置１０は、撮影画像に標識が存在する場合に（ステップＳ１０３：Ｙｅｓ）、特定した標識画像をもとに、記憶部１０４を参照し、対応する自転車通行可否データに応じて歩道を通行する自転車の通行可否を判定する（ステップＳ１０４）。一方、端末装置１０は、撮影画像に標識が存在しない場合に（ステップＳ１０３：Ｎｏ）、図１２に示す幅員判定処理（Ａ）に移行する。また、端末装置１０は、通行可であると判定した場合に（ステップＳ１０４：Ｙｅｓ）、図１２に示す幅員判定処理（Ａ）に移行する。

そして、端末装置１０は、通行不可であると判定した場合に（ステップＳ１０４：Ｎｏ）、操作表示部１５やスピーカ１９に運転者通知情報を出力する（ステップＳ１０５）。加えて、端末装置１０は、通信Ｉ／Ｆ１６を介して、端末装置５０に対して歩行者通知情報を出力する（ステップＳ１０６）。標識判定処理に応じて出力される運転者通知情報は、道路標識をもとに通行可否を判定したものであるため、歩道を走行してはいけない旨を示すものとなる。また、標識判定処理に応じて出力される歩行者通知情報は、自転車が接近している旨を示すものとなる。

図１２に示すように、端末装置１０は、時刻Ｔ０において、エッジ画像を用いた画像処理手法等により、歩道の境界を認識し、歩道の幅員を導出する場所を決定する（ステップＳ１０７）。そして、端末装置１０は、時刻Ｔ１での撮影画像を取得する（ステップＳ１０８）。また、端末装置１０は、時刻Ｔ１での位置情報をＧＰＳアンテナ１８から取得する（ステップＳ１０９）。さらに、端末装置１０は、時刻Ｔ１での撮影画像から、角度（角度α、角度β）を測定する（ステップＳ１１０）。

その後、端末装置１０は、時刻Ｔ２での撮影画像を取得する（ステップＳ１１１）。また、端末装置１０は、時刻Ｔ２での位置情報をＧＰＳアンテナ１８から取得する（ステップＳ１１２）。さらに、端末装置１０は、時刻Ｔ２での撮影画像から、角度（角度γ、角度δ）を測定する（ステップＳ１１３）。そして、端末装置１０は、正弦定理や余弦定理を用いて、歩道の幅員を導出する（ステップＳ１１４）。例えば、端末装置１０は、時刻Ｔ１で取得した位置情報と、時刻Ｔ２で取得した位置情報との差分を計算し、時刻Ｔ１から時刻Ｔ２までの間に移動した距離ｘを算出し、角度αと、角度γと、距離ｘとから、正弦定理を用いて、距離ｏ、距離ｐを算出する。そして、端末装置１０は、角度εと、距離ｏと、距離ｑとから、余弦定理を用いて、歩道の幅員ｚを算出する。

続いて、端末装置１０は、導出された歩道の幅員をもとに、歩道を通行する自転車の通行可否を判定する（ステップＳ１１５）。このとき、端末装置１０は、歩道の幅員が所定値以上であることにより、通行可であると判定した場合に（ステップＳ１１５：Ｙｅｓ）、図１３に示す占有割合判定処理（Ｂ）に移行する。一方、端末装置１０は、歩道の幅員が所定値未満であることにより、通行不可であると判定した場合に（ステップＳ１１５：Ｎｏ）、図１１に示すステップＳ１０５に移行する。

すなわち、端末装置１０は、通行不可であると判定した場合に（ステップＳ１１５：Ｎｏ）、操作表示部１５やスピーカ１９に運転者通知情報を出力する（ステップＳ１０５）。加えて、端末装置１０は、通信Ｉ／Ｆ１６を介して、端末装置５０に対して歩行者通知情報を出力する（ステップＳ１０６）。幅員判定処理に応じて出力される運転者通知情報は、歩道の幅員をもとに通行可否を判定したものであるため、走行を控えることを推奨する歩道である旨を示すものとなる。また、幅員判定処理に応じて出力される歩行者通知情報は、自転車が接近している旨を示すものとなる。

図１３に示すように、端末装置１０は、歩道の幅員を横幅とする平面領域を規定する（ステップＳ１１６）。そして、端末装置１０は、撮影画像に含まれる対象物それぞれの移動速度を求め、移動速度に基づいて対象物それぞれの種類を特定することにより、歩道を通行する歩行者を識別する（ステップＳ１１７）。続いて、端末装置１０は、平面領域に含まれる歩行者それぞれについて、占有領域を規定する（ステップＳ１１８）。その後、端末装置１０は、占有領域を規定された歩行者それぞれについて、顔認識を行なうことにより、歩道を通行する歩行者それぞれの進行方向を特定する（ステップＳ１１９）。

そして、端末装置１０は、歩行者それぞれの進行方向に応じて、規定した占有領域に重みを付ける（ステップＳ１２０）。例えば、端末装置１０は、自転車の方向に向かって歩いてきている歩行者の占有領域に対して小さい係数を掛け、自転車と同じ方向に向かって歩いている歩行者の占有領域に対して大きい係数を掛ける。続いて、端末装置１０は、歩道の幅員に対する、歩行者それぞれの重み付け後の占有領域の横幅を足した値の割合を、占有割合として算出する（ステップＳ１２１）。その後、端末装置１０は、算出された占有割合をもとに、歩道を通行する自転車の通行可否を判定する（ステップＳ１２２）。例えば、端末装置１０は、占有割合が所定割合以上であれば通行不可であると判定し、占有割合が所定割合未満であれば通行可であると判定する。判定後は、図１１に示すステップＳ１０５に移行する。

すなわち、端末装置１０は、ステップＳ１２２における判定処理後、操作表示部１５やスピーカ１９に運転者通知情報を出力する（ステップＳ１０５）。加えて、端末装置１０は、通信Ｉ／Ｆ１６を介して、端末装置５０に対して歩行者通知情報を出力する（ステップＳ１０６）。占有割合判定処理に応じて出力される運転者通知情報は、幅員に対して歩行者が占める割合をもとに通行可否を判定したものであるため、通行不可であれば注意喚起を促すものとなり、通行可であれば通行可であることを示すものとなる。また、占有割合判定処理に応じて出力される歩行者通知情報は、自転車が接近している旨を示すものとなる。

［実施の形態１による効果］
端末装置１０は、撮影画像から歩道の幅員を導出し、歩道を通行する歩行者を識別し、幅員に対して歩行者が占める割合を示す占有割合を算出して、占有割合をもとに自転車の通行可否を判定し、判定結果に応じて運転者通知情報と歩行者通知情報とを出力する。この結果、端末装置１０は、自転車が歩道を通行する場合に、自転車と歩行者との接触を低減することができる。換言すると、端末装置１０は、撮影画像に含まれる歩行者が歩道の幅員に対して占有する割合が大きければ、自転車と歩行者とが接触する可能性が高いものとして、運転者と歩行者とに注意喚起するので、自転車と歩行者との接触を低減することができる。

また、端末装置１０は、自転車が通行していることを認識していないであろう歩行者を考慮し、撮影画像に含まれる歩行者の進行方向に応じて、歩行者の占有領域を増減させ、占有割合を算出するので、運転者と歩行者との接触をより低減することができる。また、端末装置１０は、歩道の幅員をもとに通行可否を判定するので、自転車の通行を推奨しない歩道である旨を運転者に通知することで、自転車と歩行者との接触を低減することができる。また、端末装置１０は、道路標識をもとに通行可否を判定するので、法的に自転車の通行が不可となっている旨を運転者に通知することで、自転車と歩行者との接触を低減することができる。また、端末装置１０は、文字データ、画像データ及び音データのうち少なくとも一つを含む運転者通知情報、歩行者通知情報を出力するので、通行不可であることを運転者が好適に認識できるとともに、自転車が接近していることを歩行者が好適に認識でき、自転車と歩行者との接触を低減することができる。

（実施の形態２）
さて、これまで本発明に係る端末装置１０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）構成、（２）プログラム、について異なる実施の形態を説明する。

（１）構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

例えば、上記実施の形態では、標識判定処理、幅員判定処理、占有割合判定処理を順に実行することで、歩道を通行する自転車の通行可否を判定する場合を説明したが、これらの処理全てを実行しなくても良い。具体的には、端末装置１０は、占有割合判定処理のみを実行するようにしても良いし、幅員判定処理、占有割合判定処理を順に実行するようにしても良く、何れの場合であっても、自転車と歩行者との接触を低減することができる。

（２）プログラム
また、端末装置１０で実行される運転補助プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記憶されて提供される。また、端末装置１０で実行される運転補助プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、端末装置１０で実行される運転補助プログラムを、インターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、端末装置１０で実行される運転補助プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

端末装置１０で実行される運転補助プログラムは、上述した各部（画像取得部１０１、運転者通知情報出力部１０５、歩行者通知情報出力部１０６、幅員導出部１０７、歩行者識別部１０９、占有割合算出部１１１、第１の通行可否判定部１１２）を少なくとも含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが記憶媒体から運転補助プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、画像取得部１０１、運転者通知情報出力部１０５、歩行者通知情報出力部１０６、幅員導出部１０７、歩行者識別部１０９、占有割合算出部１１１、第１の通行可否判定部１１２が主記憶装置上に生成されるようになっている。

１ 運転補助システム
１０ 端末装置
１０１ 画像取得部
１０２ 標識検出部
１０３ 第３の通行可否判定部
１０４ 記憶部
１０５ 運転者通知情報出力部
１０６ 歩行者通知情報出力部
１０７ 幅員導出部
１０８ 第２の通行可否判定部
１０９ 歩行者識別部
１１０ 特定部
１１１ 占有割合算出部
１１２ 第１の通行可否判定部

特開２００８−１３４１４０号公報 特許第４６５７４９５号公報 特許第４４１０１１８号公報 特開２００９−４０１０７号公報

Claims (8)

1. 歩道を通行する車両の進行方向を撮影した画像を取得する画像取得部と、
   取得された前記画像から、前記歩道の幅員を導出する幅員導出部と、
   取得された前記画像から、前記歩道を通行する歩行者を識別する歩行者識別部と、
   導出された前記幅員に対して、識別された前記歩行者が占める割合を示す占有割合を算出する占有割合算出部と、
   算出された前記占有割合をもとに、前記車両の通行可否を判定する第１の通行可否判定部と、
   前記通行可否の判定結果に応じて、前記車両の運転者に通知するための情報を示す運転者通知情報を出力する運転者通知情報出力部と、
   前記通行可否の判定結果に応じて、前記歩行者に通知するための情報を示す歩行者通知情報を出力する歩行者通知情報出力部と
   を有することを特徴とする端末装置。
2. 取得された前記画像から、前記歩行者の進行方向を特定する特定部をさらに有し、
   前記占有割合算出部は、特定された前記歩行者の進行方向に応じて、前記歩行者が前記画像中で占める領域を示す占有領域に重みを付け、前記幅員に対する前記占有領域の割合を前記占有割合として算出することを特徴とする請求項１に記載の端末装置。
3. 前記運転者通知情報出力部は、前記第１の通行可否判定部によって通行可であると判定された場合に、通行可であることを示す情報を含む前記運転者通知情報を出力し、前記第１の通行可否判定部によって通行不可であると判定された場合に、通行不可であることを示す情報を含む前記運転者通知情報を出力し、
   前記歩行者通知情報出力部は、前記第１の通行可否判定部によって通行可又は通行不可であると判定された場合に、前記車両が接近していることを示す情報を含む前記歩行者通知情報を出力することを特徴とする請求項１又は２に記載の端末装置。
4. 導出された前記幅員をもとに、前記車両の通行可否を判定する第２の通行可否判定部をさらに有し、
   前記歩行者識別部は、前記第２の通行可否判定部によって通行可であると判定された場合に、前記歩道を通行する歩行者を識別し、
   前記運転者通知情報出力部は、前記第２の通行可否判定部によって通行不可であると判定された場合に、通行不可であることを示す情報を含む前記運転者通知情報を出力し、
   前記歩行者通知情報出力部は、前記第２の通行可否判定部によって通行不可であると判定された場合に、前記車両が接近していることを示す情報を含む前記歩行者通知情報を出力することを特徴とする請求項１〜３の何れか一つに記載の端末装置。
5. 取得された前記画像から、標識を検出する標識検出部と、
   検出された前記標識をもとに、前記車両の通行可否を判定する第３の通行可否判定部と、をさらに有し、
   前記幅員導出部は、前記標識が検出されなかった場合、又は、前記第３の通行可否判定部によって通行可であると判定された場合に、前記歩道の幅員を導出し、
   前記運転者通知情報出力部は、前記第３の通行可否判定部によって通行不可であると判定された場合に、通行不可であることを示す情報を含む前記運転者通知情報を出力し、
   前記歩行者通知情報出力部は、前記第３の通行可否判定部によって通行不可であると判定された場合に、前記車両が接近していることを示す情報を含む前記歩行者通知情報を出力することを特徴とする請求項１〜４の何れか一つに記載の端末装置。
6. 前記運転者通知情報出力部は、文字データ、画像データ及び音データのうち少なくとも一つを含む前記運転者通知情報を出力し、
   前記歩行者通知情報出力部は、文字データ、画像データ及び音データのうち少なくとも一つを含む前記歩行者通知情報を出力することを特徴とする請求項１〜５の何れか一つに記載の端末装置。
7. 端末装置で実行される運転補助方法であって、
   歩道を通行する車両の進行方向を撮影した画像を取得するステップと、
   取得された前記画像から、前記歩道の幅員を導出するステップと、
   取得された前記画像から、前記歩道を通行する歩行者を識別するステップと、
   導出された前記幅員に対して、識別された前記歩行者が占める割合を示す占有割合を算出するステップと、
   算出された前記占有割合をもとに、前記車両の通行可否を判定するステップと、
   前記通行可否の判定結果に応じて、前記車両の運転者に通知するための情報を示す運転者通知情報を出力するステップと、
   前記通行可否の判定結果に応じて、前記歩行者に通知するための情報を示す歩行者通知情報を出力するステップと
   を含むことを特徴とする運転補助方法。
8. 端末装置に、
   歩道を通行する車両の進行方向を撮影した画像を取得するステップと、
   取得された前記画像から、前記歩道の幅員を導出するステップと、
   取得された前記画像から、前記歩道を通行する歩行者を識別するステップと、
   導出された前記幅員に対して、識別された前記歩行者が占める割合を示す占有割合を算出するステップと、
   算出された前記占有割合をもとに、前記車両の通行可否を判定するステップと、
   前記通行可否の判定結果に応じて、前記車両の運転者に通知するための情報を示す運転者通知情報を出力するステップと、
   前記通行可否の判定結果に応じて、前記歩行者に通知するための情報を示す歩行者通知情報を出力するステップと
   を実行させるための運転補助プログラム。

Images