JP2015041969A - 画像取得装置及び画像取得方法、並びに情報配信システム。 - Google Patents

画像取得装置及び画像取得方法、並びに情報配信システム。 Download PDF

Info

Publication number
JP2015041969A
JP2015041969A JP2013173398A JP2013173398A JP2015041969A JP 2015041969 A JP2015041969 A JP 2015041969A JP 2013173398 A JP2013173398 A JP 2013173398A JP 2013173398 A JP2013173398 A JP 2013173398A JP 2015041969 A JP2015041969 A JP 2015041969A
Authority
JP
Japan
Prior art keywords
information
image
user
dangerous
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013173398A
Other languages
English (en)
Inventor
崇之 平林
Takayuki Hirabayashi
崇之 平林
佐古 曜一郎
Yoichiro Sako
曜一郎 佐古
矢島 正一
Shoichi Yajima
正一 矢島
広一郎 小野
Koichiro Ono
広一郎 小野
正資 武田
Masatoshi Takeda
正資 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013173398A priority Critical patent/JP2015041969A/ja
Priority to US14/458,792 priority patent/US9535248B2/en
Priority to CN201410400924.0A priority patent/CN104427327B/zh
Publication of JP2015041969A publication Critical patent/JP2015041969A/ja
Priority to US15/369,977 priority patent/US10070034B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)

Abstract

【課題】事故や事件の発生源を始めとする危険な場所に関する画像を提供する。【解決手段】各画像提供装置110−1、110−2、110−3、…はそれぞれ、当該装置を装着しているユーザーが危険に遭遇したときに、その場所の画像(動画又は静止画)を位置情報とともに情報センター120に送信する。情報センター120は、各画像提供装置110−1、110−2、110−3、…から送信すなわち提供された危険な場所を撮影した画像を位置情報と関連付けて管理し、危険な場所に近づいてきたユーザーの情報表示装置130に危険な場所の画像などの情報を配信する。【選択図】 図1

Description

本明細書で開示する技術の目的は、事故や事件の発生源を始めとする危険な場所に関する画像を提供する画像取得装置及び画像取得方法、並びに、1以上の画像取得装置から提供された画像に基づいて得られる危険な場所に関する情報を配信する情報配信システムに関する。
運転中の自動車を監視して得られる、運転情報、運行情報、車両情報とも呼ばれる情報を車両間で共有するシステムが知られている。例えば、事故発生現場周辺の映像を自動収集する映像収集システムについて提案がなされている(例えば、特許文献1を参照のこと)。この映像収集システムは、カーナビゲーション・システムと、事故の発生を検知する衝撃検知部と、車載カメラと、車載カメラで撮影した映像を時刻と対応付けて記憶する記憶部をそれぞれ備えた複数の車両と、情報管理センターで構成され、ある事故車両から事故に関する情報が送信されると、情報管理センターは他の車両に事故の発生を通知し、他の車両の車載カメラで撮影された映像を取得するようになっている。
上記の映像収集システムは、交通事故毎の発生時の映像を、事故車両以外の車両からも収集して、複数の視点による映像に基づいて事故原因の分析精度を高めることを意図している。
しかしながら、上記の映像収集システムが収集する映像は、車載カメラで撮影された映像に限定される。すなわち、収集された映像はいずれも各々の車載カメラの視点に制限されたものであり、運転手や事故現場に居合わせた歩行者の視点とは相違するものであり、必ずしも見易い適当な視点からの映像とは言えない。
また、上記の映像収集システムは、基本的には、事故の発生の検知に応じて処理が起動し、現実に事故が起きてしまった現場の映像を収集するものである。
本明細書で開示する技術の目的は、事故や事件の発生源を始めとする危険な場所に関する画像を好適に取得し提供することができる、優れた画像取得装置及び画像取得方法を提供することにある。
本明細書で開示する技術のさらなる目的は、画像取得装置から提供された危険な場所に関する画像に基づいて、危険な場所に関する情報を好適に配信することができる、優れた情報配信システムを提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
ユーザーの頭部又は顔部に装着され、画像を表示する表示部と、
外部機器と通信する通信部と、
撮影部と、
前記ユーザーの現在の位置情報を取得する位置情報取得部と、
危険状態を判定したことに応じて、前記撮影部で危険な場所を撮影し、撮影画像を前記位置情報取得部で取得した位置情報とともに前記通信部から前記外部機器に送信する制御部と、
を具備する画像取得装置である。
本願の請求項2に記載の技術によれば、請求項1に記載の画像取得装置は、前記ユーザーの状態情報を取得する状態情報取得部、又は、環境情報を取得する環境情報取得部の少なくともいずれかをさらに備えている。そして、前記制御部は、前記状態情報又は前記環境情報に基づいて危険状態を判定するように構成されている。
本願の請求項3に記載の技術によれば、請求項1に記載の画像取得装置の前記制御部は、撮影時刻の情報又はユーザーの属性情報のうち少なくともいずれかを付けて前記撮影画像を送信するように構成されている。
本願の請求項4に記載の技術によれば、請求項2に記載の画像取得装置の前記状態情報取得部は、前記ユーザーの生体情報を取得し、前記制御部は、前記生体情報に基づいて自ら危険状態を判定し、又は多数のデータを記録する外部装置による相対的な危険状態の判定結果を取得するように構成されている。
本願の請求項5に記載の技術によれば、請求項4に記載の画像取得装置の前記制御部は、前記ユーザーの脈拍、発汗、筋電位、眼球の動きのうち少なくともいずれか1つの生体情報に基づいて、危険状態を判定するように構成されている。
本願の請求項6に記載の技術によれば、請求項4に記載の画像取得装置の前記制御部は、前記ユーザーが前記表示部でコンテンツ視聴中か否かをさらに考慮して、危険状態を判定するように構成されている。
本願の請求項7に記載の技術によれば、請求項2に記載の画像取得装置の前記制御部は、前記環境情報として、周囲の音、風、雰囲気(濃霧や煙、放射線、大気中の有害化学物質)、周囲の撮影画像の解析結果に基づいて、危険状態を判定するように構成されている。
本願の請求項8に記載の技術によれば、請求項4に記載の画像取得装置は、前記ユーザーの視線を取得する視線取得部をさらに備えている。そして、前記制御部は、前記視線が危険を予見させる場所と一致したときの前記ユーザーの生体情報に基づいて、危険状態を判定するように構成されている。
本願の請求項9に記載の技術によれば、請求項8に記載の画像取得装置の前記制御部は、前記環境情報に基づいて危険を予見させる場所を特定するように構成されている。
本願の請求項10に記載の技術によれば、請求項1に記載の画像取得装置は、前記ユーザーの視線を取得する視線取得部をさらに備えている。そして、前記制御部は、危険状態を判定したときに、前記視線が一定時間とどまったことに応じて前記撮影部で静止画又は動画の撮影を行なうように構成されている。
本願の請求項11に記載の技術によれば、請求項1に記載の画像取得装置の前記制御部は、動画撮影中に前記視線が変化したことに応じて撮影を停止するように構成されている。
本願の請求項12に記載の技術によれば、請求項1に記載の画像取得装置は、前記ユーザーの視線を取得する視線取得部をさらに備えている。そして、前記制御部は、危険な場所を特定し、前記視線が危険な場所と一致したことに応じて動画の撮影を開始し、前記視線が危険な場所から外れたことに応じて撮影を停止するように構成されている。
本願の請求項13に記載の技術によれば、請求項1に記載の画像取得装置の前記制御部は、危険な場所の重要度又は種類に応じて、静止が又は動画のいずれの方法で撮影するかを決定するように構成されている。
また、本願の請求項14に記載の技術は、
ユーザーの状態情報又は環境情報に基づいて危険な状態を判定する判定ステップと、
前記ユーザーの現在の位置情報を取得する位置情報取得ステップと、
危険状態を判定したことに応じて、撮影部で危険な場所を撮影する撮影ステップと、
撮影画像を前記位置情報取得ステップで取得した位置情報とともに通信部から外部機器に送信する送信ステップと、
を有する情報取得方法である。
また、本願の請求項15に記載の技術は、
危険な場所の画像を位置情報とともに管理する画像データベースと、
情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供する情報提供部と、
を具備する情報配信システムである。
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
本願の請求項16に記載の技術によれば、請求項15に記載の情報配信システムは、1以上の画像取得装置から収集した危険な場所の画像をそれぞれ位置情報とともに前記画像データベースに管理するように構成されている。
本願の請求項17に記載の技術によれば、請求項16に記載の情報配信システムは、画像取得装置で危険な場所を撮影した時刻情報を併せて前記画像データベースに管理し、前記情報提供部は、現在の時刻でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出すように構成されている。
本願の請求項18に記載の技術によれば、請求項16に記載の情報配信システムは、各画像取得装置のユーザーの属性情報を管理するユーザー・データベースをさらに備えている。そして、前記情報提供部は、提供先の情報表示装置のユーザーの属性情報でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供するように構成されている。
本願の請求項19に記載の技術によれば、請求項15に記載の情報配信システムの前記情報提供部は、前記画像データベースに格納されている各危険な場所を地図上にマッピングして作成したハザード・マップを提供するように構成されている。
本願の請求項20に係る技術によれば、請求項15に記載の情報配信システムの前記情報提供部は、情報表示装置の現在位置に対して複数の画像が取り出された場合に、以下の(A)〜(C)のいずれかの方法により所定枚数の画像に絞り込んで提供するように構成されている。
(A)デフォルトの検索条件を用いて画像検索を行なう
(B)情報表示装置が指定する検索条件を用いて画像検索を行なう
(C)必要な情報を情報表示装置に送信し、情報表示装置側で所望の検索条件を用いて画像検索を行なう
本明細書で開示する技術によれば、事故や事件の発生源を始めとする危険な場所に関する画像を好適に取得し提供することができる、優れた画像取得装置及び画像取得方法を提供することができる。
また、本明細書で開示する技術によれば、画像取得装置から提供された危険な場所に関する画像に基づいて、危険な場所に関する情報を好適に配信することができる、優れた情報配信システムを提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術の一実施形態に係る情報配信システム100の構成を模式的に示した図である。 図2は、透過性のヘッド・マウント・ディスプレイとして構成される画像取得装置110を装着したユーザーを正面から眺めた様子を示した図である。 図3は、図2に示した画像取得装置110を装着したユーザーを上方から眺めた様子を示した図である。 図4は、遮光性のヘッド・マウント・ディスプレイとして構成される画像取得装置110を装着したユーザーを正面から眺めた様子を示した図である。 図5は、図4に示した画像取得装置110を装着したユーザーを上方から眺めた様子を示した図である。 図6は、画像取得装置110の内部構成例を示した図である。 図7は、情報管理センター120の機能的構成を模式的に示した図である。 図8Aは、画像データベース704において画像を管理するデータ構造を例示した図である。 図8Bは、画像データベース704において画像を管理するデータ構造を例示した図である。 図8Cは、画像データベース704において画像を管理するデータ構造を例示した図である。 図9は、ユーザー・データベース705においてユーザーを管理するデータ構造を例示した図である。 図10は、情報表示装置130の機能的構成を模式的に示した図である。 図11は、アクチュエーター部1008の構成例を模式的に示した図である。 図12は、各画像取得装置110−1、110−2、110−3、…において行なわれる、危険な場所の画像を取得するための全体的な処理手順を示したフローチャートである。 図13は、画像取得装置110がステップS1201で実行する、危険状態の判定処理の手順を示したフローチャートである。 図14は、画像取得装置110がステップS1201で実行する、危険状態の判定処理の変形例を示したフローチャートである。 図15は、画像取得装置110がステップS1201で実行する、危険状態の判定処理の他の変形例を示したフローチャートである。 図16は、画像取得装置110がステップS1203で実行する、危険な場所を撮影する処理手順を示したフローチャートである。 図17は、画像取得装置110がステップS1203で実行する、危険な場所を撮影する他の処理手順を示したフローチャートである。 図18は、画像取得装置110がステップS1203で実行する、危険な場所を撮影するさらに他の処理手順を示したフローチャートである。 図19は、画像取得装置110がステップS1203で実行する、危険な場所を撮影するさらに他の処理手順を示したフローチャートである。 図20は、情報管理センター120が画像取得装置110から受信した危険な場所の画像を処理するための手順を示したフローチャートである。 図21は、情報管理センター120が情報表示装置130に危険な場所の画像又はその情報を送信するための処理手順を示したフローチャートである。 図22は、情報表示装置130において、情報管理センター120から受け取った危険な場所に関する情報をユーザーに表示するための処理手順を示したフローチャートである。 図23は、人の動作特性と生理現象を利用して危険状態の判定する処理手順を示したフローチャートである。 図24は、情報表示装置130における危険な場所の画像の表示例を示した図である。 図25は、情報表示装置130における危険な場所の画像の表示例を示した図である。 図26は、情報表示装置130における危険な場所の画像の表示例を示した図である。 図27は、情報表示装置130における危険な場所の画像の表示例を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術の一実施形態に係る情報配信システム100の構成を模式的に示している。図示の情報配信システム100は、事故や事件の発生源を始めとする危険な場所に関する画像を取得し提供する画像取得装置110−1、110−2、110−3、…と、各画像取得装置110−1、110−2、110−3、…から提供された画像を収集して危険な場所に関する情報を配信する情報管理センター120と、情報管理センター120から配信される情報を受信して表示する情報表示装置130−1、130−2、130−3、…で構成される。
なお、情報管理センター120は、インターネットなどの広域ネットワーク上に構築されたサーバー装置を想定しているが、クラウド技術を利用して提供されるサービスや、あるいは一部の画像取得装置110又は情報表示装置130が情報管理センター120の機能を兼ね備えていてもよい。また、情報管理センター120を介さず、画像取得装置110と情報表示装置130間で、ポイント・ツー・ポイントで情報伝送される場合も想定される。
本実施形態において、各画像取得装置110−1、110−2、110−3、…は、基本的には、ユーザーが頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイのような形態で構成され、歩行中や車両の運転中なども常にユーザーが装着して用いられる。ヘッド・マウント・ディスプレイの具体的な構成については後述に譲る。
一方、情報表示装置130−1、130−2、130−3、…は、移動中のユーザーに情報を表示する。勿論、屋内にいるユーザーに情報を表示することもできる。情報表示装置130−1、130−2、130−3、…は、例えば、ヘッド・マウント・ディスプレイや、スマートフォンなどの多機能携帯端末や、ヘッド・アップ・ディスプレイなどでよい。このうちヘッド・アップ・ディスプレイは、例えば車両のフロント・ガラスなどに適用され、搭乗するユーザーの視野に大きく情報を映し出すことができる。また、各画像取得装置110−1、110−2、110−3、…のうち一部も、画像を収集する以外の局面では、情報表示装置130として機能することもあり得る。
各画像取得装置110−1、110−2、110−3、…はそれぞれ、当該装置を装着しているユーザーが危険に遭遇したときに、その場所の画像(動画又は静止画)を、その場所の位置情報とともに情報管理センター120に送信する。その際、危険に遭遇した時刻や、遭遇した危険のカテゴリー(事故なのか、事件なのか、ヒヤリ・ハットなのか)の情報(若しくは危険のカテゴリーを特定するために利用する情報タグ)、ユーザーの個人属性(性別、年齢、性格、職業など)や行動属性などからなるユーザー属性情報、その他の情報を添付して送信してもよい。情報管理センター120側でユーザー属性情報をデータベース管理している場合は、ユーザーIDを送信するだけでもよい。
各画像取得装置110−1、110−2、110−3、…は、当該装置を装着するユーザーが危険な場所に遭遇したことを、ユーザーの生体情報などに基づいて自動で検知してその場所を自動撮影する。勿論、ユーザーが危険な場所に遭遇したことをマニュアル操作で当該装置に通知するようにしてもよい。危険な場所に遭遇したことを自動で検知する方法の詳細については、後述に譲る。
情報管理センター120は、各画像取得装置110−1、110−2、110−3、…から送信すなわち提供された危険な場所を撮影した画像を、位置情報と関連付けて管理する。また、情報管理センター120は、必要に応じて、各画像取得装置110−1、110−2、110−3、…から提供された画像を危険のカテゴリー毎に分類したり、位置情報だけでなくユーザー属性情報(前述)などその他の情報とも関連付けて管理したりするようにしてもよい。
情報管理センター120は、各情報表示装置130−1、130−2、130−3、…の現在位置の情報を常時モニターしている。あるいは、危険な場所に関する情報を要求する情報表示装置130が、自分の現在位置の情報を情報管理センター120に送信するようにしてもよい。
そして、情報管理センター120は、各情報表示装置130−1、130−2、130−3、…の現在位置で検索して、適合する危険な場所が見つかったときには、その場所を撮影した画像、又は、画像解析して得られた危険な場所に関する情報を、該当する情報表示装置130に送信する。
また、情報管理センター120は、単に現在位置で照合するだけでなく、各情報表示装置130−1、130−2、130−3、…を使用するユーザーの個人属性や行動属性でフィルタリングして、必要な場合にだけ、画像、又は、画像解析して得られた危険な場所に関する情報を送信するようにしてもよい。何故ならば、女性には危険であるが男性には危険でない場所、特に幼児又は老人には危険である場所、走っているときには危険であるが歩いているときには特に危険でなく注意を要しない場合などがあるからである。危険ではないユーザーに情報を送信すると、無駄な警告となり、本当に危険なときに情報を送信しても本気で受け入れられなくなるおそれがある。
情報表示装置130−1、130−2、130−3、…は、危険な場所に関する画像、又は、画像解析して得られた危険な場所に関する情報を、情報管理センター120から受け取ると、これを表示して、当該装置を携行しているユーザーに危険を警告する。
例えば、情報表示装置130がヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイの場合には、ユーザーの視界に入った危険な場所に重畳して情報を表示することにより、ユーザーに効果的に危険を通知し、危険から回避させることができる。
また、情報表示装置130は、危険な場所を撮影した画像を表示する際に、効果音などの音声出力や、振動、タクタイル・フィードバックを併せて行なうことで、さらにユーザーに注意の喚起を促すようにしてもよい。
上述したように、各画像取得装置110−1、110−2、110−3、…は、基本的には、ユーザーが頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイのような形態で構成され、歩行中や車両の運転中なども常にユーザーが装着して用いられる。
図2には、透過性のヘッド・マウント・ディスプレイとして構成される画像取得装置110を装着したユーザーを正面から眺めた様子を示している。図示の画像取得装置110は、透過性すなわちシースルーのタイプであり、画像を表示している間も、ユーザーは、画像越しに現実世界の風景を眺める(すなわち、シースルーする)ことができる。したがって、AR(Augmented Reality:拡張現実感)画像などの仮想的な表示画像を現実世界の風景に重ね合わせて見せることができる(例えば、特許文献2を参照のこと)。また、表示画像は、外側(すなわち他人)からは見えないので、情報表示に際してプライバシーが守られ易い。
図2に示す画像取得装置110は、視力矯正用の眼鏡に類似した構造体からなる。画像取得装置110本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部201L、201Rが配設され、各虚像光学部201L、201Rの内側には、ユーザーが観察する画像(図示しない)が表示される。各虚像光学部201L、201Rは、例えば、眼鏡フレーム状の支持体202によって支持されている。
眼鏡フレーム状の支持体202のほぼ中央には、周囲画像(ユーザーの視界)入力用の外側カメラ612が設置されている。外側カメラ612は、例えばユーザーの視線方向の風景を撮影することができる。視差情報を利用して、周囲画像の3次元情報を取得できるように、外側カメラ612を複数台のカメラで構成することがより好ましい。
また、支持体202の左右の両端付近にそれぞれマイクロフォン203L、203Rが設置されている。左右ほぼ対称的にマイクロフォン203L、203Rを持つことで、中央に定位した音声(ユーザーの声)だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
また、画像取得装置110本体の外側には、外部の者が観察できる外側画像を外側表示部615が配設されている。図示の例では、左右一対の外側表示部615を備えているが、単一又は3以上の外側表示部615を備えていてもよい。外側画像は、表示部609と同じ画像、又は異なる画像のいずれであってもよい。
図3には、ユーザーが装着した状態の画像取得装置110を上方から眺めた様子を示している。
図示のように、画像取得装置110の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル204L、204Rが配設されている。各表示パネル204L、204Rは、液晶ディスプレイ又は有機EL素子などのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式のディスプレイからなる。表示パネル204L、204Rから出力される左右の表示画像は、虚像光学部201L、201Rによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。詳細な図示を省略するが、虚像光学部201L、201Rはそれぞれ、マイクロ・ディスプレイからの照射光を集光する光学系と、光学系の通過光を入射する位置に配設された導光板と、導光板への入射光を反射する偏向フィルターと、導光板内を全反射して伝播された光をユーザーの眼に向かって出射させる偏向フィルターを備えている。
また、図4には、遮光性のヘッド・マウント・ディスプレイとして構成される画像取得装置110を装着したユーザーを正面から眺めた様子を示している。
画像取得装置110は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、画像取得装置110を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ612を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める(すなわち、ビデオ・シースルーで風景を表示する)ことができる。勿論、ビデオ・シースルー画像に対し、AR画像などの仮想的な表示画像を重ね合わせて見せることができる。また、表示画像は、外側(すなわち他人)からは見えないので、情報表示に際してプライバシーが守られ易い。
図4に示す画像取得装置110は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。画像取得装置110本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル(図4では図示しない)が配設されている。表示パネルは、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。
画像取得装置110本体前面のほぼ中央には、周囲画像(ユーザーの視界)入力用の外側カメラ612が設置されている。また、画像取得装置110本体の左右の両端付近にそれぞれマイクロフォン403L、403Rが設置されている。左右ほぼ対称的にマイクロフォン403L、403Rを持つことで、中央に定位した音声(ユーザーの声)だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
図5には、図4に示した画像取得装置110を装着したユーザーを上方から眺めた様子を示している。図示の画像取得装置110は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル404L、404Rを持つ。表示パネル404L、404Rは、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネル404L、404Rの表示画像は、虚像光学部401L、401Rを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図5に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構405を装備している。
また、画像取得装置110本体の外側には、外部の者が観察できる外側画像を外側表示部615が配設されている。図示の例では、左右一対の外側表示部615を備えているが、単一又は3以上の外側表示部615を備えていてもよい。外側画像は、表示部609と同じ画像、又は異なる画像のいずれであってもよい。
図6には、画像取得装置110の内部構成例を示している。図2及び図3に示した透過型、並びに、図4及び図5に示した没入型のいずれのタイプであっても、ほぼ同様の構成とする。以下、各部について説明する。
制御部601は、ROM(Read Only Memory)601AやRAM(Random Access Memory)601Bを備えている。ROM601A内には、制御部601で実行するプログラム・コードや各種データを格納している。制御部601は、RAM601Bへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイとしての画像取得装置110全体の動作を統括的にコントロールする。ROM601Aに格納するプログラムやデータとして、画像の表示制御プログラムや、当該装置110(若しくは、当該装置110を装着するユーザー)が危険な場所に遭遇したことを検知して危険な場所の撮影を行ない情報管理センター120に送信する画像提供プログラム、当該装置110に固有の識別情報、当該装置110を使用するユーザーのユーザー属性情報(前述)などを挙げることができる。
入力操作部602は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部601に出力する。また、入力操作部602は、リモコン受信部603で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部601に出力する。
状態情報取得部604は、当該画像取得装置110本体、又は当該装置110を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部604は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器(例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末)から通信部605(後述)を介して状態情報を取得するようにしてもよい。
状態情報取得部604は、例えばユーザーの頭部の位置や姿勢や姿勢の情報を取得する。位置姿勢情報の取得のため、状態情報取得部604は、ジャイロ・センサー、加速度センサー、GPS(Global Positioning System)センサー、地磁気センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか1つ、又は、各センサーの長所及び短所を考慮して2以上のセンサーの組み合わせを備えていてもよい。また、状態情報取得部604は、位置姿勢情報の取得に、携帯電話基地局情報やPlaceEngine(登録商標)情報(無線LANアクセスポイントからの電測情報)など、各種インフラストラクチャーから提供される情報を組み合わせて用いるようにしてもよい。
また、状態情報取得部504は、当該画像取得装置110を装着したユーザーの状態情報として、例えば、ユーザーの作業状態(画像取得装置110の装着の有無)や、ユーザーの行動状態(静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向、瞳孔の大小)、精神状態(ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など)、さらには生理状態を取得する。また、状態情報取得部604は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー(いずれも図示しない)を備えていてもよい。
環境情報取得部616は、当該画像取得装置110本体、又は当該装置110を装着したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気(煙、濃霧や、当該装置110又はユーザーが浴びる電磁波(紫外線、ブルーライト、電波)、熱線(赤外線)、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物(ニコチン)、大気中を漂う窒素酸化物(NOx)や炭化水素(揮発性有機化合物(VOC:Volatile Organic Compounds)あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質)、その他の環境因子を挙げることができる。環境情報取得部616は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォンや外側カメラ612を環境センサーに含めることもできる。あるいは、環境情報取得部616は、これらのセンサー類の一部又は全部を備えた外部機器(例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末)から通信部605(後述)を介して環境情報を取得するようにしてもよい。
外側カメラ612は、例えば画像取得装置110本体前面のほぼ中央に配置され(図2、図4を参照のこと)、周囲画像を撮影することができる。また、状態情報取得部604で取得したユーザーの視線方向に合わせて外側カメラ612のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ612でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。視差情報を利用して、周囲画像の3次元情報を取得できるように、外側カメラ612を複数台のカメラで構成することがより好ましい。ユーザーは、入力操作部602の操作、内側カメラや筋電位センサーなどで認識される瞳孔の大小や音声入力を通じて、外側カメラ612のズームを調整することができるものとする。外側カメラ612の撮影画像を、表示部609に表示出力することができ、また、記憶部606に格納することもできる。本実施形態では、ユーザーが遭遇した危険な場所を外側カメラ612で撮影するが、その詳細については後述に譲る。
通信部605は、外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーが画像取得装置110をヘッド・マウント・ディスプレイとして使用する際の視聴コンテンツを供給するコンテンツ再生装置(ブルーレイ・ディスク又はDVDプレイヤー)や、ストリーミング・サーバー、インターネット上の情報管理センター120を挙げることができる。また、制御部601は、外部機器への送信データを通信部605から送出する。
通信部605の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部605を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHL(Mobile High−definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Wi−Fi(登録商標)、Bluetooth(登録商標)通信やBLE(Bluetooth(登録商標) Low Energy)通信、ANTなどの超低消費電力無線通信、IEEE802.11sなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部605は、例えばW−CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)などの標準規格に従って動作する、セルラー無線送受信機であってもよい。
後述するように、危険な場所などを外側カメラ612で撮影した画像を、通信部605から情報管理センター120へ送信するが、撮影画像そのものを情報管理センター120に送信するのではなく画像共有サイトへアップロードし、アップロードした画像にアクセスする情報を示すURL(Uniform Resource Locator)、URI(Uniform Resource Identifier)を情報管理センター120に送信することもある。
記憶部606は、SSD(Solid State Drive)などで構成される大容量記憶装置である。記憶部606は、制御部601で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーが画像取得装置110をヘッド・マウント・ディスプレイとして使用して、視聴するコンテンツを記憶部606に格納する。また、本実施形態では、外側カメラ612で撮影された(危険な場所などの)風景画像を、状態情報取得部604で取得された位置情報や時刻情報、さらには環境情報取得部616で取得された環境情報と対応付けて、記憶部606内に記憶する。
画像処理部607は、制御部601から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部609の画面に合わせた解像度に変換する。そして、表示駆動部608は、表示部609の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
表示部609は、例えば有機EL(Electro−Luminescence)素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部610は、表示部609の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。
なお、表示部609で出力する表示画像として、コンテンツ再生装置(ブルーレイ・ディスク又はDVDプレイヤー)やストリーミング・サーバーから供給される商用コンテンツ、外側カメラ612の撮影画像などを挙げることができる。画像取得装置110が図2及び図3で示したようなシースルーのタイプの場合、ユーザーは、画像越し(画像の非表示時を含む)に現実世界の風景を眺めることができる。
また、外側表示部615は、表示画面が画像取得装置110の外側(装着したユーザーの顔とは反対の方向)に向けられており、外側画像を他のユーザーに表示することができる。外側画像は、表示部609と同じ画像、又は異なる画像のいずれであってもよい。外側表示部615の詳細な構成については、例えば本出願人に既に譲渡されている特願2012−200902号明細書、特願2012−200903号明細書を参照されたい。但し、外側表示部615は、本明細書で開示する技術を実現するための必須の構成要素ではない。
音声処理部613は、制御部601から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部614は、音声処理後の音声を外部出力、並びにマイクロフォン(前述)からの音声入力を行なう。
情報管理センター120は、インターネットなどの広域ネットワーク上のサーバー装置などであり、一般的なコンピューター・システムを用いて構築することができる。あるいは、情報管理センター120が物理的に単一のコンピューター・システム内で構成されるのではなく、クラウド技術を利用して提供されるサービスとして構成される場合や、一部の情報表示装置130内で構成されることもある。
図7には、情報管理センター120の機能的構成を模式的に示している。図示の情報管理センター120は、通信部701、収集情報分析部702、情報提供部703、画像データベース704、ユーザー・データベース705の各機能モジュールを備えている。各機能モジュールは、専用のハードウェア装置で構成される他、コンピューター・システム上で所定のプログラムを実行することによっても実現される。
通信部701は、インターネットなどの広域ネットワークを通じて、各画像取得装置110−1、110−2、110−3、…や、各情報表示装置130−1、130−2、130−3、…と通信を行なう。
収集情報分析部702は、各画像取得装置110−1、110−2、110−3、…から送られてくる情報の分析を行なう。具体的には、危険な場所を撮影した画像を分析すると、位置情報と関連付けて、画像データベース704に格納する。画像に併せて、撮影時刻やユーザーID、危険のカテゴリーを特定するための情報タグなどが送られてくる場合には、これらも併せて画像データベース704に格納する。
図8には、画像データベース704において、各画像取得装置110−1、110−2、110−3、…から収集した画像を管理するデータ構造を例示している。図8Aには、基本的なデータ構造を示している。画像データベース704の1つのレコードは、危険な場所を撮影した動画又は静止画の画像データ801と、その場所を特定する位置情報802の組み合わせで構成される。画像データ801は、データのエンティティそのものではなく、画像データを保管する場所(画像共有サイトなど)若しくはアクセスする情報を示すURL又はURIであってもよい。例えば、画像共有サイトにアップロードされている画像コンテンツのURLを画像データ801のフィールドに記入してもよい。また、位置情報802は、マッチング処理に適していればその表記方法は特に限定されず、緯度・経度、住所の表記でもよい。
図8B並びに図8Cには、画像データベース704において画像を管理するデータ構造の変形例を示している。図8Bに示す例では、図8Aに示したデータ構造に、さらに時刻803とユーザーID804のフィールドが追加されている。また、図8Cに示す例では、危険のカテゴリー805を記入するフィールドが追加されている。
再び図7を参照して、情報管理センター120の構成について引き続き説明する。収集情報分析部702は、各画像取得装置110−1、110−2、110−3、…から収集した画像の画像解析を行なう。具体的には、画像解析により、危険な場所が時刻に依存しているか(例えば、日没後に不審人物が現れ易い危険になる場所か、ラッシュアワー時に混雑により危険になる場所か)を画像に添付された環境情報や情報タグ(前述)を併せて解析したりして、画像の提供元であるユーザーが遭遇した危険のカテゴリー(事故なのか、事件なのか、ヒヤリ・ハットなのか)を特定したりする。これらの分析結果を、画像に対応付けて画像データベース704に格納するようにしてもよい。
ユーザー・データベース705には、各画像取得装置110−1、110−2、110−3、…並びに各情報表示装置130−1、130−2、130−3、…のユーザーの情報を管理する。図9には、ユーザー・データベース705においてユーザーを管理するデータ構造を例示している。図示の例では、ユーザー・データベース705の1つのレコードは、ユーザーの個人属性(性別、年齢、性格、職業など)902、行動属性などからなるユーザー属性情報903を記入する各フィールドを備え、ユーザーID901と対応付けて管理している。
情報提供部703は、通信部701を通じて、各情報表示装置130−1、130−2、130−3、…の現在位置の情報を取得することができる。そして、情報提供部703は、情報表示装置130−1、130−2、130−3、…の現在位置に対応するレコードを画像データベース704内で検索する。対応するレコードが見つかったときには、そのレコードに格納されている危険な場所の画像、又は、画像解析して得られた危険な場所に関する情報を、該当する情報表示装置130に送信する。
また、情報提供部703は、単に現在位置で照合するだけでなく、ユーザー・データベース705を利用して、各情報表示装置130−1、130−2、130−3、…を使用するユーザーの個人属性や行動属性でフィルタリングして、必要な場合にだけ、画像、又は、画像解析して得られた危険な場所に関する情報を送信するようにしてもよい。何故ならば、女性には危険であるが男性には危険でない場所、特に幼児又は老人には危険である場所、走っているときには危険であるが歩いているときには特に危険でなく注意を要しない場合などがあるからである。危険ではないユーザーに情報を送信すると、無駄な警告となり、本当に危険なときに情報を送信しても本気で受け入れられなくなるおそれがある。
情報表示装置130は、移動中のユーザーに情報を表示するが(勿論、屋内にいるユーザーに情報を表示することもできる)、ヘッド・マウント・ディスプレイ、スマートフォンなどの多機能携帯端末や、車両のフロント・ガラスなどユーザーの視野に大きく情報を映し出すヘッド・アップ・ディスプレイなどであり、インターネットなどの広域ネットワークを介して情報管理センター120と通信できるように構成されている。
図10には、情報表示装置130の機能的構成を模式的に示している。図示の情報表示装置130は、制御部1001と、通信部1002、位置情報取得部1003、画像処理部1004、表示駆動部1005、表示部1006、駆動制御部1007、アクチュエーター部1008の各機能モジュールを備えている。各機能モジュールは、専用のハードウェア装置で構成される他、コンピューター・システム上で所定のプログラムを実行することによっても実現される。
制御部1001は、ROM1001AやRAM1001Bを備えている。ROM1001A内には、制御部1001で実行するプログラム・コードや各種データを格納している。制御部1001は、RAM1001Bへロードしたプログラムを実行することで、画像の表示制御を始め、情報表示装置130全体の動作を統括的にコントロールする。ROM1001Aに格納するプログラムやデータとして、情報管理センター120などの外部装置との通信制御プログラムや、情報管理センター120から受信した(危険な場所の)画像の表示制御プログラム、当該情報表示装置130のユーザーが遭遇した危険な場所の表示に応じたフィードバック制御プログラム、当該装置130に固有の識別情報、当該装置130を使用するユーザーのユーザー属性情報(前述)などを挙げることができる。
位置情報取得部1003は、当該情報表示装置130又はそのユーザーの現在の位置や姿勢の情報を取得する。位置姿勢情報の取得のため、位置情報取得部1003は、ジャイロ・センサー、加速度センサー、GPSセンサー、地磁気センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか1つ、又は、各センサーの長所及び短所を考慮して2以上のセンサーの組み合わせを備えていてもよい。また、位置情報取得部1003は、位置情報の取得に、携帯電話基地局情報やPlaceEngine(登録商標)情報など、各種インフラストラクチャーから提供される情報を組み合わせて用いるようにしてもよい。
制御部1001は、位置情報取得部1003で取得した位置姿勢情報を、通信部1002を介して情報管理センター120に送信する。また、位置姿勢情報を送信する際に、制御部1001は、必要に応じて、ROM1001Aからユーザー属性情報を読み出し、併せて送信するようにしてもよい。
既に述べたように、情報管理センター120側では、受け取った位置情報を基に画像データベース704を検索し、適合する危険な場所が見つかったときには、その場所を撮影した画像、又は、画像解析して得られた危険な場所に関する情報を、情報表示装置130に送信する。また、情報管理センター120は、ユーザー・データベース705を利用して、情報表示装置130のユーザーの個人属性や行動属性でフィルタリングして、必要な場合にだけ、画像、又は、画像解析して得られた危険な場所に関する情報を送信することもある。
そして、制御部1001は、情報管理センター120から提供された画像を、表示部1006を通じてユーザーに提示する。具体的には、画像処理部1004は、制御部1001から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部1006の画面に合わせた解像度に変換する。そして、表示駆動部1005は、表示部1006の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
情報表示装置130がヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイの場合には、ユーザーの視界に入った危険な場所に重畳して情報を表示することにより、ユーザーに効果的に危険を通知し、危険から回避させることができる。
また、制御部1001は、表示部1006で危険な場所を撮影した画像を表示する際に、効果音などの音声出力や、振動やタクタイル・フィードバックを併せて行なうことで、さらにユーザーに注意の喚起を促すようにしてもよい。アクチュエーター部1007は、ユーザーへの物理的にフィードバックを出力するための1以上の出力デバイス群からなる。駆動制御部1007を介してアクチュエーター部1008の動作をコントロールする。但し、駆動制御部並びにアクチュエーター部1008は任意の構成要素である。
図11には、アクチュエーター部1008の構成例を模式的に示している。アクチュエーター部1008は、振動デバイス1101、発熱デバイス1102、冷却デバイス1103、ファンなどの送風デバイス1104、スピーカーなどの音響デバイス1105、発光デバイス1106、移動デバイス1107のうち少なくとも一部の出力デバイスを備えている。制御部1001は、駆動制御部1007を通じて、これらの出力デバイス1101〜1107の動作を制御することができる。そして、アクチュエーター部1008は、危険な場所の画像表示に併せて、振動や、発熱又は冷却、風、音、発光、パルスなどの出力を生じさせることができる。アクチュエーター部1008が装備する出力デバイスの種類が多く、且つ、複数の出力デバイスを組み合わせて動作させると、より多様なフィードバックを提示することができる。
続いて、本実施形態に係る情報配信システム100において、危険な場所に関する情報を配信サービスする処理動作について説明する。この情報配信サービスは、各画像取得装置110−1、110−2、110−3、…において危険な場所の画像を取得する画像取得フェーズと、各画像取得装置110−1、110−2、110−3、…で取得された画像を情報管理センター120において収集し分類整理して、必要な情報表示装置130−1、130−2、130−3、…に提供する情報提供フェーズに大別される。
図12には、各画像取得装置110−1、110−2、110−3、…において行なわれる、危険な場所の画像を取得するための全体的な処理手順をフローチャートの形式で示している。但し、画像取得装置110−1、110−2、110−3、…はこの処理動作中は常に現在の位置姿勢情報を取得し続けるものとする。
画像取得装置110内では、当該装置110又はそのユーザーが危険な状態にあるかどうかを判定する(ステップS1201)。当該ステップでは、例えば危険な度合いを、危険度などの指標値として出力する。
次いで、当該装置110又はそのユーザーの現在の危険の度合いに基づいて、危険な場所を撮影するタイミングに到達したかどうかを判定する(ステップS1202)。ここで、当該装置110又はそのユーザーの危険度が高いと、画像の撮影タイミングに到達したと判断して(ステップS1202のYes)、画像取得装置110は、外側カメラ612を用いて、現在位置での動画又は静止画の撮影を実行する(ステップS1203)。
そして、画像取得装置110は、ステップS1203で撮影した危険な場所の画像に現在の位置姿勢情報を付加して、送信データを生成すると(ステップS1204)、通信部605を介して情報管理センター120に送信する(ステップS1205)。
なお、ステップS1204では、現在の位置姿勢情報の他に、撮影した時刻情報や、当該画像取得装置110のユーザーのユーザーID若しくはユーザー属性情報を付加して送信データを生成するようにしてもよい。また、ステップS1201で危険の判定に用いた危険な状態の情報、又は、危険の種別を判定するための情報タグをさらに送信データに付加してもよい。
図13には、画像取得装置110がステップS1201で実行する、危険状態の判定処理の手順をフローチャートの形式で示している。
制御部601は、状態情報取得部604から、脈拍、発汗、筋電位、眼球の動きなどの生体情報を取得する(S1301)。そして、制御部601は、取得した生体情報が、ユーザーが危険な場所に遭遇したことを示しているかどうかを自動判別する(ステップS1302)。
例えば、心拍数が急激に増加した、発汗が検出された、筋肉が異常に収縮した、目線が定まらないあるいは一か所のみを注視しているなど、ユーザーが極度の緊張状態にあることを示すような生理現象が生体情報から検出されたときには、制御部601は、ユーザーが危険な場所に遭遇したと判別することができる。なお、汗を成分分析して、体温調整のためか緊張のためかを識別して、判別の精度を上げることができる。また、ステップS1302では、生体情報を閾値と比較して危険か否かを2値判定するのではなく、相対的にどの程度危険なのかなど、より高度で複雑な判定処理を行なうようにしてもよい。このような高度で複雑な判定処理には、多数のデータが必要であったり、大規模な演算負荷がかかったりするため、ヘッド・マウント・ディスプレイとして構成される画像取得装置110単体では実現が困難なことも想定される。このため、記録されている多数のデータに基づいて生体情報が示す相対的な危険度の情報を提供するサービスを、クラウド技術で提供し、制御部601はこのようなサービスから提供される情報を利用するようにしてもよい。
また、制御部601は、生体情報とともに、加速度情報を考慮して、ステップS1302の判定処理を行なうようにしてもよい。画像取得装置110又はユーザーに大きな加速度又は速度がかかり、その後に心拍数が急激に増加したときには、ユーザーが路面の障害物又は窪みに足を引っ掛けて転倒しそうになったためにヒヤリ・ハットしたと判別できる。
そして、ユーザーが危険な場所に遭遇したと判定したときには(ステップS1302のYes)、そのときのユーザーの脈拍数や発汗量又は汗の成分などに基づいて、より高い危険度を出力する(ステップS1303)。一方、ユーザーが危険な場所にはいないと判定したときには(ステップS1302のNo)、そのときのユーザーの脈拍数や発汗量又は汗の成分などに基づいて、低い危険度を出力する(ステップS1304)。
なお、本処理ルーチンでは、危険の判定に用いた危険な状態の情報、又は、危険の種別を判定するための情報タグを併せて出力するようにしてもよい。
図14には、画像取得装置110がステップS1201で実行する、危険状態の判定処理の変形例をフローチャートの形式で示している。本実施形態では、画像取得装置110はヘッド・マウント・ディスプレイとして構成され、そのユーザーはヘッド・マウント・ディスプレイで映画などのコンテンツを視聴することもできる。このため、ユーザーは視聴中のコンテンツに感情移入した結果として脈拍数や発汗などの生体情報に変化をきたすこともあり、危険状態の誤判定を招来するおそれがある。そこで、図14に示す処理手順では、ユーザーがコンテンツを視聴中か否かに応じて危険度の判定を切り替える点で、図13に示した処理手順とは相違する。
制御部601は、状態情報取得部604から、脈拍、発汗、筋電位、眼球の動きなどの生体情報を取得する(S1401)。そして、制御部601は、取得した生体情報が、ユーザーが危険な場所に遭遇したことを示しているかどうかを自動判別する(ステップS1402)。
ここで、生体情報からはユーザーが危険な場所にはいないと判定したときには(ステップS1402のNo)、そのときのユーザーの脈拍数や発汗量又は汗の成分など生体情報に応じた、低い危険度を出力する(ステップS1406)。
一方、生体情報に基づいてユーザーが危険な場所に遭遇したと判定したときには(ステップS1402のYes)、より高い危険度を一旦設定した後に(ステップS1403)、そのときのユーザーがコンテンツを視聴中であるかどうかをさらに判定する(ステップS1404)。
ユーザーがコンテンツを視聴中でなければ(ステップS1404のNo)、より高い危険度をそのまま出力する。これに対し、ユーザーがコンテンツを視聴中であれば(ステップS1404のYes)、ユーザーの生体情報が変化したのは視聴中のコンテンツに感情移入した結果であり、現実には危険ではない可能性があるので、危険度を減少させて出力する(ステップS1405)。
なお、本処理ルーチンでは、危険の判定に用いた危険な状態の情報、又は、危険の種別を判定するための情報タグを併せて出力するようにしてもよい(同上)。
また、図15には、画像取得装置110がステップS1201で実行する、危険状態の判定処理のさらに他の変形例をフローチャートの形式で示している。図14に示した判定処理では、ユーザーのコンテンツ視聴に伴う生体情報の変化の影響を除去するようになっている。しかしながら、ユーザーの生体情報の変化が、現実世界で発生した危険とコンテンツ視聴のいずれによるものかは不明なままである。そこで、図15に示す処理手順では、画像取得装置110又はユーザーの環境情報をさらに考慮に入れて、より高い精度で危険度の判定を行なうようにしている。
制御部601は、状態情報取得部604から、脈拍、発汗、筋電位、眼球の動きなどの生体情報を取得する(S1501)。そして、制御部601は、取得した生体情報が、ユーザーが危険な場所に遭遇したことを示しているかどうかを自動判別する(ステップS1502)。
ここで、生体情報からはユーザーが危険な場所にはいないと判定したときには(ステップS1502のNo)、そのときのユーザーの脈拍数や発汗量又は汗の成分などに応じた、低い危険度を出力する(ステップS1509)。
一方、生体情報に基づいてユーザーが危険な場所に遭遇したと判定したときには(ステップS1502のYes)、より高い危険度を一旦設定した後に(ステップS1503)、そのときのユーザーがコンテンツを視聴中であるかどうかをさらに判定する(ステップS1504)。
ユーザーがコンテンツを視聴中でなければ(ステップS1504のNo)、より高い危険度をそのまま出力する。これに対し、ユーザーがコンテンツを視聴中であれば(ステップS1504のYes)、ユーザーの生体情報が変化したのは視聴中のコンテンツに感情移入した結果である可能性がある。そこで、制御部601は、環境情報取得部616から当該画像取得装置110又はそのユーザーが置かれている環境に関する情報を取得し(ステップS1505)、その環境情報が、ユーザーが危険な場所に遭遇したことを示しているかどうかを自動判別する(ステップS1506)。
例えば、取得した環境情報から、騒音や爆音などの大きな音が検出されたことや、暴風や爆風などの強い風を受けたこと、火災現場や車両衝突事故などの出火場所にいるような高温であること、雰囲気(例えば、濃霧や煙、放射線、大気中の有害化学物質が存在すること)などが分かると、ユーザーが危険な場所に遭遇したと判別することができる。また、外側カメラ612で撮影された画像を解析して、事故や事件などの現場にいると認識されたときには、ユーザーが危険な場所に遭遇したと判別することができる。
ここで、環境情報に基づいてユーザーが危険な場所に遭遇したと判定したときには(ステップS1506のYes)、より高い危険度をそのまま出力する。また、環境情報に基づいても、ユーザーが危険な場所に遭遇していないと判定された場合であっても(ステップS1506のNo)、ユーザーが入力操作部602やリモコンなどを通じて危険である旨の指示入力を行なったときには(ステップS1507のYes)、より高い危険度をそのまま出力する。
一方、環境情報に基づいても、ユーザーが危険な場所に遭遇していないと判定され(ステップS1506のNo)、且つ、ユーザー自身も危険な場所である旨の指示入力を行なわなかったときには(ステップS1507のNo)、当該画像取得装置110又はそのユーザーは危険な場所には遭遇していないものと判定し、危険度を減少させて出力する(ステップS1508)。
なお、本処理ルーチンでは、危険の判定に用いた危険な状態の情報、又は、危険の種別を判定するための情報タグを併せて出力するようにしてもよい(同上)。
人は、危険を予見させるような音などの事象(例えば、急接近してきた自動車のエンジン音、ブレーキ音、クラクション音、ヘッドライト、風(空気の急な移動)や、振動など)を感じると、反射的にその方向に視線を向ける動作を行なう。そして、その事象すなわち危険な状況を目の当たりにすると、脈拍の上昇や発汗といった生体の変化を発生する。したがって、危険に遭遇した人の動作特性と生理現象を利用して、高い精度で危険度の判定を正確に行なうこともできる。
図23には、人の動作特性と生理現象を利用して危険状態の判定する処理手順をフローチャートの形式で示している。
まず、制御部601は、当該画像取得装置110のユーザーに危険を予見させる場所を特定する(ステップS2301)。
ステップS2301では、制御部601は、環境情報取得部616から取得した環境情報に基づいて、ユーザーが危険を予見するような場所を特定する。具体的には、大音量の音源、爆風などの強い風の風上、強い光の光源、振動の震源などである。
次いで、制御部601は、状態情報取得部604から受け取った生体情報(例えば、眼電位や、内側カメラで撮影した左右少なくとも一方の眼の画像)から、ユーザーの位置姿勢情報と視線の情報を抽出して、視線方向を取得する(ステップS2302)。
そして、制御部601は、ユーザーの視線がステップS2301で特定した危険を予見させる場所と一致(若しくはほぼ一致)するかどうかをチェックする(ステップS2303)。
ここで、ユーザーの視線がステップS2301で特定した危険を予見させる場所と一致(若しくはほぼ一致)すると(ステップS2303のYes)、制御部601は、さらに、状態情報取得部604から、脈拍、発汗、筋電位、眼球の動きなどの生体情報を取得する(S2304)。そして、制御部601は、取得した生体情報が、ユーザーが危険な場所に遭遇したことを示しているかどうかを自動判別する(ステップS2305)。
例えば、心拍数が急激に増加した、発汗が検出された、筋肉が異常に収縮した、目線が定まらないあるいは一か所のみを注視しているなど、ユーザーが極度の緊張状態にあることを示すような生理現象が生体情報から検出されたときには、ユーザーが危険な場所に遭遇したと判別することができる。なお、汗を成分分析して、体温調整のためか緊張のためかを識別して、判別の精度を上げることができる。また、画像取得装置110又はユーザーに大きな加速度又は速度がかかり、その後に心拍数が急激に増加したときには、ユーザーが路面の障害物又は窪みに足を引っ掛けて転倒しそうになったためにヒヤリ・ハットしたと判別できる。
そして、ユーザーが危険な場所に遭遇したと判定したときには(ステップS2305のYes)、そのときのユーザーの脈拍数や発汗量又は汗の成分などに基づいて、より高い危険度を出力する(ステップS2306)。一方、ユーザーが危険な場所にはいないと判定したときには(ステップS2305のNo)、そのときのユーザーの脈拍数や発汗量又は汗の成分などに基づいて、低い危険度を出力する(ステップS2307)。
なお、本処理ルーチンでは、危険の判定に用いた危険な状態の情報、又は、危険の種別を判定するための情報タグを併せて出力するようにしてもよい(同上)。
上述したように、ユーザーの生体情報と、コンテンツ視聴状態、画像取得装置110又はユーザーが居る環境情報とを組み合わせて、ユーザーが危険な場所に遭遇しているかどうかを正確に判定することができる。また、画像取得装置110はヘッド・マウント・ディスプレイとして構成され、ユーザーの頭部に装着して用いられることから、外側カメラ612を用いてユーザーの視線方向を自動で撮影することができる。しかしながら、危険な場所に遭遇しているユーザーが必ずしも危険な場所を見続けているとは限らず、危険とは全く関係のない事物を無駄に撮影して、情報管理センター120に送信してしまうおそれがある。そこで、画像取得装置110は、状態情報取得部604で取得されるユーザーの生体情報や、環境情報取得部616で取得される環境情報などに基づいて、ユーザーが危険な場所を見ているかどうかを判定して撮影動作を行なうようにしてもよい。
図16には、画像取得装置110がステップS1203で実行する、危険な場所を撮影する処理手順をフローチャートの形式で示している。但し、図示の処理手順は、危険な場所の静止画撮影を想定している。
制御部601は、状態情報取得部604から受け取った生体情報から、ユーザーの位置姿勢情報と視線の情報を抽出する(ステップS1601)。
次いで、制御部601は、ユーザーの視線が一定時間同じ場所にとどまっているかどうかをチェックする(ステップS1602)。
そして、ユーザーの視線が一定時間同じ場所にとどまっていることが検出されると(ステップS1602のYes)、ユーザーは事故現場や事件現場、あるいはヒヤリ・ハットした場所を凝視していると推定されるので、制御部601は、外側カメラ612をユーザーの視線方向に向けて、静止画の撮影を実行する(ステップS1603)。
また、図17には、画像取得装置110がステップS1203で実行する、危険な場所を撮影する他の処理手順をフローチャートの形式で示している。但し、図示の処理手順は、危険な場所の動画撮影を想定している。
制御部601は、状態情報取得部604から受け取った生体情報から、ユーザーの位置姿勢情報と視線の情報を抽出する(ステップS1701)。
次いで、制御部601は、ユーザーの視線が一定時間同じ場所にとどまっているかどうかをチェックする(ステップS1702)。
そして、ユーザーの視線が一定時間同じ場所にとどまっていることが検出されると(ステップS1702のYes)、ユーザーは事故現場や事件現場、あるいはヒヤリ・ハットした場所を凝視していると推定されるので、制御部601は、外側カメラ612をユーザーの視線方向に向けて、動画の撮影を開始する(ステップS1703)。
その後、制御部601は、撮影期間中、ユーザーの視線を検出し続ける(ステップS1704)。そして、ユーザーの視線方向が一定以上変化すると(ステップS1705のYes)、ユーザーが事故現場や事件現場、あるいはヒヤリ・ハットした場所から視線を外したと推定されるので、制御部601は、動画の撮影を停止する(ステップS1706)。
図18には、画像取得装置110がステップS1203で実行する、危険な場所を撮影するさらに他の処理手順をフローチャートの形式で示している。図16並びに図17に示した処理手順では、視線方向のみに基づいてユーザーが危険な場所を見ているかどうかを判定している。これに対し、図18に示す処理手順では、環境情報取得部616で取得される環境情報などに基づいて危険な場所を特定するという点で上記とは相違する。また、図18に示す処理手順は、危険な場所の動画撮影を想定している。
まず、制御部601は、当該画像取得装置110又はそのユーザーの近隣に存在する危険な場所を特定する(ステップS1801)。
ステップS1801では、制御部601は、例えば、環境情報取得部616から取得した環境情報に基づいて、危険な場所を特定する。具体的には、騒音や爆音などの大きな音の音源、暴風や爆風などの強い風の風上、温度分布に基づく火災現場や車両衝突事故などの出火場所、濃霧や煙の発生場所、放射線の発生源、有害化学物質の発生源などを危険な場所を特定する。また、外側カメラ612で撮影された画像を解析して、事故や事件などの現場、ヒヤリ・ハットした場所などの危険な場所を特定するようにしてもよい。
あるいは、制御部601は、近隣で発生した事故や事件などの情報を、通信部605を介して外部から受信して、この受信情報に基づいて、近隣の危険な場所を特定するようにしてもよい。
次いで、制御部601は、状態情報取得部604から受け取った生体情報(例えば、眼電位や、内側カメラで撮影した左右少なくとも一方の眼の画像)から、ユーザーの位置姿勢情報と視線の情報を抽出して、視線方向を取得する(ステップS1802)。
そして、ユーザーの視線がステップS1801で特定した危険な場所と一致(若しくはほぼ一致)すると(ステップS1803のYes)、制御部601は、外側カメラ612をユーザーの視線方向に向けて、動画の撮影を開始する(ステップS1804)。
その後、制御部601は、撮影期間中、ユーザーの視線を検出し続ける(ステップS1805)。そして、危険な場所から外れると(ステップS1806のYes)、制御部601は、動画の撮影を停止する(ステップS1807)。
また、図19には、画像取得装置110がステップS1203で実行する、危険な場所を撮影するさらに他の処理手順をフローチャートの形式で示している。図18に示した処理手順と同様に環境情報取得部616で取得される環境情報などに基づいて危険な場所を特定するが、危険な場所の重要度や種類に応じて動画又は静止画のいずれを撮影するかを決定する点で相違する。重大な事故や事件、あるいは静止画では危険な場所の様子が伝わりにくいときに動画を提供でき、それ以外のときには静止画として伝送データ量を削減できるというメリットがある。
まず、制御部601は、当該画像取得装置110又はそのユーザーの近隣に存在する危険な場所を特定する(ステップS1901)。
環境情報に基づいて危険な場所を特定する方法は図18を参照しながら説明したものと同様である。このとき、特定された場所における危険の重要度や種類を併せて判定し、その判定結果に基づいて、撮影方法すなわち動画又は静止画のいずれを撮影すべきかを決定する(ステップS1902)。
次いで、制御部601は、状態情報取得部604から受け取った生体情報から、ユーザーの位置姿勢情報と視線の情報を抽出して、視線方向をチェックする(ステップS1903)。
そして、ユーザーの視線がステップS1901で特定した危険な場所と一致(若しくはほぼ一致)すると(ステップS1904のYes)、撮影を実行する。
ここで、ステップS1902で静止画撮影と決定されている場合には(ステップS1905のYes)、外側カメラ612をユーザーの視線方向に向けて、静止画の撮影を実行した後(ステップS1906)、本処理ルーチンを終了する。
一方、ステップS1902で動画撮影と決定されている場合には(ステップS905のNo)、制御部601は、外側カメラ612をユーザーの視線方向に向けて、動画の撮影を開始する(ステップS1907)。また、制御部601は、撮影期間中、ユーザーの視線を検出し続ける(ステップS1908)。そして、ユーザーの視線方向が事故現場や事件現場、あるいはヒヤリ・ハットした場所から外れると(ステップS1909のYes)、制御部601は、動画の撮影を停止して(ステップS1910)、本処理ルーチンを終了する。
例えば、歩行者は、急接近してきた自動車のエンジン音、ブレーキ音、クラクション音、風(空気の急な移動)や、振動などを感じた際に、反射的にその方向を向く。歩行者が、画像取得装置110としてのヘッド・マウント・ディスプレイを装着していると、上述した処理手順に従って、歩行者の視線方向にある状況を瞬時にキャッチして、(歩行者が意識しないでも)危険な場所の画像を捕捉することができる。すなわち、本明細書で開示する技術によれば、危険な場所に居合わせた人が、危険が迫る中で撮影することができる。他方、歩行者が携行するスマートフォンなどカメラ付き多機能端末を画像取得装置110として用いることも可能であるが、同じような場面で危険な場所の画像を捕捉するには、歩行者は自分が向いた方向にカメラを向けるという意識的な行動若しくは動作が必要となり、歩行者の反射的な動作に瞬時に対応することは難しい。また、歩行者が多機能端末を衣服のポケットやカバンの中に収納していると、危険が発生したことや危険な場所に遭遇したことに即時に対応することは難しく(若しくは、常に気持ちの準備しておく必要があり)、重要な場面での撮影タイミングを逃してしまい易い。
ヘッド・マウント・ディスプレイの形態で構成された画像取得装置110によれば、危険が迫る中で撮影することができるが、さらには、より精度の高い危険度の判定を行なうことができる。例えば、自動車やバイク、自転車など接近する物体を判定することができる。動画を撮影したときであれば物体の接近速度を算出することができる。また、接触した後であれば、衝突で受けた加速度に基づいてダメージを判定することができる。また、度々事故が起きた、若しくは起きそうになったが回避された(心拍だけが上がって、衝突などのダメージは受けなかった)ときには、どこから先が本当に危険なのかを判定し、改善のための解析情報になる。
また、画像取得装置110がヘッド・マウント・ディスプレイのような形態で構成される場合、装着したユーザー毎の視点によって危険度を識別することができる。例えば、子供の目線では自動車の接近に近づき難いが、背の高い大人であればさほど危険ではない場合がある。また、歩道にある障害物や窪みなどは、視力のよい人にはさほど危険ではないが、視力の低い人には危険である。同じ危険な場所であっても、年齢や性別、身体的特徴、性格などユーザーの属性によって危険度が相違する。ヘッド・マウント・ディスプレイしての画像取得装置110は、ユーザー毎の視点に基づく生体情報の変化に基づいて、年齢や性別、身体的特徴、性格など合わせた、危険な場所の画像の取得を実現することができる。
従来からも、監視カメラや防犯カメラのように、街角で起きる危険な場面を撮影できるカメラは存在していた。しかしながら、これらの定点カメラは、主に既知の危険地帯に設置されるが、潜在的な危険地帯(言い換えれば、危険が起きるかどうかが不明な場所)に設置されることは稀である。潜在的な危険地帯にまで定点カメラを設置するには、整備導入のコストがかかり過ぎる。これに対し、本明細書で開示する技術によれば、画像取得装置110は、ヘッド・マウント・ディスプレイのようにユーザーが携行して用いる撮影装置であることから、設備導入できない不便を解消することができる。
付言すれば、定点カメラではなく、多数のユーザーのヘッド・マウント・ディスプレイの装着を前提として危険な場所の画像の取得を行なう情報配信システム100によれば、犯罪者への犯行の抑止力となり、治安の向上やユーザーの安心につながる。
各画像取得装置110−1、110−2、110−3、…は、図16〜図19に示したいずれかの処理手順に従って危険な場所を撮影すると、続くステップ1204では、その場所の位置情報を付加して、送信データを作成して、情報管理センター120に送信する。また、送信データには、危険に遭遇した時刻や、遭遇した危険のカテゴリー(事故なのか、事件なのか、ヒヤリ・ハットなのか)の情報(若しくは危険のカテゴリーを特定するために利用する情報タグ)、ユーザーの個人属性(性別、年齢、性格、職業など)や行動属性などからなるユーザー属性情報、その他の情報をさらに添付してもよい。
情報管理センター120は、各画像取得装置110−1、110−2、110−3、…から受信した危険な場所の画像を、位置情報と関連付けて管理する。また、情報管理センター120は、必要に応じて、各画像取得装置110−1、110−2、110−3、…から提供された画像を危険のカテゴリー毎に分類したり、位置情報だけでなくユーザー属性情報(前述)などその他の情報とも関連付けて管理したりするようにしてもよい。
図20には、情報管理センター120において、各画像取得装置110−1、110−2、110−3、…から受信した危険な場所の画像を処理するための手順をフローチャートの形式で示している。
収集情報分析部702は、いずれかの画像取得装置110−1、110−2、110−3、…からデータを通信部701で受信すると(ステップS2001のYes)、受信データを解読して、危険な場所の画像とその場所の位置情報を抽出すると(ステップS2002)、危険な場所の画像を位置情報と対応付けたレコードを作成する(ステップS2003)。
次いで、収集情報分析部702は、受信データに危険な場所の撮影時刻の情報が含まれているかどうかをチェックする(ステップS2004)。含まれている場合には(ステップS2004のYes)、上記レコードに時刻の情報を追加する(ステップS2005)。
また、収集情報分析部702は、データ送信元となる画像取得装置110のユーザーを特定できるかどうかをチェックする(ステップS2006)。ユーザーを特定する方法として、受信データに含まれる送信元アドレスとユーザーが一意に管理されている場合や、受信データにユーザーIDが含まれている場合などが挙げられる。ユーザーを特定することができる場合には(ステップS2006のYes)、上記レコードにそのユーザーのユーザーIDを追加する(ステップS2007)。
また、収集情報分析部702は、受信データに危険のカテゴリーを特定するための情報タグが含まれているかどうかをチェックする(ステップS2008)。含まれている場合には(ステップS2008のYes)、情報タグを解析して、危険のカテゴリーを特定し、上記レコードに危険のカテゴリーを追加する(ステップS2009)。
そして、収集情報分析部702は、作成したレコードを画像データベース704に格納して(ステップS2010)、本処理ルーチンを終了する。画像データベース704のレコードのデータ構造は、図8に示した通りである。
情報管理センター120は、多数の画像取得装置110−1、110−2、110−3、…から収集した危険な場所の情報を地図上にマッピングしてもハザード・マップ・サービスを提供することもできる。情報提供部703は、すべての危険のカテゴリーを含む危険な場所の情報を地図上にマッピングしてハザード・マップを作成してもよいし、あるいは、危険のカテゴリー毎のハザード・マップを作成してもよい(例えば、交通事故のハザード・マップ、火災のハザード・マップ、痴漢や暴行事件のハザード・マップなど)。
また、情報管理センター120は、作成したハザード・マップを、各情報表示装置130−1、130−2、130−3、…に配信してもよいし、画像共有サイトにアップロードして公開してもよい。
既に述べたように、各画像取得装置110−1、110−2、110−3、…からはユーザー毎の視点に応じて危険度を識別して画像が収集される。そこで、情報管理センター120では、情報提供部703は、年齢や性別、身体的特徴、性格などユーザーの属性毎にカスタマイズされた、より精度の高いハザード・マップをユーザーの属性に合わせて提供することができる。例えば、以下のようなユーザー毎の属性の相違に適合させた、きめ細やかなサービスを実現することができる。
(1)幼児を乳母車に乗せて運搬する際、歩道と車道の切れ目で自動車と接触し易く、危険かもしれない。
(2)幼児や背の低い小学生は、歩き煙草をする人から煙草の火が顔や目に当てられるといった危険に遭遇し易い。駅前の繁華街、交差点の横断歩道など不特定多数の人とすれ違う場所は、危険かもしれない。
(3)小柄な幼児や小学生は、人気のない場所は、人さらいや浮浪者、不審者に絡まれ易く、危険かもしれない。
(4)男性であれば、どこで暴力団に絡まれ易いかを知りたいかもしれない。
(5)若い女性であれば、どこで痴漢に遭遇し易いかを知りたいかもしれない。
(6)年齢や性別を問わず、どこが暴力団の抗争地帯なのか、どこが交通事故多発したいなのかを知りたいかもしれない。
また、情報管理センター120は、各情報表示装置130−1、130−2、130−3、…の現在位置で画像データベース704を検索して、適合する危険な場所が見つかったときには、その場所を撮影した画像、又は、画像解析して得られた危険な場所に関する情報を、該当する情報表示装置130に送信する。
図21には、情報管理センター120が各情報表示装置130−1、130−2、130−3…に危険な場所の画像又はその情報を送信するための処理手順をフローチャートの形式で示している。
情報提供部703は、各情報表示装置130−1、130−2、130−3…の位置情報の取得を試みる(ステップS2101)。
情報表示装置130の位置情報を取得する方法は特に限定されない。情報管理センター120が各情報表示装置130−1、130−2、130−3、…の現在位置の情報を常時モニターしている場合もあれば、危険な場所に関する情報を要求する情報表示装置130が自ら位置情報を送信する場合もある。
情報提供部703は、いずれかの情報表示装置130の位置情報を取得できたときには(ステップS2101のYes)、画像データベース704内をその位置情報で検索する(ステップS2102)。
画像データベース704内に、位置情報と照合する1以上レコードが存在したときには(ステップS2103のYes)、必要に応じてフィルタリング処理を行なう。
具体的には、該当するレコードに時刻情報が記入されているときには(ステップS2104のYes)、そのレコードの時刻情報が現在時刻と一致するかどうかをさらにチェックする(ステップS2105)。時刻情報が現在時刻と一致しないレコードは、照合しないものとして扱う(ステップS2105のNo)。
また、該当するレコードにユーザーIDが記入されているときには(ステップS2106のYes)、ユーザー・データベース705内をそのユーザーIDで検索して、ユーザーの個人属性や行動属性を取り出す(ステップS2107)。そして、画像の送信対象となる情報表示装置130のユーザーの個人属性や行動属性との類似度に基づいてフィルタリングを行なう(ステップS2108)。
個人属性や行動属性が類似しないユーザーから収集された画像のレコードは、照合しないものとして扱う(ステップS2109のNo)。何故ならば、女性には危険であるが男性には危険でない場所、特に幼児又は老人には危険である場所、走っているときには危険であるが歩いているときには特に危険でなく注意を要しない場合などがあるからである。また、歩道にある障害物や窪みなどは、視力のよい人にはさほど危険ではないが、視力の低い人には危険である。危険ではないユーザーに情報を送信すると、無駄な警告となり、本当に危険なときに情報を送信しても本気で受け入れられなくなるおそれがある。
また、該当するレコードに危険のカテゴリーが記入されているときには(ステップS2110のYes)、これを取り出す(ステップS2111)。
そして、情報提供部703は、送信データを作成する(ステップS2112)。送信データには、フィルタリング処理後に残った画像のデータを入れる。
送信データには、危険な場所の画像データそのものを入れるようにしてもよいし、あるいは、画像データを保管する場所(画像共有サイトなど)若しくはアクセスする情報を示すURLやURIであってもよい。
また、情報提供部703は、画像データベース704から取り出した画像データをそのまま送信データに入れるのではなく、送信先の情報表示装置130の表示能力などの装置属性やユーザー属性、危険のカテゴリーなどに応じて、適宜加工した画像データを送信するようにしてもよい。例えば、送信先の情報表示装置130がヘッド・マウント・ディスプレイ又はヘッド・アップ・ディスプレイのいずれであるかに応じて、解像度や画像サイズを変更する。また、送信先の情報表示装置130のユーザーが大人であれば漢字を含んだ詳細なメッセージを挿入するが、幼児であれば難しい漢字を含まず絵文字などイメージで理解し易いメッセージを挿入する。また、危険のカテゴリーが交通事故や火災など緊急性の高いものであれば赤みがかった表示にしてユーザーの注意を喚起し、不審人物が頻繁に出現する場所であれば暗く表示してユーザーが接近を回避するように仕向ける。なお、上記のような画像データの加工処理の一部又は全部を、情報管理センター120ではなく、送信先の情報表示装置130側で行なうようにしてもよい。
一方、該当する画像のレコードが画像データベース704から見つからなかったときや(ステップS2103のNo)、フィルタリング処理して該当する画像が残らなかったときには(ステップS2105又はS2109のNo)、ステップS2112では、該当する画像が存在しない旨を送信データに記入する。また、ステップS2111で危険のカテゴリーが得られたときには、これも送信データに含めるようにしてもよい。作成された送信データは、通信部1002を介して、該当する情報表示装置130に送信される(ステップS2113)。なお、時刻情報やユーザーの属性情報に基づいてフィルタリング処理を行なった結果、該当する画像のレコードが複数あることも想定される。このような場合、情報管理センター120側で1つ(若しくは一部)に絞り込んで情報表示装置130に送信する方法と、該当する画像をすべて情報表示装置130に送信する方法が考えられるが、詳細については後述に譲る。
各情報表示装置130−1、130−2、130−3、…は、危険な場所に関する画像、又は、画像解析して得られた危険な場所に関する情報を、情報管理センター120から受け取ると、これを表示して、当該装置を携行しているユーザーに危険を警告する。
例えば、情報表示装置130がヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイの場合には、ユーザーの視界に入った危険な場所に重畳して情報を表示することにより、ユーザーに効果的に危険を通知し、危険から回避させることができる。また、情報表示装置130は、危険な場所を撮影した画像を表示する際に、効果音などの音声出力や、振動やタクタイル・フィードバックを併せて行なうことで、さらにユーザーに注意の喚起を促すようにしてもよい。
図22には、情報表示装置130において、情報管理センター120から受け取った危険な場所に関する情報をユーザーに表示するための処理手順をフローチャートの形式で示している。但し、図示の処理手順は、画像のフィルタリング処理や、画像データの加工処理の一部又は全部を、情報管理センター120ではなく情報表示装置130側で行なうことを想定している。
制御部1001は、情報管理センター120からデータを通信部1002で受信すると(ステップS2201のYes)、受信データを解読して、危険な場所の画像など各種データを抽出する(ステップS2202)。なお、受信データに危険な場所の画像そのものではなく、URLやURIが記載されている場合には、ステップS2202では、該当する画像共有サイトなどから画像をダウンロードする。また、情報表示装置130のユーザーが現在いる危険な場所に関する複数の画像の情報が情報管理センター120から送られてくることも想定される。
次いで、制御部1001は、受信データに危険のカテゴリーが含まれているかどうかをチェックする(ステップS2203)。危険のカテゴリーが含まれているときには(ステップS2203のYes)、制御部1001は、必要に応じて、ステップS2202で取得した画像に対して、危険のカテゴリーに応じた加工を施す(ステップS2204)。例えば、危険のカテゴリーが交通事故や火災など緊急性の高いものであれば、危険な場所を赤みがかった表示にして注意を喚起する。また、不審人物が頻繁に出現する場所であれば、危険な場所を暗く表示してユーザーが接近を回避するように仕向けるようにする。
次いで、制御部1001は、ROM1001A内やユーザー・データベース705などから、当該情報表示装置130のユーザー属性情報の取得を試みる(ステップS2205)。そして、ユーザー属性情報を取得できたときには(ステップS2206のYes)、制御部1001は、必要に応じて、ステップS2202で取得した画像に対して、ユーザーの属性情報に応じた加工を施す(ステップS2207)。例えば、ユーザーが大人であれば漢字を含んだ詳細なメッセージを挿入するが、幼児であれば難しい漢字を含まず絵文字などイメージで理解し易いメッセージを挿入する。また、複数の画像の情報が情報管理センター120から送られてきた場合には、ステップ2207で、制御部1001は、時刻情報やユーザーの個人属性並びに行動属性に応じたフィルタリング処理を実施する。
そして、位置情報取得部1003は当該情報表示装置130のユーザーの現在の位置姿勢情報を取得すると(ステップS2208)、制御部1001は、ユーザーの頭部の動きに追従させて、危険な場所の画像を表示する(ステップS2209)。情報表示装置130が例えばヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイであれば、危険な場所の画像を、現実の風景上の危険な場所に重畳するようにシースルーで表示する。なお、複数の画像の情報が情報管理センター120から送られてきた場合、ステップS2207でフィルタリング処理を行なっても1つの画像に絞り込むことができないことも想定されるが、その際の処理の詳細については後述に譲る。
図24〜図27には、ある情報表示装置130における危険な場所の画像の表示例を示している。但し、各図では、情報表示装置130がヘッド・マウント・ディスプレイ又はヘッド・アップ・ディスプレイとして構成され、当該装置のユーザーの視線方向の風景(街角など)に危険な場所の画像を重畳して表示することを想定している。
図24に示す例では、参照番号2401で示す街角を右折すると、危険な場所があることを、その道を塞ぐようなオブジェクト2402で示している。危険のカテゴリーが交通事故や火災など緊急性の高いものであれば、オブジェクト2402を赤みがかった表示にして、ユーザーに注意して通過することを喚起する。
図25に示す例では、さらに参照番号2501で示すように、吹き出しを用いて「交通事故発生!」のようなメッセージを表示して、危険のカテゴリーをユーザーに通知するようにしている。なお、メッセージには、例えばユーザーの年齢や性別などのユーザー属性情報に合わせて、理解し易い文章を用いるようにしてもよい(例えば、ユーザーが幼児や低学年の小学生であれば、漢字を避けたり、音声メッセージに切り替えたりする)。
また、図26に示す例では、参照番号2601で示す街角を右折すると、危険な場所があることを、その道を塞ぐようなオブジェクト2602で示している。図24に示した例とは相違し、街角2601を右折すると、ユーザーにとって危険な人物(例えば、不審者や痴漢、乱暴な人、犯罪者)が頻繁に出現するなどの理由により、そもそも通過しないよう回避すべき危険な場所の場合は、街角2601自体を暗く覆って見えなくするようなオブジェクト2602を表示する。勿論、図25に示した場合と同様に、危険のカテゴリーを示すメッセージを併せて表示するようにしてもよい。
また、図27には、危険な場所の表示をナビゲーション・システムに適用した例を示している。図示の例では、元の道案内を参照番号2701に示すように点線の矢印で示し、危険な場所を回避するための道案内を参照番号2702に示すように実線の矢印で示している。ユーザーが混乱しないように、元の道案内2701の表示を省略するようにしてもよい。また、元の道案内を参照番号2701が通れなくなった理由を、吹き出し2703などを用いたメッセージで表示するようにしてもよい。
図24〜図27からも分かるように、本明細書で開示する技術によれば、事故や事件の発生源を始めとする危険な場所に関する画像を好適に提供することができる。
情報表示装置130のユーザーが現在いる危険な場所に関して複数の画像がヒットすることも想定される。図21又は図22に示した処理手順では、時刻情報やユーザーの個人属性並びに行動属性に応じたフィルタリング処理を実施して、所定枚数の画像に絞り込めたことを前提としている(図24〜図27では1枚の画像に絞り込んだ例を示した)。しかしながら、時刻情報やユーザーの属性情報が同一の条件で複数の画像がヒットし、フィルタリング処理だけでは所定枚数の画像に絞り込めないことも想定される。このような場合、複数の検索条件を設定して検索を行ない、所定枚数の画像に絞り込むようにしてもよい。このような絞り込み処理を行なうには、以下の(A)〜(C)の3通りの方法が考えられる。
(A)情報管理センター120側で、デフォルトの検索条件を用いて画像の絞り込みを行なう。
(B)情報表示装置130から指定された検索条件を用いて画像の絞り込みを行なう。
(C)情報表示装置130が、情報管理センター120から必要な情報を取得して、所望の検索条件を用いて画像の絞り込みを行なう。
ここで、情報表示装置130のユーザーが若い女性で、何者か(不審者)に追われている場面を具体例として説明する。彼女の頭の中には、袋小路に追い詰められる、若しくは、もう人の共犯者との挟み撃ちに遭うのを回避したいという思惑がある。このような場合、以下のような情報(a)、(b)が求められる。
(a)最も助かり易い逃げ方(周囲1km(10分間走った場合の距離)以内の危険地帯マップ)
(b)共犯者の顔
若い女性がユーザーとなる場合の画像の検索条件として、例えば以下の(1)〜(4)が挙げられる。
(1)ユーザーの年齢前後3歳の女性が体験した危険画像
(2)現在時刻前後30分以内の過去2週間に取得された画像
(3)女性以外の男性が写っている画像
(4)周囲1km(10分間走った場合の距離)以内で最大の危険地帯(若しくは、実際に犯罪に遭った場所)
上記の検索条件(1)〜(4)を満たす画像を、危険度が高い方から所定枚数(例えば、5枚)を取り出して、ユーザーに提示してあげる。また、所定枚数に満たない場合には、情報管理センター120側で検索条件(5)として、(1)〜(3)の検索条件を緩和して、所定枚数になるように調整することが、より好ましい(例えば、年齢の幅を前後3歳から前後5歳に拡張する、現在時刻の前後30分を前後1時間に、過去2週間を過去1月に拡張するなど)。
上記の方法(A)を採用する場合、若い女性がユーザーとなる情報表示装置130からは、追われて危険だから情報を送れ、という旨の要求が送信される。情報管理センター120側では、そのユーザーの属性情報から上記のデフォルトの検索条件(1)〜(4)を用いて、画像の絞り込みを行ない、所定枚数の画像を情報表示装置130に送信する。また、必要に応じて、(5)の条件緩和を行なう。
また、上記の方法(B)を採用する場合、情報表示装置130は、危険な情報の送信を要求する際に、情報管理センター120側で用意するデフォルトの検索条件の中から所望する検索条件を指定する。例えば、検索条件(1)〜(3)が指定された場合、情報管理センター120側ではその条件で画像を検索して、その結果を情報表示装置130に提供する。あるいは、情報表示装置130は、デフォルトの検索条件に制約されず、自在に検索条件を指定するようにしてもよい。例えば、上記の検索条件(3)を、(3)´2名以上の人物が写っている(共犯者が女性で、金品の引き渡しを強要されている場合)に置き換えて、検索条件(1)、(2)、(3)´、(4)、(5)を指定する。
また、上記の方法(C)を採用する場合、情報表示装置130は、すべての検索条件(1)〜(5)を用いて画像の検索を処理するために、情報管理センター120に対して検索条件(1)及び(2)を満たす画像の送信を要求する。そして、情報表示装置130は、情報管理センター120から取得した画像から、検索条件(3)〜(5)を用いて検索処理して絞り込みを行なう。情報表示装置130側で検索条件(3)〜(5)の条件緩和による再検索を行なう場合、情報管理センター120と通信ができない状態に陥っても、検索処理を実施することができる。また、情報管理センター120との通信回線が細い場合であっても、情報表示装置130は検索結果を早く得られるというメリットもある。
特開2012−98105号公報 特開2011−2753号公報
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術を、危険な場所の画像の配信に利用することで、例えば以下の(1)〜(3)に挙げるようなメリットがある。
(1)事故発生の情報の迅速なキャッチ
従来から、交通情報サービスによって事故の情報はブロードキャストされている。また、交通事故の発生時に複数の視点による映像を収集するシステムについても提案がなされている(例えば、特許文献1を参照のこと)。しかしながら、事故発生から各ドライバーに情報が届くまでにはディレイがある。また、情報提供の対象者が車両のドライバーに限定され、歩行者などは情報を得ることができない。これに対し、本明細書で開示する技術によれば、車載カメラではなく、歩行者やドライバーを始め、事故や事件に遭遇したさまざまな人の視点により撮影した画像を、事故や事件の発生現場にこれから近づこうとしている歩行者やドライバーに、ヘッド・マウント・ディスプレイや、スマートフォンなどの多機能情報端末、あるいはフロント・ガラスのヘッド・アップ・ディスプレイ越しに、事故や事件の画像など危険を知らせる情報をリアルタイムに伝達することができる。したがって、2次災害や渋滞の回避効率を向上させることができる。
(2)事故の未然防止
ドライバーが実際に事故にならなくても、急ブレーキや急ハンドルなど、事故を起こすリスクが高いこと(若しくは、事故の発生を予見させる)ような、ヒヤリ・ハットの動作が存在する。また、歩行者は、路面の障害物や窪みなどで躓きそうになるなど、実際には事故や怪我には至らないがヒヤリ・ハットの動作が存在する。本明細書で開示する技術によれば、ドライバーや歩行者などが装着するヘッド・マウント・ディスプレイが、脈拍や発汗などの生体情報に基づいてヒヤリ・ハットの動作を自動検出して、このような危険な場所の撮影画像を情報管理センターに送信することで、ユーザー間でヒヤリ・ハットの情報をリアルタイムで共有して、事故を未然に防止することができる。
(3)ハザード・マップの作成
本明細書で開示する技術によれば、複数の画像取得装置から取得した危険な場所の画像をデータベース管理するので、交通事故を始めさまざまな事故や事件(傷害や殺人、窃盗、強盗など)のハザード・マップを作成し、これをあらかじめ歩行者やドライバーに提供し、あるいは、リアルタイムな走行又は歩行地点にリンクして報知やガイダンスを行なうことで、さまざまな事故や事件の発生を未然に防ぐことができる。また、実際に起きてしまった事故や事件についてのハザード・マップだけでなく、事故や資源が未遂に終わった場所を示す潜在的ハザード・マップを作成して提供することもできる。例えば、車両の運転手や歩行者がヒヤリ・ハットした場所のような事故が発生しそうな危険な場所の情報を、各自が装着するヘッド・マウント・ディスプレイから収集することができる。
本明細書で開示する技術によれば、危険な場所を撮影した画像やこれに付随する情報が情報管理センターに集められ、画像データベースに管理される。画像データベースには、上述した以外にも、以下の(1)〜(4)を始めとして、さまざまな用途がある。
(1)道路敷設者の立場からは、事故の原因解析、今後の回避策の策定。
(2)国土交通省、警察の立場からは、道路交通法の整備や指導方法に参考になる。
(3)警察の立場からは、犯人検挙の迅速化につながる。
(4)民事若しくは刑事訴訟上は、事故後の賠償保障や刑の軽重などの訴訟判断の精度向上や迅速化が見込まれる。
また、上記では、本明細書で開示する技術に係る情報配信システムが危険な場所に関する情報を配信する実施形態を中心に説明してきたが、「危険な場所」を危険人物や危険な動物などの「危険な事物」に置き換えたシステムの運用も考えられる。ここで言う危険人物には、指名手配犯や逃亡犯のように重要な危険人物の他に、乱暴な人や歩き煙草をするなど迷惑行為をする比較的軽微な危険人物が含まれる。危険な動物には、すぐ噛みつくペットや猛毒を持った動物が含まれる。その他、出火や爆発し易い可燃物なども危険な事物に含まれる。危険な事物は、場所と相違し、位置情報が時々刻々と変化することが想定されるので、情報管理センターは、危険な事物の位置情報を定期的に更新したり、位置情報で管理するのではなくその撮影画像の認識結果などに基づく識別情報と対応付けて画像データベースを管理したりするようにしてもよい。
なお、危険な場所の画像を提供する画像取得装置は、基本的には、ヘッド・マウント・ディスプレイのようにユーザーが身体に装着して用いられる情報機器である。ヘッド・マウント・ディスプレイを用いる場合、透過型又は没入型のいずれであってもよい。
また、情報管理センターから配信される危険な場所の撮影画像などの情報を表示する情報表示装置は、基本的には、ユーザーとともに移動するが、ヘッド・マウント・ディスプレイの他、スマートフォンやヘッド・アップ・ディスプレイであってもよい。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)ユーザーの頭部又は顔部に装着され、画像を表示する表示部と、
外部機器と通信する通信部と、
撮影部と、
前記ユーザーの現在の位置情報を取得する位置情報取得部と、
危険状態を判定したことに応じて、前記撮影部で危険な場所を撮影し、撮影画像を前記位置情報取得部で取得した位置情報とともに前記通信部から前記外部機器に送信する制御部と、
を具備する画像取得装置。
(2)前記ユーザーの状態情報を取得する状態情報取得部をさらに備え、
前記制御部は、前記状態情報に基づいて危険状態を判定する、
上記(1)に記載の画像取得装置。
(3)環境情報を取得する環境情報取得部をさらに備え、
前記制御部は、前記環境情報に基づいて危険状態を判定する、
上記(1)に記載の画像取得装置。
(4)前記制御部は、撮影時刻の情報を付けて前記撮影画像を送信する、
上記(1)に記載の画像取得装置。
(5)前記制御部は、ユーザーの属性情報を付けて前記撮影画像を送信する、
上記(1)に記載の画像取得装置。
(6)前記状態情報取得部は、前記ユーザーの生体情報を取得し、
前記制御部は、前記生体情報に基づいて自ら危険状態を判定し、又は多数のデータを記録する外部装置による相対的な危険状態の判定結果を取得する、
上記(2)に記載の画像取得装置。
(7)前記制御部は、前記ユーザーの脈拍、発汗、筋電位、眼球の動きのうち少なくともいずれか1つの生体情報に基づいて、危険状態を判定する、
上記(6)に記載の画像取得装置。
(8)前記制御部は、前記ユーザーが前記表示部でコンテンツ視聴中か否かをさらに考慮して、危険状態を判定する、
上記(6)に記載の画像取得装置。
(9)環境情報を取得する環境情報取得部をさらに備え、
前記制御部は、さらに前記環境情報を考慮して、危険状態を判定する、
上記(8)に記載の画像取得装置。
(10)前記制御部は、前記環境情報として、周囲の音、風、雰囲気(濃霧や煙、放射線、大気中の有害化学物質)、周囲の撮影画像の解析結果に基づいて、危険状態を判定する、
上記(3)又は(9)のいずれかに記載の画像取得装置。
(11)前記ユーザーの視線を取得する視線取得部をさらに備え、
前記制御部は、前記視線が危険を予見させる場所と一致したときの前記ユーザーの生体情報に基づいて、危険状態を判定する、
上記(6)に記載の画像取得装置。
(12)環境情報を取得する環境情報取得部をさらに備え、
前記制御部は、前記環境情報に基づいて危険を予見させる場所を特定する、
上記(12)に記載の画像取得装置。
(13)前記ユーザーの視線を取得する視線取得部をさらに備え、
前記制御部は、危険状態を判定したときに、前記視線が一定時間とどまったことに応じて前記撮影部で静止画又は動画の撮影を行なう、
上記(1)に記載の画像取得装置。
(14)前記制御部は、動画撮影中に前記視線が変化したことに応じて撮影を停止する、
上記(13)に記載の画像取得装置。
(15)前記ユーザーの視線を取得する視線取得部をさらに備え、
前記制御部は、危険な場所を特定し、前記視線が危険な場所と一致したことに応じて動画の撮影を開始し、前記視線が危険な場所から外れたことに応じて撮影を停止する、
上記(1)に記載の画像取得装置。
(16)前記制御部は、危険な場所の重要度又は種類に応じて、静止が又は動画のいずれの方法で撮影するかを決定する、
上記(1)に記載の画像取得装置。
(17)ユーザーの状態情報又は環境情報に基づいて危険な状態を判定する判定ステップと、
前記ユーザーの現在の位置情報を取得する位置情報取得ステップと、
危険状態を判定したことに応じて、撮影部で危険な場所を撮影する撮影ステップと、
撮影画像を前記位置情報取得ステップで取得した位置情報とともに通信部から外部機器に送信する送信ステップと、
を有する情報取得方法。
(18)危険な場所の画像を位置情報とともに管理する画像データベースと、
情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供する情報提供部と、
を具備する情報配信システム。
(19)1以上の画像取得装置から収集した危険な場所の画像をそれぞれ位置情報とともに前記画像データベースに管理する、
上記(18)に記載の情報配信システム。
(20)画像取得装置で危険な場所を撮影した時刻情報を併せて前記画像データベースに管理し、
前記情報提供部は、現在の時刻でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出す、
上記(19)に記載の情報配信システム。
(21)各画像取得装置のユーザーの属性情報を管理するユーザー・データベースをさらに備え、
前記情報提供部は、提供先の情報表示装置のユーザーの属性情報でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供する、
上記(19)に記載の情報配信システム。
(22)前記情報提供部は、前記画像データベースに格納されている各危険な場所を地図上にマッピングして作成したハザード・マップを提供する、
上記(18)に記載の情報配信システム。
(23)前記情報提供部は、危険のカテゴリー毎のハザード・マップを作成する、
上記(22)に記載の情報配信システム。
(24)前記情報提供部は、ユーザーの属性毎のハザード・マップを作成する、
上記(22)に記載の情報配信システム。
(25)前記情報提供部は、情報表示装置の現在位置に対して複数の画像が取り出された場合に、以下の(A)〜(C)のいずれかの方法により所定枚数の画像に絞り込んで提供する、
上記(18)に記載の情報配信システム。
(A)デフォルトの検索条件を用いて画像検索を行なう
(B)情報表示装置が指定する検索条件を用いて画像検索を行なう
(C)必要な情報を情報表示装置に送信し、情報表示装置側で所望の検索条件を用いて画像検索を行なう
100…情報配信システム100
110…画像取得装置、120…情報管理センター、130…情報表示装置
201L、201R…虚像光学部、202…支持体
203L、203R…マイクロフォン、204L、204R…表示パネル
401L、401R…虚像光学部
403L、403R…マイクロフォン、404L、404R…表示パネル
405…眼幅調整機構
601…制御部、601A…ROM、601B…RAM
602…入力操作部、603…リモコン受信部
604…状態情報取得部、605…通信部、606…記憶部
607…画像処理部、608…表示駆動部
609…表示部、610…虚像光学部、612…外側カメラ
613…音声処理部、614…音声入出力部、
615…外側表示部、616…環境情報取得部
701…通信部、702…収集画像分析部、703…情報提供部
704…画像データベース、705…ユーザー・データベース
1001…制御部、1001A…ROM、1001B…RAM
1002…通信部、1003…位置情報取得部
1004…画像処理部、1005…表示駆動部、1006…表示部
1007…駆動制御部、1008…アクチュエーター部
1101…振動デバイス、1102…発熱デバイス
1103…冷却デバイス、1104…送風デバイス
1105…音響デバイス、1106…発光デバイス、1107…移動デバイス

Claims (20)

  1. ユーザーの頭部又は顔部に装着され、画像を表示する表示部と、
    外部機器と通信する通信部と、
    撮影部と、
    前記ユーザーの現在の位置情報を取得する位置情報取得部と、
    危険状態を判定したことに応じて、前記撮影部で危険な場所を撮影し、撮影画像を前記位置情報取得部で取得した位置情報とともに前記通信部から前記外部機器に送信する制御部と、
    を具備する画像取得装置。
  2. 前記ユーザーの状態情報を取得する状態情報取得部、又は、環境情報を取得する環境情報取得部の少なくともいずれかをさらに備え、
    前記制御部は、前記状態情報又は前記環境情報に基づいて危険状態を判定する、
    請求項1に記載の画像取得装置。
  3. 前記制御部は、撮影時刻の情報又はユーザーの属性情報のうち少なくともいずれかを付けて前記撮影画像を送信する、
    請求項1に記載の画像取得装置。
  4. 前記状態情報取得部は、前記ユーザーの生体情報を取得し、
    前記制御部は、前記生体情報に基づいて自ら危険状態を判定し、又は多数のデータを記録する外部装置による相対的な危険状態の判定結果を取得する、
    請求項2に記載の画像取得装置。
  5. 前記制御部は、前記ユーザーの脈拍、発汗、筋電位、眼球の動きのうち少なくともいずれか1つの生体情報に基づいて、危険状態を判定する、
    請求項4に記載の画像取得装置。
  6. 前記制御部は、前記ユーザーが前記表示部でコンテンツ視聴中か否かをさらに考慮して、危険状態を判定する、
    請求項4に記載の画像取得装置。
  7. 前記制御部は、前記環境情報として、周囲の音、風、雰囲気(濃霧や煙、放射線、大気中の有害化学物質)、周囲の撮影画像の解析結果に基づいて、危険状態を判定する、
    請求項2に記載の画像取得装置。
  8. 前記ユーザーの視線を取得する視線取得部をさらに備え、
    前記制御部は、前記視線が危険を予見させる場所と一致したときの前記ユーザーの生体情報に基づいて、危険状態を判定する、
    請求項4に記載の画像取得装置。
  9. 前記制御部は、前記環境情報に基づいて危険を予見させる場所を特定する、
    請求項8に記載の画像取得装置。
  10. 前記ユーザーの視線を取得する視線取得部をさらに備え、
    前記制御部は、危険状態を判定したときに、前記視線が一定時間とどまったことに応じて前記撮影部で静止画又は動画の撮影を行なう、
    請求項1に記載の画像取得装置。
  11. 前記制御部は、動画撮影中に前記視線が変化したことに応じて撮影を停止する、
    請求項10に記載の画像取得装置。
  12. 前記ユーザーの視線を取得する視線取得部をさらに備え、
    前記制御部は、危険な場所を特定し、前記視線が危険な場所と一致したことに応じて動画の撮影を開始し、前記視線が危険な場所から外れたことに応じて撮影を停止する、
    請求項1に記載の画像取得装置。
  13. 前記制御部は、危険な場所の重要度又は種類に応じて、静止が又は動画のいずれの方法で撮影するかを決定する、
    請求項1に記載の画像取得装置。
  14. ユーザーの状態情報又は環境情報に基づいて危険な状態を判定する判定ステップと、
    前記ユーザーの現在の位置情報を取得する位置情報取得ステップと、
    危険状態を判定したことに応じて、撮影部で危険な場所を撮影する撮影ステップと、
    撮影画像を前記位置情報取得ステップで取得した位置情報とともに通信部から外部機器に送信する送信ステップと、
    を有する情報取得方法。
  15. 危険な場所の画像を位置情報とともに管理する画像データベースと、
    情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供する情報提供部と、
    を具備する情報配信システム。
  16. 1以上の画像取得装置から収集した危険な場所の画像をそれぞれ位置情報とともに前記画像データベースに管理する、
    請求項15に記載の情報配信システム。
  17. 画像取得装置で危険な場所を撮影した時刻情報を併せて前記画像データベースに管理し、
    前記情報提供部は、現在の時刻でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出す、
    請求項16に記載の情報配信システム。
  18. 各画像取得装置のユーザーの属性情報を管理するユーザー・データベースをさらに備え、
    前記情報提供部は、提供先の情報表示装置のユーザーの属性情報でフィルターをかけて、情報表示装置の現在位置に対応する危険な場所の画像を前記画像データベースから取り出して提供する、
    請求項16に記載の情報配信システム。
  19. 前記情報提供部は、前記画像データベースに格納されている各危険な場所を地図上にマッピングして作成したハザード・マップを提供する、
    請求項15に記載の情報配信システム。
  20. 前記情報提供部は、情報表示装置の現在位置に対して複数の画像が取り出された場合に、以下の(A)〜(C)のいずれかの方法により所定枚数の画像に絞り込んで提供する、
    請求項15に記載の情報配信システム。
    (A)デフォルトの検索条件を用いて画像検索を行なう
    (B)情報表示装置が指定する検索条件を用いて画像検索を行なう
    (C)必要な情報を情報表示装置に送信し、情報表示装置側で所望の検索条件を用いて画像検索を行なう
JP2013173398A 2013-08-23 2013-08-23 画像取得装置及び画像取得方法、並びに情報配信システム。 Pending JP2015041969A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013173398A JP2015041969A (ja) 2013-08-23 2013-08-23 画像取得装置及び画像取得方法、並びに情報配信システム。
US14/458,792 US9535248B2 (en) 2013-08-23 2014-08-13 Image capturing device, image capturing method, and information distribution system
CN201410400924.0A CN104427327B (zh) 2013-08-23 2014-08-15 图像拍摄装置、图像拍摄方法及信息分发系统
US15/369,977 US10070034B2 (en) 2013-08-23 2016-12-06 Image capturing device, image capturing method, and information distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013173398A JP2015041969A (ja) 2013-08-23 2013-08-23 画像取得装置及び画像取得方法、並びに情報配信システム。

Publications (1)

Publication Number Publication Date
JP2015041969A true JP2015041969A (ja) 2015-03-02

Family

ID=52479883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173398A Pending JP2015041969A (ja) 2013-08-23 2013-08-23 画像取得装置及び画像取得方法、並びに情報配信システム。

Country Status (3)

Country Link
US (2) US9535248B2 (ja)
JP (1) JP2015041969A (ja)
CN (1) CN104427327B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5861073B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP5861074B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP2017084059A (ja) * 2015-10-27 2017-05-18 東京エレクトロン株式会社 注意喚起情報提供システム
US9661283B2 (en) 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP2017126892A (ja) * 2016-01-14 2017-07-20 株式会社ニコン 電子機器
JP6400258B1 (ja) * 2018-02-15 2018-10-03 三菱電機株式会社 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
JP2019086904A (ja) * 2017-11-02 2019-06-06 大日本印刷株式会社 画像管理サーバ及び画像管理方法
JP2019159714A (ja) * 2018-03-12 2019-09-19 公立大学法人岩手県立大学 情報収集システム、情報収集方法、プログラム
JP2019174900A (ja) * 2018-03-27 2019-10-10 Necプラットフォームズ株式会社 監視システム及び監視方法
JP2021025906A (ja) * 2019-08-06 2021-02-22 富士ゼロックス株式会社 情報処理装置及びプログラム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3189370A1 (en) * 2014-09-01 2017-07-12 Eyra Ltd Process and wearable device equipped with stereoscopic vision for helping the user
CN105632049B (zh) * 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6582403B2 (ja) 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10105573B2 (en) * 2015-06-30 2018-10-23 Lg Electronics Inc. Watch-type mobile terminal and method for controlling same
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US9605970B1 (en) * 2015-09-03 2017-03-28 Harman International Industries, Incorporated Methods and systems for driver assistance
WO2017049485A1 (zh) * 2015-09-23 2017-03-30 深圳还是威健康科技有限公司 一种信息处理方法以及智能手环
CN106974646A (zh) * 2016-01-22 2017-07-25 周常安 穿戴式生理监测装置
CN106373395A (zh) * 2016-09-20 2017-02-01 三星电子(中国)研发中心 行车事故的监控方法和装置
CN107861611A (zh) * 2016-09-22 2018-03-30 天津康途科技有限公司 一种基于增强现实技术的电梯维保系统
CN108024050A (zh) * 2016-10-28 2018-05-11 中兴通讯股份有限公司 一种拍摄提示方法及装置
CN107049241B (zh) * 2017-01-22 2023-06-06 北京方可体健康科技有限公司 一种功能检测评估仪
US10609902B2 (en) * 2017-07-27 2020-04-07 Command Sight, Inc. Animal wearable head mountable display system
US10630873B2 (en) 2017-07-27 2020-04-21 Command Sight, Inc. Animal-wearable first person view system
CN107732876B (zh) * 2017-10-19 2019-03-15 中领世能(天津)科技有限公司 信号分辨处理单元及分辨处理信号的方法
US10417911B2 (en) * 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
TWI662438B (zh) * 2017-12-27 2019-06-11 緯創資通股份有限公司 防止危險自拍之方法、裝置、及儲存媒體
CN108169761B (zh) * 2018-01-18 2024-08-06 上海瀚莅电子科技有限公司 火场任务确定方法、装置、系统及计算机可读存储介质
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
JP7255608B2 (ja) * 2018-11-23 2023-04-11 日本精機株式会社 表示制御装置、方法、及びコンピュータ・プログラム
JP7119985B2 (ja) * 2018-12-21 2022-08-17 トヨタ自動車株式会社 地図生成装置、地図生成システム、地図生成方法、及び地図生成プログラム
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
CN113519167A (zh) * 2019-03-04 2021-10-19 麦克赛尔株式会社 头戴式信息处理装置
CN110674650A (zh) * 2019-08-26 2020-01-10 深圳市有方科技股份有限公司 一种多路扫描设备及应用该设备的方法
US10959056B1 (en) * 2019-11-26 2021-03-23 Saudi Arabian Oil Company Monitoring system for site safety and tracking
KR20210158144A (ko) * 2020-06-23 2021-12-30 엘지디스플레이 주식회사 게이트 드라이버, 데이터 드라이버 및 이를 이용한 표시장치
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113095236A (zh) * 2021-04-15 2021-07-09 国家电网有限公司 一种基于智能眼镜的危险行为识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645452B2 (ja) * 2006-01-10 2011-03-09 株式会社デンソー 車両用表示装置
US8374779B2 (en) * 2007-07-31 2013-02-12 Sanyo Electric Co., Ltd. Navigation device and image management method
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2012098105A (ja) 2010-11-01 2012-05-24 Clarion Co Ltd 事故発生場所周辺の映像収集システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356369B2 (en) 2014-12-24 2019-07-16 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP5861073B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP2016122918A (ja) * 2014-12-24 2016-07-07 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP2016122919A (ja) * 2014-12-24 2016-07-07 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
US9661283B2 (en) 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP5861074B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP2017084059A (ja) * 2015-10-27 2017-05-18 東京エレクトロン株式会社 注意喚起情報提供システム
JP2017126892A (ja) * 2016-01-14 2017-07-20 株式会社ニコン 電子機器
JP2019086904A (ja) * 2017-11-02 2019-06-06 大日本印刷株式会社 画像管理サーバ及び画像管理方法
WO2019159267A1 (ja) * 2018-02-15 2019-08-22 三菱電機株式会社 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
JP6400258B1 (ja) * 2018-02-15 2018-10-03 三菱電機株式会社 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
JP2019159714A (ja) * 2018-03-12 2019-09-19 公立大学法人岩手県立大学 情報収集システム、情報収集方法、プログラム
JP2019174900A (ja) * 2018-03-27 2019-10-10 Necプラットフォームズ株式会社 監視システム及び監視方法
JP2021025906A (ja) * 2019-08-06 2021-02-22 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
CN104427327B (zh) 2017-11-14
US10070034B2 (en) 2018-09-04
US9535248B2 (en) 2017-01-03
US20150054716A1 (en) 2015-02-26
US20170085773A1 (en) 2017-03-23
CN104427327A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
US10070034B2 (en) Image capturing device, image capturing method, and information distribution system
Chang et al. Spiders in the sky: User perceptions of drones, privacy, and security
US10977917B2 (en) Surveillance camera system and surveillance method
EP3067827B1 (en) Driver distraction detection system
JP6079614B2 (ja) 画像表示装置及び画像表示方法
US11221627B2 (en) Directed interaction of customers with autonomous vehicles
US20170126907A1 (en) Information processing device, photographing device, image sharing system, method of information processing, and program
US20200282907A1 (en) Directed acoustic alert notification from autonomous vehicles
JP2021167191A (ja) 制振制御装置
US20130303105A1 (en) Mobile communication terminal, and system and method for safety service using same
CN103325210A (zh) 模块化的移动健康和安全系统
US10225525B2 (en) Information processing device, storage medium, and control method
CN111196230B (zh) 驾驶辅助装置、可穿戴装置、驾驶辅助方法以及程序
CN116249604B (zh) 机器人的控制方法、机器人以及计算机程序产品
WO2021189646A1 (zh) 智能头盔及智能识别方法
CN108028873A (zh) 交通工具摄像机系统
US11328603B1 (en) Safety service by using edge computing
KR20230025738A (ko) 차량 내의 물체 검출
US20200169834A1 (en) Network Based Video Surveillance and Logistics for Multiple Users
US20230047028A1 (en) Mobile Legal Counsel System and Method
CN115877778B (zh) 机器人的控制方法、机器人以及计算机程序介质
CN113965726A (zh) 处理交通视频的方法、装置以及系统
JP5640284B2 (ja) 車載用電子機器及びプログラム
Pham et al. Intelligent Helmet Supporting Visually Impaired People Using Obstacle Detection and Communication Techniques
WO2023175829A1 (ja) 監視システム、監視装置、監視方法、および記録媒体