JP2017167501A - 位相特定装置、携帯端末、位相特定方法及びプログラム - Google Patents

位相特定装置、携帯端末、位相特定方法及びプログラム Download PDF

Info

Publication number
JP2017167501A
JP2017167501A JP2016114617A JP2016114617A JP2017167501A JP 2017167501 A JP2017167501 A JP 2017167501A JP 2016114617 A JP2016114617 A JP 2016114617A JP 2016114617 A JP2016114617 A JP 2016114617A JP 2017167501 A JP2017167501 A JP 2017167501A
Authority
JP
Japan
Prior art keywords
user
phase
information
visual recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016114617A
Other languages
English (en)
Other versions
JP6849895B2 (ja
Inventor
司 本田
Tsukasa Honda
司 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GEOCREATES Inc
Original Assignee
GEOCREATES Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GEOCREATES Inc filed Critical GEOCREATES Inc
Publication of JP2017167501A publication Critical patent/JP2017167501A/ja
Application granted granted Critical
Publication of JP6849895B2 publication Critical patent/JP6849895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

【課題】ユーザが建築物や都市の設計に能動的に関わりやすくする。【解決手段】位相特定装置1は、ユーザが視認する視認対象物の形状を示す対象物情報と、ユーザが視認する視認領域におけるユーザの視線の位置又は動きを示す視線位置情報とを取得する取得部131と、対象物情報に含まれている視認対象物の形状と、視線位置情報とに基づいて、ユーザが視認対象物に対して抱く印象に関連付けられる視認対象物の位相を特定する特定部132と、視認対象物に関連付けられた情報と、特定部132が特定した位相を示す位相情報とを関連付けて出力する出力部134と、を有する。【選択図】図3

Description

本発明は、視認対象物に対してユーザが知覚する位相を特定する位相特定装置、携帯端末、位相特定方法及びプログラムに関する。
ユーザにとって快適な建築物や都市を設計するために、環境を評価した結果を建築や都市の計画に反映させる試みがなされている。例えば、特許文献1には、人の生活環境を評価し、評価した結果を都市計画等に反映させる方法が開示されている。
特開平8−161399号公報
従来の建築計画や都市開発の設計は、設計者の主観に基づいた建築物や都市を設計せざるを得ず、ユーザは、受動的に建築や都市を使いがちである。したがって、ユーザは、建築、及び建築の集合体である都市に対して、愛着や豊かなイメージを抱けない傾向にある。ワークショップ等の会合でユーザの意見を取り込む努力もなされているが、このようにして取り込むことができるユーザの範囲は限られている上に、会合の主催者等がユーザの意見を誘導してしまう場合や、ユーザの意見を取得できない場合もあるため、多数のユーザが建築物や都市の設計に能動的に関わることは困難であった。
そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが建築物や都市の設計に能動的に関わりやすくすることを目的とする。
本発明の第1の態様においては、ユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得する取得部と、前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱く印象に関連付けられる前記視認対象物の位相を特定する特定部と、前記視認対象物に関連付けられた情報と、前記特定部が特定した前記位相を示す位相情報とを関連付けて出力する出力部と、を有する位相特定装置を提供する。
前記特定部は、例えば、前記対象物情報に基づいて特定される構図の種類と、前記視線位置情報が示す視線の位置の変化のパターンとに基づいて、前記位相を特定する。
前記特定部は、前記対象物情報に基づいて一点透視の構図が特定される場合に、安定感がある印象を前記ユーザが抱いたことを示す前記位相を特定し、前記対象物情報に基づいて二点透視の構図が特定される場合に、開放感がある印象を前記ユーザが抱いたことを示す前記位相を特定してもよい。
前記出力部は、前記視認対象物に関連付けられた情報を含む地図に、前記特定部が特定した前記位相を示す画像を重畳した地図情報を出力してもよい。
前記取得部は、前記対象物情報として、前記視認対象物を含む撮像画像を取得し、前記出力部は、例えば、前記撮像画像内に、前記位相に対応する態様の経路案内画像を重畳した案内画像を出力する。
前記出力部は、前記視認対象物を含む前記撮像画像を表示している画面内に前記位相を示す情報を表示させてもよい。
前記位相特定装置は、前記特定部が前記視認対象物の位相を特定すると、前記ユーザに課金する課金部をさらに備えてもよい。
前記特定部は、複数の位置のそれぞれにおける前記視認対象物の位相に基づいて、複数の位置に対応する経路に対してユーザが抱く印象を特定し、前記出力部は、前記経路を示す情報と、前記経路に対するユーザが抱く印象を示す情報とを出力してもよい。
前記特定部は、前記経路を示す情報と、前記経路に対するユーザが抱く印象を示す情報とを関連付けて記憶部に記憶させ、前記出力部は、ユーザから地点の指定を受け付け、指定された地点に対応する前記経路を示す情報と、前記経路に対してユーザが抱く印象を示す情報とを出力してもよい。
本発明の第2の態様においては、ユーザが視認する視認対象物を含む撮像領域を撮像した撮像画像を撮像する撮像部と、前記撮像領域における前記ユーザの視線の位置又は動きを示す視線位置情報を取得する取得部と、前記撮像画像に含まれている前記視認対象物の特徴と、前記視線位置情報との関係に基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定する特定部と、前記ユーザが前記視認対象物を視認している間に、前記特定部が特定した前記位相を示す位相情報を表示部に表示させる出力部と、を有する携帯端末を提供する。
本発明の第3の態様においては、コンピュータが実行する、ユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得するステップと、前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定するステップと、前記視認対象物に関連付けられた情報と、特定した前記位相を示す位相情報とを関連付けて出力するステップと、を有する位相特定方法を提供する。
本発明の第4の態様においては、コンピュータにユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得するステップと、前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定するステップと、前記視認対象物に関連付けられた情報と、特定した前記位相を示す位相情報とを関連付けて出力するステップと、を実行させるためのプログラムを提供する。
本発明によれば、ユーザが建築物や都市の設計に能動的に関わりやすくなるという効果を奏する。
第1の実施形態に係る位相特定装置の概要を説明するための図である。 第1の実施形態に係る携帯端末の構成を示す図である。 第1の実施形態に係る位相特定装置の構成を示す図である。 撮像画像と撮像画像に含まれている特徴的な構図との関係を説明するための図である。 視線の動きと視線の動きによる構図の捉え方との関係について説明するための図である。 視線の動きと構図の捉え方との関係を示す図である。 位相関連情報の一例について説明するための図である。 第2の実施形態に係る携帯端末の構成を示す図である。 作成部が作成する画像情報の一例を示す図である。 作成部が作成する画像情報の他の例を示す図である。 作成部が作成する画像情報の他の例を示す図である。 第3の実施形態の概要について説明するための図である。 特定部が特定した位相に基づいて、ユーザが歩いている経路上の照明機器を点灯させる例を示す図である。
<第1の実施形態>
[第1の実施形態に係る位相特定装置1の概要]
図1は、第1の実施形態に係る位相特定装置1の概要を説明するための図である。
位相特定装置1は、都市や建築物(以下、「都市等」という)に対してユーザが知覚する視認対象物の位相を特定するためのコンピュータである。ユーザは、都市に存在する人、建築物を視認する人及び建築物を利用する人を含む。視認対象物の位相とは、当該ユーザが視覚により知覚した身の回りにおける様々な物理的な事象により構築される幾何学的な領域の性質であり、任意の事象の集合による領域が規定されることで安定感(内部)、開放感(外部)を基本として、連続感、緊張感といった感情を派生させて導くことができる性質である。
例えば、ユーザは、一点透視の構図を知覚している場合、視認対象物の内側に存在するという安定感を抱くと考えられ、二点透視の構図を知覚している場合、視認対象物の外側に存在するという開放感を抱いていると考えられる。また、ユーザが視認対象物を連続して視認した場合、内部や外部を問わず連続感を抱いていると考えられ、ユーザが探索経路上で安定感や開放感の変化が大きい場合、緊張感を抱いていると考えられる。位相特定装置1は、このように、ユーザが視認対象物に対して抱く感情に関連付けられる位相を特定することができる。
位相特定装置1は、ユーザが装着又は携帯可能なウェアラブル端末である携帯端末2から取得した撮像画像と、撮像画像に関連付けられたユーザの視線の位置又は動きを示す視線位置情報とに基づいて、視認対象物の位相を特定する。視線位置情報は、撮像画像における視線の位置に対応する座標を示す情報又は視線が動く態様を示す情報である。視線が動く態様を示す視線動態情報は、例えば、「視線の変化がない」、「視線が少し動いた」、「視線が大きく動いた」、「視線が逆方向に動いた」というような、動きの特徴を示す情報である。視線位置情報は、連続的な時間における視線の位置の変化を示す複数の座標を含む座標群情報やベクトル情報であってもよい。
位相特定装置1は、撮像画像内における二点透視の構図や一点透視等の構図を特定し、視線位置情報から特定されるユーザの視線の位置や動きに基づいて、ユーザがどのような構図を認識したかを特定する。位相特定装置1は、ユーザが認識した構図に対応して予め設定された位相を、ユーザが知覚した位相として特定する。
そして、位相特定装置1は、ユーザが視認した都市等の視認対象物に関連する情報と特定した位相とが関連付けられた情報、又は視認対象物に関連する情報と特定した位相に対応する情報とが関連付けられた情報を出力する。位相特定装置1が出力する情報の態様は任意であり、位相特定装置1は、例えば、ユーザが視認した都市の地図上に、ユーザが知覚した位相の種別を示す情報を重畳した地図情報を出力する。なお、地図情報には、道路及び建物とともに、建物の内部の情報が重畳されていてもよい。また、地図情報が、建物の平面図と、建物の内部に関する説明とを含む情報であってもよい。
このような地図情報を用いることで、建築家、都市計画家、造園デザイナー、インテリアデザイナー等が、ユーザが都市等に対して知覚する位相を把握することができるので、都市等に対してユーザがどのように感じるかを把握し、都市等の設計に活かすことができる。地図情報の作成において、複数のユーザが知覚した位相を用いることにより、本来的に都市等が持っている物理的幾何学的性質のイメージを抽出することが可能になり、より良い都市等の設計に有用な情報を提供することも可能になる。そして、このようなプロセスを通して、多数のユーザが都市等の設計に能動的に参加することが可能になる。
また、位相特定装置1は、ユーザが知覚した位相の種別に基づいて、他のユーザが視認した都市の地図上に、ユーザが位相を知覚する特性に適した態様の情報を重畳した地図情報を出力することもできる。このようにすることで、ユーザは、本来的に都市等が持っている物理的幾何学的性質のイメージが強調され、ユーザを含めた都市等に対して再帰的に、分かり易さや愛着を高めることができる。ユーザは、自らの位相を知覚する傾向に合った地図を用いることができるので、都市を歩く際に道に迷いにくい、自分に適した地図を使用することが可能になる。
続いて、位相特定装置1及び携帯端末2の構成及び動作について説明する。まず、携帯端末2について説明する。
[携帯端末2の構成]
図2は、第1の実施形態に係る携帯端末2の構成を示す図である。
携帯端末2は、例えば、ユーザの頭部に装着されるウェアラブル端末、又はユーザが携帯できるスマートフォン等の端末である。携帯端末2は、風景を撮影するとともに当該風景における視点を記録することができる。携帯端末2は、携帯端末2を装着したユーザが都市等を歩行したり立ち止まったりする間に都市等の空間経路を撮影して動画を生成するとともに、ユーザの視線位置情報を生成する。
携帯端末2は、位置検出部21と、外部撮像部22と、眼球位置検出部23と、通信部24と、記憶部25と、制御部26とを備える。制御部26は、位置情報取得部261、撮像画像取得部262及び視線位置取得部263を有する。
位置検出部21は、複数のGPS(Global Positioning System)衛星から受信したGPS信号を検出する。
外部撮像部22は、携帯端末2を装着しているユーザが、歩行する都市等を撮影して、映像信号を生成する。外部撮像部22は、映像信号を撮像画像取得部262に入力する。
眼球位置検出部23は、例えば赤外線カメラであり、携帯端末2を装着しているユーザの眼球を撮影して、瞳孔及び角膜における反射光の強度に応じた撮像信号を生成する。眼球位置検出部23は、生成した撮像信号を視線位置取得部263に入力する。
通信部24は、位置情報取得部261から入力される端末位置情報、撮像画像取得部262から入力される撮像画像データ、及び視線位置取得部263から入力される視線位置情報を外部に出力するための通信インタフェースである。通信部24は、Wi−Fi(登録商標)等の無線通信インタフェースを有していてもよく、USB(Universal Serial Bus、登録商標)等の有線通信インタフェースを有していてもよい。
記憶部25は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、及び携帯端末2に装着された外部記憶媒体(例えば、SDカード(登録商標))や、外部記憶装置等により構成される。記憶部25は、制御部26が実行するプログラム、並びに端末位置情報、撮像画像データ及び視線位置情報等の各種データを記憶する。
制御部26は、例えばCPU(Central Processing Unit)を有する。制御部26は、記憶部25に記憶されたプログラムを実行することにより、位置情報取得部261、撮像画像取得部262、及び視線位置取得部263として機能する。
位置情報取得部261は、位置検出部21が検出したGPS信号に基づいて、携帯端末2の位置を示す端末位置情報(例えば緯度・経度情報)を取得する。
なお、携帯端末2は、位置検出部21として、加速度を検出する加速度センサと、携帯端末2の正面方向に対応する方位を検出する方位センサとを備えてもよい。そして、位置情報取得部261は、検出された加速度及び方位に基づいて、基準の位置(例えば、撮影を開始した位置)に対する相対的な位置を示す端末位置情報を算出してもよい。
撮像画像取得部262は、外部撮像部22から入力された映像信号に基づいて、撮影領域の座標と画素値とが関連付けられた撮像画像データを生成する。ここで、生成された撮像画像データは、例えば、複数の画像と、当該画像に対応する再生位置(撮影開始からの経過時間)を示す情報とを含む動画データである。撮像画像取得部262は、生成した撮像画像データを記憶部25に記憶させる。
視線位置取得部263は、眼球位置検出部23から入力される撮像信号に基づいて、ユーザが視認している方向の風景におけるユーザの視線として、動画における当該視線の座標(視線位置)を検出する。また、視線位置取得部263は、携帯端末2が向いている方向、すなわち、ユーザの視認方向を示す方向情報を取得する。視線位置取得部263は、視線を検出した時刻と、視線位置と、視認方向と、視線を検出したときに位置情報取得部261が取得した端末位置とを関連付けた視線位置情報を生成して記憶部25に記憶させる。
ここで、動画及び視線位置情報は、並行して生成され、動画に含まれる複数の画像のそれぞれに対応する視線位置情報が存在するものとする。なお、撮像画像取得部262と、視線位置取得部263とが協働することにより、ユーザの視線を示すポインタが合成された動画が生成されるようにしてもよい。また、視線位置取得部263は、視線の動きのパターンの軌跡を検出してもよい。
また、本実施形態では、視線位置情報に、位置情報取得部261が取得した端末位置を示す情報が含まれることとしたが、これに限らない。例えば、視線位置情報に端末位置を含ませずに、制御部26が、動画に含まれている画像それぞれの、動画における再生位置と、端末位置とを関連付けた情報を生成してもよい。
[位相特定装置1の構成]
図3は、第1の実施形態に係る位相特定装置1の構成を示す図である。
位相特定装置1は、通信部11と、記憶部12と、制御部13とを有する。制御部13は、取得部131と、特定部132と、作成部133と、出力部134と、を有する。
通信部11は、携帯端末2から撮像画像データ及び視線位置情報を受信するとともに、出力部134が出力する情報を外部装置(例えば、プリンタやディスプレイ)に送信するための通信インタフェースである。通信部11は、例えば、無線通信ユニットやUSBインタフェースである。
記憶部12は、ROM及びRAM等の記憶媒体を含む。記憶部12は、例えば、制御部13が実行するプログラムを記憶している。また、記憶部12は、制御部13が位相を特定するために実行する各種の処理に必要なデータを記憶する。記憶部12は、例えば、通信部11が受信した撮像画像データ及び視線位置情報を一時的に記憶し、制御部13からの要求に応じて、撮像画像データや視線位置情報を制御部13に対して出力する。
制御部13は、例えばCPUであり、記憶部12に記憶されたプログラムを実行することにより、取得部131、特定部132、作成部133及び出力部134として機能する。
取得部131は、通信部11を介して、ユーザが視認する視認対象物の形状を示す対象物情報と、ユーザが視認する視認領域におけるユーザの視線の位置を示す視線位置情報とを取得する。対象物情報は、例えば、ユーザが視認する視認領域が撮像装置によって撮像された撮像画像、建築物の形状を示す三次元データ、建築物の形状の種類と大きさを示すテキストデータである。取得部131は、取得した対象物情報及び視線位置情報を特定部132に入力する。以下の説明においては、対象物情報が撮像画像である場合について説明する。
特定部132は、撮像画像に含まれている視認対象物の特徴と視線位置情報とに基づいて、ユーザが視認対象物に対して抱く印象に関連付けられる視認対象物の位相を特定する。特定部132は、例えば、撮像画像に含まれている高周波成分を抽出することにより、撮像画像内の視認対象物の輪郭線を特定し、特定した輪郭線の特徴に基づいて、撮像画像に含まれている特徴的な構図の種類を特定する。特徴的な構図は、例えば一点透視の構図、二点透視の構図、一点透視及び二点透視が混在した構図である。
図4は、撮像画像と撮像画像に含まれている特徴的な構図との関係を説明するための図である。図4(a)及び図4(b)に示す撮像画像の場合、特定部132は、破線で示す輪郭線を抽出し、二点透視の構図を特定する。また、図4(c)及び図4(d)に示す撮像画像の場合、特定部132は、破線で示す輪郭線を抽出し、一点透視の構図を特定する。
続いて、特定部132は、視線位置情報に基づいて、特定した特徴的な構図を含む時間におけるユーザの視線の動きを特定し、特定した視線の動きに基づいて、ユーザが構図をどのように捉えたかを推定する。
図5は、視線の動きと視線の動きによる構図の捉え方との関係について説明するための図である。図5(a)は、ユーザの視認領域において、複数の視認対象物を順次視認する見回し動作をしている場合を示している。図5(b)は、視認領域において、特定の視認対象物上で位置を変えながら視認する確認動作をしている場合を示している。図5(c)は、視認領域において特定の視認対象物の狭い範囲を視認する注視動作をしている場合を示している。
「見回し」は、例えば、同じ視認対象を1/5秒以下の間だけ視認した後に、他の視認対象を1/5秒以下の間だけ視認するという動作が繰り返される視認状態である。「見回し」は、主としてユーザが自身を空間に定位するために行われ、例えば、ユーザが任意の要素が含まれる範囲を見ているだけでその要素が何であるかを把握していない状態である。
「確認」は、同じ視認対象を1/5秒より長くかつ1秒未満だけ視認する状態である。「確認」は、ユーザが自身を空間に定位する視認、又はユーザが視認対象を定位するために行われ、ユーザが、任意の要素が存在していることを把握しているものの、その要素が何であるのか把握していない状態である。
「注視」は、同じ視認対象を1秒以上にわたって視認する状態である。「注視」は、ユーザが視認対象の内容を確認するために行われ、図形や形態や文字等(例えば、窓や扉等の形状、仕上げ材の模様、建物の形態、植物の形態、家具の形態、車の形態、人の形態、サインの情報、地図、コンピュータ画面等)の内容を読み取ることができる状態である。
特定部132は、図5に示したような視線の位置の変化パターンに基づいて、位相を特定する。具体的には、特定部132は、撮像画像において特定される構図の種類と、視線位置情報が示す視線の位置の変化のパターンとに基づいて、位相を特定する。例えば、特定部132は、撮像画像において一点透視の構図が特定され、かつ視線の位置の変化パターンが「注視」である場合に、ユーザは、安定感がある印象をユーザが強く抱いたことを示す位相を特定する。特定部132は、撮像画像において二点透視の構図が特定され、かつ視線の位置の変化パターンが「注視」である場合に、開放感がある印象をユーザが強く抱いたことを示す位相を特定する。
特定部132は、撮像画像において一点透視の構図が特定され、かつ視線の位置の変化パターンが「確認」である場合に、ユーザは、安定感がある印象をユーザが弱く抱いたことを示す位相を特定する。特定部132は、撮像画像において二点透視の構図が特定され、かつ視線の位置の変化パターンが「注視」である場合に、開放感がある印象をユーザが弱く抱いたことを示す位相を特定する。
特定部132は、視線の位置の変化パターンが「見回し」である場合に、ユーザが、安定感がある印象も開放感がある印象も抱かなかったと判定する。
図6は、視線の動きと構図の捉え方との関係を示す図である。特定部132は、例えば、図6に示す関係に基づいて、視線の動きのパターンから、ユーザが構図をどのように捉えたかを推定する。
図6における要素名は、構図の分類名であり、ケヴィン・リンチ(Kevin Lynch)が提唱する、パス、エッジ、ディストリクト、ノード及びランドマークが挙げられる。パス、エッジ、ディストリクト、ノード及びランドマークは、以下のように定義されている。
「パス」は、ユーザが日ごろ又は時々通る、若しくはユーザが通る可能性のある道筋である。
「エッジ」は、線状の要素のうち、パスとは異なる線状の要素であり、例えば、海岸線、鉄道の線路、開発地の縁、壁等、2つの要素の間にある境界である。
「ディストリクト」は、中から大の大きさを有する都市の一部分を示すとともに、2次元の広がりをもつ要素である。ユーザは、「ディストリクト」の内部に入るものであり、通常は、「ディストリクト」は、内部から認識されるものであるが、外から視認可能な場合には、外からも参照される。
「ノード」は、都市の内部における主要な地点である。ユーザは、「ノード」の中にはいることができるとともに、「ノード」に向かったり、「ノード」から出発したりすることができる。
「ランドマーク」は、ユーザが外部から視認する物であり、例えば、建物、看板、商店、山等、単純に定義される物である。「ランドマーク」は、ユーザが内部に入らずに、外部から視認する物である。
特定部132は、動画に含まれる複数の画像のそれぞれを解析することにより、当該画像に対応する構図として、一点透視の構図や、二点透視の構図を特定する。具体的には、例えば、特定部132は、動画に含まれる複数の画像のそれぞれの画素値を明度で二値化し、二値の境界線を、透視図法の線と特定する。そして、特定部132は、画像において特定した複数の透視図法の線の組み合わせに基づいて、当該画像に対応する構図を特定する。
なお、特定部132は、画素値を二値化することにより、画像に描画可能な透視図法の線を特定したが、これに限らない。特定部132は、遠近法構造を用いた図形や座標軸の分析、彩度に基づく画素の多値化、ハフ変換のアルゴリズムを用いた画像からの線の抽出、画像が撮影された時刻の前後に撮影された画像の画素値の変化に基づく画素の多元化、或いはこれらを複合して、描画可能な透視図法の線を特定してもよい。さらに、特定部132は、予め透視図法の構図に対応する複数の画像を記憶部12に記憶させておき、取得部131が取得した動画に含まれる複数の画像を、記憶部12に記憶されている画像と照合することにより、透視図法の構図を特定してもよい。
続いて、特定部132は、特定した構図と、ユーザの視線の動きのパターンとに基づいて、ユーザが認識したと推測される要素を検出する。具体的には、特定部132は、図6に示される、要素と、構図のパターンと、視線の動きのパターンとを関連付けた要素特定情報を参照することにより、ユーザが認識したと推測される要素を検出する。例えば、動画に含まれる画像の構図が一点透視の構図であり、当該画像に対応する視線の動きのパターンが注視である場合、特定部132は、ユーザが認識したと推測される要素として「パス」を検出する。
さらに、特定部132は、視線の動きのパターンや、当該画像においてユーザが視認した対象物の位置に基づいて位相の種別を特定してもよい。例えば、視線の動きのパターンが見回しであるとともに、見回しの角度が狭い場合には、ユーザが閉塞感を抱いており、見回しの角度が広い場合には、ユーザが開放感を抱いている傾向にあると考えられる。
作成部133は、視認対象物に関連付けられた情報と、特定部132が特定した位相を示す位相情報とを関連付けた情報である、位相関連情報を作成する。作成部133は、一人のユーザが携帯端末2を用いることにより取得された撮像画像データ及び視線位置情報に基づいて、当該ユーザに対応する位相関連情報を作成してもよく、多数のユーザが携帯端末2を用いることにより取得された複数の撮像画像データ及び視線位置情報に基づいて特定された複数の位相を統計処理した結果を用いて、位相関連情報を作成してもよい。
出力部134は、通信部11を介して、作成部133が作成した位相関連情報を出力する。出力部134は、例えば、位相関連情報をプリンタに出力したり、ディスプレイに出力したり、外部機器に出力したりする。
位相関連情報としては、さまざまな態様が考えられる。以下、位相関連情報の例について説明する。
[位相関連情報の例]
図7は、位相関連情報の一例について説明するための図である。図7に示す位相関連情報は、特定部132が特定した位相を示す画像情報を重畳した地図情報である位相マップである。図7においては、携帯端末2を装着したユーザが地図内の経路を歩行した間に取得された撮像画像データに基づいて特定部132が特定した位相が反映されている。濃く表示されている領域は開放感が強い位相であり、薄く表示されている領域は安定感が強い位相であることを示している。
位相マップは、以下の手順により生成されている。
まず、特定部132が、取得部131から取得した撮像画像データに基づいて、撮像画像データが生成された携帯端末2の位置ごとに、最も開放感が強い位相を10と数値化し、最も安定感が弱い位相を0と数値化して統計値を算出する。続いて、特定部132は、算出した統計値を、携帯端末2から取得した端末位置情報に関連付けて作成部133に入力する。続いて、作成部133が、端末位置情報に対応する領域の地図情報に、特定部132から取得した位相に対応する態様(例えば色又は模様)の画像を重畳して位相マップを生成する。このようにして、出力部134は、視認対象物に関連付けられた情報を含む地図情報に、特定部132が特定した位相を示す画像を重畳した地図情報である位相マップを出力する。
図7に示す位相マップは、ユーザが都市等において知覚する位相の傾向を把握するために有効であり、例えば、建築家が位相マップを用いて都市等を評価することにより、都市や建築物等の設計に役立てることができると考えられる。
また、位相マップは、建築家が都市等の設計に役立てる他に、様々な用途に役立てることが可能であると考えられる。例えば、子供に携帯端末2を装着させて位相マップを作成することにより、子供の行動範囲において、開放感が強い位相に対応する場所と、安定感が強い位相に対応する場所とを把握することができる。
また、高齢者等に携帯端末2を装着させて位相マップを作成することにより、高齢者等が散歩する範囲において、自身がどのような印象を抱くのかを把握させることができる。これにより、高齢者等は、例えば、開放感が得られる経路を散歩する経路として選択することができる。
また、ユーザに携帯端末2を装着させてインテリアが配置されている建築物内を歩行させることにより、建築物内の位相マップを作成することができる。コーディネータは、このようにして作成された位相マップを確認することにより、開放感が強い位相に対応するインテリアの配置や、安定感が強い位相に対応するインテリアの配置を把握することができ、インテリアの配置を、ユーザに対して、より理想的な状態に近づけることができる。
また、新規に飲食店等の店舗を開設する経営者が、店舗を開設する地域に対応する位相マップを確認することにより、自身が店舗に対して思い描いている印象と合致する地域を選択し、当該地域に店舗を開設することができる。また、ビジネスパーソンが、自身が通過し得る経路を含む位相マップを確認して、安定感が強い位相に対応する経路を選択して通過することができる。これにより、自身の感情を落ち着かせたり、集中力を高めたりすることができる。
なお、作成部133は、多数のユーザが携帯端末2を装着して得られた撮像画像データ及び視線位置情報に基づいて特定された多数の位相の統計値に基づいて、位相マップを作成してもよい。このような位相マップを用いることで、建築家、都市計画家、インテリアデザイナー等が位相を把握することが可能になり、都市等の設計に役立てることができる。
また、上記の説明においては、ユーザが携帯端末2を装着して都市等を歩行することを想定していたが、携帯端末2に動画再生機能を設けることにより、コンピュータグラフィックスにより生成したバーチャルリアリティー動画を利用することも可能である。例えば、建築家が、設計中の都市等のバーチャルリアリティー動画やBIM(Building Information Modeling)データを制作し、携帯端末2が再生するバーチャルリアリティー動画をユーザが視認している間の視線位置を検出することで、設計中の都市等に対してユーザが抱く位相を特定することが可能になる。したがって、建築家は、このようにして特定した位相に基づいて設計変更しながら、より良い都市等を設計することが可能になる。
[変形例1]
上記の説明において、取得部131が、携帯端末2から出力された撮像画像データを取得する例について説明したが、取得部131は、他の装置から撮像画像データを取得してもよい。例えば、取得部131は、位置情報に関連付けられた撮像画像データを提供するサーバから撮像画像データを取得してもよい。この場合、特定部132は、視線位置情報に含まれている端末位置に基づいて、視線位置情報が生成された端末位置に対応する撮像画像データを選択し、選択した撮像データを用いて、位相を特定することができる。
[変形例2]
上記において、作成部133が、視線位置情報として、視線の位置を示す座標を用いて位相マップを作成する場合について説明したが、視線位置情報として、視線が動く態様を示す視線動態情報を用いて位相マップを作成してもよい。具体的には、作成部133は、予め建物に囲まれた通りを、安定感が強い一点透視の位相とした位相推定マップを作成しておく。そして、作成部133は、ユーザが携帯端末2を装着して都市等を歩行する間に取得された視線動態情報に基づいて、ユーザが二点透視の開放感に対応する視線の挙動を示していると判定した場合に、視線動態情報が取得された位置の位相を開放感が強い位相に変更する。作成部133は、例えば、視線動態情報が、視線が大きく移動する挙動を示している場合に、開放感が強い位相であると判定する。このようにすることで、位相特定装置1は、視線の位置を示す座標情報を出力できない携帯端末2を用いる場合にも、位相マップを作成することができる。
[変形例3]
上記において、特定部132は、撮像画像に含まれている視認対象物の特徴と視線位置情報とに基づいて、ユーザが視認対象物に対して抱く印象に関連付けられる視認対象物の位相を特定したが、これに限らない。例えば、脳波を検出するデバイスをユーザに装着して、ユーザの脳波を検出するようにし、携帯端末2の制御部26が、検出された脳波を示す脳波情報を取得する脳波取得部を備えるようにしてもよい。そして、特定部132が、撮像画像に含まれている視認対象物の特徴と、取得された脳波情報とに基づいて、ユーザが視認対象物に対して抱く印象に関連付けられる視認対象物の位相を特定するようにしてもよい。例えば、脳波の状態と、視線の位置の変化パターン(見回し、確認、注視)とを関連付けて記憶部12に記憶しておき、特定部132が、取得された脳波情報に基づいて脳波の状態を特定し、当該脳波の状態に関連する視線の位置の変化パターンを特定してもよい。そして、特定部132は、当該視線の位置の変化パターンに基づいて位相を特定するようにしてもよい。特定部132は、視線位置情報のみに基づいて、視線の位置の変化パターンを特定できない場合に、脳波情報を補助的に使用して、視線の位置の変化パターンを特定するようにしてもよい。
また、特定部132は、脳波の状態と、視認対象物の特徴のパターンとを関連付けて記憶しておき、脳波の状態に基づいて、視認対象物の特徴を推定するようにしてもよい。このようにすることで、位相特定装置1は、視線の位置の変化パターンが特定できた場合において、ユーザが何もない空間を視認しており、撮像画像から視認対象物の特徴を特定できない場合であっても、脳波に基づいて、視認対象物の特徴を推定することができる。
[第1の実施形態による効果]
以上説明したように、第1の実施形態の位相特定装置1においては、特定部132が、撮像画像に含まれている視認対象物の特徴と視線位置とに基づいて、ユーザが視認対象物に対して抱く印象に関連付けられる視認対象物の位相を特定する。そして、出力部134が、視認対象物に関連付けられた都市等の地図に含まれる情報と、特定部132が特定した位相を示す位相情報とを関連付けて出力する。このようにすることで、建築家、都市計画家、インテリアデザイナー等が、都市等のどの場所がユーザによってどのように感じられるのかを的確に把握できるので、ユーザが感じることを都市等の設計に活かすことができる。その結果、ユーザが建築物や都市の設計に能動的に関わることが可能になる。
<第2の実施形態>
第1の実施形態においては、携帯端末2において生成された端末位置情報、撮像画像データ及び視線位置情報に基づいて、位相特定装置1が位相関連情報を生成した。これに対して、第2の実施形態においては、携帯端末3が、端末位置情報、撮像画像データ及び視線位置情報を生成するとともに、位相を特定するという点で第1の実施形態と異なる。携帯端末3は、第1の実施形態における位相特定装置1が有する機能の一部を有するという点で、位相特定装置の一種でもある。
図8は、第2の実施形態に係る携帯端末3の構成を示す図である。携帯端末3は、図3に示した携帯端末2が有していた機能部に加えて、取得部264、特定部265、作成部266、出力部267及び表示部27を有する点で異なる。
取得部264は、図2に示した位相特定装置1における取得部131と同等の機能を有し、位置情報取得部261から端末位置情報を取得し、撮像画像取得部262又は外部の装置(不図示)から、携帯端末3の位置及び方向に対応する撮像画像データを取得し、視線位置取得部263から視線位置情報を取得する。本実施形態における撮像画像は、経路及び建物の少なくとも一方を含む地図画像の一種でもある。
また、取得部264は、外部の装置から、携帯端末3の位置及び方向に対応し、撮像画像データに関連付けられた案内情報を取得する。案内情報は、携帯端末3を携帯するユーザに対して、撮像画像に含まれている経路における進路を案内するための情報(例えば拡張現実情報)であり、例えば、経路や建物等の名称や位置を示す情報である。取得部264は、例えば、位相の種別及び位置情報に関連付けられた複数の案内情報を取得する。
また、取得部264は、ユーザが、撮像画像に含まれている視認対象物の位相を把握する傾向(以下、位相把握傾向)を示す位相傾向情報を取得する。取得部264が位相傾向情報を取得する手段は任意であり、取得部264は、例えば特定部265が特定した位相傾向情報を取得してもよく、第1の実施形態で説明した位相特定装置1を用いて特定された位相傾向情報を取得してもよい。取得部264は、取得した位相傾向情報を作成部266に通知する。
特定部265は、撮像画像データ及び視線位置情報に基づいて、撮像画像においてユーザが認識した構図及び視認対象物の位相を特定する。特定部265は、ユーザが位相把握傾向を特定するために、複数の傾向測定用の撮像画像データを表示部27に表示させ、撮像画像データを表示中の視線の位置や動きに基づいて、ユーザの位相把握傾向を特定することもできる。
作成部266は、ユーザが認識している位相又は予め取得された位相傾向情報が示す位相に基づいて選択された案内情報を撮像画像に重畳した画像情報を作成する。具体的には、作成部266は、取得部264が取得した、位相の種別及び位置情報に関連付けられた複数の案内情報のうち、携帯端末3の位置と、特定部265がリアルタイムで特定した位相又は予め特定した位相把握傾向に対応する位相の種別に関連付けられた案内情報を選択し、選択した案内情報を撮像画像に重畳する。
出力部267は、作成部266が作成した案内情報が重畳された画像情報を、表示部27に表示させる。表示部27は、例えば液晶ディスプレイであり、画像情報を表示することができる。
図9は、作成部266が作成する画像情報の一例を示す図である。図9(a)は、特定部265が、撮像画像に含まれている視認対象物に対して、安定感が強い位相をユーザが知覚したと特定した場合に表示される画像情報を示している。ユーザが、一点透視の構図を強く認識しており、安定感を抱いている場合、一点透視の構図内のユーザが歩行中の経路上に案内情報を表示させることで、ユーザが案内情報を活用しやすくなると考えられる。そこで、図9(a)においては、ユーザが歩行中の経路の画像領域に、通りの名称を示す案内情報が重畳されている。
図9(b)は、特定部265が、撮像画像に含まれている視認対象物が、開放感が強い位相をユーザが知覚したと特定した場合に表示される画像情報を示している。ユーザが、二点透視の構図を強く認識しており、開放感を抱いている場合、二点透視の構図内のユーザが歩行中の経路の周辺領域に案内情報を表示させることで、ユーザが案内情報を活用しやすくなると考えられる。そこで、図9(b)においては、ユーザが歩行中の経路の周辺の画像領域に、建物の名称を示す案内情報が重畳されている。
図9(c)は、作成部266が、ユーザが安定感を抱いているか開放感を抱いているかによって、情報を表示するか表示しないかを切り替えるのではなく、安定感の強さや開放感の強さに応じて、情報を表示する態様を変化させたものである。例えば、作成部266は、ユーザが安定感を強く抱いている場合、図9(b)において表示されている建物の名称を示す案内情報を、図9(a)において表示されている通りの名称よりも薄く(つまり、透過率を大きくして)表示してもよい。このようにして、ユーザが知覚している位相に基づいた主観目線での案内情報の重畳量を制御することで、ユーザは分かり易い探索を行うことができる。
図9(d)は、作成部266が、ユーザが安定感を抱いているか開放感を抱いているかによって、地図等の案内情報を表示する態様を変化させたものである。例えば、作成部266は、通り上で二点透視の構図によりユーザが開放感を強く抱いている場合、図9(d)のように、ユーザの視認対象以外の名称を薄く(つまり、透過率を大きくして)表示してもよい。このようにして、ユーザが知覚している位相に基づいた俯瞰目線での情報を判読し易く制御することで、ユーザは分かり易い探索を行うことができる。
図10は、作成部266が作成する画像情報の他の例を示す図である。作成部266は、撮像画像に含まれている構図が変化した際に、リアルタイムで案内情報の表示態様を変化させてもよい。図10(a)及び図10(b)は、ユーザが安定感を抱く構図であり、ユーザが歩行中の経路に画像領域に、通りの名称を示す案内情報が重畳されている。取得部131が、図10(b)の撮像画像を取得した後に、図10(c)の撮像画像を取得した場合に、特定部265が、ユーザが開放感を抱いたと特定した場合、作成部266は、ユーザが歩行中の経路の周辺の建物の名称を示す案内情報を重畳する。このように、作成部266は、ユーザが知覚する位相の種別に応じてリアルタイムで案内情報の表示態様を変化させることができるので、ユーザが、各タイミングで適切な案内情報を得られるようになる。
図11は、作成部266が作成する画像情報の他の例を示す図である。図11は、ユーザが複数の建物があるエリアを歩いている間に、撮像画像に案内情報を重畳させて表示するナビゲーションアプリケーションソフトによって表示される画像を示している。
図11(a)は、携帯端末3のユーザが、一点透視の構図を強く認識し、安定感を感じやすい位相把握傾向を持っている場合に選択される案内情報が重畳された状態を示している。このようなユーザに対しては、ユーザのいる通り名や、その通りを含むユーザの行き先への矢印等の案内情報を、ユーザがいる位置であり、かつユーザが知覚している種別の位相のある位置である通り上に表示することが有効である。
図11(b)は、携帯端末3のユーザが、二点透視の構図を強く認識し、安定感を感じやすい位相把握傾向を持っている場合に選択される案内情報が重畳された状態を示している。このようなユーザに対しては、建物の名称を示す案内情報や、行き先の方向を示す矢印等の案内情報を、ユーザがいない位置であり、かつユーザが知覚している種別の位相のある位置である実際の建物の位置に表示することが有効である。
[変形例1]
以上の説明においては、作成部266が、ユーザが携帯端末3を携帯して歩行中に撮影して生成された撮像画像に案内情報を重畳して画像情報を作成する場合について説明した。しかし、作成部266は、取得部264が外部の装置から取得した、携帯端末3の位置に対応する撮像画像に、特定部265が特定した位相又は位相把握傾向に適した案内情報を重畳して画像情報を作成してもよい。
[変形例2]
作成部266は、案内情報として、特定部265が特定したユーザが把握している位相の種別を示す情報を、撮像画像に重畳してもよい。例えば、作成部266は、画面の右下の領域に、一点透視を示すアイコン画像又は二点透視を示すアイコン画像を重畳する。このようにすることで、自らの位相把握傾向を認識することができる。携帯端末3は、このようにしてユーザが認識した自身の位相把握傾向をユーザに設定させ、設定された位相把握傾向を記憶部25に記憶させておいてもよい。作成部266は、記憶部25に記憶された位相把握傾向を用いて、ユーザに適した案内情報を選択することにより、特定部265がリアルタイムで特定した位相を用いることなく、画像情報を作成することができる。
[変形例3]
上記の説明において、特定部265は、撮像画像取得部262が取得した撮像画像を地図画像として使用したが、地図画像は撮像画像に限らない。地図画像は、被写体を撮影することにより作成された撮像画像ではなく、コンピュータや人により作成された画像であってもよい。
[第2の実施形態による効果]
従来、携帯端末に経路を案内する情報を表示する技術は多数知られている(例えば、特開2016−008894号公報)。しかしながら、ユーザの位相把握傾向の違いが考慮されていなかったので、ユーザによっては、案内情報をわかりにくいと感じることがあった。これに対して第2の実施形態の携帯端末2においては、都市等の地図画像(撮像画像を含む)に、ユーザが視認対象物の位相を把握する傾向に基づいて選択された案内情報を重畳して携帯端末2の画面に表示させることができる。このようにすることで、ユーザの位相把握傾向に適した案内情報をユーザに提示することができるので、ユーザが道に迷いにくい案内をすることが可能になる。
<第3の実施形態>
第1の実施形態及び第2の実施形態においては、位相特定装置が、ユーザが認識した位相に対応する情報を画像情報に重畳して出力したが、第3の実施形態においては、位相特定装置が、ユーザが認識した位相に基づいて、電子機器を制御するための情報を出力するという点で、第1の実施形態及び第2の実施形態と異なる。
図12は、第3の実施形態の概要について説明するための図である。図12に示すように、ユーザが歩いて移動する際、ユーザの位置によって安定感を抱いたり開放感を抱いたりする場合がある。図12(a)においては、ユーザが、閉じた空間である部屋A及び部屋Bに加えて、廊下においても安定感を抱いている。このとき、ユーザは、廊下自体を知覚して歩いているといえる。このような場合、ユーザが廊下を歩いている間は、廊下の照明を点灯させることが適切である。
これに対して、図12(b)においては、ユーザが廊下を歩いている間、ユーザは開放感を抱き、廊下の先にある部屋Bを認識している。このような場合、ユーザが廊下を歩いている間に部屋Bの照明を点灯させることが適切である。
そこで、作成部266は、撮像画像に含まれている被写体に設けられた複数の電子機器から、特定部265が特定した位相に基づいて選択した電子機器を制御するための制御情報を作成する。そして、出力部267は、通信部24を介して、作成部266が作成した制御情報を、選択された電子機器又は当該電子機器を制御する制御装置に送信する。電子機器は、例えば、照明機器、空調機器、換気機器、音響機器、ブラインド、テレビ又はパソコンであり、制御装置は、電子機器の電源をオン/オフしたり、電子機器の設定内容を変更したりする装置である。
図13は、特定部265が特定した位相に基づいて、ユーザが歩いている経路上の照明機器を点灯させる例を示す図である。図13(a)は図12(a)に対応しており、ユーザが廊下を歩いている間に安定感を抱いている状態において、廊下の照明機器が点灯している様子を示している。出力部267は、ユーザが廊下を歩いている間に特定部265が安定感に対応する位相を特定した場合、廊下の照明機器を点灯することを指示する制御情報を送信する。出力部267は、例えば、携帯端末3の近傍の第1範囲に届く電波に制御情報を乗せて送信することにより、携帯端末3の近傍の廊下の照明機器を点灯させることができる。出力部267は、廊下の照明機器の識別情報を予め取得しておき、廊下の照明機器の識別情報を含む制御情報を送信することにより、廊下の照明機器を点灯させてもよい。
図13(b)は図12(b)に対応しており、ユーザが廊下を歩いている間に開放感を抱いている状態において、廊下の先にある部屋Bが点灯している様子を示している。出力部267は、ユーザが廊下を歩いている間に特定部265が開放感に対応する位相を特定した場合、部屋Bの照明機器を点灯することを指示する制御情報を制御装置に送信する。出力部267は、例えば、上記の第1範囲よりも広い第2範囲に届く電波に制御情報を乗せて送信することにより、部屋Bの照明機器を点灯させることができる。出力部267は、部屋Bの照明機器の識別情報を予め取得しておき、部屋Bの照明機器の識別情報を含む制御情報を送信することにより、部屋Bの照明機器を点灯させてもよい。
[第3の実施形態による効果]
以上説明したように、第3の実施形態の携帯端末3は、ユーザが歩行中に把握した位相に応じて、歩行先の場所に設置されている電子機器を制御することができる。このようにすることで、従来は、ユーザが電子機器を操作する必要があったところ、ユーザが操作をすることなく、ユーザが抱く感情に適するように電子機器を制御することができる。
<第4の実施形態>
続いて第4の実施形態について説明する。第1の実施形態では、主にユーザが建築物や都市の設計に能動的に関わり易くするために位相関連情報を生成したが、第4の実施形態では、ユーザが日々行動する範囲において、どのような印象を抱くのかをユーザに把握させることを目的として位相関連情報を生成する点で、第1の実施形態と異なる。
例えば、ユーザが、通勤経路や散歩経路を通過する際に、ユーザは、経路に対して無意識的に開放感を抱いたり、安定感を抱いたりしている。そして、ユーザは、経路を通過することによって、その経路に対応してユーザの心情や心理的に知覚する時間と距離が変化する。そこで、第4の実施形態に係る位相特定装置1は、複数の位置のそれぞれにおいて生成された位相関連情報に基づいて、経路に対してユーザが抱く印象を特定して出力することで、経路に対して抱く印象をユーザに把握させる。
第4の実施形態において、特定部132は、複数の位置のそれぞれにおける視認対象物の位相に基づいて、複数の位置に対応する経路に対してユーザが抱く印象を特定する。具体的には、特定部132は、視線位置取得部263が生成した視線位置情報に含まれる携帯端末3の位置情報と、視線を検出した時刻と、当該位置情報に対応する位置においてユーザが視認した視認対象物に基づいて特定された位相とを関連付けて、位置別位相情報として記憶部12に記憶させる。
特定部132は、記憶部12に記憶されている位置別位相情報に含まれる位置情報と、視線を検出した時刻とに基づいて、ユーザが通過した経路を特定する。ここで、特定部132は、視線を検出した時刻に基づいてユーザが通過した経路を特定したが、これに限らず、位置情報を検出した時刻に基づいてユーザが通過した経路を特定してもよい。
特定部132は、特定した経路に対応する複数の位置情報と、当該位置情報が示す位置において特定された位相とに基づいて、特定した経路に対してユーザが抱く印象を特定する。具体的には、特定部132は、特定した経路に対応する複数の位置において特定された位相について、開放感がある印象をユーザが抱いたことを示す位相と、安定感がある印象をユーザが抱いたことを示す位相との割合を算出する。特定部132は、ユーザが印象を強く抱いたか否かに基づいて特定された位相の重み付けを行い、算出した割合を変化させるようにしてもよい。
特定部132は、算出した割合に基づいて、経路に対してユーザが抱く印象を特定する。なお、特定部132は、異なる印象を示す位相の割合に基づいてユーザが抱く印象を特定したが、これに限らない。例えば、特定部132は、経路において位相が切り替わる回数を算出し、当該回数に基づいて、経路に対してユーザが抱く印象を特定してもよい。
特定部132は、経路に対してユーザが抱く印象を特定すると、経路に対応する位置情報を示す経路情報と、ユーザが抱く印象を示す情報とを関連付けて記憶部12に記憶させる。ここで、経路情報は、例えば、経路に対応する複数の位置情報、又は複数の位置情報が示す位置を含む軌跡情報である。
出力部134は、通信部11を介して、経路を示す情報と、経路に対してユーザが抱く印象を示す情報とを関連付けて出力する。具体的には、出力部134は、ユーザから地点の指定を受け付け、指定された地点に対応する経路を特定する。例えば、出力部134は、ユーザの携帯端末2から、地点として、経路の始点及び終点の少なくともいずれかを示す位置情報の指定を受け付ける。出力部134は、経路の始点又は終点を示す1つの位置情報の指定を受け付けると、当該位置情報を始点又は終点とする経路を特定する。また、出力部134は、経路の始点及び終点を示す2つの位置情報の指定を受け付けると、2つの位置情報を始点及び終点とする経路を特定する。なお、出力部134は、1以上の通過点を示す位置情報を受け付けてもよい。この場合において、出力部134は、当該通過点に対応する位置情報を含む経路を特定してもよい。
出力部134は、経路を特定すると、当該経路を示す経路情報と、当該経路に関連付けられており、ユーザが抱く印象を示す情報とを携帯端末2に出力し、これらの情報を携帯端末2に表示させる。このようにすることで、携帯端末2のユーザは、ユーザが指定した地点を始点又は終点とする経路が、開放感のある経路であるか、安定感のある経路であるか、安定感と解放感とのバランスがとれている経路であるかを確認することができ、自身に適している経路を特定することができる。
なお、出力部134は、ユーザの携帯端末2から、地点を示す位置情報の指定を受け付けるとともに、経路に対してユーザが希望する印象を受け付けるようにしてもよい。そして、出力部134は、特定した経路から、ユーザが希望する印象に合致する経路をさらに特定し、当該経路を示す経路情報を携帯端末2に出力してもよい。
[第4の実施形態による効果]
以上説明したように、第4の実施形態の位相特定装置1は、複数の位置のそれぞれにおける視認対象物の位相に基づいて、複数の位置に対応する経路に対するユーザが抱く印象を特定し、当該経路を示す情報と、当該経路に対するユーザが抱く印象を示す情報とを関連付けて出力する。このようにすることで、ユーザに、日々行動する範囲に含まれる経路において、どのような印象を抱くのかをユーザに把握させることができる。
<第5の実施形態>
続いて第5の実施形態について説明する。第5の実施形態においては、ユーザが視認した視認対象物に基づいて、当該視認対象物の位相を特定したことに応じて、当該ユーザに課金する点で第1の実施形態及び第4の実施形態と異なる。
第5の実施形態において、位相特定装置の制御部13は、課金部をさらに備える。課金部は、ユーザが視認した視認対象物の位相を特定部132が特定したり、経路を示す情報と、経路に対してユーザが抱く印象を示す情報とを関連付けて出力したりすると、当該ユーザに課金する。課金部は、第4の実施形態のように、特定部132が経路に対してユーザが抱く印象を特定する場合において、経路の長さや候補として挙げる件数や位相の表示状態に応じて、当該ユーザに課金してもよい。
また、課金部は、ユーザが抱く印象が特定された経路を他のユーザが確認する場合に、当該他のユーザに課金してもよい。例えば、出力部134は、他のユーザの携帯端末2から、経路に対して自身が希望する印象を受け付けると、記憶部12を参照して、当該印象に対応する経路を特定し、当該経路を示す情報を当該携帯端末2に出力する。課金部は、出力部134が、経路を示す情報を他のユーザの携帯端末2に出力したことに応じて、当該他のユーザに課金する。
[第5の実施形態による効果]
以上説明したように、第5の実施形態の位相特定装置1は、ユーザが視認した視認対象物の位相を特定部132が特定したり、経路を示す情報と、経路に対してユーザが抱く印象を示す情報とを関連付けて出力したりすると、当該ユーザに課金する。このようにすることで、位相特定装置1の管理者は、ユーザから、位相を特定するサービスの提供に対する対価を得ることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えたり、上述の実施の形態を組み合わせたりすることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
例えば、上記の説明においては、視線位置取得部263が、眼球位置検出部23が瞳孔及び角膜における反射光の強度に応じて生成された撮像信号に基づいて視線の位置を特定する場合について説明したが、視線の位置の特定方法はこれに限らない。例えば、眼球位置検出部23が、眼球の動きによって変化する皮膚の電位を検知した信号を出力し、視線位置取得部263は、当該信号に基づいて視線の位置を特定してもよい。
また、上記の実施の形態により、以下の発明も開示されている。
(1)ユーザが携帯する携帯端末であって、経路及び建物の少なくとも一方を含む地図画像と、前記ユーザが前記地図画像に含まれている視認対象物の位相を把握する傾向を示す位相傾向情報を取得する取得部と、前記位相に基づいて選択された、前記地図画像に関する案内情報を前記地図画像に重畳して表示する表示部と、を有する携帯端末。
(2)前記取得部は、前記携帯端末の位置に対応する前記地図画像と、当該地図画像に関連付けられた前記案内情報を取得する、(1)に記載の携帯端末。
(3)前記携帯端末の向きを検出する検出部をさらに有し、前記取得部は、前記検出部が検出した向き及び前記端末位置情報に対応する前記地図画像と、当該地図画像に関連付けられた前記案内情報を取得する、(2)に記載の携帯端末。
(4)前記取得部は、位相の種別及び位置情報に関連付けられた複数の前記案内情報を取得し、前記出力部は、前記複数の案内情報から、前記位置取得部が取得した前記端末位置情報に対応し、かつ前記位相傾向情報が示す位相に対応する案内情報を取得する、(2)又は(3)に記載の携帯端末。
(5)前記携帯端末の周囲の撮影領域を撮影して前記地図画像を生成する撮像部をさらに有し、前記取得部は、前記撮像部が生成した前記地図画像を取得し、前記表示部は、前記地図画像に含まれている経路における進路を案内する前記案内情報を表示する、(1)に記載の携帯端末。
(6)前記地図画像に含まれる視認対象物の位相を特定する特定部をさらに有し、前記表示部は、前記特定部が特定した前記位相に対応する前記案内情報を表示する、(5)に記載の携帯端末。
(7)前記携帯端末の位置を示す端末位置情報を取得する位置取得部をさらに有し、前記取得部は、前記端末位置情報に対応する前記地図画像と、当該地図画像に関連付けられた前記案内情報を取得する、(6)に記載の携帯端末。
(8)前記携帯端末の向きを検出する検出部をさらに有し、前記取得部は、前記検出部が検出した向き及び前記端末位置情報に対応する前記地図画像と、当該地図画像に関連付けられた前記案内情報を取得する、(7)に記載の携帯端末。
(9)前記撮影領域における前記ユーザの視線の位置を示す視線位置情報を取得する視線位置取得部をさらに有し、前記取得部は、前記視線位置取得部が取得した前記視線位置情報と、前記特定部が特定した前記位相とに基づいて、前記位相傾向情報を取得する、(6)〜(8)のいずれかに記載の携帯端末。
(10)ユーザが携帯する携帯端末であって、地図画像と、前記ユーザが前記地図画像に含まれている視認対象物の位相を把握する傾向を示す位相傾向情報を取得する取得部と、前記位相に基づいて選択された、前記地図画像に含まれている被写体に設けられた電子機器を制御するための制御情報を送信する通信部と、を有する携帯端末。
(11)ユーザが携帯する携帯端末が有するコンピュータに、地図画像を取得するステップと、前記地図画像に含まれている前記ユーザの視認対象物の特徴と、前記視線位置情報との関係に基づいて特定された、前記視認対象物の位相を示す位相傾向情報を取得するステップと、前記位相に基づいて選択された、前記地図画像に関する案内情報を前記地図画像に重畳して表示するステップと、を実行させるためのプログラム。
1 位相特定装置
2 携帯端末
3 携帯端末
11 通信部
12 記憶部
13 制御部
21 位置検出部
22 外部撮像部
23 眼球位置検出部
24 通信部
25 記憶部
26 制御部
27 表示部
131 取得部
132 特定部
133 作成部
134 出力部
261 位置情報取得部
262 撮像画像取得部
263 視線位置取得部
264 取得部
265 特定部
266 作成部
267 出力部

Claims (12)

  1. ユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得する取得部と、
    前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱く印象に関連付けられる前記視認対象物の位相を特定する特定部と、
    前記視認対象物に関連付けられた情報と、前記特定部が特定した前記位相を示す位相情報とを関連付けて出力する出力部と、
    を有する位相特定装置。
  2. 前記特定部は、前記対象物情報に基づいて特定される構図の種類と、前記視線位置情報が示す視線の位置の変化のパターンとに基づいて、前記位相を特定する、
    請求項1に記載の位相特定装置。
  3. 前記特定部は、前記対象物情報に基づいて一点透視の構図が特定される場合に、安定感がある印象を前記ユーザが抱いたことを示す前記位相を特定し、前記対象物情報に基づいて二点透視の構図が特定される場合に、開放感がある印象を前記ユーザが抱いたことを示す前記位相を特定する、
    請求項2に記載の位相特定装置。
  4. 前記出力部は、前記視認対象物に関連付けられた情報を含む地図に、前記特定部が特定した前記位相を示す画像を重畳した地図情報を出力する、
    請求項1から3のいずれか1項に記載の位相特定装置。
  5. 前記取得部は、前記対象物情報として、前記視認対象物を含む撮像画像を取得し、
    前記出力部は、前記撮像画像内に、前記位相に対応する態様の経路案内画像を重畳した案内画像を出力する、
    請求項1から3のいずれか1項に記載の位相特定装置。
  6. 前記出力部は、前記視認対象物を含む前記撮像画像を表示している画面内に前記位相を示す情報を表示させる、
    請求項5に記載の位相特定装置。
  7. 前記特定部が前記視認対象物の位相を特定すると、前記ユーザに課金する課金部をさらに備える、
    請求項1から6のいずれか1項に記載の位相特定装置。
  8. 前記特定部は、複数の位置のそれぞれにおける前記視認対象物の位相に基づいて、複数の位置に対応する経路に対してユーザが抱く印象を特定し、
    前記出力部は、前記経路を示す情報と、前記経路に対するユーザが抱く印象を示す情報とを出力する、
    請求項1から7のいずれか1項に記載の位相特定装置。
  9. 前記特定部は、前記経路を示す情報と、前記経路に対するユーザが抱く印象を示す情報とを関連付けて記憶部に記憶させ、
    前記出力部は、ユーザから地点の指定を受け付け、指定された地点に対応する前記経路を示す情報と、前記経路に対してユーザが抱く印象を示す情報とを出力する、
    請求項8に記載の位相特定装置。
  10. ユーザが視認する視認対象物を含む撮像領域を撮像した撮像画像を撮像する撮像部と、
    前記撮像領域における前記ユーザの視線の位置又は動きを示す視線位置情報を取得する取得部と、
    前記撮像画像に含まれている前記視認対象物の特徴と、前記視線位置情報との関係に基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定する特定部と、
    前記ユーザが前記視認対象物を視認している間に、前記特定部が特定した前記位相を示す位相情報を表示部に表示させる出力部と、
    を有する携帯端末。
  11. コンピュータが実行する、
    ユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得するステップと、
    前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定するステップと、
    前記視認対象物に関連付けられた情報と、特定した前記位相を示す位相情報とを関連付けて出力するステップと、
    を有する位相特定方法。
  12. コンピュータに、
    ユーザが視認する視認対象物の形状を示す対象物情報と、前記ユーザが視認する視認領域における前記ユーザの視線の位置又は動きを示す視線位置情報とを取得するステップと、
    前記対象物情報に含まれている前記視認対象物の形状と、前記視線位置情報とに基づいて、前記ユーザが前記視認対象物に対して抱いた印象に関連付けられる前記視認対象物の位相を特定するステップと、
    前記視認対象物に関連付けられた情報と、特定した前記位相を示す位相情報とを関連付けて出力するステップと、
    を実行させるためのプログラム。
JP2016114617A 2016-03-16 2016-06-08 位相特定装置、携帯端末、位相特定方法及びプログラム Active JP6849895B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/058397 WO2017158776A1 (ja) 2016-03-16 2016-03-16 位相特定装置、携帯端末、位相特定方法及びプログラム
WOPCT/JP2016/058397 2016-03-16

Publications (2)

Publication Number Publication Date
JP2017167501A true JP2017167501A (ja) 2017-09-21
JP6849895B2 JP6849895B2 (ja) 2021-03-31

Family

ID=59850266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016114617A Active JP6849895B2 (ja) 2016-03-16 2016-06-08 位相特定装置、携帯端末、位相特定方法及びプログラム

Country Status (3)

Country Link
US (1) US10872447B2 (ja)
JP (1) JP6849895B2 (ja)
WO (1) WO2017158776A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057215A (ja) * 2017-09-22 2019-04-11 株式会社竹中工務店 開放感評価装置
JP7479735B2 (ja) 2018-08-09 2024-05-09 株式会社ジオクリエイツ 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161399A (ja) 1994-12-05 1996-06-21 Takenaka Komuten Co Ltd 環境評価装置
JP5654962B2 (ja) * 2011-08-19 2015-01-14 日本放送協会 視線位置推定装置及び視線位置推定プログラム
JP6359253B2 (ja) * 2013-08-27 2018-07-18 株式会社ジオクリエイツ 感情抽出方法、感情抽出プログラム、感情抽出装置、及び建築物設計方法
JP6228516B2 (ja) 2014-06-25 2017-11-08 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057215A (ja) * 2017-09-22 2019-04-11 株式会社竹中工務店 開放感評価装置
JP7479735B2 (ja) 2018-08-09 2024-05-09 株式会社ジオクリエイツ 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム

Also Published As

Publication number Publication date
JP6849895B2 (ja) 2021-03-31
US10872447B2 (en) 2020-12-22
WO2017158776A1 (ja) 2017-09-21
US20190096108A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
Schrom-Feiertag et al. Evaluation of indoor guidance systems using eye tracking in an immersive virtual environment
JP7133470B2 (ja) ネットワークの拡張現実表現のためのシステムおよび方法
JP6898165B2 (ja) 人流分析方法、人流分析装置及び人流分析システム
JP6741009B2 (ja) 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
US20180232942A1 (en) Method for Representing Virtual Information in a Real Environment
Möller et al. A mobile indoor navigation system interface adapted to vision-based localization
Al-Khalifa et al. Ebsar: Indoor guidance for the visually impaired
Winkler et al. Pervasive information through constant personal projection: the ambient mobile pervasive display (AMP-D)
JP7364740B2 (ja) 映像表示装置
KR101601805B1 (ko) 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
CN106415671A (zh) 用于呈现与真实对象相关的数字信息的方法和系统
CN106255939A (zh) 世界锁定显示质量反馈
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
KR20110071210A (ko) 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US9672588B1 (en) Approaches for customizing map views
US20210350628A1 (en) Program, information processing method, and information processing terminal
Lander et al. Inferring landmarks for pedestrian navigation from mobile eye-tracking data and Google Street View
JP2022547701A (ja) 方向づけ援助システム
US10872447B2 (en) Topology specifying method, topology specifying apparatus and non-transitory computer-readable storage medium
CN118103799A (zh) 与远程设备的用户交互
JP7479735B2 (ja) 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
CN112396997A (zh) 一种光影沙盘智能交互系统
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
US20180293796A1 (en) Method and device for guiding a user to a virtual object

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210209

R150 Certificate of patent or registration of utility model

Ref document number: 6849895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250