JP2020112867A - 情報表示システム及び情報表示方法 - Google Patents

情報表示システム及び情報表示方法 Download PDF

Info

Publication number
JP2020112867A
JP2020112867A JP2019001246A JP2019001246A JP2020112867A JP 2020112867 A JP2020112867 A JP 2020112867A JP 2019001246 A JP2019001246 A JP 2019001246A JP 2019001246 A JP2019001246 A JP 2019001246A JP 2020112867 A JP2020112867 A JP 2020112867A
Authority
JP
Japan
Prior art keywords
user
display
display content
content frame
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019001246A
Other languages
English (en)
Other versions
JP7244279B2 (ja
Inventor
松本 隆史
Takashi Matsumoto
隆史 松本
雄哉 五十嵐
Yuuya Igarashi
雄哉 五十嵐
元明 山崎
Motoaki Yamazaki
元明 山崎
白石 理人
Masato Shiraishi
理人 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2019001246A priority Critical patent/JP7244279B2/ja
Priority to US17/421,153 priority patent/US11954241B2/en
Priority to SG11202107436UA priority patent/SG11202107436UA/en
Priority to CN202080008025.XA priority patent/CN113261052A/zh
Priority to PCT/JP2020/000044 priority patent/WO2020145232A1/ja
Publication of JP2020112867A publication Critical patent/JP2020112867A/ja
Application granted granted Critical
Publication of JP7244279B2 publication Critical patent/JP7244279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing (AREA)

Abstract

【課題】複数の人が集まる空間で共有された情報と個人の情報とを明示でき、複数のユーザと個人との双方で情報の取得性や操作性を改善できるようにする。【解決手段】ユーザ111の位置を認識する。表示部102は表示内容枠112を表示させる。判定部103はユーザ111の位置が垂直方向面105から所定の範囲内にあるか否かを判定する。表示制御部104は、ユーザ111の位置が垂直方向面105から所定の範囲よりも離れている場合には、水平方向面106に表示内容枠112を表示させ、ユーザの位置が垂直方向面105から所定の範囲内にある場合には、水平方向面106から垂直方向面105に至るように表示内容枠112を表示させつつ垂直方向面105にユーザ111からの操作入力を受け付ける操作入力領域113を表示させる。【選択図】図9

Description

本発明は、情報表示システム及び情報表示方法に関する。
壁面全体をスクリーンにすることによって、遠くからでも認識できる情報や映像を表現したりすることができる。映画スクリーンはその原始的なものである。また、近年、建物の外壁を情報ディスプレイにしたメディアファサードなどの取り組みも見られる。また、デジタルアートインスタレーションなどで、壁面に絵を描いたり、壁面のアニメーション画像とインタラクションできる表現やツールが提案されている。また、電子ホワイトボードツールなどで、壁面に文字や絵を描いて物理的空間において複数人でコミュニケーションをしながら、同時に記録を電子データ化することができるようになっている。さらに公共空間においては、デジタルサイネージとして、インタラクティブ広告やタッチスクリーンによる情報端末などが用意されるようになっている。また、特許文献1には、地図を床面に表示する技術が開示されている。
特開2007−149053号公報
公共空間においては、一つの空間に、複数のユーザがいることが想定され、それぞれのユーザと壁面との位置関係は多様である。公共空間の壁面全体を使って情報を提示する場合、どのぐらいのサイズで情報を表示し、どのようにユーザが情報とインタラクションをするのが適切かは、そのインタラクティブディスプレイ壁面とユーザとの距離によって異なる。特に、複数人に向けた情報と、個人に向けた情報とで、その適切な関係性は大別されると考えられる。つまり、壁面から一定の距離をとっている複数の人に対しては、壁面を大きく使って情報を提示すると、複数の人にとって視認性がよい。また、タッチ操作などにより情報と個別にインタラクションしたいユーザには、壁面に手が届く程度に近接した場所にユーザが居ることが考えられるため、文字や情報の表示サイズは小さくてもそのユーザは視認可能である。そして、一つの大きな壁面に、複数に向けた大きな情報と、個人に向けた小さな情報が混在する場合、壁面から離れた場所にいる複数のユーザに対しては、どの範囲が個人向けの表示であって、どの範囲が多数に共有された表示であるか、領域を明示的に理解できることが望ましい。
上述の課題を鑑み、本発明は、複数の人が集まる空間で共有された情報と個人の情報とを区別できるように表示させることができ、複数のユーザと個人との双方で情報の取得性や操作性を改善できるようにした情報表示システム及び情報表示方法を提供することを目的とする。
上述の課題を解決するために、本発明の一態様に係る情報表示システムは、ユーザの位置を認識する位置認識部と、前記認識されたユーザの位置に対応する水平方向面と垂直方向面のいずれかの領域に表示内容枠を表示させる表示部と、前記ユーザの位置が前記壁面から所定の範囲内にあるか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記ユーザの位置が前記垂直方向面から所定の範囲よりも離れている場合には、前記水平方向面に前記表示内容枠を表示させ、前記ユーザの位置が前記垂直方向面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記垂直方向面に表示させつつ前記垂直方向面に前記ユーザからの操作入力を受け付ける操作入力領域を表示させる表示制御部と、を有する。
本発明の一態様に係る情報表示方法は、ユーザの位置を認識する工程と、前記認識されたユーザの位置に対応する水平方向面と垂直方向面のいずれかの領域に表示内容枠を表示させる工程と、前記ユーザの位置が壁面から所定の範囲内にあるか否かを判定する工程と、前記判定結果に基づいて、前記ユーザの位置が前記垂直方向面から所定の範囲よりも離れている場合には、前記水平方向面に前記表示内容枠を表示させ、前記ユーザの位置が前記垂直方向面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記垂直方向面に表示させつつ前記垂直方向面に前記ユーザからの操作入力を受け付ける操作入力領域を表示させる工程とを含む。
本発明によれば、ユーザの位置が壁面に近づくと、水平方向面から垂直方向面に至るように表示内容枠が表示され、壁面の表示内容枠は、ユーザからの操作入力を受け付ける操作入力領域となる。これにより、複数の人が集まる空間で、共有された情報と個人の情報とを明示でき、個人のユーザが専用の操作入力で操作を行うことができる。
本発明の第1の実施形態に係る情報表示システムの概要を示す図である。 本発明の第1の実施形態に係る情報表示システムにおける制御装置の概要を示すブロック図である。 ユーザの位置と表示内容枠との関係の説明図である。 ユーザの位置と表示内容枠との関係の説明図である。 表示内容枠をユーザ毎のアプリケーションプログラムの操作インターフェースとして利用した例の説明図である。 表示内容枠をユーザ毎の情報の入力操作に利用した場合の説明図である。 表示内容枠の大きさを拡大又は縮小する場合の操作の説明図である。 表示内容枠の統合の説明図である。 表示内容枠の統合の説明図である。 本発明の第1の実施形態に係る情報表示システムでの処理を示すフローチャートである。 本発明による情報表示システムの基本構成を示す概略ブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の第1の実施形態に係る情報表示システムの概要を示す図である。本発明の情報表示システムは、複数人によって利用される空間に適用することが可能であり、例えば、駅(待合所、待合室、コンコース等)、空港、公園、商業施設、ビルのエントランス、歩道、博物館、病院、公共施設、イベント会場等に適用することが可能である。この図では、複数の人が集まる駅(例えば、駅の待合所)に用いられる場合について図示されている。
図1において、駅の待合所の空間10は、少なくとも床面11と壁面12とがある。床面11及び壁面12はその全体または少なくとも一部の領域が表示面として用いるこがができる。床面11及び壁面12は、プロジェクションやLED(Light Emitting Diode)モジュールなどにより映像信号が投写されることで、表示面としての機能を実現することができる。また、床面11や壁面12近傍においてユーザが操作入力の動作を行ったか否かについては、カメラ15や、モーションセンサによって検出することができる。また、カメラ15やモーションセンサの他に、3Dスキャナやタッチセンサ等を用いるようにしてよい。
また、駅の待合所の空間10全体または少なくとも床面11と壁面12を撮像するカメラ15が備えられている。カメラ15は、そこを訪れたユーザ50−1、50−2、50−3の位置や動作を撮像する。なお、さらに、ユーザ50−1、50−2、50−3の位置や動作を検出する3Dスキャナを設け、この3Dスキャナから、各ユーザの位置や動作についての情報を取得するようにしてもよい。
また、駅の待合所には、制御装置20が備えられている。制御装置20は、プロジェクタまたはLEDモジュールに対して映像信号を供給する。プロジェクタまたはLEDモジュールは、制御装置20から供給される映像信号を床面11や壁面12に投写(表示)する。
図1において、床面11及び壁面12は、そこに訪れたユーザ50−1、50−2、50−3で共有された情報を提供可能な領域として用いられる。この例では、壁面12に、画像31−1、31−2が表示される。この画像31−1、31−2は、ユーザ50−1、50−2、50−3のいずれのユーザからも視認可能であり、各ユーザにおいて共有の情報として用いることができる。このような共有の情報は、壁面12から離れた位置にいるユーザからの視認可能な位置や大きさで表示することが好ましく、例えば、壁面12において床面11から一定以上の高さであって、画像の表示サイズがある程度の大きさにするとこが視認性の観点から好ましい。また、床面11に、画像32−1、32−2、32−3が表示される。この画像32−1、32−2、32−3は、ユーザ50−1、50−2、50−3のうちいずれのユーザであっても視認可能であり、共有の情報として用いることができる。床面11に表示される共有の情報は、床面11において表示された位置からある程度離れた位置にいるユーザも視認可能である。
また、駅の待合所の空間10を訪れたユーザ50−1、50−2、50−3の情報(位置や動作)は、カメラ15の撮像画像を画像認識することで取得される。カメラ15は、床面11を撮像することで、ユーザ50−1、50−2、50−3を含む撮像画像を生成し、その撮影画像から、ユーザ50−1、50−2、50−3がいる床面11における位置を検出する。制御装置20は、この検出された位置に基づいて、ユーザ50−1、50−2、50−3の足元に、その人がセンシングされていることを示す表示内容枠60−1、60−2、60−3を表示する。この表示内容枠60をユーザに対応する位置に表示することで、そのユーザに対して割り当てられたユーザ個人に対する情報であることを明示的に表示することができる。このようにして、共有の情報とユーザ個人向けの情報とを明示的に分けて表示することが可能であり、ユーザにとって、自分向けの情報であるか、一般(共有)向けの情報であるかを簡単に把握することが可能である。ここでは、ユーザ50−1、50−2、50−3の全員の足下に表示内容枠を表示してもよいし、少なくとも1人の足下に表示してもよい。
なお、表示内容枠60−1、60−2、60−3は、環状(円環、矩形状)でも破線状でもよい。また、表示内容枠60−1、60−2、60−3は、対象ユーザを線で取り囲むような図形であってもよいし、表示内容枠の内周側についても任意の表示色で表示(ベタ塗り)してもよい。また、表示内容枠60−1、60−2、60−3は、動物や植物などのキャラクターであってもよいし、文字等であってもよい。例えば、表示内容枠60−1には、表示内容枠60−1内にいるユーザに対する個人向けの情報として、表示内容枠60−1の外周から延びるように矢印が表示され、表示内容枠60−1のユーザの正面側に目的地を示す文字列が表示される(符号60−1a)これにより、表示内容枠60−1のユーザに対して目的地へ誘導することができる。また、表示内容枠60−2には、表示内容枠60−2内にいるユーザに対する個人向けの情報として、表示内容枠60−2のユーザの正面側に、文字列とバスのアイコンが並んで表示される。これにより、表示内容枠60−2のユーザに対してバスに関する情報を提供することができる。このように、表示内容枠は、各ユーザに対してパーソナライズされた、矢印、文字、アイコン等を組み合わせた案内表示と、一体化または組み合わされた画像が表示されてもよい。
ユーザ50−1、50−2、50−3が床面11上を移動していくと、カメラ15は、これらユーザを含む床面11を撮像し、各ユーザの床面11における位置を検出する。制御装置20は、カメラ15から得られるユーザの位置に基づいて、表示内容枠60−1、60−2、60−3をユーザの位置に対応する位置に追従するように表示する。また、ユーザ50−1、50−2、50−3が所定距離以内まで壁面12に近づくと、床面11に表示された表示内容枠60−1、60−2、60−3は、少なくとも一部が床面11から壁面12に至るように、壁面12にまで伸びるように表示される。図1においては、ユーザ50−3は、壁面12から所定距離以内まで近づいていることが制御装置20によって判定されることで、制御装置20が、表示内容枠60−3について、床面11から壁面12に至るように、壁面12にまで伸びて表示する。
なお、ユーザ50−1、50−2、50−3は複数人であるが、以下の説明では、ユーザ50−1、50−2、50−3を区別しない場合には、単に、ユーザ50と呼ぶことがある。また、表示内容枠60−1、60−2、60−3は、ユーザ50−1、50−2、50−3の数に対応した数であるが、以下の説明では、表示内容枠60−1、60−2、60−3を区別しない場合には、単に、表示内容枠60と呼ぶことがある。また、画像31−1、31−2及び画像32−1、32−2、32−3は、それぞれ複数であるが、以下の説明では、画像を区別しない場合には、単に、画像31及び画像32と呼ぶことがある。
また、床面11及び壁面12への画像の投写は、プロジェクションやLEDモジュールなどに限定されず、他の装置やモジュールを用いてもよい。本実施形態においては、表示面に影ができないものが望ましく、また、床面11においては加重や摩耗の影響を受けにくいものが望ましい。また、床面11、壁面12の表示面は、離間していてもよいが、接している方が、1つの表示内容枠の連続性を維持して表示できる点において好ましい。また、床面11と壁面12との確度は、垂直であってもよいし、湾曲するようにして連続面とされていてもよい。
図2は、本発明の第1の実施形態に係る情報表示システムにおける制御装置20の概要を示すブロック図である。図2に示すように、制御装置20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、ストレージデバイス24、及び通信部25を含んで構成される。CPU21は、コマンドを解釈して、実行を行う。ROM22には、ブートプログラムが記憶されている。RAM23は、メインメモリとして用いられる。ストレージデバイス24は、HDD(Hard Disk Drive)やSSD(Solid State Drive)からなり、OS(Operating System)やアプリケーションのプログラムやデータが記憶されている。
制御装置20には、表示部26、モーションセンサ27、カメラ15が接続される。表示部26は例えばプロジェクタあるいはLEDモジュールであり、床面11や壁面12の全面または一部の領域に画像を表示する。カメラ15は、床面11や壁面12を撮像し、撮像結果に基づいて画像処理を行うことで、撮像領域に存在するユーザの動きを検出し、検出結果を制御装置20に出力する。制御装置20は、カメラ15から入力されるユーザの動きを検出した結果に応じた画像を表示部26によって床面11や壁面12に表示する。
ここでは、カメラ15の撮像結果に基づいて、ユーザの動きを検出することができるが、モーションセンサ27を用いることもできる。モーションセンサ27は、赤外線またはレーザー光等の所定の波長の光を出射し、その反射光を受光することで、周囲に存在する物体を検出する。また、モーションセンサ27は、物体を検出した検出結果に基づいて、物体の動きを検出する。モーションセンサ27は、物体を検出した検出結果や、物体の動きを検出した結果をCPU21に出力する。モーションセンサ27は、例えば、空間10の天井または天井近傍の壁面に取り付けられる。このようなカメラ15やモーションセンサ27を用いる場合には、ユーザがどこに居るか(床面と接触)、ユーザが壁面に対してどの程度近接しているか(壁面とは非接触)、ユーザが壁面のどこをタッチしているか(壁面と接触)のいずれについても取得することができる。また、カメラ15やモーションセンサを用いる場合には、ユーザの移動や、ユーザの壁や表示領域への近接度合による状況的判断、タッチによる明示的な操作等に基づくインタラクションを実現することができる。また、カメラ15やモーションセンサ27の他に、3Dスキャナによる検出結果に基づいてユーザの動きを検出してもよい。また、壁面12にタッチパネルを設けた場合には、タッチ操作が行われたか否かを直接検出することができるので、検出精度を向上させることができる。
制御装置20は、カメラ15の撮像画面を解析して、ユーザ50の位置を認識する位置認識部として機能する。ここで、撮像画像に含まれるユーザを認識する処理は、カメラ15が行っても良いし、制御装置20が行ってもよい。
表示部26は、例えば、プロジェクタまたはLEDモジュールであり、認識されたユーザ50の位置に対応する床面11(水平方向面)と壁面12(垂直方向面)のいずれかの領域に、表示内容枠60を表示(投写)する。
また、制御装置20は、ユーザ50の位置が壁面12から所定の範囲内にあるか否かを判定する判定部と、判定部の判定結果に基づいて、表示内容枠60を制御する表示制御部として機能する。制御装置20は、ユーザ50の位置が壁面12から所定の範囲よりも離れている場合には、床面11に表示内容枠60を表示させ、ユーザ50の位置が壁面12から所定の範囲内にある場合には、床面11から壁面12に至るように表示内容枠60を表示させつつ壁面12にユーザ50からの操作入力を受け付ける操作入力領域70を表示させる。
また、制御装置20は、カメラ15の撮像画面を解析して、ユーザ50の動作を検出する動作検出部として機能する。また、制御装置20は、ユーザ50の動作に応じて表示内容枠60の表示態様を変化させる表示制御部として機能する。より具体的には、制御装置20は、表示内容枠60拡大/縮小、他のユーザの表示内容枠とのマージ等を行う表示制御部として機能する。
また、制御装置20は、複数のユーザの動作が検出された検出結果に基づいて、共有を表す動作を行った複数のユーザについて、複数のユーザに割り当てられていた表示内容を表示する個別の領域を1つの共有領域として表示させる表示制御部として機能する。
また、制御装置20は、表示部26に、機械読取コード62(図5参照)を含めた表示内容枠60を壁面12に表示させる表示制御部として機能する。この機械読取コードは、ユーザの端末装置63で撮影して読み取ることができる。通信部25は、この機械読取コードを読み取った端末装置から送信される機械読取コードを受信すると、機械読取コードを含む表示内容に関連する情報を端末装置63に送信する通信部として機能する。
図3A及び図3Bは、ユーザ50の位置と表示内容枠との関係の説明図である。図3Aに示すように、床面11におけるユーザ50の位置と壁面12との間の距離L1が所定の距離より長い場合には、表示内容枠60は、ユーザ50の足元を囲むように、床面11に表示される。ここで、所定距離は、ユーザ50が壁面12に手で接触できるような距離であり、例えば、数10cm程度から1m程度の範囲のいずれかの距離を設定することが可能である。ここでは、制御装置20は、床面11におけるユーザの位置から壁面12までの距離を検出する。
これに対して、図3Bに示すように、ユーザ50の位置と壁面12との間の距離L2が所定の距離より短くなると、制御装置20は、表示内容枠を、床面11から壁面12に至るように表示する。表示内容枠60のうち壁面12に表示される部分は、ユーザ50が個人的にインタラクションを行う操作入力領域70として用いられる。この操作入力領域70の壁面12における上端の高さは、例えば、検出されたユーザ50の身長に応じて、手を壁面12に伸ばして操作がし易い高さと同じかそれよりも一定以上の高さとなるように表示するようにしてもよい。これによりユーザは、操作するためにしゃがんだり飛び跳ねたりする必要がない。
図4は、操作入力領域70をユーザ毎のアプリケーションプログラムの操作インターフェースとして利用した例の説明図である。図4に示すように、操作入力領域70には、アイコン61が表示されている。ユーザ50がアイコン61をタッチすると、所望のアプリケーションプログラムが起動される。ここでは、アイコン61は、バスのアイコンが投影されている。
図5は、操作入力領域70をユーザ毎の情報の入力操作に利用した場合の説明図である。図5に示すように、操作入力領域70には、機械読取コード62が表示される。機械読取コード62は、バーコード、二次元バーコード等、撮像装置で読み取り可能なものである。ここでは、機械読取コード62は、二次元バーコードである。ユーザ50は、自分の端末装置63で機械読取コード62を撮影する。ユーザ50が端末装置63で機械読取コード62を撮影すると、端末装置63と制御装置20とが通信を行い、この機械読取コード62に関連する情報が操作入力領域70に表示される。例えば、制御装置20は、図4におけるアイコン61に対してユーザ50がタッチ操作したことを検出した場合に、機械読取コード62を表示する等、ユーザの操作に応じた情報を表示することができる。ここでは、制御装置20は、端末装置63に割り当てられた識別情報をユーザ識別情報として用いることで、ユーザ識別情報と壁面12の操作入力領域70とを関連付けすることができる。また、ユーザ識別情報を特定することができれば、この他の実現手段を用いるようにしてもよく、例えば、ユーザ識別情報と操作入力領域70との関連付けは、例えば、ビーコンなどの近距離通信を用いた認証や、カメラからの画像解析等を組み合わせた認証方法であってもよい。
また、表示内容枠60の大きさは、操作入力領域70を操作することで、拡大/縮小することができる。図6は、表示内容枠60の大きさを拡大/縮小する場合の操作の説明図である。図6に示すように、ユーザ50が操作入力領域70内を広げるように、壁面12に触れつつ操作入力領域70の右側端部と左側端部をそれぞれ外側(距離が離れる方向)に広げるような動作をすると、制御装置20は、この動作を検出し、表示内容枠60の幅方向の大きさを動作に応じて拡大する。ユーザ50が壁面12に触れつつ操作入力領域70の右側端部と左側端部をそれぞれ内側(距離が近づく方向)に狭めるような動作をすると、表示内容枠60の幅方向の大きさが縮小していく。ここでは、幅方向の大きさを変更する場合について説明したが、ユーザが両手を上に伸ばす、あるいは両腕を引き下ろすような動作をした場合、制御装置20が、この動作を検出し、表示内容枠60の高さ方向のサイズを伸張あるいは縮退させるようにしてもよい。また、この図において、ユーザが壁面12に触れつつ操作入力領域70の幅方向のサイズを変更する場合について説明したが、壁面12にタッチしていなくても、ユーザによる操作入力がなされていることが検出できる場合には、操作入力として受け付けるようにしてもよい。
また、表示内容枠60を拡大させていくと、隣に別のユーザがいて、その別のユーザの表示内容枠に重なる場合がある。この場合には、表示内容枠を統合して1つの表示内容枠としてもよい。図7A、図7Bは、表示内容枠の統合の説明図である。この例では、表示内容枠60aと表示内容枠60bとを統合して、1つの表示内容枠として表示する場合について説明する。壁面12の近傍にいるユーザ50aと隣にいる別のユーザ50bがそれぞれ自身に割り当てられた表示内容枠の右側端部または左側端部うち、隣接するユーザが存在する方の端部をタッチしつつ、お互いの端部が接するように操作入力をする。このような操作入力を検出した場合、制御装置20は、端部を接するように操作入力をしたユーザのそれぞれの表示内容枠を図7Bの符号60cに示すように、統合することもできる。この表示内容枠の統合は、3人以上のユーザの表示内容枠であっても統合することができる。
また、壁面12において、各ユーザに割り当てられた操作入力領域70には、複数のユーザに対して共通の情報を表示する内容と、異なる内容とを表示させてもよい。
図8は、本発明の第1の実施形態に係る情報表示システムでの処理を示すフローチャートである。
(ステップS101)制御装置20は、カメラ15の撮像画像を解析して、駅の待合所の空間10内のオブジェクトを検出する。制御装置20は、オブジェクトを検出したら、処理をステップS102に進める。
(ステップS102)制御装置20は、検出されたオブジェクトが人か否かを判別する。検出されたオブジェクトが人でなければ(ステップS102:No)、制御装置20は、処理をステップS103に進め、検出されたオブジェクトが人なら(ステップS102:Yes)、処理をステップS104に進める。
(ステップS103)検出されたオブジェクトが人でなければ、オブジェクトは物であるので、障害物を認識して、処理をステップS101に戻す。
(ステップS104)制御装置20は、検出された人の足元を囲むように、床面11に表示内容枠60を表示して、処理をステップS105に進める。
(ステップS105)制御装置20は、検出された人が壁面12の近傍か否かを判定する。検出された人が壁面12の近傍まで近づいたら(ステップS105:Yes)、制御装置20は、処理をステップS106に進め、検出された人が壁面の近傍でなければ(ステップS105:No)、処理をステップS104に戻す。人が移動する場合には、ステップS104、ステップS105のループが繰り返され、人の動きに追従して、表示内容枠60が動いていく。
(ステップS106)制御装置20は、表示内容枠60を床面11から壁面12に至るように壁面12にまで伸ばして表示を行ない、処理をステップS107に進める。
(ステップS107)制御装置20は、表示内容枠60を壁面12まで延ばした部分を操作入力領域70とするアプリケーションプログラムを起動して、処理をステップS108に進める。
(ステップS108)制御装置20は、壁面12を接触した操作があったか否かを判定する。壁面12を接触する操作があったら(ステップS108:Yes)、制御装置20は、処理をステップS109に進め、操作がなければ(ステップS108:No)、処理をステップS105に戻す。
(ステップS109)制御装置20は、壁面12を接触する操作が操作入力領域70内へのタッチ操作か否かを判定する。制御装置20は、操作入力領域70内へのタッチ操作なら(ステップS109:Yes)、処理をステップS110へ進め、操作入力領域70内へのタッチでなければ(ステップS109:No)、処理をステップS111へ進める。
(ステップS110)制御装置20は、タッチ操作に応じたアプリケーションプログラムの処理を行って、処理をステップS108に戻す。
(ステップS111)制御装置20は、操作入力領域70のスライド操作か否かを判定する。操作入力領域70のスライド操作なら(ステップS111:Yes)、制御装置20は、処理をステップS112へ進め、操作入力領域70のスライド操作でなければ(ステップS111:No)、処理をステップS108に戻す。
(ステップS112)制御装置20は、スライド操作に応じて、表示内容枠60を拡大または縮小して、処理をステップS108に戻す。
以上説明したように、本実施形態では、ユーザ50が検出されると、ユーザの足元の床面11に、その人がセンシングされていることを示す表示内容枠60が表示される。そして、ユーザ50の位置が壁面12に近づくと、床面11から壁面12に至るように表示内容枠60が表示され、表示内容枠60のうち壁面12に伸びる部分は、ユーザ50からの操作入力を受け付ける操作入力領域70となる。これにより、複数の人が集まる空間10で、共有された情報と個人の情報とを明示的に表示することができ、また、操作入力領域70を操作対象の範囲として、個人のユーザ50が専用の操作入力で操作を行うことができる。共有された情報と個人の情報とを明示できることから、文字の大きさや表示の大きさについても、そのユーザに合わせて適切に制御できる。例えば、ユーザの位置が壁面12に近いほど、文字を小さく表示するようにしてもよい。この場合、ユーザは、壁面12から離れた位置にいる場合には、大きめの文字の方が視認し易いが、壁面12に近い位置にいる場合には、小さな文字であっても視認可能である。
図9は、本発明による情報表示システムの基本構成を示す概略ブロック図である。本発明による情報表示システムは、位置認識部101と、表示部102と、判定部103と、表示制御部104とを基本構成とする。位置認識部101は、ユーザ111の位置を認識する。表示部102は、認識されたユーザ111の位置に対応する水平方向面106と垂直方向面105のいずれかの領域に表示内容枠112を表示させる。判定部103は、ユーザ111の位置が垂直方向面105から所定の範囲内にあるか否かを判定する。表示制御部104は、判定部103の判定結果に基づいて、ユーザ111の位置が垂直方向面105から所定の範囲よりも離れている場合には、水平方向面106に表示内容枠112を表示させ、ユーザの位置が垂直方向面105から所定の範囲内にある場合には、水平方向面106から垂直方向面105に至るように表示内容枠112を表示させつつ垂直方向面105にユーザ111からの操作入力を受け付ける操作入力領域113を表示させる。
上述した実施形態における情報表示システムの全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
11…床面、12…壁面、15…カメラ、20…制御装置、25…通信部、26…表示部、60(60−1、60−2、60−3)…表示内容枠、70…操作入力領域

Claims (7)

  1. ユーザの位置を認識する位置認識部と、
    前記認識されたユーザの位置に対応する水平方向面と垂直方向面のいずれかの領域に表示内容枠を表示させる表示部と
    前記ユーザの位置が壁面から所定の範囲内にあるか否かを判定する判定部と、
    前記判定部の判定結果に基づいて、
    前記ユーザの位置が前記垂直方向面から所定の範囲よりも離れている場合には、前記水平方向面に前記表示内容枠を表示させ、
    前記ユーザの位置が前記垂直方向面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記垂直方向面に表示させつつ前記垂直方向面に前記ユーザからの操作入力を受け付ける操作入力領域を表示させる表示制御部と、
    を有する情報表示システム。
  2. 前記表示制御部は、
    前記ユーザの位置が前記垂直方向面から所定の範囲内にある場合には、前記水平方面から前記垂直方向面に至るように前記表示内容枠を表示させるか、前記表示内容枠の領域全体を垂直方向面に表示させつつ、前記垂直方向面に前記ユーザからの操作入力を受け付ける操作入力領域を表示させる
    請求項1記載の情報表示システム。
  3. 前記ユーザの動作を検出する動作検出部を有し、
    前記表示制御部は、前記ユーザの動作に応じて前記表示内容枠の表示態様を変化させて表示させる
    請求項1または請求項2に記載の情報表示システム。
  4. 前記表示制御部は、機械読取コードを含めた表示内容枠を前記垂直方向面に表示させ、
    前記情報表示システムは、
    前記機械読取コードを読み取った端末装置から送信される機械読取コードを受信すると、当該機械読取コードを含む表示内容枠に関連する情報を当該端末装置に送信する通信部
    を有する請求項1から請求項3のうちいずれか1項に記載の情報表示システム。
  5. 前記ユーザは複数であり、
    前記表示制御部は、前記複数のユーザの動作が検出された検出結果に基づいて、共有を表す動作を行った複数のユーザについて、当該複数のユーザに割り当てられていた表示内容枠を表示する個別の領域を1つの共有領域として表示させる
    請求項3または請求項4記載の情報表示システム。
  6. 前記表示制御部は、前記垂直方向面において、前記ユーザに割り当てられた表示内容枠と、複数のユーザに対して共通の情報を表示する表示内容枠とを異なる表示領域に表示させる
    請求項1から請求項5のうちいずれか1項に記載に情報表示システム。
  7. ユーザの位置を認識する工程と、
    前記認識されたユーザの位置に対応する水平方向面と垂直方向面のいずれかの領域に表示内容枠を表示させる工程と、
    前記ユーザの位置が壁面から所定の範囲内にあるか否かを判定する工程と、
    前記判定された結果に基づいて、
    前記ユーザの位置が前記垂直方向面から所定の範囲よりも離れている場合には、前記水平方向面に前記表示内容枠を表示させ、
    前記ユーザの位置が前記垂直方向面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記垂直方向面に表示させつつ前記垂直方向面に前記ユーザからの操作入力を受け付ける操作入力領域を表示させる工程と
    を含む情報表示方法。
JP2019001246A 2019-01-08 2019-01-08 情報表示システム及び情報表示方法 Active JP7244279B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019001246A JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法
US17/421,153 US11954241B2 (en) 2019-01-08 2020-01-06 Information display system and information display method
SG11202107436UA SG11202107436UA (en) 2019-01-08 2020-01-06 Information display system and information display method
CN202080008025.XA CN113261052A (zh) 2019-01-08 2020-01-06 信息显示系统以及信息显示方法
PCT/JP2020/000044 WO2020145232A1 (ja) 2019-01-08 2020-01-06 情報表示システム及び情報表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019001246A JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法

Publications (2)

Publication Number Publication Date
JP2020112867A true JP2020112867A (ja) 2020-07-27
JP7244279B2 JP7244279B2 (ja) 2023-03-22

Family

ID=71521621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019001246A Active JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法

Country Status (5)

Country Link
US (1) US11954241B2 (ja)
JP (1) JP7244279B2 (ja)
CN (1) CN113261052A (ja)
SG (1) SG11202107436UA (ja)
WO (1) WO2020145232A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009214A (ja) * 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103560A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
WO2016103543A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
JP2016169080A (ja) * 2015-03-12 2016-09-23 パナソニックIpマネジメント株式会社 照明機能を有する検索システム
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771147B2 (ja) 2005-10-24 2011-09-14 清水建設株式会社 道案内システム
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface
US20180357032A1 (en) * 2015-06-12 2018-12-13 Nureva, Inc. System, apparatus, and method for facilitating and perpetuating a collaborative ideation session
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
KR102499354B1 (ko) * 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009214A (ja) * 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103560A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
WO2016103543A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
JP2016169080A (ja) * 2015-03-12 2016-09-23 パナソニックIpマネジメント株式会社 照明機能を有する検索システム
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐々木 恵太: "インターフェイスを映像投影する試み", エンタテインメントコンピューティングシンポジウム 2013 [ONLINE], JPN6022039122, 27 September 2013 (2013-09-27), JP, pages 292 - 296, ISSN: 0004876623 *

Also Published As

Publication number Publication date
WO2020145232A1 (ja) 2020-07-16
CN113261052A (zh) 2021-08-13
JP7244279B2 (ja) 2023-03-22
US20220083127A1 (en) 2022-03-17
SG11202107436UA (en) 2021-08-30
US11954241B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US11100608B2 (en) Determining display orientations for portable devices
KR101198727B1 (ko) 화상투영장치 및 그 제어 방법
Harrison et al. OmniTouch: wearable multitouch interaction everywhere
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
US20170213393A1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US20130135199A1 (en) System and method for user interaction with projected content
KR20180118219A (ko) 이동형 원격현전 로봇과의 인터페이싱
Lee et al. Opportunities for human-AI collaboration in remote sighted assistance
CN111309183A (zh) 触控显示系统及其控制方法
EP3172721B1 (en) Method and system for augmenting television watching experience
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
WO2020145232A1 (ja) 情報表示システム及び情報表示方法
Abbas et al. Augmented reality-based real-time accurate artifact management system for museums
TWM514600U (zh) 虛擬園區之體感探索互動系統
KR101405439B1 (ko) 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
KR102243576B1 (ko) 증강현실 기반 관람 가이드 서비스 방법
JP2006301534A (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
KR101268640B1 (ko) 대형 스크린을 위한 디스플레이 시스템 및 그 시스템의 동작 방법
WO2021251368A1 (ja) 情報表示装置及び情報表示方法
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
Ballendat Visualization of and interaction with digital devices around large surfaces as a function of proximity
WO2022239268A1 (ja) 地図表示システムおよび地図表示方法
EP3879822A1 (en) Method and system for projected content handover among a plurality of projection mapping units

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230309

R150 Certificate of patent or registration of utility model

Ref document number: 7244279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150