JP2017175580A - 情報表示システム及び情報提供端末 - Google Patents

情報表示システム及び情報提供端末 Download PDF

Info

Publication number
JP2017175580A
JP2017175580A JP2016062799A JP2016062799A JP2017175580A JP 2017175580 A JP2017175580 A JP 2017175580A JP 2016062799 A JP2016062799 A JP 2016062799A JP 2016062799 A JP2016062799 A JP 2016062799A JP 2017175580 A JP2017175580 A JP 2017175580A
Authority
JP
Japan
Prior art keywords
operator
camera
user
display panel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016062799A
Other languages
English (en)
Other versions
JP2017175580A5 (ja
Inventor
洋平 串戸
Yohei Kushido
洋平 串戸
和幸 堀尾
Kazuyuki Horio
和幸 堀尾
八浪 竜一
Ryuichi Yatsunami
竜一 八浪
祐二 阿部
Yuji Abe
祐二 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016062799A priority Critical patent/JP2017175580A/ja
Priority to CN201790000701.2U priority patent/CN209105321U/zh
Priority to PCT/JP2017/009412 priority patent/WO2017163897A1/ja
Priority to US16/080,403 priority patent/US10511812B2/en
Priority to EP17769942.8A priority patent/EP3435663A4/en
Publication of JP2017175580A publication Critical patent/JP2017175580A/ja
Publication of JP2017175580A5 publication Critical patent/JP2017175580A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】オペレータの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側のモニタとの使用時に、ユーザとオペレータとが実際に対面している臨場感を提供でき、オペレータの使い勝手を向上する。【解決手段】情報提供端末50Aでは、表示切替制御部51zは、第3表示パネル53の表示内容を、第1カメラ31により撮像されたユーザの顔の映像から、第2カメラ32、第3カメラ63及び第4カメラ64のうちいずれかのカメラにより撮像された映像への切り替えを指示する。表示切替制御部51zは、第4表示パネル54の表示内容を、第2カメラ32により撮像されたユーザの手元の映像から、第1カメラ31、第3カメラ63及び第4カメラ64のうちいずれかのカメラにより撮像された映像への切り替えを指示する。【選択図】図1

Description

本発明は、情報を表示する情報表示システム及び情報提供端末に関する。
従来、離れた場所にいる通信相手であるオペレータの使用端末との間で通信を行い、ユーザは、オペレータと対面しているような感覚で、種々の情報をやり取りするマルチメディア端末が知られている(例えば特許文献1参照)。
特許文献1のマルチメディア端末は、カメラ及び3つのディスプレイを有し、カメラによりユーザの顔及び手元を撮像し、撮像した画像をオペレータの使用端末に送信する。また、マルチメディア端末は、3つのディスプレイのうち、第1のディスプレイにユーザの顔を表示し、第2のディスプレイにテキスト、静止画、動画等のマルチメディア情報を表示し、第3のディスプレイに文字・記号等を入力可能なタッチパネルや入力パネルを表示する。さらに、マルチメディア端末は、オペレータの使用端末との通話のためにマイク及びスピーカを有する。
特開2004−147105号公報
しかしながら、特許文献1の構成では、ユーザが使用するマルチメディア端末のディスプレイには、あくまでオペレータの顔画像が表示されるだけであり、マルチメディア端末とオペレータの使用端末との間の通信では、ユーザがオペレータと実際にやり取りをしているような臨場感の提供が不十分であった。
さらに、ユーザにとって臨場感が溢れるものとするためには、正確かつ迅速に情報をユーザに伝える必要があり、オペレータの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側のモニタとを設置して、オペレータにとっての使い勝手を向上させることが求められた。
本発明は、上述した従来の状況に鑑みてなされたものであり、オペレータの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側のモニタとを使用する際、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、オペレータにとっての使い勝手を向上させることができる情報表示システム及び情報提供端末を提供することを目的とする。
本発明は、ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、前記情報表示端末は、前記ユーザの顔の映像を撮像する第1カメラと、前記ユーザの手元の映像を撮像する第2カメラと、前記ユーザの顔の映像と前記ユーザの手元の映像とを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する第1通信部と、前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、前記オペレータの手元の映像を表示する第2表示パネルと、を備え、前記情報提供端末は、前記オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラと、前記オペレータの手元を撮像する第4カメラと、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する第2通信部と、前記ユーザの顔の映像を表示する第3表示パネルと、前記ユーザの手元の映像を表示する第4表示パネルと、前記第3表示パネルの表示内容を、前記第1カメラにより撮像された前記ユーザの顔の映像から、前記第2カメラ、前記第3カメラ及び前記第4カメラのうちいずれかのカメラにより撮像された映像への切り替えを指示する切替処理部と、を備える、情報表示システムを提供する。
また、本発明は、ユーザが操作可能な情報表示端末との間で通信可能に接続され、オペレータが操作可能な情報提供端末であって、前記オペレータの顔と上半身の少なくとも一部とを撮像する第1カメラと、前記オペレータの手元を撮像する第2カメラと、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する通信部と、前記ユーザの顔の映像を表示する第1表示パネルと、前記ユーザの手元の映像を表示する第2表示パネルと、を備え、前記第1表示パネルの表示内容を、前記第1カメラにより撮像された前記ユーザの顔の映像から、前記ユーザの手元の映像、前記第1カメラにより撮像された映像、及び前記第2カメラにより撮像された映像のうちいずれかへの切り替えを指示する切替処理部と、を備える、情報提供端末を提供する。
本発明によれば、オペレータの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側のモニタとを使用する際、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、オペレータにとっての使い勝手を向上させることができる。
第1の実施形態の情報表示システムの概略構成の一例を示す図 第1の実施形態の情報表示端末及び情報提供端末の内部構成の一例を詳細に示すブロック図 情報提供端末の外観例を示す斜視図 天板及び片側の側板を外した状態の情報提供端末の内部の配置例を示す斜視図 天板及び片側の側板を外した状態の情報提供端末の内部を側方から見た図 (A)〜(C)ハーフミラーと第3カメラとの位置関係を示す図 (A)変形例1における情報表示端末の正面方向の外観図、(B)変形例1における情報表示端末の側面方向の外観図 (A)変形例2における情報表示端末の外観を示す斜視図、(B)変形例2における情報表示端末を側方から見た図 (A)変形例3における通常サイズの情報表示端末の外観を示す斜視図、(B)変形例3における低型サイズの情報表示端末の正面方向の外観図 第2の実施形態の情報表示端末及び情報提供端末の内部構成の一例を詳細に示すブロック図 第4表示パネルに表示された切替メニューの一例を示す図 (A)〜(C)各ユースケースにおける第3表示パネルの表示画面例を示す図 (A)〜(C)各ユースケースにおける第4表示パネルの表示画面例を示す図
(第1の実施形態に至る経緯)
また、特許文献1の構成を用いて、離れた場所にいるユーザとオペレータとが通話(会話)するシステム構成を検討した場合、オペレータ側において、オペレータの顔を撮像するカメラと、ユーザの顔の画像が表示されるオペレータ側のモニタとが離れて配置されていると、次のような不具合がある。即ち、オペレータはモニタを見ながらユーザと話をする際、カメラは、オペレータがモニタを見る角度とは違った角度からオペレータの顔を撮像することになる。この場合、ユーザ側に設けられるモニタ(つまり、オペレータの顔の画像が表示されるモニタ)には、オペレータの顔がユーザを見ている方向とは別の方向を見ているように映し出される。従って、ユーザは、オペレータとの間で、同一の方向を向く目線で話すような自然なコミュニケーションをとることが出来ず、不自然な対話となっていた。
一方で、ユーザとオペレータとの間で自然なコミュニケーションをとることができるためにオペレータ側の端末を配置するにあたり、モニタの設置場所にカメラを近づけて配置することも案外簡単ではなく、カメラの配置によってはモニタの設置位置との関係で無駄な空きスペースが生じてしまい、省スペース化を図ることが難しい。
そこで、第1の実施形態では、オペレータ側の端末の配置において設置機器の省スペース化を図りつつ、ユーザに対して、自然な目線でコミュニケーションをとることができる情報表示システム及び情報提供端末の例について説明する。
以下、本発明に係る情報表示システム及び情報提供端末の各実施形態について、図面を参照して説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下の各実施形態の情報表示システムは、例えば施設内に入場した顧客であるユーザが、場所が離れているオペレーションセンタで待機しているオペレータとコミュニケーションを行い、各種の案内をオペレータから受けることが可能なシステムに適用される。
(第1の実施形態)
図1は、第1の実施形態の情報表示システム5の概略構成の一例を示す図である。情報表示システム5は、ネットワーク90を介して接続された、ユーザ側の情報表示端末10と、オペレータ側の情報提供端末50とを含む構成を有する。情報表示端末10と情報提供端末50は、ネットワーク90を介して各種のデータ(テキストデータ、画像データ、音声データ等)を相互に通信可能である。
ネットワーク90には、インターネット等の広域通信網に接続される有線LAN(Local Area Network)や無線LAN、或いは専用線等が用いられる。また、情報表示端末10及び情報提供端末50のいずれも、ネットワーク90に接続された各種サーバ装置(不図示)とアクセス可能である。
情報表示端末10は、人物の身長に合わせるように、ある程度の高さを有する箱形の架台12に載置される。架台12は、例えば情報表示端末10の筐体と同一色で塗装され、或いは情報表示端末10と共通のカバーで覆われることで、情報表示端末10と一体化される。情報表示端末10は、ユーザの顔と向き合うように上側に突出するように設けられた第1筐体15と、ユーザの手元(つまり、手、腕、掌、爪等のうち一部の部位を含む手の周囲。以下同様。)が接触可能なように手前に延出された第2筐体18とを有する。
第1筐体15の前面には、後述する第3カメラ63によって撮像されるオペレータの顔と上半身の少なくとも一部との映像が映し出される第1表示パネル21が設けられる。第1表示パネル21には、実際とほぼ同じサイズで、オペレータの顔と上半身の少なくとも一部の映像が表示される。これにより、ユーザはオペレータと実際に対面しているような臨場感を得ることが可能となる。また、第1筐体15の前面上部には、ユーザの手元付近を撮像する第2カメラ32が設けられる。第1筐体15の前面下部、つまり第1表示パネル21と第2表示パネル22とが配置された筐体の中間部15zは、表示パネルが配置されないエリアとなっている。この中間部15zには、ユーザの顔及び上半身の少なくとも一部の映像を撮像する第1カメラ31が設けられる。また、中間部15zの両端付近には、オペレータが発した音声のデータを出力する左右一対のスピーカ25L,25R(出力機器の一例)が設けられる。中間部15zの中央付近には、ユーザが発した音声を収音するマイク27(入力機器の一例)が設けられる。第1表示パネル21と第2表示パネル22とが配置された筐体の中間部15zに、出力機器や入力機器が配置されることで、第1表示パネル21にオペレータが自然体で映し出され、一層臨場感が高まることが期待される。
一方、第2筐体18の上面には、後述する第4カメラ64によって撮像されるオペレータの手元付近の映像やUI(User Interface)画面等が映し出される第2表示パネル22が設けられる。第2表示パネル22は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第2表示パネル22がタッチパネルで構成される場合、タッチ入力された情報は、情報表示端末10からネットワーク90に接続される情報提供端末50や各種サーバ装置に伝送される。ここでは、第2表示パネル22がタッチパネルで構成される場合を示す。
また、第2筐体18の前端面18zには、第2表示パネル22に表示された画面のハードコピーを印刷可能なプリンタ40の排出口が配置される。プリンタ40の本体は架台12に内蔵される。また、第2筐体18の前端面18zには、ユーザの個人認証を行うための認証情報(例えばカード決済処理時に要求される、カードに関する各種情報や、PIN(Personal Identification Number)等の暗証番号)を読み取る読取装置42が設置される。
一方、情報提供端末50は、操作デスク110を有する。操作デスク110を含む情報提供端末50の構造の詳細については、図3〜図5を用いて後述するので、ここでは、簡単に説明する。なお、図1では、説明上、側板112x(図3参照)が外され、内部が見える状態である。
操作デスク110の前では、ヘッドセット73を装着したオペレータopが案内し易い姿勢でチェア71に座っている。ヘッドセット73は、情報提供端末50に接続され、ユーザが発した音声を出力し、オペレータが発した音声を収音する。
操作デスク110の操作面には、コの字型又は門型の支持台112が固定されている。支持台112は、後述する電子部品を支持する。支持台112には、第1カメラ31によって撮像されたユーザの顔及び上半身の少なくとも一部の映像が映し出される第3表示パネル53と、オペレータopの顔及び上半身の少なくとも一部の映像を撮像する第3カメラ63とが支持される。
また、操作デスク110の操作面には、第2カメラ32によって撮像されたユーザの手元の映像を表示する第4表示パネル54がオペレータにとって視認し易くなるように傾斜して配置されている。第4表示パネル54の画面サイズは、第3表示パネル53に比べて大きく、オペレータopがユーザの手元を視認し易くなっている。第4表示パネル54は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第4表示パネル54がタッチパネルで構成される場合、タッチ入力された情報は、情報提供端末50からネットワーク90に接続される情報表示端末10や各種サーバ装置に伝送される。ここでは、第4表示パネル54がタッチパネルで構成される場合を示す。
また、支持台112からオペレータ側に延出したバー112z−1の中程には、オペレータopの手元を含む操作デスク110の操作面を撮像する第4カメラ64が設けられる。第4カメラ64は、オペレータopの手元を撮像する他、操作デスク110に載置された案内パンフレット等の資料を撮像可能である。また、情報提供端末50は、第4カメラ64で撮像された画像として、第4表示パネル54に表示されたWebサイトやUI画面等をキャプチャ可能である。また、デスク55には、キーボード、マウス等の操作部68やスキャナ69等が載置可能である。
このように、ユーザ側の情報表示端末10は、情報提供端末50から受信した画像データを基に、第1表示パネル21にオペレータopの顔と上半身の少なくとも一部の映像を表示し、第2表示パネル22にオペレータopの手元の映像及びUI画面等を表示する。なお、第2表示パネル22は、オペレータopがデスク55の表面に案内パンフレット等の資料を載置すると、その資料も併せて表示する。また、情報表示端末10は、情報提供端末50から受信した音声データをスピーカ25L,25Rから出力し、マイク27で収音した音声データを情報提供端末50に送信する。
一方、オペレータ側の情報提供端末50は、情報表示端末10から受信した画像データを基に、第3表示パネル53にユーザの顔と上半身の少なくとも一部の映像を表示し、第4表示パネル54にユーザの手元の映像等を表示する。また、情報提供端末50は、情報表示端末10から受信した音声データをヘッドセット73のスピーカ73zから出力し、ヘッドセット73のマイク73yで収音した音声データを情報表示端末10に送信する。
ここで、第3表示パネル53の表示可能領域は、ユーザの手元の映像等を表示する第4表示パネル54の表示可能領域よりも小さくてよい。これは、以下の理由による。オペレータにとって重要なのは、第4カメラ64により撮像されるオペレータopの手元にある情報(例えばパンフレット、地図など)をユーザに表示する第2表示パネル22に対して、ユーザが指示する箇所を、オペレータopがユーザと同程度の大きさで共有することである。ユーザの手元の映像等を表示する第4表示パネル54の表示可能領域は、ある程度の大きさを必要とする。さらには、第4表示パネル54の解像度や画素数も、ユーザ側の第2表示パネル22と同程度であることが望ましい。ただし、第4表示パネル54は、汎用のモニタであってもよい。これに対して、ユーザの顔(あるいは、それと上半身の少なくとも一部)を表示する第3表示パネル53は、オペレータopにとっては、ユーザの表情やその背景の状況がわかる程度であればよいので、その表示可能領域はそれほど大きなものでなくてよく、解像度、画素数についてもそれほど高いものを必要としない。
そのため、第3表示パネル53の表示可能領域は、ユーザの手元の映像等を表示する第4表示パネル54の表示可能領域より小さくてよいし、第3表示パネル53の解像度や画素数についても、第4表示パネル54の解像度や画素数より小さくてよい。第3表示パネル53も、汎用のモニタであってよい。このことによって、オペレータop側の情報提供端末50のシステムは、汎用的なモニタと情報処理装置(PC(パーソナルコンピュータ)、タブレット端末等)又は受像機を用いて構成することが可能である。すなわち、オペレータop側の情報提供端末50は、ユーザ側の情報表示端末10よりも簡易な構成でありながら、ユーザとオペレータopとの間の自然かつスムーズなコミュニケーションを実現することができる。さらには、汎用的なモニタ及び装置により構成することで、各モニタ及び装置のレイアウトに自由度を有するので、異なるオペレータに対して、各モニタ及び装置を、常に最適な位置に配置することができる。
図2は、第1の実施形態の情報表示端末10及び情報提供端末50の内部構成の一例を詳細に示すブロック図である。情報表示端末10は、各部を統括的に制御する制御部11を有する。制御部11には、前述した第1表示パネル21、第1カメラ31、第2表示パネル22、第2カメラ32、読取装置42、左右のスピーカ25L,25R、マイク27及びプリンタ40の他、通信制御部20が接続される。
第1表示パネル21は、オペレータopの顔及び上半身の一部を表示する、超高解像度な4K(つまり、3840画素×2160画素)のディスプレイを有する。なお、第1表示パネル21は、ユーザがタッチ入力可能なタッチパネルで構成されてもよい。
第1カメラ31は、第1筐体15の下部に配置された内蔵カメラであり、情報表示端末10の前に立つユーザの顔と上半身の少なくとも一部の映像を撮像する。なお、第1カメラ31の画角は、オペレータ側の情報提供端末50から遠隔操作可能であってもよい。第1カメラ31には、高解像度なフルハイビジョンカメラ、ハイビジョンカメラ或いはノーマルカメラが用いられる。
第2表示パネル22は、インタラクティブな表示パネルとして、4Kディスプレイを有するタッチパネルで構成され、オペレータopの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下、手書き入力等を受け付ける。また、第2表示パネル22は、画面表示の拡大・縮小の指示を、ユーザの指又はスタイラスペンによる入力操作を受け付ける。
第2カメラ32は、第1筐体15の上部に配置された内蔵カメラであり、第2表示パネル22の周囲に画角が固定され、ユーザが第2表示パネル22に対し操作する手元の映像等を撮像する。第2カメラ32は、4K或いはフルハイビジョンの高解像度カメラであることが望ましい。さらに、第2カメラ32がPTZカメラである場合、所望の箇所にズームアップすることで、細部まで視認できるように撮像可能である。
スピーカ25L,25Rは、情報表示端末10の前にいるユーザが聞き取り易くなるような指向性を有するステレオスピーカであり、オペレータopが発する音声等を出力する。マイク27は、ユーザに対し指向方向を有する指向性マイクであり、ユーザが発する音声を収音する。なお、マイク27及びスピーカ25L,25Rはヘッドセットで構成されてもよく、ユーザが情報表示端末10を操作する際、このヘッドセットを頭部に装着する。
プリンタ40は、第2表示パネル22の画面をハードコピーとして印刷可能であり、モノクロ印刷或いはカラー印刷のいずれかで印刷する。また、印刷方式としては、インクジェット方式、レーザプリント方式、静電記録方式等が採用される。
第1通信部の一例としての通信制御部20は、情報提供端末50の通信制御部60とネットワーク90を介してセキュア通信を行うネットワークI/Fである。具体的には、通信制御部20は、第1カメラ31により撮像されたユーザの顔の映像と第2カメラ32により撮像されたユーザの手元の映像とのデータを情報提供端末50に送信する。また通信制御部20は、情報提供端末50から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する。
読取装置42は、ユーザの個人情報を読み取る。読取装置42として、例えばNFC(Near Field Communication)等の近距離非接触通信によりICタグの情報を読み取る非接触リーダライタ装置や、スロットに挿入されたICカードの情報を読み取るICカードリーダライタ装置が挙げられる。なお、指紋や静脈等のパターンで個人認証を行う生体認証装置が用いられてもよい。また、読取装置42により読み取られたユーザの個人情報は、認証情報として、決済処理や電子マネーに使用されてもよい。個人認証を行うことで、利便性を高めるとともに、なりすまし等を排除できる。
なお、情報表示端末10は、多言語対応型の端末であり、ユーザが予め第2表示パネル22に表示された言語を選択すると、オペレータopが発する音声を、選択された言語に自動翻訳して、スピーカ25L,25Rから出力する。また、情報表示端末10は、オペレータが発した音声をテキストとして表示する機能、手書き入力された文字を認識するOCR機能等も有する。
一方、情報提供端末50は、各部を統括的に制御する制御部51を有する。制御部51には、前述した第3表示パネル53、第3カメラ63、第4表示パネル54、第4カメラ64、操作部68、ヘッドセット73のスピーカ73z,マイク73y及びスキャナ69の他、通信制御部60が接続される。
第3表示パネル53は、ユーザの顔及び上半身の少なくとも一部の映像を表示するディスプレイを有する。第3表示パネル53は、4Kに限らず、ノーマル、ハイビジョン或いはフルハイビジョンディスプレイであってもよい。なお、第3表示パネル53は、オペレータopがタッチ入力可能なタッチパネルで構成されてもよい。
第3カメラ63は、フレーム112Zに取り付けられたカメラであり、情報表示端末10の第1表示パネル21に表示される、オペレータopの顔及び上半身の少なくとも一部の映像を撮像するので、超高解像度な4Kカメラであることが望ましい。
第4表示パネル54は、インタラクティブな表示パネルとして、4Kディスプレイを有するタッチパネルで構成され、ユーザの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下等を受け付ける。また、第4表示パネル54は、画面表示の拡大・縮小の指示を、オペレータopの指又はスタイラスペンによる入力操作を受け付ける。
第4カメラ64は、アーム57に取り付けられたカメラであり、デスク55の表面に置かれたオペレータopの手元の映像やパンフレット等を撮像する。第4カメラ64は、第2表示パネル22に表示される手元等の画像を撮像するので、超高解像度な4Kカメラであることが望ましい。さらに、PTZカメラである場合、細部を視認可能に撮像することができる。
操作部68は、オペレータopが操作可能なマウスやキーボード等の入力デバイスである。スキャナ69は、パンフレット等に対し読み取り走査を行う。
ヘッドセット73は、オペレータopの頭部に装着され、オペレータopが発する音声を収音するマイク73y、及びユーザが発する音声等を出力する左右一対のスピーカ73zを有する。なお、左右一対のスピーカ及びマイクは、ヘッドセットとして一体化される以外に、それぞれスタンドアローン型の筐体を有するものであってもよい。
第2通信部の一例としての通信制御部60は、情報表示端末10の通信制御部20とネットワーク90を介してセキュア通信を行うネットワークI/Fである。具体的には、通信制御部60は、第3カメラ63により撮像されたオペレータの顔と上半身の少なくとも一部との映像と第4カメラ64により撮像されたオペレータの手元の映像とのデータを情報表示端末10に送信する。また通信制御部60は、情報表示端末10から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する。
図3は、情報提供端末50の外観例を示す斜視図である。図4は、天板112y及び片側の側板112xを外した状態の情報提供端末50の内部の配置例を示す斜視図である。図5は、天板112y及び片側の側板112xを外した状態の情報提供端末50の内部を側方から見た図である。
前述したように、情報提供端末50は、操作デスク110を主要な構成要素とし、この操作デスク110に、第3表示パネル53、第4表示パネル54、ハーフミラー75、第3カメラ63、及び第4カメラ64が配置された構成を有する。
操作デスク110の操作面には、門形の支持台112が固定される。支持台112は、略箱型に組まれたフレーム112zに、天板112y、2枚の側板112x及び背面板112wが取り付けられた構造を有する。支持台112の、オペレータと対向する面は開放されている。なお、図4及び図5では、支持台112の内部を分かり易くするために、便宜上、1枚の側板112xと天板112yが外されている。
操作デスク110の操作面には、第4表示パネル54が後側(オペレータと反対側)に例えば45°斜めに傾けた状態で取り付けられており、オペレータが視認し易くなる。第4表示パネル54には、例えば第4表示パネル54に表示される表示内容を切替可能な切替メニュー122が表示される。第4表示パネル54は、タッチパネルで構成されており、ユーザが第4表示パネル54に直接にタッチすることで切替メニュー122を操作してもよいし、マウスを用いて切替メニュー122を操作してもよい。
また、支持台112の背面板側のフレーム112zには、オペレータを撮像可能な第3カメラ63が固定される。また、支持台112の天板側のフレーム112zには、第3表示パネル53が固定される。支持台112の内部中央には、ハーフミラー75が斜めに突出したフレーム112zに支持されるように取り付けられる。
反射手段としてのハーフミラー75は、第3表示パネル53に映し出された映像による光をオペレータ側に反射し、また、オペレータ側からの第3カメラ63への入射光を透過するように、所定角度(本実施形態では、例えば操作面に対して45°)傾斜して取り付けられる。本実施形態では、ハーフミラー75と、第3表示パネル53と、第3カメラ63とで、プロンプターシステムとしての機能が構成される。
一般的に、プロンプターは、オペレータに対して所定角度に傾斜して配置された透明ガラス板を有し、例えば下方に置かれた表示器(モニタ、PC等)に表示される文字等の情報を透明なガラス板に投影し、この透明なガラス板が文字等の情報をオペレータ側に反射させることで、オペレータに文字等の情報を視認させる。本実施形態では、ハーフミラー75は透明ガラス板でできている。
また、支持台112の2枚の側板112x、天板112y及び背面板112wは、ハーフミラー75に入射する外光を遮るフード(覆い)として機能する。つまり、第4表示パネル54、第3表示パネル53及びハーフミラー75は、天板112y、2枚の側板112x及び背面板112wによって前面を除き覆われるので、外光を遮ることができる。これにより、第4表示パネル54、第3表示パネル53及びハーフミラー75に映し出される映像の視認性が確保される。
また、本実施形態では、第4表示パネル54の中心と、ハーフミラー75の中心と、第3表示パネル53の中心とが、略同一の鉛直線上に位置するように、第4表示パネル54、ハーフミラー75及び第3表示パネル53が配置される。ハーフミラー75の中心と第3表示パネル53の中心とが略同一の鉛直線上に位置することで、ハーフミラー75のサイズを必要以上に大きくすることなく、ハーフミラー75は、第3表示パネル53に映し出された映像を欠くことなくオペレータに向けることができる。
また、支持台112の上部に配されたフレーム112zの一部としてオペレータ側に延びたバー112z−1には、第4カメラ64がオペレータの手元を写し易いように取り付けられる。
情報提供端末50は、ハーフミラー75の上部に第3表示パネル53が配置され、ハーフミラー75の背部に第3カメラ63が配置される、プロンプターシステムの配置とは異なる、逆配置の構造を有する。逆配置では、ハーフミラー75は、第3表示パネル53と第4表示パネル54との間に配置される。一方、プロンプターでは、通常、ハーフミラーの下方に第3表示パネルに相当するモニタが配置される。
なお、情報提供端末50は、通常のプロンプターと同様、ハーフミラー75の下方に配置され、かつ、第4表示パネル54の奥側に第3表示パネル53が取り付けられる、通常配置の構造を有してもよい。通常配置では、ハーフミラー75は、第3表示パネル53と第4表示パネル54の上方に配置される。また、通常配置におけるハーフミラー75の傾斜角度は、逆配置におけるハーフミラー75の傾斜角度と水平方向に対して反対向きであり、オペレータ側に対して反射面が浮くような角度である。
この通常配置では、第3表示パネル53は、第4表示パネル54の奥に配置されるので、支持台112の奥行き方向の長さが長くなる。このため、支持台が大きくなり、コンパクト化が困難となる。また、支持台の内側の上部にも、使用されていない無駄な空間が生まれる。
一方、逆配置では、通常配置と比べ、第3表示パネル53が取り付けられる支持台112の内側の上部を無駄な空間として空けておくことなく、有効に活用できる。その分、支持台112の奥行き方向の長さを短くでき、支持台112をコンパクト化できる。
なお、逆配置の場合に第3表示パネル53に映し出される映像の向きと、通常配置の場合に第3表示パネル53に映し出される映像の向きとは、180度反対となるように第3表示パネル53を取り付けることで、オペレータ側に投影される映像の向きを揃えることができる。
図6(A)〜(C)は、ハーフミラー75と第3カメラ63との位置関係を示す図である。
図6(A)では、ハーフミラー75の下端に第3カメラ63の光軸が位置するように、ハーフミラー75と第3カメラ63が取り付けられる。第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が僅かに上向きになるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、若干、見上げるような表情のオペレータと対話することができる。
図6(B)では、ハーフミラー75の中心に第3カメラ63の光軸が位置するように、ハーフミラー75と第3カメラ63が取り付けられる。第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が正面になるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、真正面に見える表情のオペレータと対話することができる。
図6(C)では、ハーフミラー75の上端に第3カメラ63の光軸が位置するように、ハーフミラー75と第3カメラ63が取り付けられる。第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が僅かに下向きになるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、若干、見下ろすような表情のオペレータと対話することができる。
上記構造を有する情報提供端末50では、オペレータは、ハーフミラー75に映し出されるユーザの顔画像を見ながらユーザと会話をする。ハーフミラー75の背部に配された、第3カメラ63は、ハーフミラー75越しにオペレータの顔画像を正面から撮像する。この時、情報表示端末10の第1表示パネル21には、正面を向くオペレータの顔画像が映し出される。これにより、ユーザは、オペレータが自分と目線を合わせて話しているかのような印象を受けるので、臨場感に溢れた対話が可能となる。
また、オペレータが、ハーフミラー75の下方に位置する第4表示パネル54に視線を僅かに移し、第4表示パネル54に表示されるユーザの手元の画像を見ながら、第4表示パネル54に対してタッチパネルあるいはマウス等で操作する。この時、第4カメラ64は、オペレータの手元付近を撮像する。また、情報表示端末10の第2表示パネル22には、第4カメラ64で撮像された、オペレータの手元付近の画像が映し出される。ユーザは、第1表示パネル21に映し出される、オペレータが僅かに視線を下にしている様子を見ながら、第2表示パネル22に映し出されるオペレータの手元付近の画像を見ることができる。これにより、ユーザは、会話中、オペレータが目前で操作しているかのような印象を受けるので、臨場感に溢れた応対が可能となる。
(変形例1)
図7(A)及び(B)は、変形例1における情報表示端末10Aの外観を示す図である。図7(A)は、変形例1における情報表示端末10Aの正面方向の外観図である。図7(B)は、変形例1における情報表示端末10Aの側面方向の外観図である。情報表示端末10Aは、前記実施形態における情報表示端末10と比べ、奥行きが短くかつ幅が狭く、また、高さが人間の身長と同程度である(等身大)、スマートな一体型の筐体212を有する。筐体212の前面中央には、モニタ台213が筐体212から手前側に延出して設けられている。また、筐体212の上部(図中、モニタ台213より上の部分)の前面には、第1表示パネル21Aが配置される。第1表示パネル21Aには、第3カメラ63で撮像されたオペレータの顔画像が表示される。
また、第1表示パネル21Aの横には、スピーカ及びマイクの代わりに、インターホン25zが配される。また、第1表示パネル21Aの上下には、それぞれユーザの手元を撮像する第2カメラ32A、及びユーザの顔画像を撮像する第1カメラ31Aが配されることは、第1の実施形態と同様である。
また、モニタ台213の下方は、筐体212の両側部から延出するように、フード214が設けられる。モニタ台213の下部には、プリントされた用紙が排紙されるプリンタスロット40zが設けられる。また、ユーザは、モニタ台213の下方であって、フード214で囲まれる空間に、手荷物等を簡易に収納可能である。
このように、変形例1における情報表示端末10Aは、等身大の大きさを有することから、ユーザは立ったまま、第1表示パネル21Aに映し出される、オペレータの顔画像と向かい合うことができる。従って、ユーザは、より自然な目線でオペレータとコミュニケーションをとることができる。また、モニタ台213の下方に設けられた空間を、一時的に手荷物等を置くことができる、簡易収納庫として利用でき、利便性が向上する。
(変形例2)
図8(A)及び(B)は、変形例2における情報表示端末10Bの外観を示す図である。図8(A)は、変形例2における情報表示端末10Bの外観を示す斜視図である。図8(B)は、変形例2における情報表示端末10Bを側方から見た図である。
情報表示端末10Bは、変形例1における情報表示端末10Aと比べ、さらに奥行きが短く、スリムな筐体212Bを有する。また、筐体212Bの下端部には、筐体212Bが転倒しないように支持する山型のベース部材215が設けられる。
さらに、筐体212Bは、鉛直方向に対して後側にもたれるように、所定角度(例えば傾斜している。これにより、第1表示パネル21Bの表示面は、僅かに上を向き、よりオペレータの顔と向き合うようになるので、ユーザの視認性が向上する。
また、モニタ台213Bの操作面は、水平方向に対して所定角度(例えば15°)下側に傾斜している。これにより、ユーザには手前側に第2表示パネル22Bの操作面が広く見え、手元の操作がし易くなる。従って、ユーザの使い勝手が向上する。
(変形例3)
図9(A)及び(B)は、変形例3におけるサイズの異なる情報表示端末10C、10Dの外観を示す斜視図である。図9(A)は、変形例3における通常サイズの情報表示端末10Cの外観を示す斜視図である。情報表示端末10Cは、変形例1における情報表示端末10Aとほぼ同様の等身大の大きさを有し、情報表示端末10Aと異なり、モニタ台213Cが手前側に所定角度傾斜している。従って、ユーザは、立ったまま、第1表示パネル21Cに表示されたオペレータの顔を見ながら対話する際、第2表示パネル22Cの操作面に対して操作し易い。
図9(B)は、変形例3における低型サイズの情報表示端末10Dの正面方向の外観図である。情報表示端末10Dは、通常サイズの情報表示端末10Dと比べて高さが低く、子供や車いすに乗ったユーザに対してオペレータの目線が合い易い。従って、子供や車いすに乗ったユーザの使い勝手が向上する。
このように、本実施形態の情報表示システム5は、ユーザが操作可能な情報表示端末10と、オペレータが操作可能な情報提供端末50とが通信可能に接続された情報表示システムである。情報表示端末10は、ユーザの顔の映像を撮像する第1カメラ31と、ユーザの手元の映像を撮像する第2カメラ32と、ユーザの顔の映像とユーザの手元の映像とのデータを情報提供端末50に送信し、情報提供端末50から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する通信制御部20(第1通信部)と、オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネル21と、オペレータの手元の映像を表示する第2表示パネル22と、を備える。情報提供端末50は、オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラ63と、オペレータの手元を撮像する第4カメラ64と、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とのデータを情報表示端末10に送信し、情報表示端末10から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する通信制御部60(第2通信部)と、ユーザの顔の映像を表示する第3表示パネル53と、ユーザの手元の映像を表示する第4表示パネル54と、を備える。第4表示パネル54より上方に、第3表示パネル53の表示内容をオペレータに向けて反射し、かつ第3カメラ63の入射光を透過するハーフミラー75(反射手段)が水平方向に対して斜め45°(所定角度)で取り付けられる。ハーフミラー75の後方に第3カメラ63が配置される。
情報表示システム5では、オペレータは、第3表示パネル53によって投影され、ハーフミラー75に映し出されるユーザの顔画像を見ながらユーザと会話をする。ハーフミラー75の背部に配された、第3カメラ63は、ハーフミラー75越しにオペレータの顔画像を正面から撮像する。この時、情報表示端末10の第1表示パネル21には、正面を向くオペレータの顔画像が映し出される。これにより、情報表示システム5は、オペレータ側の端末の配置において設置機器の省スペース化を図りつつ、ユーザに対して、自然な目線でコミュニケーションをとることができる。
また、第3表示パネル53は第4表示パネル54よりも上部に配置され、ハーフミラー75は、第3表示パネル53と第4表示パネル54との間に配置される。これにより、第3表示パネル53が取り付けられる支持台112の内側の上部を無駄な空間として空けておくことなく、有効に活用できる。その分、支持台112の奥行き方向の長さを短くでき、支持台112をコンパクト化できる。
また、第3カメラ63の光軸がハーフミラー75の中心部を通過するように、ハーフミラー75が取り付けられる。これにより、第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が正面になるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、真正面に見える表情のオペレータと対話することができる。
また、第3カメラ63の光軸がハーフミラー75の上端部を通過するように、ハーフミラー75が取り付けられる。これにより、第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が僅かに下向きになるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、若干、見下ろすような表情のオペレータと対話することができる。
また、第3カメラ63の光軸がハーフミラー75の下端部を通過するように、ハーフミラー75が取り付けられる。これにより、第3表示パネル53からの映像がハーフミラー75の中央に映し出される場合、オペレータの目線が僅かに上向きになるように、第3カメラ63はオペレータの顔画像を撮像することになる。これにより、ユーザは、第1表示パネル21に表示される、若干、見上げるような表情のオペレータと対話することができる。
(第2の実施形態)
第2の実施形態の情報表示システムは、第1の実施形態とほぼ同一の構成を有する。第1の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
図10は、第2の実施形態における情報表示端末10及び情報提供端末50Aの内部構成の一例を詳細に示すブロック図である。第2の実施形態の情報提供端末50Aは、第1の実施形態の情報提供端末50の他、表示切替用のリモコン85、及びこのリモコン85と無線接続を行うリモコン受信部83を備える。
また、情報提供端末50A内の制御部51Aは、リモコン受信部83で受信したリモコン85からの指示、あるいは第4表示パネル54に表示された切替メニュー122(図11参照)の選択に従って、第3表示パネル53と第4表示パネル54における表示内容を切り替える表示切替制御部51zを有する。
上記構成を有する情報表示システム5Aにおける表示切替動作を説明する。
図11は、第4表示パネル54に表示された切替メニュー122を示す図である。第4表示パネル54には、タッチ操作可能なUI画面が表示される。UI画面の一部として、第4表示パネル54には、第3表示パネル53及び第4表示パネル54に表示される表示内容を切替可能な切替メニュー122が表示される。
切替メニュー122には、第3表示パネル53と第4表示パネル54の表示項目の一覧が選択可能に表示される。第3表示パネル53の表示項目として、
No.1 ユーザの顔(初期状態)、
No.2 ユーザの手元、
No.3 オペレータの顔、
No.4 オペレータの手元
等が選択可能である。第4表示パネル54の表示項目として、
No.5 ユーザの手元とUI画面(初期状態)、
No.6 ユーザの顔、
No.7 オペレータの顔、
No.8 オペレータの手元
等が選択可能である。
通常、第3表示パネル53と第4表示パネル54のいずれか一方の表示項目を初期状態に固定し、他方の表示項目を選択あるいは変更する操作が行われるが、両方の表示項目を選択あるいは変更する操作が行われてもよい。
第4表示パネル54がタッチパネルで構成される場合、オペレータは、第4表示パネル54に直接にタッチ操作することで、切替メニュー122のいずれかの表示項目を選択して表示内容を切替可能である。また、オペレータは、リモコン85を用いて、切替メニュー122のマーカ122z,122yを上下に操作することで、所望の表示項目を選択してもよい。また、オペレータは、切替メニュー122を用いることなく、直接に例えば番号を指定することで、所望の表示項目に切り替えてもよい。
次に、第3表示パネル53と第4表示パネル54の表示内容を切り替える場合のユースケースについて説明する。通常、初期状態では、情報表示端末10側の第1カメラ31は、ユーザ(顧客)の顔を撮影する。情報表示端末10側の第2カメラ32は、ユーザの手元を撮影する。一方、情報提供端末50A側の第3カメラ63はオペレータの顔を撮影する。情報提供端末50A側の第4カメラ64はオペレータの手元を撮影する。
また、情報提供端末50A側の第3表示パネル53は、小型モニタであり、通常、初期状態では、ユーザの顔画像を表示する。情報提供端末50A側の第4表示パネル54は、大型モニタであり、通常、初期状態では、ユーザの手元画像とUI(ユーザインターフェース)画面を表示する。
図12(A)〜(C)は、各ユースケースにおける第3表示パネル53の表示画面を示す図である。情報提供端末50A側の第3表示パネル53は、前述したように、通常、ユーザの顔画像を表示する。
第1のユースケースでは、第3表示パネル53は、情報表示端末10側の第2カメラ32で撮像されたユーザの手元画像を表示する。この場合、オペレータは、第4表示パネル54に表示されたUI画面を操作する。
具体的に、図12(A)に示すような状況が想定される。ユーザ(顧客)が店頭マップ、チラシ、パンフレット等の紙媒体を持ってきて手元に広げてオペレータに問い合わせてきた場合、第2カメラ32は、これらの紙媒体を撮像する。オペレータは、第3表示パネル53に表示された紙媒体の情報を確認しながら、第4表示パネル54のUI画面を操作して、在庫の有無や売り場等の関連情報を検索し、ユーザに適切な応答を行う。
第2のユースケースでは、第3表示パネル53は、情報提供端末50A側の第3カメラ63で撮像されたオペレータの顔画像(上半身を含む)を表示する。オペレータは、第3表示パネル53に表示された自身の顔画像を見ながら、第3カメラ63のピント合わせやズーム等を調整する。
具体的に、オペレータの体格や座り方等によって、第3カメラ63で撮像されるオペレータの映像のピントが微妙にずれることがある。情報表示システム5の初期設定時等において、オペレータは、ユーザ(顧客)にとって、どのように自身の顔画像が見えているかを第3表示パネル53で確認しながら、第3カメラ63の設定を適切に変更する。
図12(B)に示すように、第3表示パネル53は、通常、ユーザの顔を表示しており、オペレータは、第3表示パネル53を見ながらユーザと対話しているので、第3カメラ63で撮像された自身の顔画像に切り替えても、目線を変えることなくそのまま状態で、自身の映像を確認できる。従って、オペレータは、第3表示パネル53を見ながら第3カメラ63を調整することで、実際にユーザが見るオペレータ自身の映像を容易に確認できる。これにより、第3カメラ63を簡易に調整できる。
第3のユースケースでは、第3表示パネル53は、図12(C)に示すように、第4カメラ64で撮像されるオペレータの手元画像を表示する。オペレータは、第3表示パネル53に表示された自身の手元画像を見ながら、第4カメラ64のピント合わせやズーム等を調整する。
情報表示システム5の初期設定時等において、オペレータは、第4カメラ64のピント合わせを行う。ユーザ(顧客)との対話時、第3表示パネル53がオペレータの手元画像としてマップやチラシを表示している場合、第4カメラ64を光学ズームにより拡大させることで、第3表示パネル53では見にくかったマップやチラシが鮮明になる。これにより、ユーザは、マップやチラシの内容を確認できるようになる。なお、オペレータは、第4カメラ64を拡大させた後、第4カメラ64の位置(座標)等の設定を、あらかじめ記憶されたプリセット値(初期ポジション)に戻すようにしてもよい。
図13(A)〜(C)は、各ユースケースにおける第4表示パネル54の表示画面を示す図である。第4表示パネル54は、前述したように、通常、ユーザの手元画像とUI画面を表示している。なお、手元画像には、手以外にその周辺にUI画面がある場合、そのUI画面も含まれる。
第4のユースケースでは、第4表示パネル54は、ユーザの手元画像を表示する。通常、第3表示パネル53は、第1カメラ31で撮像されたユーザの顔画像を表示しているが、第2カメラ32で撮像された映像では、顔画像に相当する範囲の内容確認が困難である場合、第4表示パネル54がこれに対応する。
具体的に、ユーザが持ってきた商品が小さかったもしくは大き過ぎた際、情報表示端末10の上方に設置された第2カメラ32で撮像されたユーザの手元画像では、オペレータが商品の内容を正しく確認できない場合がある。その場合、情報表示端末10の下方に設置された第1カメラ31に対し、ユーザが商品を近づけたり、遠ざけたりして撮像するように、オペレータが音声等で指示することで、図13(A)に示すように、第4表示パネル54が表示する、第1カメラ31で撮像された商品の内容をオペレータは確認できるようになる。
第5のユースケースでは、図13(B)に示すように、第4表示パネル54は、第3カメラ63で撮像されるオペレータの顔画像(上半身を含む)を表示する。オペレータは、ユーザ(顧客)に自身の顔画像がどのように見えているかを確認しながらユーザと対話を行う。
第6のユースケースでは、図13(C)に示すように、第4表示パネル54は、第4カメラ64で撮像されるオペレータの手元画像を表示する。オペレータは、ユーザに自身の手元画像がどのように見えているかを確認しながらユーザと対話を行う。この場合、第3のユースケースと同様、オペレータは、第4カメラ64のピント合わせやズーム等を調整する。なお、第4表示パネル54は、オペレータの手元画像とUI画面とを同時に表示してもよく、同時表示を行う場合、オペレータの手元画像を、小窓とするようなワイプ映像として表示することも可能である。
このように、第2の実施形態における情報表示システム5Aは、ユーザが操作可能な情報表示端末10と、オペレータが操作可能な情報提供端末50Aとが通信可能に接続された情報表示システムである。情報表示端末10は、ユーザの顔の映像を撮像する第1カメラ31と、ユーザの手元の映像を撮像する第2カメラ32と、ユーザの顔の映像とユーザの手元の映像とのデータを情報提供端末50Aに送信し、情報提供端末50Aから送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する通信制御部20(第1通信部)と、オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネル21と、オペレータの手元の映像を表示する第2表示パネル22と、を備える。情報提供端末50Aは、オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラ63と、オペレータの手元を撮像する第4カメラ64と、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とのデータを情報表示端末10に送信し、情報表示端末10から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する通信制御部60(第2通信部)と、ユーザの顔の映像を表示する第3表示パネル53と、ユーザの手元の映像を表示する第4表示パネル54と、を備える。表示切替制御部51z(切替処理部)は、第3表示パネル53の表示内容を、第1カメラ31により撮像されたユーザの顔の映像から、第2カメラ32、第3カメラ63及び第4カメラ64のうちいずれかのカメラにより撮像された映像への切り替えを指示する。
このように、オペレータやユーザの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側の表示パネルとを使用する際、第3表示パネルの表示内容をユーザの顔の映像から他の撮像された映像に切り替えることができる。従って、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、オペレータの使い勝手を向上できる。
また、表示切替制御部51zは、第4表示パネル54の表示内容を、第2カメラ32により撮像されたユーザの手元の映像から、第1カメラ31、第3カメラ63及び第4カメラ64のうちいずれかのカメラにより撮像された映像への切り替えを指示する。これにより、第4表示パネルの表示内容をユーザの手元画像から他の撮像された映像に切り替えることができ、オペレータの使い勝手を向上できる。
また、情報表示システム5は、表示切替用のリモコン85を備える。表示切替制御部51zは、リモコン85の操作により切り替えを指示する。このように、リモコンを使用することで、切り替え指示を簡単に行うことができる。また、リモコンを所持する者が情報提供端末から離れた場所においても表示内容の切り替えを指示できる。さらに、オペレータが表示内容の切り替えを知らなくても、代わりに表示内容の切り替えを指示できる。
また、第4表示パネル54は切替メニュー122を表示する。表示切替制御部51zは、切替メニュー122に対する操作により切り替えを指示する。これにより、オペレータは、第4表示パネルを見ながら、切り替えの指示を簡単に行うことができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば上記第2の実施形態では、情報表示システムは、情報表示端末と情報提供端末とが1対1で通信する場合を示したが、1対N、N対1、N対N(N:複数)である多地点接続で通信する場合も、本発明は適用可能である。また、多地点接続で通信する場合、第1表示パネル〜第4表示パネルは、マルチ画面表示でもしくは画面切替表示で、複数の端末における各カメラで撮像された顔画像もしくは手元画像を表示してもよい。さらには、第1表示パネル〜第4表示パネルは、複数の端末情報を併せて表示可能であってもよい。
また、第2の実施形態では、第3表示パネル53と第4表示パネル54の表示内容を切り替える際、一方の表示内容を固定し、他方の表示内容を任意に切替可能としていたか、第3表示パネル53と第4表示パネル54の両方の表示内容を同時に切り替えるようにしてもよく、同時に切り替える場合、ユースケースに応じて、これらの表示内容の組み合わせをあらかじめ登録しておいてもよい。
また、第2の実施形態では、情報提供端末は、プロンプターシステムを用いることなく、つまり、ハーフミラーを介することなく、オペレータが第4表示パネルを直接に見る構成であってもよい。
また、上記各実施形態では、情報表示端末は、オペレータの顔と上半身の少なくとも一部の映像を映し出す際、最も自然に感じられる、上半身の少なくとも一部として、胸部付近までを映し出していたが、肘付近まで或いは腰部付近まで映し出してもよい。また、上半身をほとんど映し出さずに、首付近まで或いは顔のみ映し出してもよい。また、表示パネルに映し出される顔と上半身の一部は、実際のサイズと一致するように映し出すことが望ましく、より自然な感じとなる。また、情報表示端末が等身大の表示パネルを有する場合、オペレータの全身を映し出すようにしてもよい。この場合、オペレータはユーザと同じように立った姿勢であってもよいし、座った姿勢であってもよい。
本発明は、オペレータの顔や手元を撮像するカメラと、ユーザの顔や手元が表示されるオペレータ側のモニタとを使用する際、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、オペレータにとっての使い勝手を向上させることができる情報表示システム及び情報提供端末として有用である。
5 情報表示システム
10,10A,10B,10C,10D 情報表示端末
11,51 制御部
12 架台
15 第1筐体
15z 中間部
18 第2筐体
18z 前端面
20,60 通信制御部
21,21A,21B,21C 第1表示パネル
22,22B 第2表示パネル
25L,25R スピーカ
25z インターホン
27 マイク
31 第1カメラ
32 第2カメラ
40 プリンタ
40z プリンタスロット
42 読取装置
50,50A 情報提供端末
51,51A 制御部
51z 表示切替制御部
53 第3表示パネル
54 第4表示パネル
63 第3カメラ
64 第4カメラ
68 操作部
69 スキャナ
73 ヘッドセット
75 ハーフミラー
83 リモコン受信部
85 リモコン
90 ネットワーク
110 操作デスク
112 支持台
112w 背面板
112x 側板
112y 天板
112z フレーム
112z−1 バー
122 切替メニュー
122y,122z マーカ
212,212B 筐体
213,213B,213C モニタ台
214 フード
215 ベース部材
op オペレータ

Claims (5)

  1. ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、
    前記情報表示端末は、
    前記ユーザの顔の映像を撮像する第1カメラと、
    前記ユーザの手元の映像を撮像する第2カメラと、
    前記ユーザの顔の映像と前記ユーザの手元の映像とを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する第1通信部と、
    前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、
    前記オペレータの手元の映像を表示する第2表示パネルと、を備え、
    前記情報提供端末は、
    前記オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラと、
    前記オペレータの手元を撮像する第4カメラと、
    前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する第2通信部と、
    前記ユーザの顔の映像を表示する第3表示パネルと、
    前記ユーザの手元の映像を表示する第4表示パネルと、
    前記第3表示パネルの表示内容を、前記第1カメラにより撮像された前記ユーザの顔の映像から、前記第2カメラ、前記第3カメラ及び前記第4カメラのうちいずれかのカメラにより撮像された映像への切り替えを指示する切替処理部と、を備える、
    情報表示システム。
  2. 請求項1に記載の情報表示システムであって、
    前記切替処理部は、前記第4表示パネルの表示内容を、前記第2カメラにより撮像された前記ユーザの手元の映像から、前記第1カメラ、前記第3カメラ及び前記第4カメラのうちいずれかのカメラにより撮像された映像への切り替えを指示する、
    情報表示システム。
  3. 請求項1又は2に記載の情報表示システムであって、
    表示切替用のリモコン、をさらに備え、
    前記切替処理部は、前記リモコンの操作により前記切り替えを指示する、
    情報表示システム。
  4. 請求項1又は2に記載の情報表示システムであって、
    前記第4表示パネルは、切替メニューを表示し、
    前記切替処理部は、前記切替メニューに対する操作により、前記切り替えを指示する、
    情報表示システム。
  5. ユーザが操作可能な情報表示端末との間で通信可能に接続され、オペレータが操作可能な情報提供端末であって、
    前記オペレータの顔と上半身の少なくとも一部とを撮像する第1カメラと、
    前記オペレータの手元を撮像する第2カメラと、
    前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する通信部と、
    前記ユーザの顔の映像を表示する第1表示パネルと、
    前記ユーザの手元の映像を表示する第2表示パネルと、を備え、
    前記第1表示パネルの表示内容を、前記第1カメラにより撮像された前記ユーザの顔の映像から、前記ユーザの手元の映像、前記第1カメラにより撮像された映像、及び前記第2カメラにより撮像された映像のうちいずれかへの切り替えを指示する切替処理部と、を備える、
    情報提供端末。
JP2016062799A 2016-03-25 2016-03-25 情報表示システム及び情報提供端末 Pending JP2017175580A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016062799A JP2017175580A (ja) 2016-03-25 2016-03-25 情報表示システム及び情報提供端末
CN201790000701.2U CN209105321U (zh) 2016-03-25 2017-03-09 信息显示系统和信息提供终端
PCT/JP2017/009412 WO2017163897A1 (ja) 2016-03-25 2017-03-09 情報表示システム及び情報提供端末
US16/080,403 US10511812B2 (en) 2016-03-25 2017-03-09 Information displaying system and information providing terminal
EP17769942.8A EP3435663A4 (en) 2016-03-25 2017-03-09 INFORMATION DISPLAY SYSTEM AND INFORMATION PROCESSING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062799A JP2017175580A (ja) 2016-03-25 2016-03-25 情報表示システム及び情報提供端末

Publications (2)

Publication Number Publication Date
JP2017175580A true JP2017175580A (ja) 2017-09-28
JP2017175580A5 JP2017175580A5 (ja) 2019-05-09

Family

ID=59900154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062799A Pending JP2017175580A (ja) 2016-03-25 2016-03-25 情報表示システム及び情報提供端末

Country Status (5)

Country Link
US (1) US10511812B2 (ja)
EP (1) EP3435663A4 (ja)
JP (1) JP2017175580A (ja)
CN (1) CN209105321U (ja)
WO (1) WO2017163897A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149626A (ja) * 2018-02-26 2019-09-05 パナソニックIpマネジメント株式会社 オペレータ端末及びキャリブレーション方法
US11522961B2 (en) 2019-10-23 2022-12-06 Ricoh Company, Ltd. Communication terminal, communication system, communication method, and non-transitory computer-readable medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149630A (ja) * 2018-02-26 2019-09-05 パナソニックIpマネジメント株式会社 双方向映像通信システム及びキオスク端末
US20210006730A1 (en) * 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
US11057533B1 (en) * 2020-03-31 2021-07-06 Kyocera Document Solutions Inc. Image forming apparatus and image forming method for inferring and responding to target operator situation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
JPH1169214A (ja) * 1997-08-22 1999-03-09 Hitachi Ltd 情報通信端末装置
JP2000134594A (ja) * 1998-08-19 2000-05-12 Masanobu Kujirada 書類デ―タ等送信システム
JP2001169166A (ja) * 1999-12-14 2001-06-22 Nec Corp 携帯端末
JP2004056207A (ja) * 2002-07-16 2004-02-19 Oki Electric Ind Co Ltd コミュニケーション装置およびそのプログラム
US20080231544A1 (en) * 2007-03-22 2008-09-25 Control4 Corporation System and method for automated audio visual system control

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3317176B2 (ja) * 1997-02-06 2002-08-26 松下電器産業株式会社 映像伝送装置
JP2004147105A (ja) 2002-10-24 2004-05-20 Oki Electric Ind Co Ltd 遠隔対面用端末装置
US7092002B2 (en) * 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
US8074581B2 (en) * 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
JPH1169214A (ja) * 1997-08-22 1999-03-09 Hitachi Ltd 情報通信端末装置
JP2000134594A (ja) * 1998-08-19 2000-05-12 Masanobu Kujirada 書類デ―タ等送信システム
JP2001169166A (ja) * 1999-12-14 2001-06-22 Nec Corp 携帯端末
JP2004056207A (ja) * 2002-07-16 2004-02-19 Oki Electric Ind Co Ltd コミュニケーション装置およびそのプログラム
US20080231544A1 (en) * 2007-03-22 2008-09-25 Control4 Corporation System and method for automated audio visual system control

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149626A (ja) * 2018-02-26 2019-09-05 パナソニックIpマネジメント株式会社 オペレータ端末及びキャリブレーション方法
US11522961B2 (en) 2019-10-23 2022-12-06 Ricoh Company, Ltd. Communication terminal, communication system, communication method, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
EP3435663A1 (en) 2019-01-30
WO2017163897A1 (ja) 2017-09-28
US10511812B2 (en) 2019-12-17
US20190098258A1 (en) 2019-03-28
EP3435663A4 (en) 2019-03-27
CN209105321U (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
WO2017163897A1 (ja) 情報表示システム及び情報提供端末
WO2017163895A1 (ja) 情報表示システム及び情報提供端末
US11659074B2 (en) Information processing terminal
EP3316573B1 (en) Information display system and information display terminal
JP5696908B2 (ja) 操作表示システム
JP4189152B2 (ja) コード・センサをもつビューア
CN111309183B (zh) 触控显示系统及其控制方法
JP2015225400A (ja) 通信システム、転送制御装置、通信方法およびプログラム
JP2018067261A (ja) 表示システム
JP2013054643A (ja) 情報表示装置およびプログラム
JPH10124178A (ja) 電子メール端末、電子メール端末の処理方法、媒体
JP7420016B2 (ja) 表示装置、表示方法、プログラム、表示システム
US20200122044A1 (en) Interactive table covering device and electronic interactive table system
JP2023049060A (ja) 書画カメラ
JP2015215465A (ja) 画像表示システム、表示装置および情報処理方法
US20210266455A1 (en) Image capture control system, method and computer program product
JP2021026750A (ja) 受付装置
JP2023067427A (ja) プレゼンテーション用システム及びプログラム
KR20230076545A (ko) 카메라를 이용한 대화형 주문 방법
JP2000134594A (ja) 書類デ―タ等送信システム
WO2019234462A1 (en) System and method for providing visual collaboration, in particular virtual customer service between remote persons
JP2023097071A (ja) 情報処理装置、情報処理システム、利用者端末、プログラム、及び情報処理方法
KR101379656B1 (ko) 사용자 편집기능을 가지는 평판 즉석 인쇄장치
KR20230076549A (ko) 카메라를 이용한 주문 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201