JP2023097446A - 情報表示方法 - Google Patents

情報表示方法 Download PDF

Info

Publication number
JP2023097446A
JP2023097446A JP2023060505A JP2023060505A JP2023097446A JP 2023097446 A JP2023097446 A JP 2023097446A JP 2023060505 A JP2023060505 A JP 2023060505A JP 2023060505 A JP2023060505 A JP 2023060505A JP 2023097446 A JP2023097446 A JP 2023097446A
Authority
JP
Japan
Prior art keywords
information
seat
display
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023060505A
Other languages
English (en)
Other versions
JP7570453B2 (ja
Inventor
和彦 吉澤
Kazuhiko Yoshizawa
治 川前
Osamu Kawamae
仁 秋山
Hitoshi Akiyama
眞弓 中出
Mayumi Nakade
恵 藏知
Megumi Kurachi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2023060505A priority Critical patent/JP7570453B2/ja
Priority claimed from JP2023060505A external-priority patent/JP7570453B2/ja
Publication of JP2023097446A publication Critical patent/JP2023097446A/ja
Application granted granted Critical
Publication of JP7570453B2 publication Critical patent/JP7570453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093Calendar-based scheduling for persons or groups
    • G06Q10/1095Meeting or appointment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】準備の手間や制約を極力低減した、所属員の行動予定情報表示技術を提供する。【解決手段】情報表示装置100は、情報表示装置100の位置情報および方向情報を検出する自装置配置情報検出部と、情報表示装置100から、行動予定を表示する割当使用者の表示対象座席までの距離情報を取得する距離情報取得部213と、位置情報、方向情報および距離情報を用いて、表示対象座席の表示座席位置情報を算出する座席位置算出部217と、各座席の登録座席位置情報に対応づけて当該座席の割当使用者の割当使用者情報を登録する座席情報テーブル250から、表示座席位置情報に最も近い登録座席位置情報に対応づけて登録された割当使用者情報を抽出し、当該割当使用者情報に対応づけて登録される現在の行動予定を取得する行動予定取得部221と、取得した行動予定を、表示部131に表示する表示制御部222と、を備える。【選択図】図5

Description

本発明は、情報表示技術に関する。特に、不在者の予定情報の表示技術に関する。
オフィス等において、不在者の行動予定に関する情報を提示する技術がある。例えば、特許文献1には、「撮像手段および表示手段を備えたスマートデバイスを用いる情報処理システムであって、前記撮像手段を用いて撮像したライブ映像内にARマーカが含まれる場合に、前記ARマーカに紐付いた識別子および前記ライブ映像内の座席位置をデータベースから読出す読出手段と、前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定手段と、不在と判定された前記人物を、前記識別子を用いて特定し、特定された前記人物のプレゼンス情報を、プレゼンスデータベースから読み出すプレゼンス情報読出手段と、前記表示手段において、前記ライブ映像に重畳して前記プレゼンス情報を表示させる表示制御手段と、を備えた(要約抜粋)」情報処理システムが開示されている。
特開2016-192746号公報
しかしながら、特許文献1に記載の技術によれば、オフィス等の所属員のプレゼンス情報として行動予定を提示机毎、或いは部屋毎に、ARマーカ(バーコード/QRコード(登録商標)等)を予め特定の場所に配置しなければならない。また、ARマーカが物陰に配置される、死角になる位置に配置される、等の場合も含め、ARマーカが撮影範囲外となる場合、正しく動作しない。このように、手間がかかる上に制約が多い。
本発明は、上記事情に鑑みてなされたもので、準備の手間や制約を極力低減した、所属員の行動予定情報表示技術を提供することを目的とする。
本発明は、対象物の情報を表示する情報表示装置で実行される情報表示方法であって、前記情報表示装置の位置情報および方向情報を取得する自装置配置情報取得ステップと、前記情報表示装置のユーザの視線情報を取得する視線情報取得ステップと、前記視線情報取得ステップで取得した前記視線情報に基づいて対象物を選択する対象物選択ステップと、前記対象物選択ステップで選択した前記対象物までの距離情報を取得する距離情報取得ステップと、前記自装置配置情報取得ステップで取得した前記位置情報および前記方向情報と前記視線情報取得ステップで取得した前記視線情報と前記距離情報取得ステップで取得した前記距離情報とに基づいて、前記対象物選択ステップで選択した前記対象物の対象物位置情報を算出する対象物位置情報算出ステップと、前記対象物位置情報算出ステップで算出した前記対象物位置情報をサーバに送信するとともに、前記対象物位置情報に対応してサーバから送信された対象物情報を受信する対象物情報取得ステップと、前記対象物情報取得ステップで取得した前記対象物情報を表示部に表示する表示ステップと、を含むことを特徴とする。
また、本発明は、対象物の情報を表示する情報表示装置で実行される情報表示方法であって、前記情報表示装置の位置情報および方向情報を取得する自装置配置情報取得ステップと、前記情報表示装置のユーザの視線情報を取得する視線情報取得ステップと、前記視線情報取得ステップで取得した前記視線情報に基づいて対象物を選択する対象物選択ステップと、前記対象物選択ステップで選択した前記対象物までの距離情報を取得する距離情報取得ステップと、前記自装置配置情報取得ステップで取得した前記位置情報および前記方向情報と前記視線情報取得ステップで取得した前記視線情報と前記距離情報取得ステップで取得した前記距離情報とに基づいて、前記対象物選択ステップで選択した前記対象物の対象物位置情報を算出する対象物位置情報算出ステップと、前記対象物位置情報算出ステップで算出した前記対象物位置情報に基づいて所定のテーブルから対象物関連情報を取得する対象物関連情報参照ステップと、前記対象物関連情報参照ステップで取得した前記対象物関連情報をサーバに送信するとともに、前記対象物関連情報に対応してサーバから送信された対象物情報を受信する対象物情報取得ステップと、前記対象物情報取得ステップで取得した前記対象物情報を表示部に表示する表示ステップと、を含むことを特徴とする。
本発明によれば、準備の手間や制約を極力低減した、所属員の行動予定情報表示技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
第一実施形態の行動予定表示システムのシステム構成図である。 第一実施形態の情報表示装置のハードウェア構成図である。 (a)~(c)は、第一実施形態の情報表示装置がヘッドマウントディスプレイである場合の外観図である。 (a)および(b)は、第一実施形態の情報表示装置がスマートフォンである場合の外観図である。 第一実施形態の情報表示装置の機能ブロック図である。 第一実施形態の座席情報テーブルの一例を説明するための説明図である。 第一実施形態の管理サーバのハードウェア構成図である。 第一実施形態の所属員データベースの一例を説明するための説明図である。 第一実施形態の行動予定データベースの一例を説明するための説明図である。 (a)は、第一実施形態の座席情報テーブル生成処理を行う部屋の、(b)は、第一実施形態の入力画像の、それぞれ一例を説明するための説明図である。 第一実施形態の座席情報テーブル生成処理のフローチャートである。 (a)および(b)は、第一実施形態の方向情報取得手法および位置情報算出手法を説明するための説明図である。 (a)は、第一実施形態の行動予定表示処理を行う部屋の、(b)は、第一実施形態の入力画像の、それぞれ一例を説明するための説明図である。 第一実施形態の行動予定表示処理のフローチャートである。 第一実施形態の位置情報算出手法を説明するための説明図である。 (a)および(b)は、第一実施形態の行動予定表示例を説明するための説明図である。 (a)は、第一実施形態の変形例の照合用画像の一例を、(b)および(c)は、第一実施形態の変形例の実空間の例を、それぞれ、説明するための説明図である。 第一実施形態の変形例の行動予定表示処理のフローチャートである。 第一実施形態の変形例の座席情報テーブル生成および行動予定表示処理のフローチャートである。 (a)および(b)は、第一実施形態の変形例の座席位置情報算出手法を説明するための説明図である。 第一実施形態の変形例の空間認識処理のフローチャートである。 第一実施形態の変形例の行動予定表示処理のフローチャートである。 (a)は第一実施形態の変形例の行動予定表示対象座席の指示例を、(b)は、第一実施形態の変形例の行動予定表示座席位置情報算出手法を、それぞれ、説明するための説明図である。 (a)~(g)は、第一実施形態およびその変形例の行動予定表示態様を、それぞれ、説明するための説明図である。 第一実施形態の変形例のPersonal Computer稼働情報テーブルの一例を説明するための説明図である。 第一実施形態の変形例の行動予定表示処理のフローチャートである。 (a)は、第二実施形態の行動予定表示システムのシステム構成図であり、(b)は、カメラの機能ブロック図である。 第二実施形態のカメラ配置テーブルの一例を説明するための説明図である。 第二実施形態の行動予定表示処理のフローチャートである。 (a)および(b)は、それぞれ、第二実施形態の行動予定表示対象座席指定手法を説明するための説明図である。 (a)および(b)は、それぞれ、第二実施形態の行動予定表示対象座席指定時の表示例を説明するための説明図である。
<<第一実施形態>>
以下、本発明の第一実施形態を、図面を用いて説明する。なお、図中で用いる符号は同一符号のものは同一機能や処理を示すものである。
本実施形態では、情報表示装置を所持するユーザ(装置使用者)が、特定の座席に情報表示装置を向けた際に、当該座席に座っているべき人が不在の場合、その不在者の現在情報(および未来情報)を自動的に情報表示装置に表示する。使用環境は、例えば、事務所、学校等、予め所属する人(所属員)の座席が決まっている環境である。
[システム構成]
図1は、本実施形態の行動予定表示システム900のシステム構成図である。本図に示すように、本実施形態の行動予定表示システム900は、情報表示装置100と、管理サーバ300とを備える。情報表示装置100と管理サーバ300とは、内部ネットワーク(LAN)410を介して接続される。
情報表示装置100は、例えば、ヘッドマウントディスプレイ(Head Mounted Display;HMD)100H、スマートフォン(Smart Phone)100S等である。
なお、本実施形態の情報表示装置100は、GPS衛星440から、GPS情報を受信し、自身の位置を取得する。また、情報表示装置100は、ゲートウェイ装置420を介して、外部ネットワーク430に接続され、外部ネットワーク430を介して接続される、携帯情報端末450等の他装置とデータの送受信を可能とする。さらに、情報表示装置100自身が、外部ネットワーク430、ゲートウェイ装置420、内部ネットワーク410を介して、管理サーバ300と情報の送受信を行ってもよい。
以下、情報表示装置100および管理サーバ300の詳細を説明する。
[情報表示装置]
本実施形態の情報表示装置100は、GPS受信機能と、方向検出機能と、測距機能と、画像取得機能と、表示機能とを備える可搬型の情報処理装置である。上述のように、例えば、HMD100Hまたはスマートフォン100Sである。表示機能を実現する表示部は、透過型AR表示、カメラスルーAR表示、等が可能である。
[情報表示装置のハードウェア構成]
図2は、本実施形態の情報表示装置100のハードウェア構成図である。本図に示すように、本実施形態の情報表示装置100は、主制御部101と、システムバス102と、RAM103と、ストレージ部110と、操作受付部120と、画像処理部130と、音声処理部140と、センサ部150と、通信処理部160と、拡張インタフェース(I/F)部170と、を備える。
主制御部101は、所定のプログラムに従って情報表示装置100全体を制御するCPU(Centoral Processor Unit)またはマイクロプロセッサユニット(MPU)である。
システムバス102は、主制御部101と情報表示装置100内の各部との間でデータ送受信を行うためのデータ通信路である。
RAM103は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、RAM103は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。RAM103は、主制御部101と一体構成であっても良い。
ストレージ部110は、情報表示装置100の各動作設定値や情報表示装置100の使用者の情報等を記憶する。ストレージ部110は、情報表示装置100で撮影した静止画像データや動画像データ等を記憶してもよい。また、情報表示装置100は、アプリケーションサーバから、インターネットを介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした新規アプリケーションプログラムは、ストレージ部110に記憶される。主制御部101が、ストレージ部110に記憶された新規アプリケーションプログラムをRAM103に展開し、実行することにより、情報表示装置100は、多種の機能を実現できる。
ストレージ部110は、情報表示装置100に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、ストレージ部110には、例えばフラッシュROMやSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられる。
操作受付部120は、情報表示装置100に対する操作指示の入力を受け付ける。本実施形態では、電源キー、音量キー、ホームキー等の操作キー121を備える。また、情報表示装置100が、HMD100Hの場合、タッチパッドによる操作指示を受け付けるタッチセンサ122を備える。また、情報表示装置100が、スマートフォン100Sの場合、表示部131に重ねて配置されるタッチパネル123、を備える。
なお、スマートフォン100Sの場合、後述の拡張インタフェース部170に接続したキーボード等を介して指示の入力を受け付けてもよい。また、有線通信または無線通信により接続された別体の情報処理端末機器を介して情報表示装置100の操作を受け付けてもよい。
画像処理部130は、イメージ(ビデオ)プロセッサであり、表示部131と、画像信号処理部132と、第一画像取得部133と、第二画像取得部134と、を備える。
表示部131は、例えば液晶パネル等の表示デバイス(ディスプレイ)であり、後述する画像信号処理部132で処理された画像データを情報表示装置100の使用者に提示する。情報表示装置100がHMD100Hの場合、表示部131は、透過型ディスプレイであってもよい。
画像信号処理部132は、第一画像取得部133および第二画像取得部134から入力された画像を処理する、イメージ(ビデオ)シグナルプロセッサである。また、画像信号処理部132は、主制御部101等により作成したオブジェクトを入力画像に重畳して表示部131に出力する。
第一画像取得部133は、情報表示装置100の周囲の画像を取得する。HMD100Hであれば、外部カメラである。スマートフォン100Sであれば、背面カメラ(アウトカメラ)である。
第二画像取得部134は、第一画像取得部133とは異なる領域の画像を取得する。例えば、ユーザの眼を撮影する。HMD100Hであれば、内部カメラ(視線検出用カメラ)であり、スマートフォン100Sであれば、前面カメラ(インカメラ)である。
音声処理部140は、音声を処理するオーディオプロセッサである。音声出力部141と、音声信号処理部142と、音声入力部143と、を備える。音声出力部141は、スピーカであり、音声信号処理部142で処理した音声信号を外部に出力する。音声信号処理部142は、オーディオシグナルプロセッサである。音声入力部143はマイクであり、ユーザの声などを音声データに変換して入力する。
センサ部150は、情報表示装置100の状態を検出するためのセンサ群である。本実施形態では、GPS(Global Positioning System)受信部151と、ジャイロセンサ152と、地磁気センサ153と、加速度センサ154と、距離センサ155とを備える。これらのセンサ群により、情報表示装置100の位置、動き、傾き、方角等を検出する。また、距離センサ155は、深度センサであり、情報表示装置100から対象物までの距離情報を取得する。なお、その他のセンサを、さらに、備えていても良い。
通信処理部160は、通信処理を行うコミュニケーションプロセッサである。LAN(Local Area Network)通信部161、電話網通信部162と、BT(Bluetooth(登録商標))通信部163と、を備える。LAN通信部161はインターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。電話網通信部162は移動体電話通信網の基地局との無線通信により、電話通信(通話)およびデータの送受信を行う。BT通信部163は、Bluetooth規格により外部装置と通信を行うためのインタフェースである。LAN通信部161、電話網通信部162、BT通信部163は、それぞれ符号化回路や復号回路、アンテナ等を備える。通信処理部160は、さらに、赤外線通信部等を備えていても良い。
拡張インタフェース部170は、情報表示装置100の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等を備える。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースはキーボードやその他のUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
情報表示装置100が、HMD100Hである場合の、外観および装着態様を説明する。図3(a)は、情報表示装置100の上面図、図3(b)は、正面図、図3(c)は、側面図である。上記ハードウェア構成図で説明した構成の配置を説明する。
HMD100Hは、HMD100Hの各部を支え、ユーザがHMD100Hを装着するためのフレーム109Hを備える。
表示部131は、フレーム109Hの正面中央に配置される。ユーザ910の両目の前となる位置に配置される。
タッチセンサ122は、フレーム109Hの側面部に配置される。左右両側面部に配置されてもよいし、いずれか一方であってもよい。
HMD100Hは、第一画像取得部133として、左第一画像取得部(左外部カメラ)133Lと、右第一画像取得部(右外部カメラ)133Rとを備える。これらの図に示すように、左第一画像取得部133Lおよび右第一画像取得部133Rは、HMD100Hのフレーム109Hの正面の、それぞれ、左および右に配置される。
また、HMD100Hは、音声出力部141として、左音声出力部(左ステレオスピーカ)141Lと右音声出力部(右ステレオスピーカ)141Rとを備える。これらの図に示すように、左音声出力部141Lおよび右音声出力部141Rは、それぞれ、フレーム109Hの左側面および右側面に配置される。
また、距離センサ155は、フレーム109Hの正面中央に配置される。なお、距離センサ155に代替して、左第一画像取得部133Lと右第一画像取得部133Rとを用いた視差による距離測定を行っても良い。
情報表示装置100が、スマートフォン100Sである場合の、外観および装着態様を説明する。図4(a)は、スマートフォン100Sの前面(正面)図、図4(b)は、背面図である。上記ハードウェア構成図で説明した構成の配置を説明する。
スマートフォン100Sは、スマートフォン100Sの各部を内部に納めるケース109Sを備える。なお、以下の説明において、上下方向、左右方向は、図示する通りである。
表示部131は、ケース109Sの前面中央に配置される。なお、スマートフォン100Sの場合、表示部131とタッチパネル123とを兼ねるタッチスクリーン180が配置される。
第一画像取得部133(背面カメラ/アウトカメラ)は、ケース109Sの背面に配置される。第二画像取得部134(前面カメラ/インカメラ)は、ケース109Sの前面に配置される。第二画像取得部134は、前面の表示部131の上方に配置される。
また、音声出力部141は、例えば、ケース109Sの前面の、表示部131の上方中央および背面下部に配置される。ケース109Sの前面上部に配置される音声出力部141Mは、モノラルスピーカであって、音声通話時に使用される。ケース109Sの背面下部に配置される音声出力部141Sは、ステレオスピーカであって、動画再生時等に使用される。さらに、音声入力部143は、例えば、ケース109Sの下面に配置される。
また、距離センサ155は、ケース109Sの背面、例えば、第一画像取得部133横に配置される。
その他、操作キー121として、例えば、電源スイッチ121Pがケース109Sの上面に配置される。また、拡張インタフェース部170としてUSB端子170Uがケース109Sの下面に配置される。さらに、ケース109Sの背面に配置される指紋センサ124、ケース109Sの前面、表示部131上方に配置されるLED125等を備えていてもよい。
[機能ブロック]
次に、情報表示装置100の機能について説明する。図5は、本実施形態の情報表示装置100の機能ブロック図である。本実施形態の情報表示装置100は、座席表データを生成し、不在時にその座席に割り当てられた人(座席使用者)の行動予定を表示する。これを実現するため、本実施形態の情報表示装置100は、在不在判別部231と、座席情報テーブル生成部232と、行動予定表示部233と、を備える。
また、各ハードウェアを制御して情報処理を行う、位置情報取得部211と、方向情報取得部212と、距離情報取得部213と、空間認識部214と、視線検出部215と、座席選択受付部216と、座席位置算出部217と、識別画像取得部218と、識別情報照合部219と、座席情報確認部220と、行動予定取得部221と、表示制御部222と、連絡制御部223と、を備える。
これらの各機能は、主制御部101が、ストレージ部110に予め格納されたプログラムをRAM103にロードして実行することにより実現される。
また、ストレージ部110には、座席情報テーブル生成部232により生成される座席情報テーブル250を備える。
座席情報テーブル生成部232は、座席情報テーブル250を生成する。座席情報テーブル250は、各座席の位置情報と、当該座席に割り当てられた正当な使用者(割当使用者)の情報とを対応づけたテーブルである。図6に、座席情報テーブル250の一例を示す。本図に示すように、座席情報テーブル250は、座席情報251と、使用者情報256とを備える。
座席情報251は、各部屋の各座席を特定する情報である。本図に示すように、座席ID252と、部屋ID253と、座席位置情報254と、を備える。座席ID252は、各座席の識別情報であり、各座席に一意に付与される。部屋ID253は、部屋の識別情報であり、各部屋に一意に付与される。座席位置情報254は、座席位置の座標である。本実施形態では、座席位置の絶対座標が登録される。絶対座標は、例えば、緯度経度高度である。
使用者情報256は、各座席の、当該座席に割り当てられた正当な使用者を特定する情報である。本図に示すように、氏名257と個人ID258とを備える。個人ID258は、使用者を識別する情報であり、使用者毎に一意に付与される。なお、使用者情報256は、管理サーバ300が保持する所属員データベース311で個人情報として管理される情報である。
位置情報取得部211は、GPS受信部151が受信したGPS情報に基づいて、情報表示装置100の位置情報を取得する。また、公知の屋内測位システム等により位置情報を取得しても良い。本実施形態では、例えば、緯度経度高度といった絶対位置情報を算出する。
方向情報取得部212は、ジャイロセンサ152および/または地磁気センサ153からの出力情報に基づいて、情報表示装置100の方向情報を取得する。本実施形態では、情報表示装置100の第一画像取得部133の向く方向を、方向情報として算出する。
なお、情報表示装置100が、透過型の表示部131を有するHMD100Hの場合、表示部131の正面の方向情報、すなわち、表示部131の中心部の接面の法線方向を方向情報として取得する。また、情報表示装置100がスマートフォン100Sの場合、第一画像取得部133の撮影視野の中心方向を方向情報として取得する。
なお、位置情報取得部211が取得する位置情報と、方向情報取得部212が取得する方向情報とにより、情報表示装置100の向きも含めた配置が特定される。従って、両者を合わせ、自装置配置情報検出部とも呼ぶ。
距離情報取得部213は、距離センサ155からの出力情報に基づいて、対象物までの距離情報を取得する。なお、対象物が指定されていない場合には、距離センサ155を構成するデバイスの中央部に対応する物を対象物とする。
空間認識部214は、空間認識処理を行う。具体的には、空間認識部214は、第一画像取得部133が取得した画像を解析して複数の特徴点を検出する。そして、検出した複数の特徴点に対する方向情報を方向情報取得部212に取得させる。また、検出した複数の特徴点までの距離情報を距離情報取得部213に取得させる。そして、取得した方向情報と距離情報とから検出した複数の特徴点同士の相対的な位置関係を算出する。そして、算出した相対的位置関係に関する情報を、解析した空間(部屋等)を識別する情報に関連付けて記憶する。空間認識部214は、これにより、情報表示装置100が存在する所定の空間(部屋等)を認識する。
視線検出部215は、第二画像取得部134が取得した画像を解析してユーザの視線情報を取得する。HMD100Hの場合、ユーザ910の視線方向を検出する。すなわち、ユーザ910が、表示部131を通して見ている方向を検出する。また、スマートフォン100Sの場合は、ユーザ910の視線と表示部131との交点位置を検出する。すなわち、ユーザ910が表示部131のどの位置を見ているかを検出する。
座席選択受付部216は、行動予定を表示させたい人物の使用する座席として、ユーザ910の選択を受け付ける。情報表示装置100がHMD100Hの場合、第一画像取得部133からの入力画像を解析し、視線検出部215で検出した視線方向に対応する位置の座席を選択された座席(選択座席)とする。具体的には、視線検出部215で検出した視線方向と表示部131との交点位置に対応する、第一画像取得部133の画像取得範囲内における位置を、選択位置とする。そして、タッチセンサ122へのユーザ910による操作を受け付けた場合、当該選択を確定する。また、情報表示装置100がスマートフォン100Sの場合は、タッチパネル123が検出したタッチ位置に対応する座席が選択されたものとする。なお、スマートフォン100Sの場合も、視線検出部215で検出した視線情報に基づいて選択を受け付けてもよい。この場合、視線方向と表示部131との交点を選択位置とする。この場合も、表示部131に表示された「確定」アイコンへのタッチで選択を確定する。
座席位置算出部217は、座席選択受付部216が受け付けた選択座席の位置を算出する。座席位置算出部217は、位置情報取得部211で取得した位置情報と方向情報取得部212で取得した方向情報と距離情報取得部213で取得した距離情報とに基づいて、選択座席の位置(絶対位置)情報を算出する。また、必要に応じて、空間認識部214で空間(部屋等)を認識し、方向情報取得部212で取得した方向情報と距離情報取得部213で取得した距離情報とに基づいて、選択座席の位置情報として、所定の空間(部屋等)内の基準位置に対する相対位置情報を算出する。
識別画像取得部218は、入力画像から識別画像を抽出する。本実施形態では、識別画像として人物画像を用いる。抽出は、例えば、パターンマッチング等により行う。
識別情報照合部219は、後述する所属員データベース311を参照することにより、識別画像取得部218で取得した人物画像で特定される所属員の識別情報を取得する。なお、所属員データベース311は、例えば、管理サーバ300等に保持される。
座席情報確認部220は、座席選択受付部216が選択した選択座席に関し、予め定めた座席情報確認処理を行う。例えば、選択座席に人物が着座している場合、座席位置算出部217で算出した選択座席の位置情報と識別情報照合部219で取得した選択座席を使用する所属員の個人IDとを関連付けて、座席情報テーブル250に記憶する。なお、前述の処理は、ユーザ910の座席選択指示によらず、第一画像取得部133の取得画像に含まれる全ての座席に対して行われても良い。すなわち、全ての座席を選択座席として扱っても良い。また、選択座席に人物が不在の場合は、座席位置算出部217で算出した選択座席の座席位置情報254に対応づけて座席情報テーブル250に登録される個人ID258を取得する。この場合、座席情報確認部220は、割当使用者情報取得部として機能する。
行動予定取得部221は、後述の行動予定データベース312を参照することにより、座席情報確認部220で取得した個人ID258を有する人物の行動予定情報を取得する。なお、行動予定データベース312は、予め管理サーバ300等に保持される。
表示制御部222は、行動予定取得部221で取得した行動予定情報を表示部131に表示させる。本実施形態では、選択座席の位置に表示する。選択座席の位置は、情報表示装置100が、表示部131が透過型表示部であるHMD100Hの場合、ユーザ910が表示部131を通して選択座席を見る際に、視線が表示部131と交差する位置である。情報表示装置100が、スマートフォン100Sの場合、入力画像の選択座席位置である。スマートフォン100Sの場合、この選択座席位置に、行動予定情報を入力画像に重畳し、表示させる。
連絡制御部223は、識別情報照合部219で取得した個人ID258に基づいて、当該個人ID258で特定される所属員が所有する携帯情報端末450と通信経路を確立する処理を行う。本実施形態では、例えば、メールアプリ、SNSアプリ、ビデオチャットアプリ等の制御を行う。
なお、位置情報取得部211と、方向情報取得部212と、距離情報取得部213と、空間認識部214と、視線検出部215と、座席選択受付部216と、座席位置算出部217と、識別画像取得部218と、識別情報照合部219と、座席情報確認部220と、行動予定取得部221と、表示制御部222と、連絡制御部223と、の各部は、既存のアルゴリズムを用いて、上記各処理を実現する。
座席情報テーブル生成部232は、各部を制御し、上述の座席情報テーブル250を生成する座席情報テーブル生成処理を行う。座席情報テーブル生成処理の詳細は、後述する。
行動予定表示部233は、選択座席に、割当使用者が不在時に、その割当使用者の現在の予定(行動予定情報)を表示する。なお、このとき、さらに、未来の行動予定を表示させてもよい。表示手法の詳細は、後述する。
在不在判別部231は、選択座席に人物が着座しているか否かを判別する在不在判別処理を行う。在不在判別処理の詳細は後述する。なお、本実施形態では、在不在判別部231は、なくてもよい。
[管理サーバ]
次に、本実施形態の管理サーバ300について説明する。図7は、本実施形態の管理サーバ300のハードウェア構成図である。
管理サーバ300は、主制御部301と、バス302と、RAM303と、ストレージ部310と、操作受付部320と、表示部331と、画像信号処理部332と、LAN通信部361と、を備える。
主制御部301は、所定のプログラムに従って、管理サーバ300全体を制御するCPUまたはMPUである。バス302は、主制御部301と管理サーバ300内の各部との間でデータ送受信を行うためのデータ通信路である。RAM303は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、RAM303は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。RAM303は、主制御部301と一体構成であっても良い。
操作受付部320は、管理サーバ300に対する操作指示の入力を受け付ける。本実施形態では、キーボード、マウス等を備える。
表示部331は、例えば液晶パネル等の表示デバイスであり、後述する画像信号処理部332で処理された画像データを管理サーバ300の使用者に提示する。画像信号処理部332は、画像を処理する、イメージ(ビデオ)プロセッサである。
LAN通信部361は内部ネットワーク410と有線通信により接続してデータの送受信を行う。
ストレージ部310は、管理サーバ300の処理に必要な情報を記憶する。主制御部301が、ストレージ部310に記憶されたアプリケーションプログラムをRAM303に展開し、実行することにより、管理サーバ300は、多種の機能を実現できる。ストレージ部310には、例えば、フラッシュROMやSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられる。
本実施形態の管理サーバ300は、情報表示装置100が上記情報表示処理に必要なデータを管理する。そして、情報表示装置100からの要求に応じて、必要なデータ(情報)を要求元の情報表示装置100に提供する。
本実施形態では、これを実現するために、ストレージ部310には、所属員データベース311と、行動予定データベース312とが格納される。なお、後述するように、管理サーバ300で、さらに、PC稼働情報テーブル313および座席情報テーブル315を管理してもよい。
所属員データベース311は、座席を管理する対象の所属員の情報を管理する。所属員データベース311の一例を、図8に示す。本図に示すように、所属員データベース311には、所属員ごとに、個人情報311aと、認証用顔画像311dとが登録される。
個人情報311aは、各所属員を一意に識別する情報であり、本実施形態では、例えば、氏名311bと、個人ID311cとが登録される。個人ID311cは、所属員が登録される毎に付与される。
認証用顔画像311dには、所属員の顔画像が登録される。顔画像は、正面画像、側面画像等、各種方向から取得した顔画像が登録されてもよい。また、認証用顔画像311dとして、認証用顔画像そのものではなく、認証用顔画像が保存されている場所へのアクセス情報が登録されていてもよい。
なお、各所属員について、連絡先情報311eとして、例えば、携帯機器の電話番号、メールアドレス等がさらに登録されていてもよい。
行動予定データベース312には、各所属員の行動予定が登録される。行動予定データベース312の一例を図9に示す。本図に示すように、行動予定データベース312には、所属員ごとに、個人情報312aと、行動予定情報312jと、が登録される。
個人情報312aは、各所属員を一意に識別する情報であり、例えば、氏名312bと、個人ID312cとが登録される。
行動予定情報312jは、各所属員の行動予定である。行動予定情報として、行動予定毎に、例えば、行動予定を識別するNo.312dと、その開始日時312eと、終了日時312fと、内容312gと、場所312hと、が登録される。
なお、各予定については、公開、非公開のレベルである公開情報312iを付してもよい。公開情報312iは、公開対象によって付与される。詳細は、後述する。
なお、管理サーバ300の主制御部301は、ストレージ部310に登録される情報を、使用者からの指示、あるいは、外部からの信号に従って、適宜更新する。
次に、情報表示装置100の各処理について説明する。
[座席情報テーブル生成処理]
まず、座席情報テーブル生成部232が前処理(初期処理)として行う座席情報テーブル生成処理について説明する。座席情報テーブル250は、例えば、図10(a)に示すように、特定の部屋Aにおいて、各座席に正当な割当使用者が着座時に、生成される。
ユーザ910は、このような状態で、情報表示装置100を用いて部屋Aを撮影し、座席情報テーブル250を生成する。このとき、情報表示装置100の表示部131に表示される画像(入力画像500)の例を図10(b)に示す。ここでは、情報表示装置100として、スマートフォン100Sの場合を例示する。すなわち、スマートフォン100Sのタッチスクリーン180の表示例である。
本実施形態の座席情報テーブル生成部232は、このような入力画像500を取得すると、座席情報テーブル生成処理を開始する。図11は、本実施形態の座席情報生成処理の処理フローである。
まず、座席情報テーブル生成部232は、自装置(情報表示装置)100の位置情報を取得する(ステップS1101)。ここでは、位置情報取得部211に位置情報を取得させる。
次に、座席情報テーブル生成部232は、情報表示装置100の方向情報を取得する(ステップS1102)。ここでは、方向情報取得部212に方向情報を取得させる。ここで、情報表示装置100の方向情報として取得する方向αを、図12(a)に示す。
本図に示すように、方向情報取得部212は、例えば、北等の予め定めた基準方向958と、第一画像取得部133の法線方向959との成す角度をαとして算出する。なお、図12(a)では、説明を簡略化するため、水平面内のみを示す。
座席情報テーブル生成部232は、ユーザ910から、座席情報テーブル250に登録したい座席(登録対象座席)511の指定を受け付ける(ステップS1103)。登録対象座席511は、座席選択受付部216を介して指定を受け付ける。
座席情報テーブル生成部232は、情報表示装置100から、登録対象座席511までの距離Lsを登録座席距離情報として算出する(ステップS1104)。距離Lsは、距離情報取得部213に取得させる。
そして、座席情報テーブル生成部232は、情報表示装置100の位置情報および方向情報と、登録対象座席511までの距離情報と、を用いて、登録対象座席511の絶対座標値を登録座席位置情報として算出する(ステップS1105)。登録座席位置情報は、座席位置算出部217が算出する。
登録座席位置情報の算出手法を、図12(a)および図12(b)を用いて説明する。例えば、基準方向958を、絶対座標系のY方向とし、情報表示装置100の絶対座標を(xo、yo)とする。また、第一画像取得部133の画像センサ内における中心位置CCと登録対象座席511の位置とのずれ量から得られる角度をβとする。角度βは、第一画像取得部133の画像センサの水平画素数の半分に対する前記画像センサの中心位置CCから登録対象座席511までの前記画像センサ上での画素数との比率、及び第一画像取得部133の画像センサの撮影視野の画角と前記角度βとの比率、とに基づいて算出する。この場合、図12(b)に示すように、水平面内での、登録対象座席511の登録座席位置情報のY座標は、yo+Lscos(α-β)である。また、登録座席位置情報のX座標は、xo+Lssin(α-β)である。
次に、座席情報テーブル生成部232は、登録対象座席511の割当使用者512の識別画像として顔画像を取得する(ステップS1106)。顔画像は、識別画像取得部218により取得される。ここでは、図10(b)に示すように、入力画像500上で、登録対象座席511に対応する領域521近傍の、人物の顔領域522を特定する。人物の顔領域522は、例えば、パターンマッチング等により、特定する。そして、入力画像500上で、特定した顔領域522を含む所定領域523を切り取ることにより得る。
座席情報テーブル生成部232は、管理サーバ300から、取得した顔画像と一致する所属員の個人ID311cを取得する(ステップS1107)。ここでは、座席情報確認部220に個人ID311cを取得させる。具体的には、座席情報確認部220は、管理サーバ300の所属員データベース311にアクセスし、取得した顔画像を、認証用顔画像311dと照合する。そして、合致度が所定の閾値以上であり、かつ、最も合致度の高いレコードの個人ID311cを抽出する。なお、このとき、併せて氏名311bも取得してもよい。
座席情報テーブル生成部232は、登録座席位置情報と、個人ID311cとを対応づけて、座席情報テーブル250に登録する(ステップS1108)。登録にあたっては、座席情報251に、座席ID252および部屋ID253を対応づける。部屋ID253は、ユーザ910による指示で付与される。また、座席ID252は、新たなレコードが登録される毎に、自動的に付与される。
座席情報テーブル生成部232は、新たな登録対象座席の選択を受け付ける(ステップS1109)と、ステップS1104へ戻る。一方、新たな登録対象座席の選択を受け付けない場合、当該入力画像からの座席情報テーブル250の生成は、完了したとして、処理を終了する。
なお、前述の処理では、ユーザ910が指定した登録対象座席に対してのみ座席情報登録処理を行っているが、第一画像取得部133で取得した画像内の、使用者が着座中の全ての座席に対して座席情報登録処理を行っても良い。
ユーザ910は、情報表示装置100の座席情報テーブル生成部232に、前処理として、このような座席情報テーブル生成処理を行わせ、座席情報テーブル250を完成させる。なお、本実施形態では、完成後も、情報表示装置100は、起動中、第一画像取得部133が取得したスルー画像を解析し、常に、座席情報テーブル250を更新するよう構成してもよい。この場合の処理の詳細は、後述の変形例で説明する。
[行動予定表示処理]
次に、行動予定表示処理について説明する。本処理は、ユーザ910による指示を契機に実行される。すなわち、ユーザ910が、例えば、情報表示装置100の表示部131に表示された入力画像500上で、所定の座席を選択した場合、実行される。選択は、座席選択受付部216によりなされる。
図13(a)に、所定の部屋Aの実空間の様子を示す。本実施形態では、選択された座席531の、割当使用者532が不在の場合、その割当使用者532の予定を表示する。入力画像500上の、ユーザ910が選択した割当使用者532の座席位置541には、図13(b)に示すように、ターゲットマーカ180Mが表示される。
図14は、行動予定表示処理の処理フローである。本処理は、入力画像500上で、ユーザ910が、割当使用者532が不在の座席(座席位置541)を指定したことを契機に開始される。指定した座席531を表示対象座席531と呼ぶ。
まず、行動予定表示部233は、座席情報テーブル生成処理と同様に、情報表示装置100の、位置情報および方向情報を取得する(ステップS1201、S1202)。
次に、表示対象座席までの距離情報を取得し(ステップS1203)、表示対象座席の位置情報を表示座席位置情報として算出する(ステップS1204)。これらの処理も、座席情報テーブル生成処理と同様である。また、表示座席位置情報は、絶対座標である。
表示座席位置情報は、表示対象座席の角度情報を用いて算出する。角度情報を算出する際は、まず、図15に示すように、基準方向958と、第一画像取得部133の法線方向959との成す角度をαとして算出する。なお、図15では、説明を簡略化するため、水平面内のみを示す。第一画像取得部133の画像センサ内における中心位置CCと表示対象座席531の位置とのずれ量から得る角度をγとする。角度γの算出手順も座席情報テーブル生成処理と同様である。そして、γとαとの差として表示対象座席531の角度情報を得る。
行動予定表示部233は、表示対象座席531の表示座席位置情報を取得すると、座席情報テーブル250にアクセスし、その表示座席位置情報に相当する座席位置情報254に対応付けられた使用者の個人ID258を抽出する(ステップS1205)。この個人ID258の抽出は、座席情報確認部220によりなされる。
行動予定表示部233は、管理サーバ300にアクセスし、行動予定データベース312から、個人ID258と同じ個人ID312cに対応付けられた行動予定情報を取得する(ステップS1206)。この行動予定情報の取得は、行動予定取得部221によりなされる。なお、ここで、取得する行動予定情報は、その開始日時312eおよび終了日時312f間に現在時刻が含まれるレコードとする。なお、現在時刻以降のレコードを全て抽出してもよい。
行動予定表示部233は、表示部131に抽出した行動予定情報を表示し(ステップS1207)、処理を終了する。表示は、表示制御部222が行う。
この時の、表示例を、図16(a)および図16(b)に示す。情報表示装置100が、スマートフォン100Sの場合、表示制御部222は、図16(a)に示すように、タッチスクリーン180上の表示対象座席の座席位置541に、行動予定情報180Sを重畳表示する。行動予定情報180Sを異なる位置に重畳表示し、座席位置541と引出線等で結び付けても良い。一方、HMD100Hの場合は、表示制御部222は、透過型の表示部131の、表示対象座席の位置に行動予定情報180Sを表示する。なお、この場合の表示対象座席の位置とは、ユーザ910の眼と表示対象座席531とを結ぶ線分と表示部131との交点の位置である。これにより、ユーザは、図16(b)に示すように、実空間AAと行動予定情報180Sの表示とを同時に観ることができる。
以上説明したように、本実施形態の情報表示装置100は、座席に予め割り当てられた使用者である割当使用者512の行動予定を表示する。そして、情報表示装置100の位置情報および方向情報を検出する自装置配置情報検出部と、情報表示装置100から行動予定を表示する割当使用者532の座席である表示対象座席531までの距離情報を取得する距離情報取得部213と、位置情報、方向情報および距離情報を用いて、表示対象座席531の位置情報として表示座席位置情報を算出する座席位置算出部217と、座席それぞれについて、各座席の位置情報である登録座席位置情報に対応づけて当該座席の割当使用者の情報である割当使用者情報を登録する座席情報テーブル250から、表示座席位置情報に最も近い登録座席位置情報に対応づけて登録された割当使用者情報を抽出し、割当使用者情報に対応づけて登録される行動予定のうち、現在の行動予定を取得する行動予定取得部221と、取得した行動予定を、情報表示装置100の表示部131に表示する表示制御部222と、を備える。
このように、本実施形態では、情報表示装置100が備えるセンサ群等を用いて、自身の位置、向き、および不在の割当使用者の座席位置を算出し、予め保持した座席情報から割当使用者の情報を得る。そして、得られた割当使用者の予定を表示する。従って、本実施形態によれば、予めARマーカを付与する必要がない。よって、このような準備の手間や制約なしに、不在の割当使用者の行動予定を表示できる。
さらに、本実施形態の情報表示装置は、前記割当使用者が着座している際に当該割当使用者を含む画像を取得して前記座席情報テーブルを生成する座席情報テーブル生成部232を備える。この座席情報テーブル生成部232は、登録対象の座席である登録対象座席511の割当使用者512を特定可能な識別画像を取得する識別画像取得部218と、識別画像に対応づけて登録されている個人情報311aを取得し、割当使用者情報とする割当使用者情報取得部と、を備える。そして、距離情報取得部213に、登録対象座席511までの距離情報を登録座席距離情報として取得させ、座席位置算出部217に、位置情報、方向情報および登録座席距離情報を用いて、登録対象座席511の位置情報を登録座席位置情報として算出させ、登録座席位置情報と割当使用者情報とを対応づけて登録する。
このように、本実施形態によれば、各情報表示装置100により、前処理として、座席情報テーブル250を作成する。このため、例えば、各情報表示装置100のセンサ部150にバイアスが有る場合であっても、精度よく、行動予定を表示したい座席位置を特定することができる。
また、本実施形態によれば、行動予定は、表示部131上の、表示対象座席位置に相当する位置に表示される。従って、どの割当使用者の行動予定であるかを、ユーザ910は、容易に把握できる。
また、本実施形態によれば、ユーザ910が指定した座席の割当使用者の行動予定が表示される。従って、ユーザ910は、所望の情報を効率よく得ることができる。
<変形例1>
なお、上記実施形態では、ユーザ910が意図的に指定した座席(表示対象座席)の割当使用者の行動予定を表示する。しかし、本実施形態は、これに限定されない。
例えば、情報表示装置100のユーザ910が、部屋等において、任意の座席の方向に情報表示装置100を向けた場合に、その座席の位置等から、その座席の割当使用者を特定し、その割当使用者が在席していれば、何の表示も行わず、離席していれば、その割当使用者の行動予定情報を、管理サーバ300から取得して、その座席位置に(重畳)表示してもよい。
情報表示装置100を向けるとは、具体的には、第一画像取得部133の視野範囲の中心近傍(画像センサ内の中心位置CC近傍)に表示対象座席が配置されるということである。表示対象座席が第一画像取得部133の視野範囲の中心近傍に配置されてすぐに割り当て使用者の行動予定情報を表示するようにしても良いし、表示対象座席が第一画像取得部133の視野範囲の中心近傍に所定時間以上配置され続けた場合に割り当て使用者の行動予定情報を表示するようにしても良い。
この場合、情報表示装置100は、在不在判別部231は必須である。ここでは、在不在判別部231は、所定の時間間隔で、情報表示装置100がスルー画像を取得する毎に、表示対象座席を特定し、在(着座)か不在(非着座)かを判別する。
本実施形態では、例えば、在不在判別部231は、表示対象座席と判定された座席を含む、予め定めた領域の画像を被照合画像として切り取る。そして、被照合画像を、予めストレージ部110に保持する照合用画像と照合し、在不在を判別する。
ストレージ部110に保持される照合用画像は、例えば、図17(a)に示すように、在席時画像551と不在時画像552とである。在不在判別部231は、被照合画像を、在席時画像551および不在時画像552とそれぞれ照合し、より合致度の高い方に応じて判別結果を出力する。
例えば、座席560が表示対象座席とされたものとする。図17(b)の場合、この部屋Aを撮影して得られた入力画像500(不図示)上で、座席560を含む破線561で囲まれた画像領域を抽出し、被照合画像とする。この被照合画像の場合、在席時画像の551方が、一致度が高い。このため、在不在判別部231は、在席と判別する。また、図17(c)の場合、この部屋Aを撮影して得られた入力画像500(不図示)上で、破線561で囲まれた画像領域を抽出し、被照合画像とする。この被照合画像の場合、不在時画像552の方が、一致度が高い。このため、在不在判別部231は、不在と判別する。
この場合の、行動予定表示処理の流れを、図18に示す。本処理は、所定の時間間隔で実行される。例えば、情報表示装置100が、スルー画像を取得する毎に、実行される。
在不在判別部231は、スルー画像の略中央に配置される座席を含む近傍領域を被照合画像として切り取り(ステップS1301)、当該座席に関し、使用者が不在であるか否かを判別する(ステップS1302)。
ここで、不在と判別された場合(S1302;Yes)、行動予定表示部233は、上記実施形態のステップS1201以降の処理を行い、その座席の割当使用者の行動予定を表示する。一方、不在でない、すなわち、在席、と判別された場合(S1302;No)、そのまま処理を終了する。
本変形例によれば、さらに、ユーザ910の手間を低減できる。
<変形例2>
また、上記実施形態では、座席情報テーブル250を生成する座席情報テーブル生成処理と、行動予定表示処理とは、別個独立のものとして実行される。しかし、本実施形態は、これに限定されない。例えば、スルー画像を取得する毎に、割当使用者が在席している座席については、座席情報テーブル250を生成し、不在の座席については、行動予定表示処理を行い、両処理を並行して実行させてもよい。
この場合、座席情報テーブル250に未登録でかつ不在の人物については、その旨、表示する。この場合の機能ブロックは、上記変形例1と同様である。
この場合の処理の流れを、図19に示す。本処理は、スルー画像を取得する毎に実行される。
まず、行動予定表示部233は、位置情報取得部211および方向情報取得部212に、スルー画像を取得した際の、自身(情報表示装置100)の、位置情報および方向情報をそれぞれ、取得させる(ステップS1401、S1402)。
次に、行動予定表示部233は、スルー画像内の、座席領域を抽出し(ステップS1403)、抽出した各座席領域に、1から順に連番を付与する。付与した最後の番号の数字、すなわち、抽出した座席数をnとする(nは、1以上の整数)。座席領域は、例えば、パターンマッチング等により、抽出する。
行動予定表示部233は、付与した番号が1の座席領域から順に、以下の処理を行う(ステップS1404)。
まず、行動予定表示部233は、距離情報取得部213に、n番目の座席領域に対応する実空間の座席(以下、対象座席と呼ぶ。)までの距離を取得させる(ステップS1405)。次に、座席位置算出部217に、対象座席の座席位置情報を算出させる(ステップS1406)。
次に、在不在判別部231は、対象座席に、使用者が不在であるか否かを判別する(ステップS1407)。
ここで、在席と判別された場合(S1407;No)、座席情報テーブル生成部232は、座席情報テーブル生成処理を行う。ここでは、基本的に上記実施形態の座席表生成処理と同様である。ただし、対象座席のレコードが座席情報テーブル250に既に登録されている場合は、更新処理を行う。
すなわち、まず、座席情報テーブル生成部232は、識別画像取得部218に、対象座席に着座している人物(着座者)の顔画像を抽出させる(ステップS1408)。そして、当該顔画像と一致する所属員の個人ID311cおよび氏名311bを所属員データベース311から取得する(ステップS1409)。
次に、座席情報テーブル生成部232は、座席情報テーブル250にアクセスし、上記座席位置情報を有するレコードが既に登録されているか否かを判別する(ステップS1410)。レコードが登録されていない場合(S1410;No)、座席位置情報と個人ID311cとを対応づけて新規レコードとして登録する(ステップS1411)。レコードが登録されている場合(S1410;Yes)、登録済レコードの更新処理を行う(ステップS1412)。
そして、全ての座席についての処理が終了したか否かを判別する(ステップS1413)。未処理の座席が有る場合、次の座席について(ステップS1414)、ステップS1405に戻る。
ステップS1412で行う更新処理では、座席情報テーブル生成部232は、ステップS1406で特定した、座席位置情報254を有するレコードの使用者情報256を、ステップS1409で抽出した個人ID311cおよび氏名311bで上書きする。そして、上書きしたレコード以外に、ステップS1409で抽出した個人ID311cが使用者情報の個人ID258に登録されているレコードがあるか否かを判別する。レコードが有る場合は、当該レコードを削除し、ない場合は、そのまま、ステップS1413へ移行する。
また、ステップS1407で、不在と判別された場合(S1407;No)、行動予定表示部233は、行動予定表示処理を行う。ここでは、基本的に上記実施形態の不在者情報表示処理と同様である。
まず、行動予定表示部233は、座席情報テーブル250にアクセスし、当該座席位置情報に対応付けられた使用者の個人ID258を抽出する(ステップS1205)。行動予定表示部233は、管理サーバ300にアクセスし、行動予定データベース312から、個人ID258と同じ個人ID312cに対応付けられた行動予定情報を取得する(ステップS1206)。そして、行動予定表示部233は、表示部131に抽出した行動予定情報を表示し(ステップS1207)、全ての座席について、処理を終えたか判別し、未処理の座席が有る場合は(S1413;No)、ステップS1404へ戻る。
なお、ステップS1413で、全ての座席について処理を終えたと判別された場合は(S1413;Yes)、行動予定表示部233は、処理を終了する。
なお、本変形例の場合も、前処理として、一通り、座席情報テーブル250を作成し、その後は、既存の座席情報テーブル250を更新するよう構成してもよい。
このような変形例にすることにより、座席情報テーブル250には、常に最新の情報が保持される。席替え等があった場合であっても、対応可能である。
<変形例3>
なお、上記実施形態および変形例では、座席を、絶対座標の座標値で特定している。しかし、座席を特定する位置情報はこれに限定されない。例えば、所定の部屋内において所定の場所を基準位置とし、当該基準位置に対する所定の部屋内での相対位置情報であってもよい。すなわち、基準位置を原点とする座標系を用いて、座席の位置を特定してもよい。この場合の処理について、上記実施形態等と異なる点に主眼をおいて説明する。
まず、空間認識部214による空間情報作成処理について説明する。
まず、情報表示装置100により、空間認識を行う所定の部屋の所定の領域の画像を取得する。ここでは、図10(a)と同じ部屋Aを例にあげて説明する。
空間認識部214は、取得した画像(入力画像500)を解析し、その入力画像500内の各特徴点間の位置関係の取得(空間認識)および基準位置を決定する。空間認識処理及び基準位置の決定手法を、図20(a)および図20(b)を用いて説明する。ここでは、説明を簡略化するため、水平面内の処理で説明する。また、図21は、この場合の空間認識処理の処理フローである。
空間認識部214は、入力画像500を解析し、複数の特徴点611を検出する(ステップS1501)。複数の特徴点としては、所定の部屋内において、基本的に移動しない、或いは、移動する可能性の少ない構造物の角等を選択する。例えば、柱と天井との接点、固定された机の角、等である。
そして、空間認識部214は、検出した各特徴点611について、方向情報取得部212に方向情報を取得させる(ステップS1502)。この方向情報は、その時点の情報表示装置100の指向方向に対する相対的な方向であり、第一画像取得部133の法線方向959に対する角度として得る。
また、空間認識部214は、各特徴点611について、距離情報取得部213に、距離情報を取得させる(ステップS1503)。この距離情報は、その時点の情報表示装置100の位置からの距離である。
空間認識部214は、各特徴点611のうちの代表的な1つを基準位置650とする(ステップS1504)。例えば、予め定めた条件に合致する特徴点611を基準位置650とする。予め定めた条件は、例えば、距離情報として得た距離が最も大きい、建築物の構造に係る最も移動する可能性の少ない、等である。本図の例では、情報表示装置100から最も遠い位置の柱の角(天井との接点)を基準位置650とする。基準位置650をどこに設定したかを示す情報を、基準位置情報として、各部屋に対応づけてストレージ部110に空間情報として保持しておく。
そして、空間認識部214は、各特徴点611について、上記方向情報および距離情報を用いて、基準位置650に対する相対位置情報を算出する(ステップS1505)。そして、算出した相対位置情報を、部屋Aの空間情報(特徴点マップ)とし、部屋Aに対応づけてストレージ部110に空間情報として登録する(ステップS1506)。
ここで、登録される空間情報610の一例を、図20(b)に示す。破線で示される丸印は空間認識処理で検出された特徴点611であり、また、そのうちの代表的な一つが基準位置650である。各特徴点611はそれぞれ基準位置650からの相対位置情報を有する。これらの情報を以て、部屋Aは他の部屋と識別される。
また、座席情報テーブル生成部232は、各座席位置情報254を、この空間情報内で特定可能な情報として取得し、座席情報テーブル250に格納する。この情報を、相対位置情報と呼ぶ。
例えば、各座席の座席位置情報を、この基準位置650を原点とした座標系で示し、座席情報テーブル250の座席位置情報254として登録する。なお、この座標系のX軸方向Y軸方向は、例えば水平面上で、任意に設定できる。例えば、予め定めた、基準位置以外の特徴点と基準位置とを結ぶ線分の方向をX軸方向とし、水平面上のX軸に直交する方向をY軸方向とする。また、例えば、北等の予め定めた基準方向をY軸方向とし、水平面上のY軸に直行する方向をX軸としても良い。Z軸方向は、鉛直方向とする。この場合、座標系も、特徴点マップとともに、空間情報610として登録しておく。
基準位置650を原点とした、各座席612の座標は、以下のように算出する。まず、情報表示装置100の方向情報取得部212が図20(a)に示す、基準位置650と、座席612との相対角度差情報δを得る。例えば、第一画像取得部133の画像センサ内の中心位置CCと、座席612の位置とのずれ量から算出する座席612の角度と、同様に算出する基準位置650の角度との差で算出する。
相対角度差情報δと、情報表示装置100から基準位置650までの距離Ls0と、情報表示装置100から座席612までの距離Ls1とを用い、基準位置650に対する座席612の位置情報(相対位置情報)を算出し、座席位置情報254として、座席情報テーブル250に格納する。
座席情報テーブル250作成処理の他の処理は、上記実施形態と同様である。
なお、特徴点611には、例えば、部屋の角、窓枠の角、キャビネットの角等、移動しないもの、あるいは、移動の可能性の低いものを用いる。
次に、本変形例の行動予定表示処理について説明する。図22は、本変形例の行動予定表示処理の処理フローである。この場合も、上記実施形態と異なる処理に主眼をおいて説明する。行動予定表示処理も、対象座席の位置情報の算出手法が異なる。また、本変形例においても、ユーザ910が、割当使用者が表示対象座席を指定したことを契機に開始されるものとする。
この時、タッチスクリーン180の表示例を図23(a)に示す。なお、ユーザ910が表示対象座席として選択した位置には、ターゲットマーカ180Mが表示される。
まず、行動予定表示部233は、空間認識部214に、対象の部屋(部屋A)の空間を認識させ、基準位置情報を取得する(ステップS1601)。
具体的には、空間認識部214は、第一画像取得部133が取得した入力画像500を解析して、複数の特徴点を抽出する。そして、抽出した複数の特徴点に対する方向情報を、方向情報取得部212に取得させる。また、各特徴点の距離情報を、距離情報取得部213に取得させる。そして、取得した方向情報と距離情報とから、各特徴点間の相対的な位置関係を算出する。そして、算出した相対的な位置関係と、ストレージ部110に登録される空間情報610とを比較することにより、情報表示装置100の現在位置が部屋Aであることを特定し、更に部屋Aの基準位置650を特定する。
行動予定表示部233は、図23(b)に示すように、方向情報取得部212が、基準位置650と、表示対象座席622との相対角度差情報εを取得する(ステップS1602)。
行動予定表示部233は、距離情報取得部213により、距離センサ155の出力に基づいて、情報表示装置100から表示対象座席622までの、距離情報を取得させる(ステップS1603)。
行動予定表示部233は、座席位置算出部217に、基準位置650に対する表示対象座席622の位置情報(相対位置情報)を算出させる(ステップS1604)。座席位置算出部217は、基準位置650の方向情報および距離情報と、表示対象座席622の相対角度差情報εおよび距離情報と、に基づいて、この相対位置情報を得る。
行動予定表示部233は、座席情報確認部220に、座席情報テーブル250から、算出した相対位置情報に対応付けられた使用者の個人ID258を抽出させる(ステップS1605)。
以下は、上記実施形態の行動予定表取得処理と同じである。すなわち、行動予定表示部233は、行動予定取得部221に、管理サーバ300の、行動予定データベース312から、個人ID258と同じ個人ID312cに対応付けられた行動予定情報を取得させる(ステップS1206)。そして、行動予定表示部233は、表示制御部222に、抽出した行動予定情報を表示部131上に表示させ(ステップS1207)、処理を終了する。
例えば、GPSの電波等が届かない屋内等においては、情報表示装置100の絶対値座標が得られない。本変形例によれば、このような場合であっても、所望の座席の割当使用者の行動予定情報を得ることができる。
<変形例4>
なお、上記実施形態では、図24(a)に示すように、行動予定データベース312から該当する行動予定の内容312gと場所312hとを抽出して表示している。しかしながら、行動予定の表示態様は、これに限定されない。
例えば、図24(b)に示すように、開始日時312eおよび終了日時312fも行動予定データベース312から抽出し、併せて表示させてもよい。
さらに、上記実施形態では、行動予定表示部233が、現在時刻が含まれるレコードの行動予定を、行動予定データベース312から取得している。しかし、取得する行動予定は、これに限定されない。例えば、現在時刻が含まれるレコードの行動予定とその次の行動予定を抽出し、或いは、現在時刻以降の行動予定を全て抽出し、表示してもよい。この場合の表示例を、図24(c)に示す。
さらに、予定に公開、非公開を設定し、非公開が設定されている場合、予定の内容、場所等を非表示とし、予定があることのみ表示させてもよい。この場合の表示例を、図24(d)に示す。この場合、行動予定データベース312に、各予定(レコード)について、公開、非公開を示す公開情報312iを付加する。
行動予定表示部233は、行動予定データベース312にアクセスし、行動予定情報を取得する際、公開情報312iを参照する。公開情報312iが非公開である場合、行動予定情報を取得しない。そして、行動予定情報として、「予定がある」ことのみを表示させる。あるいは、非公開であることを意味する情報を表示させる。
さらに、この場合、要求元の属性に応じて公開非公開のレベルを設定してもよい。例えば、同じ部署のユーザ910には、公開し、他部署のユーザ910には、公開しない、等である。
この場合、公開、非公開のレベルに応じて公開範囲を予め定めておく。そして、行動予定表示部233は、対象座席の使用者と、ユーザ910との関係に応じて、公開、非公開を判別する。そして、公開と判別された場合、行動予定情報を取得し、表示させる。
例えば、情報表示装置100は、ストレージ部110に、所有者の所属部署等の属性を特定する情報(属性情報)を記憶する。また、行動予定データベース312の個人情報312aに、属性情報を追加して記憶しておく。行動予定表示部233は、ユーザ910の属性情報と、対象座席の使用者の属性情報と、公開レベルと、により、公開、非公開を判別する。
<変形例5>
なお、不在者情報表示には、ユーザ910が座席で使用するPC(Personal Computer)の稼働情報を加味してもよい。
例えば、管理サーバ300は、各座席に配置されるPCの稼働情報(PC稼働情報)を管理する。PC稼働情報テーブル313は、例えば、図25に示すように、個人情報313a(氏名313b、個人ID313c)と、ログインID313dと、ログインパスワード(PW)313eと、稼働状況313fと、ログアウト時刻313gとが管理される。
ログインID313dおよびログインPW313eは、それぞれ、各ユーザ910がPCにログインする際に使用するユーザIDとパスワードとである。
稼働状況313fは、各ユーザ910が使用するPCが現在On-Lineか否かを示す情報が格納される。これは、PCにログイン中であるか否かを示す情報である。
ログアウト時刻313gは、各人物が最後にPCからログアウトした時刻に関する情報である。現在時刻と照らし合わせることにより、PCが非稼働になってからの経過時間を算出できる。
例えば、行動予定表示部233は、行動予定データベース312にアクセスし、該当する個人ID312cに対応づけて記憶される行動予定がない場合、PC稼働情報テーブル313にアクセスする。そして個人ID313cに対応づけて管理されている稼働状況313fとログアウト時刻313gを抽出する。
そして、稼働状況313fが稼働中であることを示すものである場合は、図24(e)に示すように、稼働状況313fを表示する。一方、稼働状況313fが非稼働であることを示すものである場合は、ログアウト時刻313gを表示する。
例えば、稼働中であるとの表示により、ユーザ910は、実行中の予定がなく、PCが稼働していることを知ることができる。これにより、社内にいる、短期の離席である可能性が高いことを把握できる。一方、最終ログアウト時刻が表示された場合、退社した可能性が高いことを把握できる。
なお、PC稼働情報の利用は、上記に限定されない。例えば、行動予定が登録されている場合であっても、PC稼働情報テーブル313にさらにアクセスしてもよい。この場合、行動予定とともにPC稼働情報テーブル313から取得した稼働状況313f、および/またはログアウト時刻313gを表示してもよい。
<変形例6>
さらに、不在である場合、連絡可能なように構成してもよい。この場合、所属員データベース311は、連絡先情報311eを備える。
行動予定表示部233は、図24(f)に示すように、行動予定情報とともに、連絡手段を起動するアイコンを表示部131に表示する。ユーザ910による選択を受け付けると、選択に応じた連絡先を、所属員データベース311の連絡先情報311eから抽出し、該当するアプリケーションを起動し、通信を行う。
連絡手段は、例えば、座席使用者の携帯電話の電話番号、座席使用者の携帯端末のメールアドレス、SNS(Social Networking Service)の会員ID等である。
例えば、電話が指定された場合は、電話アプリケーションを起動させ、取得した電話番号情報に基づいて、発呼を開始する。また、メールが指定された場合は、取得したメールアドレス情報に基づいて、送信先を指定し、メール作成画面を提示する。
<変形例7>
また、上記実施形態および変形例では、行動予定表示処理において、座席に不在の使用者(不在者)の行動予定情報180Sのみを表示しているが、例えば、在席者の行動予定情報180Sも表示させてもよい。
例えば、図24(g)に示すように、対象座席に割当使用者が在不在に係らず、ターゲットマーカ180Mで指定された表示対象座席の割当使用者の行動予定情報180Sを表示させる。
例えば、情報表示装置100のユーザ910から遠方の座席に着席している人物の、今後の予定を把握できる。
<変形例8>
上記実施形態および変形例では、各情報表示装置100において、座席情報テーブル250を生成する。しかしながら、座席情報テーブル250は、例えば、管理サーバ300が、座席情報テーブル315としてそのストレージ部310において一括して管理してもよい。各情報表示装置100が管理サーバ300にアクセスして使用する。
この場合、各情報表示装置100において、個別に座席情報テーブル250を生成する処理は行わなくてもよい。何れかの情報表示装置100が生成した座席情報テーブル250が共有され、各情報表示装置100は座席情報テーブル250の情報更新のみを行う。
各情報表示装置100で座席情報テーブル250を生成する処理が不要となり、各情報表示装置100での処理負担が低減する。また、管理サーバ300で管理することにより、常に最新の情報を保持することができる。また、ユーザ910が使用する情報表示装置100によらず、不在者情報を表示できる。
<変形例9>
例えば、管理サーバ300で、座席情報テーブル250を管理する場合、各座席の正当な割当使用者が正確に登録される。従って、例えば、上記変形例1において、特定された表示対象座席の着座者が、正当な割当使用者であるか否かを判別する処理をさらに加えてもよい。
本変形例の行動予定表示処理の処理フローを、図26に示す。
この場合、行動予定表示部233は、近傍領域を被照合画像として切り取った後(ステップS1301)、在不在判別部231が使用者の在不在を確認する前に、S1201~S1205までの処理を行い、表示対象座席の正当な割当使用者の個人ID258を特定する。
その後、在不在判別部231は、その表示対象座席における人物の在不在を判別する(ステップS1601)。
そして、不在と判別された場合は、行動予定表示部233は、ステップS1206へ進み、行動予定を抽出し、表示させる。
一方、ステップS1601で在席と判別された場合は、在不在判別部231は、さらに、着座者が正当な割当使用者であるか否かを判別する(ステップS1602)。ここでは、識別画像取得部218に、人物画像を抽出させる。そして、識別情報照合部219に、所属員データベース311から個人ID312cを取得させる。そして、在不在判別部231は、取得した個人ID312cと、ステップS1205で抽出した個人ID258とを比較し、一致すれば、着座者が正当な割当使用者であると判別する。一方、不一致の場合は、着座者は正当な割当使用者ではないと判別する。なお、所属員データベース311に当該人物画像に合致(合致度が閾値以上)するレコードが無い場合も、着座者は正当な割当使用者ではないと判別する。
行動予定表示部233は、在不在判別部231がステップS1601で不在と判別した場合、および、ステップSS1602で着座者が正当な割当使用者ではないと判別した場合、すなわち、表示対象座席に、正当な割当使用者が不在と判別された場合、ステップS1206へ進み、表示対象座席の正当な割当使用者の行動予定を表示させる。
一方、表示対象座席に正当な割当使用者が在席している場合は、行動予定表示部233は、そのまま処理を終了する。
本変形例により、表示対象座席に、当該座席の正当な割当使用者以外が一時的に着座している場合であっても、確実に正当な割当使用者が不在と判別でき、ユーザ910に必要な情報を提示できる。
<変形例10>
また、上記実施形態では、座席情報データベース作成時に、顔画像を用い、個人を特定している。しかし、個人の特定手法はこれに限定されない。例えば、着席者が携帯している社員証等、個々人を特定可能な情報を解析し、抽出することにより、特定してもよい。
<<第二実施形態>>
次に、本発明の第二実施形態について説明する。本実施形態の行動予定表示システム900aは、図27(a)に示すように、第一実施形態の行動予定表示システム900に、さらに、カメラ800を備える。
カメラ800は、各空間(部屋)に1台以上設置される。カメラ800は、行動予定表示対象の全使用者の座席が撮影範囲に入るよう、1台以上設置される。これにより、情報表示装置100は、壁やパーティション、家具等の遮蔽物が有る場合であっても、所望の使用者の座席の現状を把握することができる。
各カメラ800は、固定され、固定の撮影範囲を所定の時間間隔で撮影する固定カメラである。本実施形態のカメラ800は、図27(b)に示すように、画像を取得(撮影)する撮影部811と、距離情報を取得する距離情報取得部812とを備える。なお、各カメラ800は、これらの機能部を実現するハードウェア構成として、CCD等の撮像素子、距離センサ、CPU、ROM、RAM等を備える。
撮影部811が取得した(撮影した)画像は、管理サーバ300に保持される。なお、管理サーバ300には、最新の画像のみ保持するよう構成してもよい。また、距離情報取得部812は、カメラ800の撮影範囲に対応する空間の、各対象物までの距離情報を取得する空間内距離情報取得部である。本実施形態では、カメラ800から表示対象座席までの距離情報を取得する。
管理サーバ300は、そのストレージ部310に、カメラ配置テーブル314をさらに備える。カメラ配置テーブル314は、図28に示すように、各部屋のカメラ800の配置情報と、各カメラ800が撮影した最新の画像へのアクセス情報と、が保持される。
具体的には、カメラ800毎に、カメラ800の識別情報であるカメラID314bと、カメラ800が配置される部屋を識別する情報である部屋ID314aと、カメラ配置情報314cと、最新の画像へのアクセス情報である画像保存アドレス314fと、が登録される。なお、カメラ配置情報314cは、絶対値座標で特定されるカメラ位置情報314dと、カメラ800のレンズ面の法線方向(撮影面の向き)であるカメラ方向情報314eとを含む。
第二実施形態の他の構成は、基本的に第一実施形態およびその変形例と同じである。以下、本実施形態について、第一実施形態またはその変形例と異なる構成に主眼をおいて説明する。
座席情報テーブル生成部232による座席情報テーブル生成処理は、第一実施形態と同様である。絶対座標、相対座標いずれを用いて座席情報テーブルを生成してもよい。
次に、本実施形態の行動予定表示処理の流れを説明する。
図29は、本実施形態の行動予定表示処理の処理フローである。本処理は、入力画像500上で、ユーザ910が、所定の位置(指定位置)を指定したことを契機に開始される。例えば、図30(a)に示す部屋Aにユーザ910がいる場合を例に説明する。例えば、ユーザ910は、図30(b)に示すように、タッチスクリーン180上で、所定の位置を指定する。指定された位置には、ターゲットマーカ180Mが表示される。
まず、行動予定表示部233は、座席表生成処理と同様に、情報表示装置100の、位置情報および方向情報を取得する(ステップS1201、S1202)。
次に、指定位置までの距離情報を取得し(ステップS2101)、指定位置の位置情報を算出する(ステップS2102)。これらの処理も、第一実施形態の表示対象座席の距離情報取得処理および位置情報取得処理と同様である。
次に、本実施形態では、行動予定表示部233は、指定位置が座席であるか否かを判別する(ステップS2103)。指定位置の位置情報と、座席情報テーブル250の座席位置情報とを照合し、一致するものがある場合は、座席と、一致するものがない場合は、座席でないと判別する。
座席であると判別された場合は(ステップS2103;Yes)、第一実施形態同様、当該座席の使用者の個人ID258を抽出し(ステップS1205)、行動予定情報を行動予定データベース312から取得し(ステップS1206)、座席位置に表示し(ステップS1207)、処理を終了する。
一方、座席でないと判別された場合は(ステップS2103;No)、行動予定表示部233は、表示制御部222に、ターゲットマーカ180Mを消去させる。なお、座席でない場合とは、例えば、図30(b)に示すように、壁等の座席以外の位置が指定位置として指定された場合である。
そして、行動予定表示部233は、管理サーバ300から、各カメラ800が取得した画像の一覧情報180Lを取得し、表示制御部222に、表示させる(ステップS2104)。この場合の表示例を図31(a)に示す。ここでは、一覧情報180Lとして、カメラID314bを表示してもよいし、各画像からサムネイル画像を生成し、表示してもよい。これらは、ユーザ910から、表示したい画像の選択を受け付けるために表示される。
ユーザ910から表示する画像の選択を受け付けると、行動予定表示部233は、選択を受け付けた画像を取得し、表示制御部222に、表示部131に表示される入力画像500上に重畳表示させる(ステップS2105)。この時の表示部131に表示の様子を、図31(b)に示す。画像180Rは、所定の時間間隔で受信する。そして、受信する毎に更新される。
なお、画像180Rは、LAN410経由で、指定したカメラ800から直接受信してもよい。
その後は、行動予定表示部233は、当該画像180R上で、ユーザ910から、行動予定を表示したい座席として表示対象座席の指定を受け付け(ステップS2106)、その表示対象座席の位置情報を算出し(ステップS2107)、ステップS1205以降の処理を行い、を選択し、上記同様、行動予定情報を表示させる。
ここで、S2107における表示対象座席の位置情報は、以下のように算出される。座席位置算出部217は、まず、選択された画像を取得したカメラ800のカメラ配置情報314c(カメラ位置情報314dおよびカメラ方向情報314e)を取得する。そして、取得したカメラ位置情報314dを情報表示装置100の位置情報の代替として使用する。また、取得したカメラ方向情報314eを情報表示装置100の方向情報の代替として使用し、図14に示した行動予定表示処理と同様の処理を行えばよい。なお、表示対象座席までの距離情報は、カメラ800が備えた距離情報取得部812に取得させればよい。
なお、表示対象座席までの距離情報は、各座席が固定である場合、予め各カメラ800において、距離情報取得部812が取得し、カメラ800内に保持してもよい。
以上説明したように、本実施形態の行動予定表示システムは、第一実施形態の構成に、独立した空間毎に固定され、当該空間を撮影する固定されたカメラ800をさらに備える。そして、管理サーバ300は、各カメラ800の位置情報であるカメラ位置情報と、カメラ800の方向情報であるカメラ方向情報と、を保持し、表示対象座席が、カメラ800が撮影した画像内の座席である場合、座席位置算出部217は、カメラ位置情報およびカメラ方向情報を用いて、表示座席位置情報を算出する。
本実施形態によれば、ユーザ910が直接見ることができない部屋の座席の割当使用者の予定も知ることができる。
なお、第一実施形態の各変形例は、本実施形態にも適用可能である。
本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100:情報表示装置、100H:HMD、100S:スマートフォン、101:主制御部、102:システムバス、103:RAM、109H:フレーム、109S:ケース、110:ストレージ部、120:操作受付部、121:操作キー、121P:電源スイッチ、122:タッチセンサ、123:タッチパネル、124:指紋センサ、125:LED、130:画像処理部、131:表示部、132:画像信号処理部、133:第一画像取得部、133L:左第一画像取得部、133R:右第一画像取得部、134:第二画像取得部、140:音声処理部、141:音声出力部、141L:左音声出力部、141R:右音声出力部、141M:モノラルスピーカ、141S:ステレオスピーカ、142:音声信号処理部、143:音声入力部、150:センサ部、151:GPS受信部、152:ジャイロセンサ、153:地磁気センサ、154:加速度センサ、155:距離センサ、160:通信処理部、161:LAN通信部、162:電話網通信部、163:BT通信部、170:拡張インタフェース部、170U:USB端子、180:タッチスクリーン、180L:一覧情報、180M:ターゲットマーカ、180R:画像、180S:行動予定情報、
211:位置情報取得部、212:方向情報取得部、213:距離情報取得部、214:空間認識部、215:視線検出部、216:座席選択受付部、217:座席位置算出部、218:識別画像取得部、219:識別情報照合部、220:座席情報確認部、221:行動予定取得部、222:表示制御部、223:連絡制御部、231:在不在判別部、232:座席情報テーブル生成部、233:行動予定表示部、
250:座席情報テーブル、251:座席情報、252:座席ID、253:部屋ID、254:座席位置情報、256:使用者情報、257:氏名、258:個人ID、
300:管理サーバ、301:主制御部、302:バス、303:RAM、310:ストレージ部、311:所属員データベース、311a:個人情報、311b:氏名、311c:個人ID、311d:認証用顔画像、311e:連絡先情報、312:行動予定データベース、312a:個人情報、312b:氏名、312c:個人ID、312d:識別No.、312e:開始日時、312f:終了日時、312g:内容、312h:場所、312i:公開情報、312j:行動予定情報、313:PC稼働情報テーブル、313a:個人情報、313b:氏名、313c:個人ID、313d:ログインID、313e:ログインPW、313f:稼働状況、313g:ログアウト時刻、314:カメラ配置テーブル、314a:部屋ID、314b:カメラID、314c:カメラ配置情報、314d:カメラ位置情報、314e:カメラ方向情報、314f:画像保存アドレス、315:座席情報テーブル、320:操作受付部、331:表示部、332:画像信号処理部、361:LAN通信部、
410:内部ネットワーク、420:ゲートウェイ装置、430:外部ネットワーク、440:GPS衛星、450:携帯情報端末、
500:入力画像、511:登録対象座席、512:割当使用者、521:領域、522:顔領域、523:所定領域、531:表示対象座席、541:座席位置、551:在席時画像、552:不在時画像、560:座席、561:破線、610:空間情報、611:特徴点、612:座席、622:表示対象座席、650:基準位置、800:カメラ、811:撮影部、812:距離情報取得部、
900:行動予定表示システム、900a:行動予定表示システム、910:ユーザ、958:基準方向、959:法線方向、A:部屋、AA:実空間、CC:画像センサ中心位置、Ls:距離、Ls0:距離、Ls1:距離

Claims (7)

  1. 対象物の情報を表示する情報表示装置で実行される情報表示方法であって、
    前記情報表示装置の位置情報および方向情報を取得する自装置配置情報取得ステップと、
    前記情報表示装置のユーザの視線情報を取得する視線情報取得ステップと、
    前記視線情報取得ステップで取得した前記視線情報に基づいて対象物を選択する対象物選択ステップと、
    前記対象物選択ステップで選択した前記対象物までの距離情報を取得する距離情報取得ステップと、
    前記自装置配置情報取得ステップで取得した前記位置情報および前記方向情報と前記視線情報取得ステップで取得した前記視線情報と前記距離情報取得ステップで取得した前記距離情報とに基づいて、前記対象物選択ステップで選択した前記対象物の対象物位置情報を算出する対象物位置情報算出ステップと、
    前記対象物位置情報算出ステップで算出した前記対象物位置情報をサーバに送信するとともに、前記対象物位置情報に対応してサーバから送信された対象物情報を受信する対象物情報取得ステップと、
    前記対象物情報取得ステップで取得した前記対象物情報を表示部に表示する表示ステップと、
    を含む
    ことを特徴とする情報表示方法。
  2. 対象物の情報を表示する情報表示装置で実行される情報表示方法であって、
    前記情報表示装置の位置情報および方向情報を取得する自装置配置情報取得ステップと、
    前記情報表示装置のユーザの視線情報を取得する視線情報取得ステップと、
    前記視線情報取得ステップで取得した前記視線情報に基づいて対象物を選択する対象物選択ステップと、
    前記対象物選択ステップで選択した前記対象物までの距離情報を取得する距離情報取得ステップと、
    前記自装置配置情報取得ステップで取得した前記位置情報および前記方向情報と前記視線情報取得ステップで取得した前記視線情報と前記距離情報取得ステップで取得した前記距離情報とに基づいて、前記対象物選択ステップで選択した前記対象物の対象物位置情報を算出する対象物位置情報算出ステップと、
    前記対象物位置情報算出ステップで算出した前記対象物位置情報に基づいて所定のテーブルから対象物関連情報を取得する対象物関連情報参照ステップと、
    前記対象物関連情報参照ステップで取得した前記対象物関連情報をサーバに送信するとともに、前記対象物関連情報に対応してサーバから送信された対象物情報を受信する対象物情報取得ステップと、
    前記対象物情報取得ステップで取得した前記対象物情報を表示部に表示する表示ステップと、
    を含む
    ことを特徴とする情報表示方法。
  3. 請求項1または請求項2に記載の情報表示方法であって、
    前記情報表示装置の周辺画像を取得する画像取得ステップを更に備え、
    前記表示ステップは、
    前記対象物情報取得ステップで取得した前記対象物情報を前記画像取得ステップで取得した前記周辺画像に重畳して前記表示部に表示する
    ことを特徴とする情報表示方法。
  4. 請求項1または請求項2に記載の情報表示方法であって、
    現在時刻情報を取得する現在時刻情報取得ステップを更に備え、
    前記表示ステップは、
    前記現在時刻情報取得ステップで取得した前記現在時刻情報に基づいて前記対象物情報取得ステップで取得した前記対象物情報から抽出した情報を前記表示部に表示する
    ことを特徴とする情報表示方法。
  5. 請求項1または請求項2に記載の情報表示方法であって、
    前記表示ステップは、
    前記対象物情報取得ステップで取得した前記対象物情報に設定された公開レベルに応じて前記表示部への表示が制御される
    ことを特徴とする情報表示方法。
  6. 請求項1または請求項2に記載の情報表示方法であって、
    前記情報表示装置が前記ユーザが頭部に装着して使用するヘッドマウントディスプレイである場合に実行される
    ことを特徴とする情報表示方法。
  7. 請求項1または請求項2に記載の情報表示方法であって、
    前記情報表示装置が前記ユーザが把持して使用する携帯情報端末である場合に実行される
    ことを特徴とする情報表示方法。
JP2023060505A 2023-04-04 情報表示方法 Active JP7570453B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023060505A JP7570453B2 (ja) 2023-04-04 情報表示方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021514783A JP7258127B2 (ja) 2019-04-19 2019-04-19 情報表示装置および行動予定表示システム
PCT/JP2019/016887 WO2020213170A1 (ja) 2019-04-19 2019-04-19 情報表示装置および行動予定表示システム
JP2023060505A JP7570453B2 (ja) 2023-04-04 情報表示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021514783A Division JP7258127B2 (ja) 2019-04-19 2019-04-19 情報表示装置および行動予定表示システム

Publications (2)

Publication Number Publication Date
JP2023097446A true JP2023097446A (ja) 2023-07-07
JP7570453B2 JP7570453B2 (ja) 2024-10-21

Family

ID=

Also Published As

Publication number Publication date
JP7258127B2 (ja) 2023-04-14
JPWO2020213170A1 (ja) 2020-10-22
CN113728345A (zh) 2021-11-30
WO2020213170A1 (ja) 2020-10-22
US20220207490A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
EP3340177B1 (en) Method and system for creating virtual message onto a moving object and searching the same
US10187571B2 (en) Image management apparatus, image communication system, method for controlling display of captured image, and non-transitory computer-readable medium
US10204272B2 (en) Method and system for remote management of location-based spatial object
CN104903775A (zh) 头戴式显示器及其控制方法
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102312457B1 (ko) 사용자 단말의 위치정보를 활용한 원격업무환경 구축 방법 및 그에 의해 구축된 원격업무환경 구축 시스템
JP4860723B2 (ja) 経路案内システム、経路案内装置及び経路案内方法
JP7258127B2 (ja) 情報表示装置および行動予定表示システム
EP3340154A1 (en) Method and system for remote management of virtual message for a moving object
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP7124281B2 (ja) プログラム、情報処理装置、画像処理システム
JP7570453B2 (ja) 情報表示方法
US20220345619A1 (en) Apparatus, image processing system, communication system, method for setting, image processing method, and recording medium
JP2023121636A (ja) 情報処理システム、通信システム、画像共有方法、プログラム
CN110298527B (zh) 信息输出方法、系统及设备
US20180189687A1 (en) Terminal apparatus, reservation server, and processing method of terminal apparatus
WO2024116270A1 (ja) 携帯情報端末及び仮想現実表示システム
JP7458418B2 (ja) 携帯型情報端末及び情報処理システム
US20240284394A1 (en) Providing location information service remotely
KR102505426B1 (ko) 원격 위치정보 서비스 제공
JP2019164001A (ja) 情報提供システム、サーバ装置、端末用プログラム、及び情報提供方法
JP7207028B2 (ja) 情報処理装置、情報処理システム、電子黒板装置、制御方法、およびプログラム
JP6931757B2 (ja) サイネージ装置、表示方法、およびプログラム
WO2022003912A1 (ja) 情報処理システムおよび情報処理端末
US20230308764A1 (en) Display terminal, communication system, method for displaying, method for communicating, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241008