JP2021068025A - 情報処理装置、プログラム及び制御方法 - Google Patents

情報処理装置、プログラム及び制御方法 Download PDF

Info

Publication number
JP2021068025A
JP2021068025A JP2019191190A JP2019191190A JP2021068025A JP 2021068025 A JP2021068025 A JP 2021068025A JP 2019191190 A JP2019191190 A JP 2019191190A JP 2019191190 A JP2019191190 A JP 2019191190A JP 2021068025 A JP2021068025 A JP 2021068025A
Authority
JP
Japan
Prior art keywords
user
information processing
processing device
information
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019191190A
Other languages
English (en)
Other versions
JP7156242B2 (ja
Inventor
耕平 三輪
Kohei Miwa
耕平 三輪
裕子 水野
Yuko Mizuno
裕子 水野
宏隆 大見謝
Hirotaka Omisha
宏隆 大見謝
強志 岡田
Tsuyoshi Okada
強志 岡田
宏光 藤井
Mitsuhiro Fujii
宏光 藤井
慎介 有賀
Shinsuke Ariga
慎介 有賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019191190A priority Critical patent/JP7156242B2/ja
Priority to US17/061,436 priority patent/US11308713B2/en
Priority to CN202011102388.8A priority patent/CN112689081B/zh
Publication of JP2021068025A publication Critical patent/JP2021068025A/ja
Application granted granted Critical
Publication of JP7156242B2 publication Critical patent/JP7156242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

【課題】旅行者に適したガイドを無人で行う情報処理装置、プログラム及び制御方法を提供する。【解決手段】情報処理システムにおいて、情報処理装置1は、制御部15を含み、ユーザに追従する。制御部15は、位置情報を取得し、位置情報から判定された観光地に応じた観光情報をユーザに提供する。また、ユーザのスケジュールを取得し、スケジュールに更に応じて前記観光情報を提供する。さらに、ユーザが会話、通話又は飲食を行っているユーザの状況に応じて、ユーザからの距離を調整する。【選択図】図2

Description

本開示は、情報処理装置、プログラム及び制御方法に関する。
従来、ドローンの安全飛行を行うための運用システムが知られている(例えば特許文献1)。
特開2018−012477号公報
上記特許文献1では、ドローンの安全飛行をどのように行うかについては開示されているものの、ドローンをどのように用いるかについては開示されていない。よって特許文献1に記載の技術事項には改善の余地がある。
かかる事情に鑑みてなされた本開示の目的は、旅行者に適したガイドを無人で行うことができる情報処理装置、プログラム及び制御方法を提供することにある。
本開示の一実施形態に係る情報処理装置は、
制御部を含み、ユーザに追従可能な情報処理装置であって、前記制御部は、
位置情報を取得し、
前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供する。
本開示の一実施形態に係るプログラムは、
ユーザに追従可能な情報処理装置のコンピュータに、
位置情報を取得することと、
前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供することと、
を含む動作を実行させる。
本開示の一実施形態に係る制御方法は、
ユーザに追従可能な情報処理装置による制御方法であって、
位置情報を取得することと、
前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供することと、
を含む。
本開示の一実施形態に係る情報処理装置、プログラム及び制御方法によれば、旅行者に適したガイドを無人で行うことができる。
情報処理システムの概略図である。 情報処理装置の機能ブロック図である。 端末装置の機能ブロック図である。 サーバの機能ブロック図である。 観光情報DBの構成を示す図である。 スケジュールDBの構成を示す図である。 混雑マップを示す図である。 情報処理装置の動作を示すフローチャートである。
図1は、本実施形態の情報処理システムSの概略図である。情報処理システムSは、互いに接続可能に構成された情報処理装置1と端末装置2とサーバ3とを含む。図1では説明の簡便のため、情報処理装置1と端末装置2とサーバ3とは1つずつ図示されている。しかし、情報処理装置1と端末装置2とサーバ3とのそれぞれの数はこれに限られない。情報処理装置1と端末装置2とサーバ3とは、例えば移動体通信網及びインターネットを含むネットワークNWを介して通信可能に構成される。
情報処理装置1は、例えばプログラム制御によりユーザを追従可能に構成される可動式の装置である。この構成により、情報処理装置1は、ユーザとの距離を所定値未満に維持することができる。情報処理装置1は、例えば、ドローンと称される無人航空機、可動式のスーツケース、又は自動運転車両であってよい。自動運転は、例えば、SAE(Society of Automotive Engineers)において定義されるレベル1乃至5を含むが、これらに限定されず、任意に定義されてもよい。
本実施形態の情報処理装置1が実行する処理の概要が説明される。情報処理装置1は、旅行中のユーザに追従する。情報処理装置1は、位置情報を取得すると、位置情報から判定された観光地に応じた観光情報を取得する。観光情報は、例えば観光地の見どころ、観光ルート、又は観光地の歴史を含む。情報処理装置1は取得した観光情報を、例えば音声又は画像によりユーザに提供する。この構成により情報処理装置1は、旅行中のユーザに適したガイドを無人で行うことができる。もって情報処理装置1は、旅行に対するユーザの満足度を向上させることができる。
図2を参照して情報処理装置1の内部構成が詳細に説明される。
情報処理装置1は、撮像部11と記憶部12と出力部13と入力部14と制御部15と通信部16とバッテリ17とを含む。各機能部は、例えば専用線を介して互いに通信可能に接続される。
撮像部11はカメラを含み、ユーザを撮像する。撮像部11は分析のために、撮像した画像を記憶部12に記録し又は制御部15に送信してよい。
記憶部12は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限られない。記憶部12は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12は、制御部15によって分析又は処理された結果の情報を記憶してよい。記憶部12は、情報処理装置1の動作又は制御に関する各種情報等を記憶してよい。記憶部12は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。例えば本実施形態の記憶部12は、観光情報DB(Database)を含む。
出力部13は物理的なインタフェースである。出力部13は、制御部15が生成した情報又は記憶部12から読み出された情報を表示する表示インタフェース(例えばパネルディスプレイ)を含む。出力部13は、制御部15が生成した情報又は記憶部12から読み出された情報を音声で出力するスピーカを含んでよい。
入力部14は、ユーザ入力を検出し、入力情報を制御部15に送る入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、音声入力を受け付けるマイクロフォン、又はICカードリーダであるが、これらに限られない。
制御部15は例えば、CPU(Central Processing Unit)若しくはMPU(Micro Processing Unit)等の1つ以上の汎用プロセッサ、又は、特定の処理に特化した1つ以上の専用プロセッサを含む。制御部15は、プロセッサに限られず、1つ以上の専用回路を含んでもよい。専用回路は、例えば、FPGA(Field-Programmable Gate Array)、又はASIC(Application Specific Integrated Circuit)であってもよい。情報処理装置1が自動運転車両である例では、制御部15は、ECU(Electronic Control Unit)、又はカーナビゲーション装置等の任意の車載装置であってもよい。
通信部16は、ネットワークNWに接続するための、1つ以上の有線又は無線LAN(Local Area Network)規格に対応する通信モジュールを含む。あるいは通信部16は、4G(4th Generation)、又は5G(5th Generation)等の1つ以上の移動体通信規格に対応するモジュールを含んでよい。通信部16は、Bluetooth(登録商標)、AirDrop(登録商標)、IrDA、ZigBee(登録商標)、Felica(登録商標)、又はRFIDといった近距離通信に対応する通信モジュール等を含んでよい。情報処理装置1が自動運転車両である例では、車載通信機が通信部16として機能してもよい。本実施形態において、情報処理装置1は、通信部16を介してネットワークNWに接続される。通信部16は、ネットワークNWを介して任意の情報(例えばGPS(Global Positioning System)を利用して得られた位置情報)を送信及び受信する。
バッテリ17は、情報処理装置1の各構成部に電力を供給してよい。バッテリ17は、充電可能な二次電池を含んでよい。二次電池は、例えば、リチウムイオン電池、ニッケルカドミウム電池、又はニッケル水素電池を含んでよい。バッテリ17は、二次電池に限られず、充電できない一次電池を含んでよい。一次電池は、例えば、アルカリ電池又はマンガン電池を含んでよい。
図3を参照して端末装置2の内部構成が詳細に説明される。
端末装置2は端末制御部21と端末通信部22と端末記憶部23とを含む。各機能部は互いに通信可能に接続される。端末装置2はユーザに所持される。
端末制御部21は例えば、CPU若しくはMPUの1つ以上の汎用プロセッサ、又は、特定の処理に特化した1つ以上の専用プロセッサを含む。端末制御部21は、プロセッサに限られず、1つ以上の専用回路を含んでもよい。専用回路は、例えば、FPGA、又はASICであってもよい。
端末通信部22は、ネットワークNWに接続するための、1つ以上の有線又は無線LAN規格に対応する通信モジュール、あるいは4G又は5G等の移動体通信規格に対応するモジュールを含む。端末通信部22は、Bluetooth(登録商標)、AirDrop(登録商標)、IrDA、ZigBee(登録商標)、Felica(登録商標)、又はRFIDといった近距離通信に対応する通信モジュールを含んでよい。本実施形態において、端末装置2は、端末通信部22を介してネットワークNWに接続される。端末通信部22は、ネットワークNWを介して任意の情報(例えばGPSを利用して得られた位置情報)を送信及び受信する。
端末記憶部23は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限られない。端末記憶部23は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。端末記憶部23は、端末制御部21によって分析又は処理された結果の情報を記憶してよい。端末記憶部23は、端末装置2の動作又は制御に関する各種情報等を記憶してよい。端末記憶部23は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。
図4を参照してサーバ3の内部構成が詳細に説明される。サーバ3は、サーバ制御部31とサーバ通信部32とサーバ記憶部33とを含む。各機能部は互いに通信可能に接続される。
サーバ制御部31は例えば、CPU若しくはMPUの1つ以上の汎用プロセッサ、又は、特定の処理に特化した1つ以上の専用プロセッサを含む。サーバ制御部31は、プロセッサに限られず、1つ以上の専用回路を含んでもよい。専用回路は、例えば、FPGA、又はASICであってもよい。
サーバ通信部32は、ネットワークNWに接続するための、1つ以上の有線又は無線LAN規格に対応する通信モジュール、あるいは4G又は5G等の移動体通信規格に対応するモジュールを含む。サーバ通信部32は、Bluetooth(登録商標)、AirDrop(登録商標)、IrDA、ZigBee(登録商標)、Felica(登録商標)、又はRFIDといった近距離通信に対応する通信モジュール等を含んでよい。本実施形態において、サーバ3は、サーバ通信部32を介してネットワークNWに接続される。サーバ通信部32は、ネットワークNWを介して任意の情報を送信及び受信する。
サーバ記憶部33は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限られない。サーバ記憶部33は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部33は、サーバ制御部31によって分析又は処理された結果の情報を記憶してよい。サーバ記憶部33は、サーバ3の動作又は制御に関する各種情報等を記憶してよい。サーバ記憶部33は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。サーバ記憶部33は、ユーザのスケジュールを記憶するスケジュールDBを含む。代替例としてスケジュールDBは端末装置2に記憶されてもよい。
本実施形態の情報処理システムSで実行される処理が詳細に説明される。ここでは一例として、情報処理装置1はドローンである。
情報処理装置1は、ユーザ指示を受け付けると、ユーザが所持する端末装置2の位置情報を端末装置2から直接的に又はサーバ3を介して間接的に、所定の時間間隔で受信する。情報処理装置1は、端末装置2の位置を認識すると、端末装置2と所定の距離を保つように移動する。所定の距離は例えば5mである。この結果、情報処理装置1はユーザに追従する。
代替例として情報処理装置1は、端末装置2の位置情報を取得する代わりに、ユーザ指示を受け付けて撮像部11を起動し、ユーザを撮像する。情報処理装置1は、撮像画像からユーザを認識する。情報処理装置1は、定期的に撮像を行うことによって、当初認識されたユーザを追従してよい。
以下では、端末装置2の位置情報が清水寺に対応する座標情報を示す例を説明する。制御部15は、端末装置2の位置情報に対応する観光地の観光情報を記憶部12の観光情報DBから取得する。代替例として制御部15は、情報処理装置1の位置情報を取得して、その位置情報に対応する観光地の観光情報を観光情報DBから取得してもよい。
図5に示すように、観光情報DBでは、観光地に対応付けて観光情報と観光情報の要約版とが記憶される。制御部15は、観光情報D001を取得すると、出力部13を介して観光情報D001を提供する。代替例として制御部15は、ユーザの端末装置2を介して観光情報D001を提供してよい。
観光情報は、画像と音声との少なくとも一方を含む。
サーバ記憶部33のスケジュールDBには、ユーザのスケジュールが記憶される。図6に示すようにスケジュールは、時刻と、時刻に対応付けられた行動内容とを含む。制御部15は、スケジュールDBからユーザのスケジュールを取得する。制御部15は、取得されたスケジュールに応じて観光情報を生成し、出力部13を介して観光情報をユーザに提供してよい。例えば制御部15は、情報処理装置1の位置が清水寺を示す上記の例では、現在の行動内容が「清水寺観光」であると判定する。その判定に応じて制御部15は、次の行動内容が「昼食」であると判定する。制御部15は昼食に関する観光情報(例えば周辺の飲食店の情報)をサーバ3から取得して、ユーザに提供してよい。
制御部15は、ユーザの状況を判定する。具体的には制御部15は、撮像部11による撮像画像又は入力部14を介して入力された音声の解析結果から、ユーザが他のユーザと会話又は通話を行っているか否かを判定する。制御部15は、ユーザが他のユーザと会話又は通話を行っていると判定すると、ユーザからの距離を遠く調整することによってユーザから離れる。代替例として制御部15は、ユーザが他のユーザと会話又は通話を行っているか否かを判定する代わりに、ユーザが飲食を行っているか否かを判定してよい。制御部15は、ユーザが飲食を行っていると判定すると、ユーザからの距離を遠く調整してよい。
制御部15は、バッテリ17の残量を判定し、その残量が基準値を超えているか否かを判定する。制御部15はバッテリ17の残量が基準値を超えていないと判定すると、観光情報DBを参照して、観光情報の要約版を記憶部12から取得する。制御部15は、観光情報の要約版を記憶部12から取得すると、要約版を、出力部13を介してユーザに提供する。他方で制御部15は、バッテリ17の残量が基準値を超えていると判定すると、観光情報の標準版を提供する。
制御部15は情報処理装置1の飛行中に、ユーザを撮像する。制御部15は、撮像画像を解析して、ユーザの表情を認識する。画像解析には、機械学習等、任意の画像解析手法を採用可能である。制御部15は、判定されたユーザの表情が所定の表情と一致するか否かを判定する。所定の表情は例えば笑っている表情又は驚いている表情であってよい。制御部15は、ユーザの表情が所定の表情と一致すると判定すると、ユーザの表情の全体を撮像可能な位置(例えばユーザの正面)に移動するよう、情報処理装置1の位置を調整する。制御部15は、位置の調整が完了すると、撮像部11によりユーザを再度撮像する。制御部15は、再度撮像された画像をユーザが閲覧できるように、その画像を端末装置2に送信してよい。
制御部15はまた、ユーザ指示を受け付けて、ユーザの上空(例えば上空100m)に移動する。制御部15は、撮像部11によりユーザの周辺を撮像する。制御部15は、撮像画像を解析して人の混雑度合いを判定し、図7に示すように混雑マップを生成する。ユーザの位置は矢印A01で示される。混雑マップでは、範囲R01及びR02に示すように、混雑度合いが所定値以上である地点が曲線で囲まれる。代替例では、混雑度合いはヒートマップで示されてよい。
制御部15は、混雑度合いをユーザに通知する。具体的には制御部15は、上空から元の位置に戻ると、ユーザが閲覧可能なように、生成した混雑マップを出力部13に表示する。代替例として制御部15は、混雑マップを出力部13に表示する代わりに、ユーザ周辺の混雑度合い(例えば、ユーザから見てどの方角が混雑しているか)を音声で通知してよい。別の代替例として制御部15は、混雑マップを端末装置2に表示させてよいし、又は混雑度合いを説明する音声を端末装置2に出力させてよい。
図8を参照して、情報処理装置1による制御方法が説明される。
ステップS1にて情報処理装置1は、端末装置2の位置情報を用いて、ユーザへの追従を開始する。
ステップS2にて情報処理装置1の制御部15は、ユーザのスケジュールを取得する。
ステップS3にて制御部15は、ユーザの状況に応じて、情報処理装置1の位置を調整する。
ステップS4にて制御部15は、バッテリ17の残量が基準値を超えているか否かを判定する。
ステップS4にてYesのとき制御部15はステップS5にて、観光地とスケジュールとに応じた観光情報をユーザに提供する。
一方でステップS4にてNoのとき、制御部15はステップS6にて、観光情報の要約版をユーザに提供する。
ステップS7にて制御部15は、ユーザの表情を撮像する。
ステップS8にて制御部15は、撮像画像を解析して、ユーザの表情が所定の表情と一致するか否かを判定する。
ステップS8にてYesのとき、制御部15はステップS9にて、情報処理装置1の位置を調整し、ステップS10にてユーザを再度撮像する。
ステップS11にて制御部15は、ユーザの上空から、ユーザの周辺の画像を撮像する。
ステップS12にて制御部15は、撮像画像から、ユーザの周辺の混雑度合いを判定し、判定された混雑度合いをユーザに通知する。
以上述べたように本実施形態によれば、情報処理装置1はユーザに追従する。情報処理装置1の制御部15は、位置情報を取得し、位置情報から判定された観光地に応じた観光情報をユーザに提供する。この構成により情報処理装置1は、旅行中のユーザに適したガイドを無人で行うことができる。もって情報処理装置1は、旅行に対するユーザの満足度を向上させることができる。
また本実施形態によれば、制御部15は、ユーザのスケジュールを取得し、スケジュールに更に応じて観光情報を提供する。この構成により、制御部15は、ユーザに一層適した観光情報を提供することができる。
また本実施形態によれば、制御部15は、ユーザの状況に応じて、ユーザからの距離を調整する。この構成により、例えばユーザが他のユーザと会話若しくは通話を行っているとき、又はユーザが飲食を行っているときにはユーザから離れることができるので、情報処理装置1の運転音が会話、通話又は飲食を阻害するおそれを低減することができる。
また本実施形態によれば、情報処理装置1は更に撮像部11を含む。制御部15は、撮像部11による撮像画像からユーザの表情を認識し、表情が所定の表情であると判定すると、情報処理装置1の位置を調整してユーザを再度撮像する。この構成により、制御部15は、旅行中のユーザの良い表情を画像におさめ、記録を残すことができる。
また本実施形態によれば、情報処理装置1はバッテリ17を更に含む。制御部15は、バッテリ17の残量に応じて、提供される観光情報の内容を調整する。この構成により、制御部15は、例えばバッテリ17の残量が足りないとき、観光情報の要約版を提供することができる。もってバッテリ17が枯渇するおそれが低減される。
また本実施形態によれば、情報処理装置1は飛行可能であり、撮像部11を更に含む。制御部15は、撮像部11を用いて上空から画像を撮像し、撮像画像を用いてユーザの周辺の混雑度合いを判定し、混雑度合いをユーザに通知する。この構成により、制御部15はユーザに混雑度合いを通知することができるので、ユーザが混雑地を避けて観光を続けることを支援することができる。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、情報処理装置1、端末装置2又はサーバ3の機能又は処理として説明された機能又は処理の全部又は一部が、コンピュータ又はスマートフォン等の汎用の情報処理装置の機能又は処理として実現されてもよい。具体的には、実施形態に係る情報処理装置1、端末装置2又はサーバ3の各機能を実現する処理内容を記述したプログラムを、汎用の情報処理装置のメモリに記憶させ、汎用の情報処理装置のプロセッサによってそのプログラムを読み出して実行させることができる。したがって、本開示は、プロセッサが実行可能なプログラムとしても実現可能である。
S 情報処理システム
1 情報処理装置
11 撮像部
12 記憶部
13 出力部
14 入力部
15 制御部
16 通信部
17 バッテリ
2 端末装置
21 端末制御部
22 端末通信部
23 端末記憶部
3 サーバ
31 サーバ制御部
32 サーバ通信部
33 サーバ記憶部

Claims (20)

  1. 制御部を含み、ユーザに追従可能な情報処理装置であって、前記制御部は、
    位置情報を取得し、
    前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供する、
    情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記制御部は、前記ユーザのスケジュールを取得し、前記スケジュールに更に応じて前記観光情報を提供する、情報処理装置。
  3. 請求項1又は2に記載の情報処理装置において、
    前記制御部は、前記ユーザの状況に応じて、前記ユーザからの距離を調整する、情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記ユーザの状況は、前記ユーザが会話、通話又は飲食を行っている状況を含む、情報処理装置。
  5. 請求項1乃至4のいずれか一項に記載の情報処理装置において、
    撮像部を更に含み、
    前記制御部は、前記撮像部による撮像画像から前記ユーザの表情を認識し、前記表情が所定の表情であると判定すると、前記情報処理装置の位置を調整して前記ユーザを再度撮像する、情報処理装置。
  6. 請求項5に記載の情報処理装置において、
    前記所定の表情は、笑っている表情又は驚いている表情を含む、情報処理装置。
  7. 請求項1乃至4のいずれか一項に記載の情報処理装置において、
    飛行可能であり、
    撮像部を更に含み、
    前記制御部は、前記撮像部を用いて上空から画像を撮像し、撮像画像を用いて前記ユーザの周辺の混雑度合いを判定し、前記混雑度合いをユーザに通知する、情報処理装置。
  8. 請求項1乃至7のいずれか一項に記載の情報処理装置において、
    バッテリを更に含み、
    前記制御部は、前記バッテリの残量に応じて、提供される観光情報の内容を調整する、情報処理装置。
  9. ユーザに追従可能な情報処理装置としてのコンピュータに、
    位置情報を取得することと、
    前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供することと、
    を含む動作を実行させるプログラム。
  10. 請求項9に記載のプログラムにおいて、
    前記ユーザのスケジュールを取得し、前記スケジュールに更に応じて前記観光情報を提供することを含む動作を前記コンピュータに更に実行させる、プログラム。
  11. 請求項9又は10に記載のプログラムにおいて、
    前記ユーザの状況に応じて、前記ユーザからの距離を調整することを含む動作を前記コンピュータに更に実行させる、プログラム。
  12. 請求項11に記載のプログラムにおいて、
    前記ユーザの状況は、前記ユーザが会話、通話又は飲食を行っている状況を含む、プログラム。
  13. 請求項9乃至12のいずれか一項に記載のプログラムにおいて、
    前記情報処理装置は撮像部を更に含み、
    前記撮像部による撮像画像から前記ユーザの表情を認識することと、
    前記表情が所定の表情であると判定すると、前記情報処理装置の位置を調整して前記ユーザを再度撮像することとを更に含む動作を前記コンピュータに実行させる、プログラム。
  14. 請求項13に記載のプログラムにおいて、
    前記所定の表情は、笑っている表情又は驚いている表情を含む、プログラム。
  15. ユーザに追従可能な情報処理装置による制御方法であって、
    位置情報を取得することと、
    前記位置情報から判定された観光地に応じた観光情報を前記ユーザに提供することと、
    を含む制御方法。
  16. 請求項15に記載の制御方法において、
    前記ユーザのスケジュールを取得し、前記スケジュールに更に応じて前記観光情報を提供することを更に含む、制御方法。
  17. 請求項15又は16に記載の制御方法において、
    前記ユーザの状況に応じて、前記ユーザからの距離を調整することを更に含む、制御方法。
  18. 請求項17に記載の制御方法において、
    前記ユーザの状況は、前記ユーザが会話、通話又は飲食を行っている状況を含む、制御方法。
  19. 請求項15乃至18のいずれか一項に記載の制御方法において、
    前記情報処理装置は撮像部を更に含み、
    前記撮像部による撮像画像から前記ユーザの表情を認識することと、
    前記表情が所定の表情であると判定すると、前記情報処理装置の位置を調整して前記ユーザを再度撮像することと、を更に含む制御方法。
  20. 請求項19に記載の制御方法において、
    前記所定の表情は、笑っている表情又は驚いている表情を含む、制御方法。
JP2019191190A 2019-10-18 2019-10-18 情報処理装置、プログラム及び制御方法 Active JP7156242B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019191190A JP7156242B2 (ja) 2019-10-18 2019-10-18 情報処理装置、プログラム及び制御方法
US17/061,436 US11308713B2 (en) 2019-10-18 2020-10-01 Information processing apparatus, non-transitory computer-readable medium, and control method for providing sightseeing information
CN202011102388.8A CN112689081B (zh) 2019-10-18 2020-10-15 信息处理装置、非临时性的计算机可读取介质以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019191190A JP7156242B2 (ja) 2019-10-18 2019-10-18 情報処理装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2021068025A true JP2021068025A (ja) 2021-04-30
JP7156242B2 JP7156242B2 (ja) 2022-10-19

Family

ID=75445751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019191190A Active JP7156242B2 (ja) 2019-10-18 2019-10-18 情報処理装置、プログラム及び制御方法

Country Status (3)

Country Link
US (1) US11308713B2 (ja)
JP (1) JP7156242B2 (ja)
CN (1) CN112689081B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708122B2 (ja) * 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020388A (ja) * 2003-06-26 2005-01-20 Nikon Corp 撮影管理ステム
JP2008012635A (ja) * 2006-07-07 2008-01-24 Toyota Motor Corp 人物識別システム
JP2017533106A (ja) * 2014-10-24 2017-11-09 フェロー,インコーポレイテッド 顧客サービスロボットおよび関連するシステムおよび方法
WO2017208754A1 (ja) * 2016-06-02 2017-12-07 ソニー株式会社 情報処理装置と情報処理方法
JP2018124718A (ja) * 2017-01-31 2018-08-09 イームズロボティクス株式会社 代理装置、基地局、代理方法及びプログラム
JP2019029776A (ja) * 2017-07-27 2019-02-21 京セラ株式会社 携帯電子機器、飛行体及び電話システム
JP2019026020A (ja) * 2017-07-27 2019-02-21 京セラ株式会社 飛行体、通信端末、通信システム、及びプログラム
CN109800636A (zh) * 2018-12-13 2019-05-24 深圳壹账通智能科技有限公司 基于生物识别的自主导游方法、装置、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004531710A (ja) * 2001-03-20 2004-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 移動する人のための情報システム
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JPWO2012124259A1 (ja) * 2011-03-14 2014-07-17 株式会社ニコン 装置およびプログラム
CN103366316A (zh) * 2012-04-05 2013-10-23 创炎资讯科技有限公司 行程规划系统及行程匹配、整合与输出之方法
JP2014202690A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 ナビゲーション装置及び記憶媒体
JP2015032149A (ja) * 2013-08-02 2015-02-16 株式会社東芝 表示制御装置、方法、及びプログラム
US20150106627A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Devices, methods, and systems for analyzing captured image data and privacy data
US9571725B2 (en) * 2014-09-02 2017-02-14 Htc Corporation Electronic device and image capture method thereof
CN104819722B (zh) * 2015-05-11 2018-04-17 华侨大学 一种行车跟随方法和系统
US9904900B2 (en) * 2015-06-11 2018-02-27 Bao Tran Systems and methods for on-demand transportation
US20170046802A1 (en) * 2015-08-10 2017-02-16 Facebook, Inc. Travel Itinerary Generation on Online Social Networks
EP3435346B1 (en) * 2016-03-23 2020-08-12 Nec Corporation Spectacle-type wearable terminal, and control method and control program for same
EP3239660B1 (en) * 2016-04-26 2019-06-19 Volvo Car Corporation Method and system for selectively enabling a user device on the move to utilize digital content associated with entities ahead
JP2018012477A (ja) 2016-07-23 2018-01-25 光俊 秋谷 ドローンの安全飛行を実現するドローン運用システム
JP6583826B2 (ja) * 2016-09-06 2019-10-02 パナソニックIpマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
US10140987B2 (en) * 2016-09-16 2018-11-27 International Business Machines Corporation Aerial drone companion device and a method of operating an aerial drone companion device
US10562624B2 (en) * 2016-11-18 2020-02-18 Magna Mirrors Of America, Inc. Vehicle vision system using aerial camera
EP4095637A1 (en) * 2016-12-12 2022-11-30 Alarm.com Incorporated Drone pre-surveillance
JP6795387B2 (ja) * 2016-12-14 2020-12-02 パナソニック株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
JP6880852B2 (ja) * 2017-03-13 2021-06-02 富士通株式会社 場所提示プログラム、場所提示方法および情報処理装置
CN107734459A (zh) * 2017-09-08 2018-02-23 西安蜂语信息科技有限公司 轨迹追踪方法、装置及系统
JP7056155B2 (ja) * 2018-01-10 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報伝達装置、情報伝達システム及びプログラム
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US11074811B2 (en) * 2018-08-21 2021-07-27 Here Global B.V. Method and apparatus for using drones for road and traffic monitoring
CN109168127A (zh) * 2018-08-27 2019-01-08 优视科技新加坡有限公司 资源推荐方法、装置、电子设备以及计算机可读介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020388A (ja) * 2003-06-26 2005-01-20 Nikon Corp 撮影管理ステム
JP2008012635A (ja) * 2006-07-07 2008-01-24 Toyota Motor Corp 人物識別システム
JP2017533106A (ja) * 2014-10-24 2017-11-09 フェロー,インコーポレイテッド 顧客サービスロボットおよび関連するシステムおよび方法
WO2017208754A1 (ja) * 2016-06-02 2017-12-07 ソニー株式会社 情報処理装置と情報処理方法
JP2018124718A (ja) * 2017-01-31 2018-08-09 イームズロボティクス株式会社 代理装置、基地局、代理方法及びプログラム
JP2019029776A (ja) * 2017-07-27 2019-02-21 京セラ株式会社 携帯電子機器、飛行体及び電話システム
JP2019026020A (ja) * 2017-07-27 2019-02-21 京セラ株式会社 飛行体、通信端末、通信システム、及びプログラム
CN109800636A (zh) * 2018-12-13 2019-05-24 深圳壹账通智能科技有限公司 基于生物识别的自主导游方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11308713B2 (en) 2022-04-19
JP7156242B2 (ja) 2022-10-19
CN112689081A (zh) 2021-04-20
US20210117646A1 (en) 2021-04-22
CN112689081B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
KR102384643B1 (ko) 전자 장치 및 그 제어 방법
EP2395326B1 (en) Method for guiding route using augmented reality and mobile terminal using the same
US11279031B2 (en) Mobile robot, movement control system, and movement control method
US20210193138A1 (en) Artificial intelligence device and method for recognizing speech with multiple languages
KR102434459B1 (ko) 이동 단말기
EP4131032A1 (en) Reminding method and related apparatus
JP7156242B2 (ja) 情報処理装置、プログラム及び制御方法
WO2021082608A1 (zh) 一种提示出行方案的方法及电子设备
CN114020387A (zh) 终端的截屏方法及装置、存储介质和电子设备
US20150163340A1 (en) Portable terminal and a method for operating the same
US20220120577A1 (en) Server, mobile system, and recording medium
KR20170071278A (ko) 이동 단말기
US20210390849A1 (en) Information processing device and method, and recording medium
CN114413918A (zh) 行程信息分享方法、相关装置、系统以及电子设备
JP7087966B2 (ja) 情報提供システム、サーバ、車載装置及び情報提供方法
CN106494544B (zh) 平衡车的控制方法和装置
CN111275300A (zh) 路网数据处理方法、装置、设备及存储介质
CN113012423B (zh) 服务器、信息处理系统、非临时性的计算机可读取介质以及控制方法
CN110767285A (zh) 一种提醒方法及终端设备
CN111837377A (zh) 移动终端及其制造方法
WO2023241482A1 (zh) 一种人机对话方法、设备及系统
US20210302179A1 (en) Server device, control device, program, vehicle, and operation method of information processing system
JP7124823B2 (ja) 情報処理装置、情報処理方法、及び情報処理システム
JP5977697B2 (ja) 電子機器、および電子機器を制御するための方法
KR20120035383A (ko) 서비스 제공 헬멧 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7156242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151