CN109101205A - 信息输出系统、信息输出方法以及存储介质 - Google Patents

信息输出系统、信息输出方法以及存储介质 Download PDF

Info

Publication number
CN109101205A
CN109101205A CN201810521828.XA CN201810521828A CN109101205A CN 109101205 A CN109101205 A CN 109101205A CN 201810521828 A CN201810521828 A CN 201810521828A CN 109101205 A CN109101205 A CN 109101205A
Authority
CN
China
Prior art keywords
information
vehicle
content
person recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810521828.XA
Other languages
English (en)
Other versions
CN109101205B (zh
Inventor
佐野尊
佐野尊一
蛭田茂宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN109101205A publication Critical patent/CN109101205A/zh
Application granted granted Critical
Publication of CN109101205B publication Critical patent/CN109101205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4524Management of client data or end-user data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明提供信息输出系统、信息输出方法以及存储介质,具备存储装置和处理装置,在所述存储装置中,由影像、声音等信息构成的内容信息与表示关联的人物和关联的地理位置的人物识别信息和位置识别信息关联并存储,所述处理装置具备:输入信息获取部,所述输入信息获取部生成车辆的搭乘者的人物识别信息和该车辆的当前位置的位置识别信息;信息提取部,所述信息提取部从所述存储装置提取与如下位置识别信息和如下人物识别信息关联的所述内容信息,所述位置识别信息表示与所述生成的位置识别信息在规定距离范围内一致的位置,所述人物识别信息与所述生成的人物识别信息一致;以及信息输出部,所述信息输出部从显示装置等输出所述提取的内容信息。

Description

信息输出系统、信息输出方法以及存储介质
技术领域
本发明涉及信息输出系统、信息输出方法以及存储介质。
背景技术
在多个人搭乘车辆出行的情况下,经常通过进行关于如下话题的会话,所述话题与出行的目的、目的地或者当前位置有关联,从而搭乘者间的会话变热烈,出行变舒适。因此,如上所述,在多个人搭乘车辆出行的情况下,当提供关于该车辆通过的位置等的信息作为话题时是方便的。特别是,例如能够在搭乘者间共享任意的搭乘者去该地方时的回忆和构成该回忆的图像等时,则会话容易变热烈,出行的舒适性也提高。
另外,这种话题的提供、回忆的共享不限于搭乘者之间,例如,在目的地设施(例如作为住宿目的地的酒店)中的设施工作人员与搭乘者之间、作为回归目的地的各搭乘者的家庭中的家人与该搭乘者之间,也能够提供作为会话的话题而有效地发挥功能。
以往,作为在多个搭乘者间共享图像信息等的技术,已知有如下车辆用回忆共享系统:在使用汽车一起旅行的成员间,共享各成员用便携终端等拍摄到的该旅行中的图像、影像等回忆信息(例如参照日本特开2015-230519号(以下称为专利文献1))。在该系统中,在旅行中使用的汽车的车载器确定同乘该汽车的各成员的便携终端,从该便携终端收集回忆信息,例如在到达目的地时,将该收集到的回忆信息(统合回忆信息)与该确定的便携终端的信息一起发送给服务器,利用该服务器向上述确定的便携终端分发上述统合回忆信息。
然而,在专利文献1记载的系统中,车载器将从各搭乘者的便携终端收集到的图像等信息发送给服务器,服务器仅是在接收到该收集的信息时向各便携终端分发该信息。即,在上述以往系统中,虽然能够在一同去该旅行的搭乘者间共享多个搭乘者一起去的旅行目的地的回忆,但是不能将一个搭乘者的过去的回忆在不与该回忆关联的当前的车辆的搭乘者间和/或与搭乘者关联的人物(家人、在目的地的人物等)之间且在该回忆作为话题有效地发挥功能的适当定时进行共享。
发明内容
根据上述背景,期望实现如下的信息输出系统,所述信息输出系统能够将搭乘者的过去的信息(例如,构成回忆的信息)在该信息可能成为话题的适当定时在多个搭乘者间和/或与这些搭乘者关联的人物之间共享。
本发明的技术方案是考虑了这种情况而做出的,其目的在于提供在适当的场面向用户输出预先保存的内容的信息输出系统、信息输出方法以及程序,所述内容由在车辆出行过程中拍摄的图像、影像和/或获取的声音等构成。
(1)本发明的一个技术方案的信息输出系统具备存储装置和处理装置,所述处理装置选择该存储装置存储的信息并输出,在所述存储装置中,内容信息与人物识别信息和位置识别信息关联地存储,所述内容信息由图像、影像和/或声音的信息构成,所述人物识别信息和位置识别信息表示与该内容信息关联的人物和与该内容信息关联的地理位置,所述处理装置具备:输入信息获取部,所述输入信息获取部生成表示车辆的搭乘者即人物的人物识别信息和表示该车辆的当前的地理位置的位置识别信息;信息提取部,所述信息提取部从所述存储装置提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与所述输入信息获取部生成的位置识别信息表示的地理位置在规定距离范围内一致的位置,所述人物识别信息是与所述输入信息获取部生成的人物识别信息一致的信息;以及信息输出部,所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出所述提取的内容信息。
(2)也可以是,在上述(1)的技术方案中,所述输入信息获取部根据利用搭载于所述车辆的摄像机拍摄到的该车辆的搭乘者的面部图像,生成所述人物识别信息。
(3)也可以是,在上述(1)或(2)的技术方案中,所述处理装置还具备内容信息获取部,所述内容信息获取部从搭载于所述车辆的、获取该车辆的外部环境和/或车室内的图像和/或影像的摄像机和/或搭载于所述车辆的麦克风获取所述图像、影像和/或声音的各信息,作为所述内容信息并存储于所述存储装置。
(4)也可以是,在上述(1)至(3)中的任一个技术方案中,所述处理装置还具备状态信息获取部,所述状态信息获取部生成所述信息输出部输出所述提取的内容信息时的、由所述车辆的车室内的图像、影像和/或声音构成的分发状态信息。
(5)也可以是,在上述(4)的技术方案中,所述处理装置还具备信息分发部,所述信息分发部向存在于所述车辆的外部的规定的终端装置分发所述信息输出部输出的内容信息和所述状态信息获取部生成的分发状态信息。
(6)也可以是,在上述(1)至(5)中的任一个技术方案中,所述存储装置和所述处理装置设置于车载装置,所述车载装置搭载于所述车辆。
(7)也可以是,在上述(1)至(5)中的任一个技术方案中,具备:车载装置,所述车载装置搭载于所述车辆;和服务器,所述服务器与所述车载装置以能够通信的方式连接并存在于所述车辆的外部,所述处理装置由包含所述输入信息获取部和所述信息输出部的第一处理装置、包含所述信息提取部的第二处理装置构成,所述车载装置具备所述第一处理装置的一部分,所述服务器具备所述存储装置和所述第二处理装置。
(8)本发明的一个技术方案的服务器具备所述存储装置和所述第二处理装置,并构成上述(7)的技术方案。
(9)本发明的一个技术方案的信息输出方法具备如下步骤:处理装置的输入信息获取部生成表示车辆的搭乘者即人物的人物识别信息和表示该车辆的当前的地理位置的位置识别信息;所述处理装置的信息提取部从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与所述生成的位置识别信息表示的地理位置在规定距离范围内一致的位置,所述人物识别信息与所述生成的人物识别信息一致,所述内容信息由图像、影像和/或声音的信息构成;所述处理装置的信息输出部从搭载于所述车辆的显示装置和/或扬声器输出所述提取的内容信息。
(10)本发明的一个技术方案的程序使作为搭载于车辆的计算机的车载装置作为输入信息获取部、信息提取部以及信息输出部发挥功能,所述输入信息获取部生成表示所述车辆的搭乘者即人物的人物识别信息和表示所述车辆的当前的地理位置的位置识别信息;所述信息提取部从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与所述输入信息获取部生成的位置识别信息表示的地理位置在规定距离范围内一致的位置,所述人物识别信息与所述输入信息获取部生成的人物识别信息一致,所述内容信息由图像、影像和/或声音的信息构成;所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出所述提取的内容信息。
(11)本发明的一个技术方案的程序使作为搭载于车辆的计算机的车载装置作为输入信息获取部和信息输出部发挥功能,所述输入信息获取部生成人物识别信息和位置识别信息并发送给配置在所述车辆外的服务器,所述人物识别信息表示作为所述车辆的搭乘者的人物,所述位置识别信息表示所述车辆的当前的地理位置;所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出从所述服务器接收到的内容信息。
(12)本发明的一个技术方案是使服务器作为信息提取部发挥功能的程序,所述服务器是配置在车辆外的计算机,所述信息提取部从所述车辆的车载装置接收人物识别信息和位置识别信息,所述人物识别信息表示作为车辆的搭乘者的人物,所述位置识别信息表示所述车辆的当前的地理位置,从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与从所述车载装置接收到的位置识别信息表示的地理位置在规定距离范围内一致的位置,所述人物识别信息与所述接收到的人物识别信息一致,所述内容信息由图像、影像和/或声音的信息构成。
根据本发明的技术方案,能够提供在适当的场面向用户输出预先保存的内容的信息输出系统、信息输出方法以及程序,所述内容由在车辆出行过程中拍摄的图像、影像和/或获取的声音等构成。
附图说明
图1是表示本发明的一实施方式的信息输出系统的结构的图。
图2是表示构成图1所示的信息输出系统的车载装置的结构的图。
图3是表示构成图1所示的信息输出系统的服务器的结构的图。
图4是表示存储在图3所示的服务器的存储装置中的回忆信息记录的结构的一例的图。
图5是表示存储在图3所示的服务器的存储装置中的分发状态记录的结构的一例的图。
图6是表示存储在图3所示的服务器的存储装置中的分发记录的结构的一例的图。
图7是表示图2所示的车载装置执行的回忆信息收集处理的步骤的流程图。
图8是表示图2所示的车载装置执行的回忆信息输出处理的步骤的流程图。
图9是表示图3所示的服务器执行的回忆信息记录处理的步骤的流程图。
图10是表示图3所示的服务器执行的回忆信息分发处理的步骤的流程图。
图11是表示图3所示的服务器执行的分发状态通知处理的步骤的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式。
图1是表示本发明的一实施方式的信息输出系统的结构的图。作为向用户输出的信息的一例,本信息输出系统100在回忆信息可能成为话题的适当定时,输出与至少一名车辆搭乘者过去乘车并经历的回忆相关的信息(回忆信息),从而能够在当前的多个搭乘者间和/或与这些搭乘者关联的人物之间共享。其中,向用户输出的信息不限于上述与回忆相关的信息,能够设为人乘车而能够得到的一般信息(可利用摄像机、麦克风获取的一般信息,例如搭乘者的表情、车室内播放的音乐、车辆外的景色等等)。
本系统100具备搭载有车载装置102的至少一辆车辆104和配置在车辆104的外部的服务器106。各车载装置102与服务器106例如经由无线通信以能够通信的方式连接。
另外,服务器106还与规定的终端装置108、110、112、114以能够通信的方式连接。终端装置108、110例如分别设置于图1所示的两辆车辆104中的图示上侧的车辆104的一名搭乘者的自己家即家120和作为该车辆104的目的地的设施122(例如住宿设施)。另外,终端装置112、114例如分别设置于图1所示的两辆车辆104中的图示下侧的车辆104的一名搭乘者的自己家即家124和作为该车辆104的目的地的设施126(例如日间服务设施)。
需要说明的是,在此表示4个规定的终端装置108、110、112、114,但不限于此,能够设为任意数量的终端装置与服务器106以能够通信的方式连接。同样地,在此图示有两辆车辆104,但不限于此,能够设为:分别搭载于任意数量的车辆104的车载装置102与服务器106以能够通信的方式连接。
另外,服务器106例如能够设为经由互联网线路网、电话线路网与车载装置102和终端装置108等连接的所谓云服务器。
图2是表示搭载于车辆104的车载装置102的结构的图。车载装置102具有处理装置200和通信器202。处理装置200在与搭载于车辆104(以下,称为主车辆104)的音频视频装置(AV装置)220、车外摄像机222、室内摄像机224以及定位装置226之间进行数据的收发,所述车辆104搭载有作为本装置的车载装置102。在AV装置220上连接有搭载于主车辆104的操作显示装置230、扬声器232以及麦克风234。
操作显示装置230例如由液晶显示装置等显示器240、配置在该显示器240的屏幕上的触摸面板242构成。显示器240基于从AV装置220发送的信号,在该显示器240的屏幕上显示图像、影像。另外,用户能够使用触摸面板242,向AV装置220输入数据、命令等。
AV装置220具有基于用户经由例如触摸面板242输入的命令,再现存储在CD、DVD、USB存储器等存储介质中的音乐、影像,并向扬声器232和/或显示器240输出的功能,除此之外,还对从车载装置102输出的图像、影像和/或声音进行中继,向显示器240输出该图像和/或影像,和/或向扬声器232输出该声音。另外,AV装置220根据来自车载装置102的请求,利用麦克风234收集主车辆104的车室内的声音,并向车载装置102发送收集到的声音。
车外摄像机222例如设置在主车辆104的保险杠、外后视镜(side mirror)上来拍摄主车辆104的前方和/或侧方的环境。另外,室内摄像机224例如设置在主车辆104的室内镜上,并拍摄该主车辆104的车室内的全景(至少能够拍摄搭乘者全员的面部的视角的范围)。
另外,定位装置226例如是GPS(Global Positioning System:全球定位系统)装置并输出定位数据,所述定位数据表示主车辆104的当前位置。
车载装置102具备的通信器202是以能够通信的方式将该车载装置102与服务器106连接的例如无线通信器。
车载装置102具备的处理装置200是具有CPU(Central Processing Unit:中央处理单元)等处理器、写入有程序的ROM(Read Only Memory:只读存储器)以及用于暂时存储数据的RAM(Random Access Memory:随机存取存储器)等的计算机,并具有信息收集单元210、输入信息获取单元212、信息输出单元214以及状态获取单元216。
处理装置200具备的上述各单元通过作为计算机的处理装置200执行程序而实现,该计算机程序能够预先存储于计算机可读取的任意的存储介质。也能够取而代之或在此基础上,利用分别包含一个以上电子电路部件的硬件构成上述各单元的全部或一部分。
信息收集单元210例如响应于经由触摸面板242从用户接收到信息收集工作的开始指示而开始工作。信息收集单元210在开始工作时,利用室内摄像机224获取主车辆104的室内的图像和/或影像,并且利用车外摄像机222获取主车辆104的环境(该主车辆104的前方、侧方)的图像和/或影像,和/或经由AV装置220从麦克风234收集在主车辆104内播放的音乐、从车外进入的车辆环境的声音或搭乘者的会话等的声音。另外,信息收集单元210从定位装置226获取定位数据并生成位置识别信息(例如由经纬度构成),所述定位数据表示收集上述图像、影像和/或声音时的主车辆104的地理位置,所述位置识别信息表示该地理位置。
并且,信息收集单元210从上述获取的主车辆104的车室内的图像或影像辨认作为该主车辆104的搭乘者的各人物,并生成对该辨认出的各人物进行识别的人物识别信息。在此,人物识别信息例如能够设为由按人物分配的识别代码构成。另外,人物识别信息的生成例如能够通过预先将人物的图像(例如面部图像)与该人物的识别代码关联并使车载装置102学习(例如,预先存储于车载装置102具备的存储装置(未图示)),并且信息收集单元210进行该学习的人物图像与搭乘者的图像的图像匹配从而实现。由于这种利用人物图像的学习和图像匹配的人物识别技术是公知的,所以在此省略说明。
然后,信息收集单元210经由通信器202向服务器106发送回忆信息记录请求,所述回忆信息记录请求包含由上述收集的图像、影像和/或声音的数据构成的内容数据、上述生成的位置识别信息和各搭乘者的人物识别信息。如后所述,服务器106响应于接收到回忆信息记录请求,将该回忆信息记录请求包含的内容数据、位置识别信息以及人物识别信息作为一条回忆信息记录追加并保存于存储装置300内的回忆信息数据库306。
需要说明的是,构成内容数据的图像、影像和/或声音的一次收集时间(例如5分钟)能够预先确定,信息收集单元210例如使用内容数据生成回忆信息记录请求并发送,所述内容数据由在预先确定的规定收集时间中收集到的图像、影像和/或声音构成。
输入信息获取单元212例如响应于经由触摸面板242从用户接收到信息提供工作的开始指示而开始工作。输入信息获取单元212在开始工作时,利用室内摄像机224获取主车辆104的车室内的图像,从该获取的图像辨认作为该主车辆104的搭乘者的各人物,并生成识别该辨认出的各人物的人物识别信息。另外,输入信息获取单元212从定位装置226获取定位数据并生成位置识别信息,所述定位数据表示主车辆104当前的地理位置,所述位置识别信息表示该地理位置。
然后,输入信息获取单元212经由通信器202向服务器106发送回忆信息提供请求,所述回忆信息提供请求包含上述生成的人物识别信息和位置识别信息、用于确定作为本装置的车载装置102的装置识别信息(例如ID码)。如后所述,服务器106响应于接收到该发送的回忆信息提供请求,从存储装置300存储的回忆信息数据库306提取回忆信息记录,所述回忆信息记录是包含与上述回忆信息提供请求所包含的人物识别信息相同的人物识别信息的回忆信息记录中的、包含如下位置识别信息的回忆信息记录,所述位置识别信息表示与上述回忆信息提供请求所包含的位置识别信息表示的地理位置相同的地理位置或表示距该位置处于规定距离范围内的地理位置。
然后,服务器106向作为上述回忆信息提供请求的发送源的车辆104的车载装置102发送该提取的回忆信息记录。能够通过附加上述接收到的回忆信息提供请求所包含的装置识别信息并发送上述提取的回忆信息记录,从而表示该回忆信息记录的发送目标为特定的车载装置102并由此进行向该车载装置102的发送。
需要说明的是,输入信息获取单元212重复发送回忆信息提供请求,直到作为本装置的车载装置102从服务器106接收到回忆信息记录,所述回忆信息提供请求包含表示该主车辆104最新的当前位置的位置识别信息。由此,在主车辆104到达生成回忆信息记录的位置时,在服务器106中提取过去在该位置生成的回忆信息记录并分发给车载装置102。
信息输出单元214响应于通信器202接收到从服务器106向作为本装置的车载装置102发送的回忆信息记录而开始工作。接收到的回忆信息记录是向作为本装置的车载装置102发送的记录这一情况,能够根据该接收到的回忆信息记录所包含的装置识别信息、与作为本装置的车载装置102的装置识别信息一致来判断。
信息输出单元214在开始工作时,利用AV装置220再现通信器202接收到的来自服务器106的回忆信息记录所包含的内容数据。即,在显示器240上显示该内容数据所包含的图像和/或影像,和/或,利用扬声器232输出该内容数据所包含的声音,并提供给主车辆104的搭乘者。在通信器202接收到的回忆信息记录所包含的内容数据的再现结束时,信息输出单元214的工作结束。
状态获取单元216在信息输出单元214开始回忆信息记录的内容数据的再现时开始工作。状态获取单元216在开始工作时,在再现回忆信息记录期间,利用室内摄像机224拍摄主车辆104的车室内,并且经由AV装置220利用麦克风234获取该车室内的声音。然后,状态获取单元216经由通信器202向服务器106发送当前正在再现的回忆信息记录的回忆记录识别信息、由获取的车室内的影像和声音构成的状态数据以及分发状态记录请求,所述分发状态记录请求包含有应分发该状态数据的终端装置的终端识别信息。
在此,上述“应分发状态数据的终端装置”能够设为图1所示规定的终端装置108等中的至少一个。即,“应分发状态数据的终端装置”例如能够设为家和/或作为目的地的设施具备的终端装置,所述家是车辆104中的一名搭乘者的自己家。另外,也能够设为位于分发的回忆信息所对应的人物居住的家中的终端装置。
另外,关于上述“应分发状态数据的终端装置”,例如能够设为按可能成为主车辆104的搭乘者的人物的人物识别信息和/或按主车辆104的目的地预先确定并存储于存储装置300,或用户在经由触摸面板242输入上述信息提供工作的开始指示时指定(例如输入终端识别信息)。
图3是表示服务器106的结构的图。服务器106具备存储装置300、通信器302以及处理装置320。
存储装置300存储回忆信息数据库(DB)310、分发状态信息312以及分发日志314。回忆信息数据库310由一条或多条回忆信息记录构成。图4是表示回忆信息记录的结构的一例的图。各回忆信息记录由回忆记录识别信息、内容数据、位置识别信息以及人物识别信息构成,所述内容数据由至少一名特定人物曾搭乘车辆并处于特定的地理位置时该位置处的该车辆的环境的图像、影像和/或该车辆的室内的图像、影像和/或声音构成,所述位置识别信息表示该位置,所述人物识别信息表示该至少一名特定人物。在此,回忆记录识别信息由用于将该回忆信息记录与其他回忆信息记录识别的固有符号(例如固有的ID码)构成。响应于服务器106接收到回忆信息记录请求,利用后述的信息记录单元322创建回忆信息记录并追加、保存于回忆信息数据库310。
分发状态信息312由一条或多条分发状态记录构成。图5是表示分发状态记录的结构的一例的图。各分发状态记录由状态记录识别信息、从车载装置102接收到的分发状态记录请求所包含的状态数据、装置识别信息、回忆记录识别信息以及表示至少一个终端装置的终端识别信息构成。在此,状态记录识别信息由用于将该分发状态记录与其他分发状态记录识别的固有符号(例如固有的ID码)构成。响应于服务器106接收到分发状态记录请求,利用后述的状态通知单元316创建分发状态记录并保存于存储装置300。
分发日志314由一条或多条分发记录构成。图6是表示分发记录的结构的一例的图。各分发记录由分发记录识别信息、后述的信息提取单元324从回忆信息数据库310提取并分发的回忆信息记录的回忆记录识别信息、作为该回忆信息记录的分发目标的车载装置102的装置识别信息以及分发状态记录的状态记录识别信息构成,所述分发状态记录包含在分发该回忆信息记录时在作为分发目标的车辆104获取的状态数据。在此,分发记录识别信息由用于将该分发记录与其他分发记录识别的固有符号(例如固有的ID码)构成。
后述的信息提取单元324在分发回忆信息记录时创建分发记录并保存于存储装置300。另外,后述的状态通知单元316在创建上述分发状态记录时,在包含关联的回忆信息记录的回忆记录识别信息、关联的车载装置102的装置识别信息在内的分发记录中追加并记录上述生成的分发状态记录的状态记录识别信息。
通信器302是将服务器106与车辆104的车载装置102和终端装置108、110、112、114以能够通信的方式连接的例如无线通信器。
处理装置320是具有CPU等处理器、写入有程序的ROM以及用于暂时存储数据的RAM等的计算机,并具有信息记录单元322、信息提取单元324以及状态通知单元326。
处理装置320具备的上述各单元通过作为计算机的处理装置320执行程序而实现,该计算机程序能够预先存储于计算机可读取的任意的存储介质。也能够取而代之或在此基础上,利用分别包含一个以上电子电路部件的硬件构成上述各单元的全部或一部分。
信息记录单元322响应于经由通信器302从任意的车辆104的车载装置102接收到回忆信息记录请求,将该接收到的回忆信息记录请求所包含的内容数据、位置识别信息以及人物识别信息作为一条回忆信息记录,追加并保存于存储装置300内的回忆信息数据库310。
信息提取单元324响应于经由通信器302从任意的车辆104的车载装置102接收到回忆信息提供请求,从存储装置300存储的回忆信息数据库310提取回忆信息记录,所述回忆信息记录是包含与上述接收到的回忆信息提供请求所包含的任意人物识别信息相同的人物识别信息的回忆信息记录中的、包含如下位置识别信息的回忆信息记录,所述位置识别信息表示与上述回忆信息提供请求所包含的位置识别信息表示的位置相同的位置或表示距该位置规定距离范围内的位置。
然后,信息提取单元324经由通信器302向作为上述回忆信息提供请求的发送源的车辆104的车载装置102发送该提取的回忆信息记录(即,附加上述回忆信息提供请求所包含的装置识别信息并发送上述提取的回忆信息记录)。需要说明的是,提取的回忆信息记录有多条时,输入信息获取单元212按顺序发送全部提取的多条回忆信息记录。
另外,信息提取单元324在向车载装置102发送提取的回忆信息记录时,生成由该发送的回忆信息记录的回忆记录识别信息、作为发送目标的车载装置102的装置识别信息构成的分发记录,并将生成的分发记录追加并保存于存储装置300内的分发日志314。
状态通知单元326响应于经由通信器302从任意的车辆104的车载装置102接收到分发状态记录请求,将该接收到的分发状态记录请求所包含的状态数据、装置识别信息、回忆记录识别信息以及终端识别信息作为一条分发状态记录,追加并保存于存储装置300内的分发状态信息312。
另外,状态通知单元326从分发日志314检索并提取具有与接收到的分发状态记录请求所包含的装置识别信息和回忆记录识别信息一致的装置识别信息和回忆记录识别信息的分发记录,向该提取的分发记录追加分发状态记录的状态记录识别信息并保存,所述分发状态记录追加并保存于上述分发状态信息312。
另外,其后,状态通知单元326向具有上述生成的分发状态记录所包含的终端识别信息的各终端装置发送该分发状态记录所包含的状态数据、该分发状态记录所包含的回忆记录识别信息表示的回忆信息数据库310内的回忆信息记录。
该状态数据和回忆信息记录的分发之后,状态通知单元326从分发日志314擦除在该分发中使用的分发记录,并且从存储装置300擦除上述生成的分发状态记录。需要说明的是,在本实施方式中,创建分发状态记录和分发记录并保持到状态记录等的发送完成不是必需的。但是,如果采取这种结构,由于服务器106例如能够响应于来自终端装置108等的请求进行状态数据等的再分发,所以较方便。
具有上述结构的信息输出系统100将车辆104的车内外的图像、影像和/或声音与那时的该车辆104的位置和作为该车辆104的搭乘者的人物关联,并作为回忆信息记录预先存储于服务器106。然后,当作为该搭乘者的人物中的至少一人搭乘任意的车辆104行驶经过上述位置附近时,从服务器106向该车辆104的车载装置102发送与该人物和该位置关联的回忆信息记录,并在该车辆104内再现该回忆信息记录所包含的图像、影像和/或声音。
另外,在车辆104内再现回忆信息记录时,向该车辆104的搭乘者的自己家和/或作为该车辆104的目的地的住宿设施等的规定的终端装置(108等)分发该再现的回忆信息记录、表示该再现时的该车辆104内的状态的状态数据(即,车室内的图像、影像和/或声音)。
由此,作为车辆104的搭乘者的任意的人物的、在某地理位置的过去的回忆(即,过去的图像、影像和/或声音)在行驶经过该位置周边的适当定时提供给车辆104内并在搭乘者间共享,并且也共享给与这些搭乘者关联的家人、住宿设施的人们。
在此,上述回忆信息记录所包含的内容数据与内容信息对应,上述分发状态记录所包含的状态数据与分发状态信息对应。另外,信息收集单元210和信息记录单元322与内容信息获取部对应,状态通知单元326与信息分发部对应。另外,处理装置200与第一处理装置对应,处理装置320与第二处理装置对应。
接着,说明构成本信息输出系统100的车载装置102和服务器106的工作。
<车载装置的工作>
以下,说明车载装置102的工作。车载装置102进行回忆信息收集处理和回忆信息输出处理。
〔回忆信息收集处理〕
首先,按照图7所示的流程图,说明车载装置102进行的回忆信息收集处理的步骤。回忆信息收集处理是利用车外摄像机222、室内摄像机224和/或麦克风234收集图像、影像和/或声音,并生成将这些图像、影像以及声音作为内容数据的回忆信息的处理。
本处理例如响应于经由触摸面板242从用户接收到信息收集工作的开始指示而开始。但是,本处理不限于将上述来自用户的开始指示作为触发来开始,也能够设为将特定事件的发生作为触发来开始。例如,能够设为:根据从室内摄像机224的图像检测出车辆内的会话的热烈状态(例如,搭乘者的笑容的频率或持续时间超过规定阈值而检测出)和/或利用麦克风234检测到车辆内的特定状况(例如,搭乘者的说话的长度或频率、声音的大小超过规定阈值而被检测出),开始本处理。
当开始处理时,车载装置102的信息收集单元210首先开始回忆信息的内容数据的获取(S100)。内容数据由主车辆104的车外环境的图像、影像、主车辆104的车室内的图像、影像和/或该车室内的声音构成。信息收集单元210利用车外摄像机222、室内摄像机224和/或麦克风234获取这些图像、影像和/或声音。
接着,信息收集单元210从利用室内摄像机224获取的车室内的图像辨认主车辆104的搭乘者,生成表示各搭乘者的人物识别信息(S102)。然后,判断从步骤S100的内容数据的获取开始起的经过时间是否经过规定的收集时间(S104),在没有经过时(S104,否),返回步骤S104并待机直到经过规定的收集时间。
另一方面,在经过了规定的收集时间时(S104,是),结束内容数据的获取(S106),根据定位装置226输出的定位数据(例如GPS数据),生成表示主车辆104的当前位置的位置识别信息(S108)。然后,信息收集单元210生成包含上述获取的内容数据、作为本装置的车载装置102的装置识别信息、在步骤S102中生成的搭乘者的人物识别信息以及在步骤S108中生成的位置识别信息的回忆信息记录请求(S110),并利用通信器202向服务器106发送该生成的回忆信息记录请求(S112),结束本回忆信息收集处理。
需要说明的是,在本实施方式中,从内容数据的获取开始起经过规定的收集时间后结束内容数据的收集并发送回忆信息记录请求,但不限于此,例如,也可以设为:以规定的时间间隔(例如间隔15分钟)重复在规定的收集时间中收集内容数据并发送回忆信息记录请求,直到经由触摸面板242从用户接收到信息收集工作的结束指示,或连续地收集内容数据直到接收到上述结束指示,并响应于接收到上述结束指示,结束该内容数据的收集并发送回忆信息记录请求。
〔回忆信息输出处理〕
接着,按照图8所示的流程图,说明车载装置102进行的回忆信息输出处理。回忆信息输出处理是如下处理:向服务器106发送包含搭乘者的人物识别信息和主车辆104的当前位置的位置识别信息的回忆信息提供请求,接收服务器106响应于接收到该回忆信息提供请求而发送的回忆信息记录,并利用显示器240和/或扬声器232输出该接收到的回忆信息记录所包含的内容数据的图像、影像和/或声音。本处理例如响应于经由触摸面板242从用户接收到回忆信息输出工作的开始指示而开始。
当开始处理时,首先,车载装置102的输入信息获取单元212利用室内摄像机224获取主车辆104的车室内的图像,并根据该获取的车室内图像生成主车辆104的各搭乘者的人物识别信息(S200)。接着,输入信息获取单元212根据定位装置226输出的定位数据(例如GPS数据),生成表示主车辆104的当前位置的位置识别信息(S202),并生成包含上述生成的人物识别信息和位置识别信息、作为本装置的车载装置102的装置识别信息的回忆信息提供请求,并向服务器106发送(S204)。
接着,车载装置102判断是否利用通信器202接收到从服务器106发送的回忆信息记录(S206),在没有接收到时(S206,否),返回步骤S202并重复处理。另一方面,在从服务器106接收到回忆信息记录时(S206,是),车载装置102的信息输出单元214开始进行接收到的回忆信息记录所包含的内容数据的图像、影像和/或声音的再现(S208)。该内容数据的图像、影像和/或声音的再现例如能够设为通过经由AV装置220向显示器240和/或扬声器232输出图像、影像和/或声音从而进行。
步骤S208中的回忆信息记录的再现(即,回忆信息记录所包含的内容数据的图像、影像和/或声音的再现)开始后,车载装置102的状态获取单元216利用室内摄像机224和/或麦克风234,开始进行由主车辆104的车室内的图像、影像和/或声音构成的状态数据的获取(S210)。
接着,信息输出单元214判断在步骤S208中开始的回忆信息记录的再现是否结束(即,是否将该回忆信息记录的内容数据再现到最后)(S212),在没有结束时(S212,否),返回步骤S212并继续再现直到结束。
另一方面,再现结束时(S212,是),状态获取单元216结束状态数据的获取(S214),生成分发状态记录请求,所述分发状态记录请求包含上述再现的回忆信息记录所包含的回忆记录识别信息、上述获取的状态数据、作为本装置的车载装置102的装置识别信息以及应分发该状态数据的终端装置的终端识别信息(S216)。然后,利用通信器202向服务器106发送该生成的分发状态记录请求(S218),结束本回忆信息输出处理。
需要说明的是,能够设为:在车载装置102连续地接收到多条回忆信息记录时,在步骤S218中向服务器106发送分发状态记录请求后,返回步骤S208并开始下一条回忆信息记录的再现,重复从步骤S208到S218的处理直到接收到的全部回忆信息记录的再现结束。
另外,能够设为:例如在显示于显示器240上的两个窗口内,分别同时再现回忆信息记录的内容数据所包含的车外环境的图像或影像、车室内的图像或影像。
<服务器的工作>
接着,说明服务器106的工作。服务器106进行回忆信息记录处理、回忆信息分发处理以及分发状态通知处理。
〔回忆信息记录处理〕
首先,按照图9所示的流程图,说明服务器106进行的回忆信息记录处理的步骤。在服务器106利用通信器302接收到任意的车载装置102发送的回忆信息记录请求时开始回忆信息记录处理。
当开始处理时,首先,服务器106的处理装置320的信息记录单元322根据接收到的回忆信息记录请求,生成回忆信息记录(S300)。即,信息记录单元322在接收到的回忆信息记录请求所包含的内容数据、位置识别信息以及人物识别信息上增加固有的回忆记录识别信息而生成回忆信息记录。
接着,信息记录单元322将生成的回忆信息记录追加并保存于存储装置300存储的回忆信息数据库310(S302),结束本回忆信息记录处理。
〔回忆信息分发处理〕
接着,按照图10所示的流程图,说明服务器106进行的回忆信息分发处理的步骤。在服务器106利用通信器302接收到任意的车载装置102发送的回忆信息提供请求时开始回忆信息分发处理。
当开始处理时,首先,服务器106的处理装置320的信息提取单元324基于接收到的回忆信息提供请求,从回忆信息数据库310提取回忆信息记录(S400)。即,信息提取单元324从回忆信息数据库310提取回忆信息记录,所述回忆信息记录是包含与接收到的回忆信息提供请求所包含的任意的人物识别信息相同的人物识别信息的回忆信息记录中的、包含如下位置识别信息的回忆信息记录,所述位置识别信息表示与上述回忆信息提供请求所包含的位置识别信息表示的位置相同的位置或表示距该位置规定距离范围内的位置。
接着,信息提取单元324向作为上述接收到的回忆信息提供请求的发送源的车载装置102发送上述提取的回忆信息记录(S402)。即,信息提取单元324附加上述接收到的回忆信息提供请求所包含的装置识别信息,并利用通信器302发送上述提取的回忆信息记录。接收到发送的回忆信息记录的车载装置102在附加于该接收到的回忆信息记录的装置识别信息与本装置的装置识别信息一致时,判断为该接收到的回忆信息记录是向本装置发送的记录,并进行对该接收到的回忆信息记录的处理。
接着,信息提取单元324生成分发记录,所述分发记录表示发送了上述提取的回忆信息记录这一情况(S404)。即,信息提取单元324利用发送的回忆信息记录的回忆记录识别信息、作为发送目标的车载装置102的装置识别信息以及固有的分发记录识别信息构成分发记录。
然后,信息提取单元324将生成的分发记录追加并保存于存储装置300存储的分发日志314(S406),结束本回忆信息分发处理。
〔分发状态通知处理〕
接着,按照图11所示的流程图,说明服务器106进行的分发状态通知处理的步骤。在服务器106利用通信器302接收到任意的车载装置102发送的分发状态记录请求时开始分发状态通知处理。
当开始处理时,首先,服务器106的处理装置320的状态通知单元326基于接收到的分发状态记录请求,生成分发状态记录(S500)。即,状态通知单元326在接收到的分发状态记录请求所包含的状态数据、装置识别信息、回忆记录识别信息以及终端识别信息上增加固有的状态记录识别信息而生成分发状态记录。
接着,状态通知单元326将生成的分发状态记录追加并保存于存储装置300存储的分发状态信息312后(S502),将关于该保存的分发状态记录的信息追加并保存于存储装置300存储的分发日志314内的对应的分发记录(S504)。即,状态通知单元326确定分发日志314中的、包含与上述生成的分发状态记录所包含的装置识别信息和回忆记录识别信息一致的装置识别信息和回忆记录识别信息的分发记录,在该确定的分发记录中追加上述生成的分发状态记录所包含的状态记录识别信息并保存。
接着,状态通知单元326基于在步骤S500中生成的分发状态记录,向关联的各终端装置发送关联的状态数据和回忆信息记录(S506)。即,状态通知单元326向具有在步骤S500中生成的分发状态记录所包含的终端识别信息的各终端装置发送该分发状态记录所包含的状态数据、该分发状态记录所包含的回忆记录识别信息表示的回忆信息数据库310内的回忆信息记录。
接着,状态通知单元326从存储装置300擦除在步骤S502中保存的分发状态记录,从分发日志314擦除在步骤S504中保存的分发记录(S508),结束分发状态通知处理。
需要说明的是,在本实施方式中,生成分发记录并保持该分发记录直到状态记录等的发送完成,但在本实施方式中分发记录的生成不是必需的。
另外,在本实施方式中,在分发状态记录的生成后,向规定的终端装置108等发送状态数据等,但不限于此,也可以是,在生成分发状态记录并保存于存储装置300后,例如在从终端装置108等有发送请求时,发送该保存的分发状态记录的状态数据等。在该情况下,能够设为:在上述发送请求中,包含关注的车辆104的车载装置102的装置识别信息和关注的人物的人物识别信息,服务器106的状态通知单元326从分发日志314确定包含与上述发送请求所包含的装置识别信息和人物识别信息一致的装置识别信息和人物识别信息的分发记录,基于该确定的分发记录所包含的状态记录识别信息表示的分发状态记录,向该分发状态记录所包含的终端识别信息表示的终端装置108等发送状态数据等。另外,在该情况下,能够设为:状态通知单元326响应于来自终端装置108等的发送请求而发送状态数据等后,立刻或经过规定期间时,擦除对应的分发记录和分发状态记录。
如以上说明地,本实施方式的信息输出系统100将某人物在某地理位置的回忆(图像、影像和/或声音)作为回忆信息记录并预先存储于服务器106,在该人物搭乘车辆104行驶经过该位置周边时,在该车辆104中再现该回忆信息记录的图像、影像和/或声音,并且也经由规定的终端装置108等向与该车辆104的搭乘者关联的人们分发。由此,能够在搭乘者间和/或与搭乘者关联的人们之间,在适当定时共享一名搭乘者的回忆。
需要说明的是,在本实施方式中,服务器106设置在车辆104外,在服务器106中存储和分发回忆信息,但本发明不限于该结构。例如,图3所示的服务器106也可以设置在各车载装置102内或设置在各主车辆104内。在该情况下,服务器106的通信器302仅与具备该服务器106的车载装置102的通信器202例如通过有线通信(例如总线通信)以能够通信的方式连接。能够设为:服务器106经由连接的车载装置102,存储仅在主车辆104内收集的回忆信息等,仅在该主车辆104内提供该存储的回忆信息。

Claims (12)

1.一种信息输出系统,其中,
具备存储装置和处理装置,所述处理装置选择该存储装置存储的信息并输出,
内容信息与人物识别信息和位置识别信息关联地存储在所述存储装置中,所述内容信息由图像、影像和/或声音的信息构成,所述人物识别信息和位置识别信息表示与该内容信息关联的人物和与该内容信息关联的地理位置,
所述处理装置具备:
输入信息获取部,所述输入信息获取部生成表示车辆的搭乘者即人物的人物识别信息和表示该车辆的当前的地理位置的位置识别信息;
信息提取部,所述信息提取部从所述存储装置提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与所述输入信息获取部生成的位置识别信息表示的地理位置在规定距离范围内一致的位置,所述人物识别信息是与所述输入信息获取部生成的人物识别信息一致的信息;以及
信息输出部,所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出提取的所述内容信息。
2.根据权利要求1所述的信息输出系统,其中,
所述输入信息获取部根据利用搭载于所述车辆的摄像机拍摄到的该车辆的搭乘者的面部图像,生成所述人物识别信息。
3.根据权利要求1所述的信息输出系统,其中,
所述处理装置还具备内容信息获取部,所述内容信息获取部从搭载于所述车辆的获取该车辆的外部环境和/或车室内的图像和/或影像的摄像机和/或搭载于所述车辆的麦克风,获取所述图像、影像和/或声音的各信息,作为所述内容信息并存储于所述存储装置。
4.根据权利要求1所述的信息输出系统,其中,
所述处理装置还具备状态信息获取部,所述状态信息获取部生成所述信息输出部输出所述提取的内容信息时的、由所述车辆的车室内的图像、影像和/或声音构成的分发状态信息。
5.根据权利要求4所述的信息输出系统,其中,
所述处理装置还具备信息分发部,所述信息分发部向存在于所述车辆的外部的规定的终端装置分发所述信息输出部输出的内容信息和所述状态信息获取部生成的分发状态信息。
6.根据权利要求1所述的信息输出系统,其中,
所述存储装置和所述处理装置设置于车载装置,所述车载装置搭载于所述车辆。
7.根据权利要求1至5中任一项所述的信息输出系统,其中,具备:
车载装置,所述车载装置搭载于所述车辆;和
服务器,所述服务器与所述车载装置以能够通信的方式连接并存在于所述车辆的外部,
所述处理装置由包含所述输入信息获取部和所述信息输出部的第一处理装置、包含所述信息提取部的第二处理装置构成,
所述车载装置具备所述第一处理装置的一部分,
所述服务器具备所述存储装置和所述第二处理装置。
8.构成权利要求7所述的信息输出系统的服务器,其中,
所述服务器具备所述存储装置和所述第二处理装置。
9.一种信息输出方法,包括如下步骤:
处理装置的输入信息获取部生成表示车辆的搭乘者即人物的人物识别信息和表示该车辆的当前的地理位置的位置识别信息;
所述处理装置的信息提取部从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与生成的所述位置识别信息所表示的地理位置在规定距离范围内一致的位置,所述人物识别信息是与生成的所述人物识别信息一致的信息,所述内容信息由图像、影像和/或声音的信息构成;
所述处理装置的信息输出部从搭载于所述车辆的显示装置和/或扬声器输出提取的所述内容信息。
10.一种存储介质,记录有如下程序,其中,
使作为搭载于车辆的计算机的车载装置作为输入信息获取部、信息提取部以及信息输出部发挥功能,
所述输入信息获取部生成表示所述车辆的搭乘者即人物的人物识别信息和表示所述车辆的当前的地理位置的位置识别信息;
所述信息提取部从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与所述输入信息获取部生成的位置识别信息所表示的地理位置在规定距离范围内一致的位置,所述人物识别信息是与所述输入信息获取部生成的人物识别信息一致的信息,所述内容信息由图像、影像和/或声音的信息构成;
所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出提取的所述内容信息。
11.一种存储介质,记录有如下程序,其中,
使作为搭载于车辆的计算机的车载装置作为输入信息获取部和信息输出部发挥功能,
所述输入信息获取部生成表示所述车辆的搭乘者即人物的人物识别信息和表示所述车辆的当前的地理位置的位置识别信息并发送给配置在所述车辆外的服务器;
所述信息输出部从搭载于所述车辆的显示装置和/或扬声器输出从所述服务器接收到的内容信息。
12.一种存储介质,记录有如下程序,使服务器作为信息提取部发挥功能,所述服务器是配置在车辆外的计算机,
所述信息提取部,
从所述车辆的车载装置接收表示车辆的搭乘者即人物的人物识别信息和表示所述车辆的当前的地理位置的位置识别信息,
从将内容信息关联到表示与该内容信息关联的人物和与该内容信息关联的地理位置的人物识别信息和位置识别信息并存储的存储装置,提取与下述位置识别信息和下述人物识别信息关联的所述内容信息,所述位置识别信息表示与从所述车载装置接收到的位置识别信息所表示的地理位置在规定距离范围内一致的位置,所述人物识别信息是与所述接收到的人物识别信息一致的信息,所述内容信息由图像、影像和/或声音的信息构成。
CN201810521828.XA 2017-06-20 2018-05-28 信息输出系统、信息输出方法以及存储介质 Active CN109101205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017120684A JP6582328B2 (ja) 2017-06-20 2017-06-20 情報出力システム、情報出力方法、及びプログラム
JP2017-120684 2017-06-20

Publications (2)

Publication Number Publication Date
CN109101205A true CN109101205A (zh) 2018-12-28
CN109101205B CN109101205B (zh) 2022-02-18

Family

ID=64657407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810521828.XA Active CN109101205B (zh) 2017-06-20 2018-05-28 信息输出系统、信息输出方法以及存储介质

Country Status (3)

Country Link
US (1) US11068529B2 (zh)
JP (1) JP6582328B2 (zh)
CN (1) CN109101205B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754999A (zh) * 2019-03-27 2020-10-09 本田技研工业株式会社 智能体装置及其控制方法、智能体系统、存储介质
CN111866806A (zh) * 2019-04-24 2020-10-30 丰田自动车株式会社 信息处理装置和非暂时性计算机可读记录介质
CN112020711A (zh) * 2019-03-29 2020-12-01 艾思益信息应用技术股份公司 信息提供系统
CN116325715A (zh) * 2020-09-10 2023-06-23 日产自动车株式会社 信息输出装置和信息输出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7091807B2 (ja) * 2018-04-23 2022-06-28 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
US10992689B2 (en) * 2018-09-18 2021-04-27 The Boeing Company Systems and methods for relating network intrusions to passenger-owned devices
CN113665489A (zh) * 2021-08-26 2021-11-19 武汉电动汽车技术开发有限公司 一种具有活动体肢体运动监测控制装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101879900A (zh) * 2009-04-24 2010-11-10 通用汽车环球科技运作公司 为车辆的乘员定制内容的方法和系统
CN104797484A (zh) * 2012-12-27 2015-07-22 英特尔公司 用于定制内容的系统和方法
CN204870584U (zh) * 2015-08-13 2015-12-16 重庆嗨驾科技有限公司 一种车辆信号处理分发器
CN206086599U (zh) * 2016-08-31 2017-04-12 常熟米豆智能设备科技有限公司 一种基于车联网的车载终端
US9994229B2 (en) * 2012-03-14 2018-06-12 Autoconnect Holdings Llc Facial recognition database created from social networking sites

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039573A (ja) * 2006-08-04 2008-02-21 Denso Corp 思い出情報提示システム
WO2013186894A1 (ja) * 2012-06-14 2013-12-19 パイオニア株式会社 経路探索装置、経路探索方法、経路探索プログラム及び記録媒体、並びに地点抽出装置
US10284651B2 (en) * 2014-02-27 2019-05-07 Harman International Industries, Incorporated Data aggregation and delivery
JP2015230519A (ja) * 2014-06-03 2015-12-21 株式会社デンソー 車両用思い出共有システム、車載機及び思い出共有プログラム
JP2016012338A (ja) * 2014-06-04 2016-01-21 株式会社Nttドコモ データ提示システム及びデータ提示方法
US20160066013A1 (en) * 2014-08-26 2016-03-03 Samsung Electronics Co., Ltd. Portable and personalized passenger infotainment system in connected car
CN108351886A (zh) * 2015-10-30 2018-07-31 法拉第未来公司 确定车辆使用者共同兴趣的系统
US9915547B2 (en) * 2016-03-21 2018-03-13 Honda Motor Co., Ltd. Enhanced navigation information to aid confused drivers
US20170352185A1 (en) * 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101879900A (zh) * 2009-04-24 2010-11-10 通用汽车环球科技运作公司 为车辆的乘员定制内容的方法和系统
US9994229B2 (en) * 2012-03-14 2018-06-12 Autoconnect Holdings Llc Facial recognition database created from social networking sites
CN104797484A (zh) * 2012-12-27 2015-07-22 英特尔公司 用于定制内容的系统和方法
CN204870584U (zh) * 2015-08-13 2015-12-16 重庆嗨驾科技有限公司 一种车辆信号处理分发器
CN206086599U (zh) * 2016-08-31 2017-04-12 常熟米豆智能设备科技有限公司 一种基于车联网的车载终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754999A (zh) * 2019-03-27 2020-10-09 本田技研工业株式会社 智能体装置及其控制方法、智能体系统、存储介质
CN111754999B (zh) * 2019-03-27 2023-09-26 本田技研工业株式会社 智能体装置及其控制方法、智能体系统、存储介质
CN112020711A (zh) * 2019-03-29 2020-12-01 艾思益信息应用技术股份公司 信息提供系统
CN111866806A (zh) * 2019-04-24 2020-10-30 丰田自动车株式会社 信息处理装置和非暂时性计算机可读记录介质
CN116325715A (zh) * 2020-09-10 2023-06-23 日产自动车株式会社 信息输出装置和信息输出方法

Also Published As

Publication number Publication date
CN109101205B (zh) 2022-02-18
JP6582328B2 (ja) 2019-10-02
JP2019009498A (ja) 2019-01-17
US20180365242A1 (en) 2018-12-20
US11068529B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109101205A (zh) 信息输出系统、信息输出方法以及存储介质
US9799150B2 (en) System and method for sharing real-time recording
US11683861B2 (en) Edge-based communication and internet communication for media distribution, data analysis, media download/upload, and other services
US10666761B2 (en) Method for collecting media associated with a mobile device
JP2017194950A (ja) マルチメディアキャプチャ用のシステム及び方法
CN108280524A (zh) 识别车辆和生成预约信息的系统和方法
CN104680480A (zh) 一种图像处理的方法及装置
CN111971647A (zh) 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法
CN110044372A (zh) 车载器、服务器、导航系统、地图显示程序及方法
CN104902245B (zh) 一种基于位置的信息互动系统
CN113205307A (zh) 一种信息提示方法、存储介质、服务器和系统
US10462409B2 (en) Method for collecting media associated with a mobile device
CN114900538B (zh) 智能镜子的控制方法和装置、存储介质及电子装置
JP2002320172A (ja) 撮影システム
US11677836B2 (en) Server apparatus, communication system and communication method
JP2019105966A (ja) 情報処理方法及び情報処理装置
CN106454210B (zh) 一种行车记录图像处理方法及系统
CN111161447A (zh) 车辆监控方法、系统及装置
JP6793516B2 (ja) 車両動画送信システムおよび車両動画送信方法
CN106911550B (zh) 信息推送方法、信息推送装置及系统
CN115512473B (zh) 基于智能音箱权限的开门方法、装置、介质及电子设备
KR101363275B1 (ko) 위급 상황 정보 중개 방법 및 그 장치
CN108460574B (zh) 电子证据管理系统、方法及服务器
CN117334216A (zh) 一种飞行终端噪声的去除方法、系统、装置及介质
KR20170057901A (ko) 영상 생성 및 관리 방법과 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant