CN104871454A - 信息通信方法 - Google Patents

信息通信方法 Download PDF

Info

Publication number
CN104871454A
CN104871454A CN201380067423.9A CN201380067423A CN104871454A CN 104871454 A CN104871454 A CN 104871454A CN 201380067423 A CN201380067423 A CN 201380067423A CN 104871454 A CN104871454 A CN 104871454A
Authority
CN
China
Prior art keywords
execution mode
exposure
information
mentioned
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380067423.9A
Other languages
English (en)
Other versions
CN104871454B (zh
Inventor
大岛光昭
中西幸司
青山秀纪
渊上郁雄
秦秀彦
向井务
松下阳介
饭田惠大
山田和范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2013/003319 external-priority patent/WO2013175804A1/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104871454A publication Critical patent/CN104871454A/zh
Application granted granted Critical
Publication of CN104871454B publication Critical patent/CN104871454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Dc Digital Transmission (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

能够由多种设备进行通信的信息通信方法包括:步骤(SK91),设定图像传感器的曝光时间,以使得在由图像传感器对被摄体进行摄影而得到的图像中,根据被摄体的亮度变化而产生与图像传感器中包含的多个曝光行对应的多个亮线;步骤(SK92),图像传感器以所设定的曝光时间对亮度变化的被摄体进行摄影,由此取得包括多个亮线的亮线图像;以及步骤(SK93),对由所取得的亮线图像中包含的多个亮线的样式确定的数据进行解调,由此取得信息;在步骤(SK92)中,多个曝光行各自依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。

Description

信息通信方法
技术领域
本发明涉及智能电话、平板电脑、便携电话等的便携终端与空调、照明设备、电饭锅等的家电设备的通信方法。
背景技术
在近年来的家庭网络中,通过除了由Ethernet(注册商标)或无线LAN(Local Area Network)下的IP(Internet Protocol)连接进行的AV家电的协同之外、还具有与环境问题对应的电力使用量的管理、或从宅外的电源ON/OFF这样的功能的家庭能源管理系统(HEMS)实现多种多样的家电设备连接在网络的家电协同功能的导入正在进展。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。
为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中、通过进行使用多个照明光的单色光源的通信、能够在有限的发送装置中有效率地实现设备间的通信的技术。
现有技术文献
专利文献
专利文献1:日本特开2002-290335号公报
发明内容
发明要解决的课题
但是,在上述以往的方式中,限定于使用的设备具有照明那样的3色光源的情况。本发明解决这样的问题,提供一种能够进行包括运算力较少那样的设备的多种多样的设备间的通信的信息通信方法。
用于解决课题的手段
有关本发明的一形态的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;第1图像取得步骤,上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤中,上述多个曝光行分别依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录媒体实现,也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合实现。
发明效果
根据本发明,能够实现包括运算力较少那样的设备的多种多样的设备间的通信的信息通信方法。
附图说明
图1是实施方式1的信息通信装置的发送信号的时间图。
图2是表示实施方式1的发送信号与接收信号的关系的图。
图3是表示实施方式1的发送信号与接收信号的关系的图。
图4是表示实施方式1的发送信号与接收信号的关系的图。
图5是表示实施方式1的发送信号与接收信号的关系的图。
图6是表示实施方式1的发送信号与接收信号的关系的图。
图7是表示实施方式2的原理的图。
图8是表示实施方式2的动作的一例的图。
图9是表示实施方式2的动作的一例的图。
图10是表示实施方式2的动作的一例的图。
图11是表示实施方式2的动作的一例的图。
图12A是表示实施方式2的动作的一例的图。
图12B是表示实施方式2的动作的一例的图。
图12C是表示实施方式2的动作的一例的图。
图13是表示实施方式2的动作的一例的图。
图14是表示实施方式2的动作的一例的图。
图15是表示实施方式2的动作的一例的图。
图16是表示实施方式2的动作的一例的图。
图17是表示实施方式2的动作的一例的图。
图18是表示实施方式2的动作的一例的图。
图19是表示实施方式2的动作的一例的图。
图20是表示实施方式2的动作的一例的图。
图21是表示实施方式3的发光部的亮度的观测方法的一例的图。
图22是表示实施方式3的发光部的亮度的观测方法的一例的图。
图23是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24A是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24B是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24C是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24D是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24E是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24F是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24G是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24H是表示实施方式3的发光部的亮度的观测方法的一例的图。
图24I是表示实施方式3的发光部的亮度的观测方法的一例的图。
图25是表示实施方式3的发光部的亮度的观测方法的一例的图。
图26是表示实施方式3的信号调制方式的一例的图。
图27是表示实施方式3的信号调制方式的一例的图。
图28是表示实施方式3的信号调制方式的一例的图。
图29是表示实施方式3的信号调制方式的一例的图。
图30是表示实施方式3的信号调制方式的一例的图。
图31是表示实施方式3的信号调制方式的一例的图。
图32是表示实施方式3的信号调制方式的一例的图。
图33是表示实施方式3的信号调制方式的一例的图。
图34是表示实施方式3的信号调制方式的一例的图。
图35是表示实施方式3的信号调制方式的一例的图。
图36是表示实施方式3的信号调制方式的一例的图。
图37是表示实施方式3的信号调制方式的一例的图。
图38是表示实施方式3的信号调制方式的一例的图。
图39是表示实施方式3的信号调制方式的一例的图。
图40是表示实施方式3的信号调制方式的一例的图。
图41是表示实施方式3的信号调制方式的一例的图。
图42是表示实施方式3的发光部的检测方法的一例的图。
图43是表示实施方式3的发光部的检测方法的一例的图。
图44是表示实施方式3的发光部的检测方法的一例的图。
图45是表示实施方式3的发光部的检测方法的一例的图。
图46是表示实施方式3的发光部的检测方法的一例的图。
图47是表示实施方式3的发送信号的时间行、和将发光部摄像的图像的图。
图48是表示实施方式3的通过位置样式进行的信号的传送的一例的图。
图49是表示实施方式3的接收装置的一例的图。
图50是表示实施方式3的发送装置的一例的图。
图51是表示实施方式3的发送装置的一例的图。
图52是表示实施方式3的发送装置的一例的图。
图53是表示实施方式3的发送装置的一例的图。
图54是表示实施方式3的发送装置的一例的图。
图55是表示实施方式3的发送装置的一例的图。
图56是表示实施方式3的发送装置的一例的图。
图57是表示实施方式3的发送装置的一例的图。
图58是表示实施方式3的发光部的构造的一例的图。
图59是表示实施方式3的信号输送波的一例的图。
图60是表示实施方式3的摄像部的一例的图。
图61是表示实施方式3的接收装置的位置的推测的一例的图。
图62是表示实施方式3的接收装置的位置的推测的一例的图。
图63是表示实施方式3的接收装置的位置的推测的一例的图。
图64是表示实施方式3的接收装置的位置的推测的一例的图。
图65是表示实施方式3的接收装置的位置的推测的一例的图。
图66是表示实施方式3的发送信息的设定的一例的图。
图67是表示实施方式3的发送信息的设定的一例的图。
图68是表示实施方式3的发送信息的设定的一例的图。
图69是表示实施方式3的接收装置的构成要素的一例的框图。
图70是表示实施方式3的发送装置的构成要素的一例的框图。
图71是表示实施方式3的接收的次序的一例的图。
图72是表示实施方式3的自己位置推测的次序的一例的图。
图73是表示实施方式3的发送控制的次序的一例的图。
图74是表示实施方式3的发送控制的次序的一例的图。
图75是表示实施方式3的发送控制的次序的一例的图。
图76是表示实施方式3的车站建筑内的信息提供的一例的图。
图77是表示实施方式3的乘车服务的一例的图。
图78是表示实施方式3的店铺内服务的一例的图。
图79是表示实施方式3的无线连接的建立的一例的图。
图80是表示实施方式3的通信范围的调整的一例的图。
图81是表示实施方式3的室内的利用的一例的图。
图82是表示实施方式3的室外的利用的一例的图。
图83是表示实施方式3的道路顺序的指示的一例的图。
图84是表示实施方式3的多个摄像装置的利用的一例的图。
图85是表示实施方式3的发送装置自律控制的一例的图。
图86是表示实施方式3的发送信息的设定的一例的图。
图87是表示实施方式3的发送信息的设定的一例的图。
图88是表示实施方式3的发送信息的设定的一例的图。
图89是表示实施方式3的与二维条码的组合的一例的图。
图90是表示实施方式3的地图的制作和利用的一例的图。
图91是表示实施方式3的电子设备的状态取得和操作的一例的图。
图92是表示实施方式3的电子设备的识别的一例的图。
图93是表示实施方式3的扩展现实对象的显示的一例的图。
图94是表示实施方式3的用户界面的一例的图。
图95是表示实施方式3的用户界面的一例的图。
图96是表示实施方式3的用户界面的一例的图。
图97是表示实施方式3的用户界面的一例的图。
图98是表示实施方式3的用户界面的一例的图。
图99是表示实施方式3的用户界面的一例的图。
图100是表示实施方式3的用户界面的一例的图。
图101是表示实施方式3的用户界面的一例的图。
图102是表示实施方式3的用户界面的一例的图。
图103是表示实施方式3的用户界面的一例的图。
图104是表示实施方式3的用户界面的一例的图。
图105是表示实施方式3的用户界面的一例的图。
图106是表示实施方式3的用户界面的一例的图。
图107是表示实施方式3的用户界面的一例的图。
图108是表示实施方式3的用户界面的一例的图。
图109是表示实施方式3的用户界面的一例的图。
图110是表示实施方式3的用户界面的一例的图。
图111是表示实施方式4的向ITS的应用例的图。
图112是表示实施方式4的向ITS的应用例的图。
图113是表示实施方式4的向位置信息报知系统及施设系统的应用例的图。
图114是表示实施方式4的向超级市场的系统的应用例的图。
图115是表示实施方式4的向便携电话终端与照相机的通信的应用例的图。
图116是表示实施方式4的向水中通信的应用例的图。
图117是用来说明实施方式5的向用户的服务提供例的图。
图118是用来说明实施方式5的向用户的服务提供例的图。
图119是表示实施方式5的接收机将从发送机接收到的多个信号同时处理的情况的流程图。
图120是表示实施方式5的通过相互通信实现设备间的通讯的情况的一例的图。
图121是用来说明实施方式5的利用指向性的特性的服务的图。
图122是用来说明实施方式5的向用户的服务提供例的另一例的图。
图123是表示实施方式5的在发送机发出的光源中包含的信号的格式例的图。
图124是表示实施方式6的宅内的环境的例子的图。
图125是表示实施方式6的家电设备与智能电话的通信的例子的图。
图126是表示实施方式6的发送侧装置的结构的1例的图。
图127是表示实施方式6的接收侧装置的结构的1例的图。
图128是表示实施方式6的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图129是表示实施方式6的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图130是表示实施方式6的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图131是表示实施方式6的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图132是表示实施方式6的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图133是用来说明实施方式7的使用可视光进行用户与设备的通信的次序的图。
图134是用来说明实施方式7的使用可视光进行用户与设备的通信的次序的图。
图135是用来说明实施方式7的用户购买设备、到进行设备的初始设定为止的次序的图。
图136是用来说明实施方式7的设备故障的情况下的、服务人员专用的服务的图。
图137是用来说明实施方式7的与清扫机使用可视光通信的、用来确认清扫状况的服务的图。
图138是实施方式8的使用光通信的住宅配送服务支援的概略图。
图139是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图140是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图141是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图142是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图143是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图144是用来说明实施方式8的使用光通信的住宅配送服务支援的流程图。
图145是用来说明实施方式9的向服务器登记用户和使用中的便携电话的处理的图。
图146是用来说明实施方式9的进行用户声音特性的解析的处理的图。
图147是用来说明实施方式9的进行声音识别处理的准备的处理的图。
图148是用来说明实施方式9的进行从周边的集音设备的集音的处理的图。
图149是用来说明实施方式9的环境音特性的解析处理的图。
图150是用来说明实施方式9的将来自存在于周边的声音输出设备的声音的处理的图。
图151是用来说明实施方式9的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。
图152是用来说明实施方式9的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。
图153是用来说明实施方式9的进行电灶的通知音的调整的处理的图。
图154是表示实施方式9的对电灶设定的通知音的波形的例子的图。
图155是用来说明实施方式9的进行烹调内容的显示的处理的图。
图156是用来说明实施方式9的进行电灶的通知音的识别的处理的图。
图157是用来说明实施方式9的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。
图158是用来说明实施方式9的将电灶的运转结束向用户通知的处理的图。
图159是用来说明实施方式9的进行便携电话操作状态的确认的处理的图。
图160是用来说明实施方式9的进行用户位置的跟踪的处理的图。
图161是表示一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果、使处于距用户位置较近的位置的设备进行向用户的通知的图。
图162是表示实施方式9的在服务器或便携电话、电灶中保持的数据库的内容的图。
图163是表示实施方式9的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”、“返回”等的声音操作便携电话的显示内容的图。
图164是表示实施方式9的开始电灶的运转、在等待运转结束的期间中、或煮东西的期间等的时间中、用户向其他场所移动的图。
图165是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。
图166是作为实施方式9的用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。
图167是表示从探知到用户的设备将探知到用户的情况、及从探知到的设备到用户的相对位置向便携电话发送的图。
图168是表示实施方式9的便携电话将电灶的运转结束音识别的图。
图169是表示向识别出电灶的运转结束的便携电话向探知到用户的设备中的、具有画面显示功能或声音输出功能的设备发送向用户通知电灶的运转结束的命令的图。
图170是表示实施方式9的接受到命令的设备将通知内容向用户通知的图。
图171是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备将电灶的运转结束音识别的图。
图172是表示将电灶的运转结束从识别到该情况的设备向便携电话通知的图。
图173是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近、则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
图174是表示向用户通知电灶的运转结束的图。
图175是表示接受到电灶的运转结束的通知的用户向厨房移动的图。
图176是表示从电灶用无线通信向便携电话发送运转结束等的信息、从便携电话向用户正观看的电视机进行通知命令、用电视机的画面显示或声音向用户进行通知的图。
图177是表示从电灶以无线通信向用户正观看的电视机发送运转结束等的信息、用电视机的画面显示或声音向用户进行通知的图。
图178是表示用电视机的画面显示或声音向用户进行通知的图。
图179是表示向处于远程的用户进行信息的通知的图。
图180是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等向便携电话发送信息的图。
图181是表示从接受到图180的通信的便携电话逆向沿着信息通信路径向电灶发送操作命令等的信息的图。
图182是表示在从作为信息源设备空调向作为枢纽的便携电话不能进行直接的通信的情况下、向用户进行信息的通知的图。
图183是用来对利用使用700~900MHz的电波的通信装置的系统进行说明的图。
图184是表示远程的便携电话向用户通知信息的图。
图185是表示远程的便携电话向用户进行信息的通知的图。
图186是表示在与图185同样的情况下、代替进行通知识别设备和信息通知设备的中继的设备、2层的电视机发挥中继设备的作用的情况下的图。
图187是表示实施方式10的宅内的环境的例子的图。
图188是表示实施方式10的家电设备和智能电话的通信的例子的图。
图189是表示实施方式10的发送侧装置的结构的图。
图190是表示实施方式10的接收侧装置的结构的图。
图191是在图187中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。
图192是进行实施方式10的应用下的认证的情况下的顺序图。
图193是表示实施方式10的发送侧终端的动作的流程图。
图194是表示实施方式10的接收侧终端的动作的流程图。
图195是实施方式11的移动AV终端1向移动AV终端2发送数据的顺序图。
图196是实施方式11的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
图197是实施方式11的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
图198是实施方式11的移动AV终端1是数字照相机的情况下的系统概略图。
图199是实施方式11的移动AV终端1是数字照相机的情况下的系统概略图。
图200是实施方式11的移动AV终端1是数字照相机的情况下的系统概略图。
图201是表示实施方式12的接收机和发送机的应用例的图。
图202是表示实施方式12的接收机和发送机的应用例的图。
图203是表示实施方式12的接收机和发送机的应用例的图。
图204是表示实施方式12的接收机和发送机的应用例的图。
图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图206是表示实施方式12的接收机和发送机的应用例的图。
图207是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图208是表示实施方式12的接收机和发送机的应用例的图。
图209是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图210是表示实施方式12的接收机和发送机的应用例的图。
图211是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图212是表示实施方式12的接收机和发送机的应用例的图。
图213是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图214是表示实施方式12的接收机和发送机的应用例的图。
图215是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图216是表示实施方式12的接收机和发送机的应用例的图。
图217是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图218是表示实施方式12的接收机和发送机的应用例的图。
图219是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图220是表示实施方式12的接收机和发送机的应用例的图。
图221是表示实施方式12的接收机和发送机的应用例的图。
图222是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图223是表示实施方式12的接收机和发送机的应用例的图。
图224是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图225是表示实施方式12的接收机和发送机的应用例的图。
图226是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图227是表示实施方式12的接收机和发送机的应用例的图。
图228是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图229是表示实施方式12的接收机的状态的图。
图230是表示实施方式12的接收机的处理动作的一例的流程图。
图231是表示实施方式12的接收机的状态的图。
图232是表示实施方式12的接收机的处理动作的一例的流程图。
图233是表示实施方式12的接收机的状态的图。
图234是表示实施方式12的接收机的处理动作的一例的流程图。
图235是表示实施方式12的接收机的状态的图。
图236是表示实施方式12的接收机的处理动作的一例的流程图。
图237是表示实施方式12的接收机的状态的图。
图238是表示实施方式12的接收机的处理动作的一例的流程图。
图239是表示实施方式12的接收机和发送机的应用例的图。
图240是表示实施方式12的接收机和发送机的应用例的图。
图241是表示实施方式12的接收机和发送机的应用例的图。
图242是表示实施方式12的接收机和发送机的应用例的图。
图243是表示实施方式12的接收机和发送机的应用例的图。
图244是表示实施方式12的接收机和发送机的应用例的图。
图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图248是表示实施方式12的发送机的亮度变化的图。
图249是表示实施方式12的接收机的处理动作的一例的流程图。
图250是表示实施方式12的发送机的亮度变化的图。
图251是表示实施方式12的接收机的处理动作的一例的流程图。
图252是表示实施方式12的发送机的亮度变化的图。
图253是表示实施方式12的发送机的处理动作的一例的流程图。
图254是表示实施方式12的发送机的亮度变化的图。
图255是表示实施方式12的接收机的处理动作的一例的流程图。
图256是表示实施方式12的接收机的处理动作的一例的流程图。
图257是表示实施方式12的发送机的处理动作的一例的流程图。
图258是表示实施方式12的发送机的结构例的图。
图259是表示实施方式12的发送机的结构例的图。
图260是表示实施方式12的发送机的结构例的图。
图261是表示实施方式12的接收机的处理动作的一例的流程图。
图262是表示实施方式12的由接收机和发送机进行的显示和摄影的例子的图。
图263是表示实施方式12的发送机的处理动作的一例的流程图。
图264是表示实施方式12的接收机的处理动作的一例的流程图。
图265是表示实施方式12的接收机和发送机的应用例的图。
图266是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图267是表示实施方式12的接收机的状态的图。
图268是表示实施方式12的接收机的处理动作的一例的流程图。
图269是表示实施方式12的接收机的状态的图。
图270是表示实施方式12的接收机的处理动作的一例的流程图。
图271是表示实施方式12的接收机的处理动作的一例的流程图。
图272是表示实施方式12的发送机的波长的一例的图。
图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图275是表示实施方式12的系统的处理动作的一例的流程图。
图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图277是表示实施方式12的系统的处理动作的一例的流程图。
图278是表示实施方式12的接收机的处理动作的一例的流程图。
图279是表示实施方式12的接收机的处理动作的一例的流程图。
图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图281是表示实施方式12的接收机的处理动作的一例的流程图。
图282是表示实施方式12的接收机和发送机的应用例的图。
图283是表示实施方式12的接收机的处理动作的一例的流程图。
图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图285是表示实施方式12的系统的处理动作的一例的流程图。
图286是表示实施方式12的接收机的处理动作的一例的流程图。
图287A是表示实施方式12的发送机的结构的一例的图。
图287B是表示实施方式12的发送机的结构的另一例的图。
图288是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图289是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图290是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图291是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图294是表示实施方式13的发送机的应用例的图。
图295是表示实施方式13的发送机的应用例的图。
图296是表示实施方式13的发送机的应用例的图。
图297是表示实施方式13的发送机和接收机的应用例的图。
图298是表示实施方式13的发送机和接收机的应用例的图。
图299是表示实施方式13的发送机和接收机的应用例的图。
图300是表示实施方式13的发送机和接收机的应用例的图。
图301A是表示实施方式13的发送信号的例子的图。
图301B是表示实施方式13的发送信号的另一例的图。
图302是表示实施方式13的发送信号的例子的图。
图303A是表示实施方式13的发送信号的例子的图。
图303B是表示实施方式13的发送信号的另一例的图。
图304是表示实施方式13的发送信号的例子的图。
图305A是表示实施方式13的发送信号的例子的图。
图305B是表示实施方式13的发送信号的例子的图。
图306是表示实施方式13的发送机的应用例的图。
图307是表示实施方式13的发送机的应用例的图。
图308是用来说明实施方式13的摄像元件的图。
图309是用来说明实施方式13的摄像元件的图。
图310是用来说明实施方式13的摄像元件的图。
图311A是表示有关各实施方式的变形例的接收装置(摄像装置)的处理动作的流程图。
图311B是有关各实施方式的变形例的将通常摄像模式与微距摄像模式对比表示的图。
图312是表示有关各实施方式的变形例的显示影像等的显示装置的图。
图313是表示有关各实施方式的变形例的显示装置的处理动作的一例的图。
图314是表示有关各实施方式的变形例的显示装置的发送信号的部分的例子的图。
图315是表示有关各实施方式的变形例的显示装置的处理动作的另一例的图。
图316是表示有关各实施方式的变形例的显示装置的发送信号的部分的另一例的图。
图317是表示由有关各实施方式的变形例的显示装置进行的处理动作的又一例的图。
图318是表示有关各实施方式的变形例的包括发送机及接收机的通信系统的结构的图。
图319是表示有关各实施方式的变形例的通信系统的处理动作的流程图。
图320是表示有关各实施方式的变形例的信号传送的例子的图。
图321是表示有关各实施方式的变形例的信号传送的例子的图。
图322是表示有关各实施方式的变形例的信号传送的例子的图。
图323A是表示有关各实施方式的变形例的信号传送的例子的图。
图323B是表示有关各实施方式的变形例的信号传送的例子的图。
图323C是表示有关各实施方式的变形例的信号传送的例子的图。
图323D是表示有关各实施方式的变形例的包括显示器或投影机和接收机的通信系统的处理动作的流程图。
图324是表示有关各实施方式的变形例的发送信号的例子的图。
图325是表示有关各实施方式的变形例的发送信号的例子的图。
图326是表示有关各实施方式的变形例的发送信号的例子的图。
图327A是表示有关各实施方式的变形例的接收机的摄像元件的一例的图。
图327B是表示有关各实施方式的变形例的接收机的摄像装置的内部电路的结构例的图。
图327C是表示有关各实施方式的变形例的发送信号的例子的图。
图327D是表示有关各实施方式的变形例的发送信号的例子的图。
图328A是用来说明有关各实施方式的变形例的接收机的摄像模式的图。
图328B是表示有关各实施方式的变形例的接收机的使用特别摄像模式A的处理动作的流程图。
图329A是用来说明有关各实施方式的变形例的接收机的另一摄像模式的图。
图329B是表示有关各实施方式的变形例的接收机的使用特别摄像模式B的处理动作的流程图。
图330A是用来说明有关各实施方式的变形例的接收机的又一摄像模式的图。
图330B是表示有关各实施方式的变形例的接收机的使用特别摄像模式C的处理动作的流程图。
图331A是有关本发明的一技术方案的信息通信方法的流程图。
图331B是有关本发明的一技术方案的信息通信装置的框图。
图331C是有关本发明的一技术方案的信息通信方法的流程图。
图331D是有关本发明的一技术方案的信息通信装置的框图。
图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
图333A是有关本发明的另一技术方案的信息通信方法的流程图。
图333B是有关本发明的另一技术方案的信息通信装置的框图。
图334A是有关本发明的又一技术方案的信息通信方法的流程图。
图334B是表示有关本发明的又一技术方案的信息通信装置的框图。
图335是表示实施方式14的接收机的各模式的一例的图。
图336是表示实施方式14的接收机的摄影动作的一例的图。
图337是表示实施方式14的接收机的摄影动作的另一例的图。
图338A是表示实施方式14的接收机的摄影动作的另一例的图。
图338B是表示实施方式14的接收机的摄影动作的另一例的图。
图338C是表示实施方式14的接收机的摄影动作的另一例的图。
图339A是表示实施方式14的接收机的照相机配置的一例的图。
图339B是表示实施方式14的接收机的照相机配置的另一例的图。
图340是表示实施方式14的接收机的显示动作的一例的图。
图341是表示实施方式14的接收机的显示动作的一例的图。
图342是表示实施方式14的接收机的动作的一例的图。
图343是表示实施方式14的接收机的动作的另一例的图。
图344是表示实施方式14的接收机的动作的另一例的图。
图345是表示实施方式14的接收机的动作的另一例的图。
图346是表示实施方式14的接收机的动作的另一例的图。
图347是表示实施方式14的接收机的动作的另一例的图。
图348是表示实施方式14的接收机的动作的另一例的图。
图349是表示实施方式14的接收机、发送机和服务器的动作的一例的图。
图350是表示实施方式14的接收机的动作的另一例的图。
图351是表示实施方式14的接收机的动作的另一例的图。
图352是表示实施方式14的接收机的初始设定的例子的图。
图353是表示实施方式14的接收机的动作的另一例的图。
图354是表示实施方式14的接收机的动作的另一例的图。
图355是表示实施方式14的接收机的动作的另一例的图。
图356是表示实施方式14的接收机的动作的另一例的图。
图357是表示实施方式14的接收机的动作的另一例的图。
图358是表示实施方式14的接收机的动作的另一例的图。
图359A是表示在实施方式14的接收机的操作中使用的笔的图。
图359B是表示实施方式14的使用笔的接收机的动作的图。
图360是表示实施方式14的接收机的外观的一例的图。
图361是表示实施方式14的接收机的外观的另一例的图。
图362是表示实施方式14的接收机的动作的另一例的图。
图363A是表示实施方式14的接收机的动作的另一例的图。
图363B是表示使用实施方式14的接收机的应用例的图。
图364A是表示实施方式14的接收机的动作的另一例的图。
图364B是表示使用实施方式14的接收机的应用例的图。
图365A是表示实施方式14的发送机的动作的一例的图。
图365B是表示实施方式14的发送机的动作的另一例的图。
图366是表示实施方式14的发送机的动作的另一例的图。
图367是表示实施方式14的发送机的动作的另一例的图。
图368是表示实施方式14的多个发送机与接收机之间的通信形态的一例的图。
图369是表示实施方式14的多个发送机的动作的一例的图。
图370是表示实施方式14的多个发送机与接收机之间的通信形态的另一例的图。
图371是表示实施方式14的接收机的动作的另一例的图。
图372是表示实施方式14的接收机的应用例的图。
图373是表示实施方式14的接收机的应用例的图。
图374是表示实施方式14的接收机的应用例的图。
图375是表示实施方式14的发送机的应用例的图。
图376是表示实施方式14的发送机的应用例的图。
图377是表示实施方式14的接收方法的应用例的图。
图378是表示实施方式14的发送机的应用例的图。
图379是表示实施方式14的发送机的应用例的图。
图380是表示实施方式14的发送机的应用例的图。
图381是表示实施方式14的接收机的动作的另一例的图。
图382是表示实施方式15的接收机的动作的一例的流程图。
图383是表示实施方式15的接收机的动作的另一例的流程图。
图384A是表示实施方式15的发送机的一例的框图。
图384B是表示实施方式15的发送机的另一例的框图。
图385是表示实施方式15的包括多个发送机的系统的结构例的图。
图386是表示实施方式15的发送机的另一例的框图。
图387A是表示实施方式15的发送机的一例的图。
图387B是表示实施方式15的发送机的一例的图。
图387C是表示实施方式15的发送机的一例的图。
图388A是表示实施方式15的发送机的一例的图。
图388B是表示实施方式15的发送机的一例的图。
图389是表示实施方式15的接收机、发送机及服务器的处理动作的一例的图。
图390是表示实施方式15的接收机、发送机及服务器的处理动作的一例的图。
图391是表示实施方式15的接收机、发送机及服务器的处理动作的一例的图。
图392A是用来说明实施方式15的多个发送机的同步的说明图。
图392B是用来说明实施方式15的多个发送机的同步的说明图。
图393是表示实施方式15的发送机及接收机的动作的一例的图。
图394是表示实施方式15的发送机及接收机的动作的一例的图。
图395是表示实施方式15的发送机、接收机及服务器的动作的一例的图。
图396是表示实施方式15的发送机及接收机的动作的一例的图。
图397是表示实施方式15的接收机的外观的一例的图。
图398是表示实施方式15的发送机、接收机及服务器的动作的一例的图。
图399是表示实施方式15的发送机及接收机的动作的一例的图。
图400是表示实施方式15的发送机及接收机的动作的一例的图。
图401是表示实施方式15的发送机及接收机的动作的一例的图。
图402是表示实施方式15的发送机及接收机的动作的一例的图。
图403A是表示实施方式15的由发送机发送的信息的结构的一例的图。
图403B是表示实施方式15的由发送机发送的信息的结构的另一例的图。
图404是表示实施方式15的发送机的4值PPM调制方式的一例的图。
图405是表示实施方式15的发送机的PPM调制方式的一例的图。
图406是表示实施方式15的发送机的PPM调制方式的一例的图。
图407A是表示实施方式15的与头(前同步码部)对应的亮度变化的样式的一例的图。
图407B是表示实施方式15的亮度变化的样式的一例的图。
图408A是表示实施方式15的亮度变化的样式的一例的图。
图408B是表示实施方式15的亮度变化的样式的一例的图。
图409是表示实施方式16的店前的情形中的接收机的动作的一例的图。
图410是表示实施方式16的店前的情形中的接收机的动作的另一例的图。
图411是表示实施方式16的店前的情形中的接收机的下个动作的一例的图。
图412是表示实施方式16的店前的情形中的接收机的下个动作的一例的图。
图413是表示实施方式16的店前的情形中的接收机的下个动作的一例的图。
图414是表示实施方式16的店内的情形中的显示装置的动作的一例的图。
图415是表示实施方式16的店内的情形中的显示装置的下个动作的一例的图。
图416是表示实施方式16的店内的情形中的显示装置的下个动作的一例的图。
图417是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图418是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图419是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图420是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图421是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图422是表示实施方式16的店内的情形中的接收机的下个动作的一例的图。
图423是表示实施方式16的寻找店铺的情形中的接收机的动作的一例的图。
图424是表示实施方式16的寻找店铺的情形中的接收机的下个动作的一例的图。
图425是表示实施方式16的寻找店铺的情形中的接收机的下个动作的一例的图。
图426是表示实施方式16的电影广告的情形中的接收机的动作的一例的图。
图427是表示实施方式16的电影广告的情形中的接收机的下个动作的一例的图。
图428是表示实施方式16的电影广告的情形中的接收机的下个动作的一例的图。
图429是表示实施方式16的电影广告的情形中的接收机的下个动作的一例的图。
图430是表示实施方式16的美术馆的情形中的接收机的动作的一例的图。
图431是表示实施方式16的美术馆的情形中的接收机的下个动作的一例的图。
图432是表示实施方式16的美术馆的情形中的接收机的下个动作的一例的图。
图433是表示实施方式16的美术馆的情形中的接收机的下个动作的一例的图。
图434是表示实施方式16的美术馆的情形中的接收机的下个动作的一例的图。
图435是表示实施方式16的美术馆的情形中的接收机的下个动作的一例的图。
图436是表示实施方式16的公共汽车停靠站的情形中的接收机的动作的一例的图。
图437是表示实施方式16的公共汽车停靠站的情形中的接收机的下个动作的一例的图。
图438是用来说明实施方式16的摄像的图。
图439是用来说明实施方式16的发送及摄像的图。
图440是用来说明实施方式16的发送的图。
图441是表示实施方式17的发送机的动作的一例的图。
图442是表示实施方式17的发送机的动作的一例的图。
图443是表示实施方式17的发送机的动作的一例的图。
图444是表示实施方式17的发送机及接收机的动作的一例的图。
图445是表示实施方式17的接收机的动作的一例的图。
图446是表示实施方式17的接收机的动作的一例的图。
图447是表示实施方式17的具有发送机、接收机及服务器的系统的动作的一例的图。
图448是表示实施方式17的发送机的结构的框图。
图449是表示实施方式17的接收机的结构的框图。
图450是表示实施方式17的发送机的动作的一例的图。
图451是表示实施方式17的发送机的动作的一例的图。
图452是表示实施方式17的发送机的动作的一例的图。
图453是表示实施方式17的发送机的动作的一例的图。
图454是表示实施方式17的发送机的动作的一例的图。
图455是表示实施方式17的发送机的动作的一例的图。
图456是表示实施方式17的发送机的动作的一例的图。
图457是表示实施方式17的发送机及接收机的动作的一例的图。
图458是表示实施方式17的发送机及接收机的动作的一例的图。
图459是表示实施方式17的发送机及接收机的动作的一例的图。
图460是表示实施方式17的发送机及接收机的动作的一例的图。
图461是表示实施方式17的发送机及接收机的动作的一例的图。
图462是表示实施方式17的发送机及接收机的动作的一例的图。
图463是表示实施方式17的发送机及接收机的动作的一例的图。
图464是表示实施方式17的发送机及接收机的动作的一例的图。
图465是表示实施方式17的发送机及接收机的动作的一例的图。
图466是表示实施方式17的发送机及接收机的动作的一例的图。
图467是表示实施方式17的发送机及接收机的动作的一例的图。
图468是表示实施方式17的发送机及接收机的动作的一例的图。
图469是表示实施方式17的发送机及接收机的动作的一例的图。
图470是表示实施方式17的编码方式的图。
图471是表示实施方式17的在从斜方向摄像的情况也能够受光的编码方式的图。
图472是表示实施方式17的根据距离而信息量不同的编码方式的图。
图473是表示实施方式17的根据距离而信息量不同的编码方式的图。
图474是表示实施方式17的将数据分割的编码方式的图。
图475是表示实施方式17的插入反相图像的效果的图。
图476是表示实施方式17的插入反相图像的效果的图。
图477是表示实施方式17的超解像处理的图。
图478是表示实施方式17的与可视光通信对应的显示的图。
图479是表示实施方式17的使用可视光通信信号的信息取得的图。
图480是表示实施方式17的数据格式的图。
图481是表示实施方式17的推测立体形状而接收的图。
图482是表示实施方式17的推测立体形状而接收的图。
图483是表示实施方式17的立体投影的图。
图484是表示实施方式17的立体投影的图。
图485是表示实施方式17的发送机及接收机的动作的一例的图。
图486是表示实施方式17的发送机及接收机的动作的一例的图。
图487是表示实施方式18的发送信号的一例的图。
图488是表示实施方式18的发送信号的一例的图。
图489A是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图489B是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图489C是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图490A是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图490B是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图491A是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图491B是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图491C是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图492是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图493是表示实施方式18的发送信号的一例的图。
图494是表示实施方式18的接收机的动作的一例的图。
图495是表示实施方式18的在接收机的屏幕上显示的向用户的指示的一例的图。
图496是表示实施方式18的在接收机的屏幕上显示的向用户的指示的一例的图。
图497是表示实施方式18的信号发送方法的一例的图。
图498是表示实施方式18的信号发送方法的一例的图。
图499是表示实施方式18的信号发送方法的一例的图。
图500是表示实施方式18的信号发送方法的一例的图。
图501是用来说明实施方式18的使用场景的图。
图502是表示实施方式18的智能电话向服务器发送的信息表的图。
图503是实施方式18的服务器的框图。
图504是表示实施方式18的系统的整体的处理的流程图。
图505是表示实施方式18的服务器向智能电话发送的信息表的图。
图506是表示实施方式18的用户在店铺前从服务器获取信息到实际购买商品的在可穿戴设备上显示的画面流的图。
图507是用来说明实施方式18的另一使用场景的图。
图508是表示使用已经说明的实施方式所记载的接收方法的服务提供系统的图。
图509是表示服务提供的流程的流程图。
图510是表示另一例的服务提供的流程图。关于与图431重复的步骤省略说明。
图511是表示另一例的服务提供的流程图。
图512是用来说明实施方式20的容易接收的调制方式的图。
图513是用来说明实施方式20的容易接收的调制方式的图。
图514是用来说明实施方式20的基于亮线的通信和图像识别的并用的图。
图515是用来说明实施方式20的适合于可视光信号的接收的摄像元件的利用方法的图。
图516是表示实施方式20的适合于可视光信号的接收的摄像图像尺寸的图。
图517是表示实施方式20的适合于可视光信号的接收的摄像图像尺寸的图。
图518是用来说明实施方式20的利用缩放的可视光信号的接收的图。
图519是用来说明实施方式20的适合于可视光信号的接收的图像数据尺寸的压缩方法的图。
图520是用来说明实施方式20的接收错误检测精度较高的调制方式的图。
图521是用来说明实施方式20的基于状况的差异的接收机的动作的变更的图。
图522是用来说明实施方式20的向人的可视光通信的通知的图。
图523是用来说明实施方式20的基于散光板的接收范围的扩大的图。
图524是用来说明实施方式20的从多个投影机的信号发送的同步方法的图。
图525是用来说明实施方式20的从多个显示器的信号发送的同步方法的图。
图526是用来说明实施方式20的基于照度传感器和图像传感器的可视光信号的接收的图。
图527是用来说明实施方式20的接收开始的触发的图。
图528是用来说明实施方式20的接收开始的手势的图。
图529是用来说明实施方式20的对汽车导航的应用例的图。
图530是用来说明实施方式20的对汽车导航的应用例的图。
图531是用来说明实施方式20的对内容保护的应用例的图。
图532是用来说明实施方式20的作为电子锁的应用例的图。
图533是用来说明实施方式20的来店信息传递的应用例的图。
图534是用来说明实施方式20的与场所对应的订购控制的应用例的图。
图535是用来说明实施方式20的对道路指引的应用例的图。
图536是用来说明实施方式20的对所在地联络的应用例的图。
图537是用来说明实施方式20的对利用日志储存和解析的应用例的图。
图538是用来说明实施方式20的对画面共享的应用例的另一图。
图539是用来说明实施方式20的对画面共享的应用例的另一图。
图540是用来说明实施方式20的利用无线接入点的位置推测的应用例的图。
图541是表示实施方式20的进行基于可视光通信和无线通信的位置推测的结构的图。
图542A是有关本发明的一形态的信息通信方法的流程图。
图542B是有关本发明的一形态的信息通信装置的框图。
图543是表示搭载有光传感器的时钟的图。
具体实施方式
有关本发明的一形态的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;第1图像取得步骤,上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤中,上述多个曝光行分别依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
由此,例如如后述的图24D等所示,多个曝光行各自在从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后开始曝光,所以能够容易地识别被摄体的亮度变化。结果,能够适当地从被摄体取得信息。
此外,也可以是,在上述第1图像取得步骤中,上述多个曝光行各自在与相邻的上述相邻曝光行之间在曝光时间上没有重叠,并且具有规定的空闲时间。
此外,也可以是,上述信息通信方法还具有:第2曝光时间设定步骤,设定上述图像传感器的第2曝光时间,以使得将上述图像传感器的各曝光行的曝光依次在不同的时刻开始,并且上述各曝光行的曝光时间在与相邻的上述相邻曝光行之间部在局部上具有时间上的重叠;以及第2图像取得步骤,通过以上述第2曝光时间进行摄影,取得通常图像;上述第1图像取得步骤通过将上述第1曝光时间设定为比上述第2曝光时间短且1/480秒以下,使图像产生上述多个亮线。
此外,也可以是,在上述第1图像取得步骤和上述第2图像取得步骤中,通过相同的读出方法从上述图像传感器读出数据。
此外,也可以是,上述曝光行的第1曝光时间比亮度变化的上述被摄体维持规定的亮度值的发光时间中的最短的发光时间短。
此外,也可以是,上述曝光行的第1曝光时间比上述被摄体的亮度从最大值变化到最小值的推移时间长。
此外,也可以是,上述曝光行的第1曝光时间比上述被摄体的亮度变化中的高频噪声的一周期的时间长。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录媒体实现,也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合实现。
以下,参照附图对实施方式具体地说明。
另外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
(通过相位调制的信号传送)
图1是实施方式1的信息通信装置的发送信号的时间图。
在图1中,基准波形(a)是周期T的时钟信号,为发送信号的定时的基准。发送符号(b)表示基于发送的数据列制作的符号列。这里,作为一例而表示每1符号1位的情况,所以与发送数据的二进制数相同。发送波形(c)是对于基准波形按照发送符号进行了相位调制的发送波形,按照该波形驱动发送光源。相位调制关于基准波形通过对应于符号将相位错开而实施,在该例中,符号0为相位0°,符号1为相位180°的分配。
图2是表示实施方式1的发送信号与接收信号的关系的图。
发送信号与图1是同样的,仅在发送信号为1的期间中光源发光,该发光期间用向右下降斜线的区域表示。用向右上升斜线涂敷的带表示图像传感器的像素被曝光的期间(曝光时间tE),在与表示发光期间的向右下降斜线重叠的区域中生成图像传感器的像素的信号电荷。像素值p与该重复区域的面积成比例。这里,在曝光时间tE与周期T之间,式1的关系成立。
tE=T/2×(2n+1)n:自然数  (式1)
另外,图2~图6表示n=2的情况。即tE=2.5T。
接收波形表示各行的像素值p。这里,像素值轴的值将1周期的受光量正规化为1。如上述那样,由于曝光时间tE具有T(n+1/2)的区间,所以像素值p总是存在于n≤p≤n+1的范围,关于图2的例子为2≤p≤3。
图3~图5是关于与图2分别不同的符号列表示发送信号与接收信号的关系的图。
发送信号具有包括(未图示的)连续的相同的符号列(例如连续的符号0的列)的前同步码,接收侧通过该前同步码中的连续的符号列,制作用于接收的基准信号,作为从接收波形读出符号列的定时信号。具体而言,关于连续的符号0,如在图2中表示那样,接收波形返回重复2→3→2的一定的波形,基于该像素值3被输出的定时,生成时钟信号作为基准信号。
接着,从接收波形的符号的读出可以将上述基准信号的1区间中的接收信号读出,在像素值3的情况下作为符号0读出,在像素值2的情况下作为符号1读出。在图3~图5中,表示将位于第4周期的符号读出的状况。
图6是将图2~图5汇总的图,由于是行密集地排列的状态,所以行方向的像素的分隔省略而连续化作图。这里,表示将从第4周期到第8周期的符号值读出的状况。
通过这样的结构,在本实施方式中,在对于与基准波的周期相比充分长的时间取光信号的强度的平均的情况下,总为一定。并且,如果将基准波的频率适当地设定得较高,则能够将该时间设定得比人感知光量变化的时间短,所以在从人的眼睛观察发送发光源的情况下,感知为光源一定地发亮。因此,不会感知为光源的闪变,具有不会有前实施方式的使人感到烦躁的优点。
此外,在各行的曝光时间较长、与相邻行的曝光期间重复的时间变长的状况下,在上述的实施方式的振幅调制(开启关闭调制)中,发生不能提高信号的频率(符号速率)而不能得到充分的信号传送速度的问题,但在本实施方式中,在这样的状况下也能够检测到信号的上升、下降的边沿,所以能够提高信号的频率,能够实现较高的信号传送速度。
另外,这里记述的“相位调制”是指对基准信号波形的相位调制。在本来的意义下,输送波是光,将其振幅调制(开启关闭调制)而传送,所以该信号传送的调制方式是振幅调制的一种。
此外,上述发送信号是一例,每个符号的位数也可以设定为2以上,此外,符号与相位移动的对应也并不限定于0°、180°,也可以具有偏移量。
另外,在上述中省略了说明,但不言而喻,在以下的图124~图200中说明的在实施方式6~11中说明的光信号发生机构和光信号接收机构的结构及动作、效果,如果使用图21以后的图、替换为在实施方式3以后说明的高速型的光发光机构和光信号接收机构构成而动作,也有同样的效果。此外,如果相反将实施方式3以后的高速型的光发光机构及接收机构替换为低速型的光发光机构及接收机构也同样。
例如,在图17中,表示使用作为便携电话的显示部侧的照相机的前置照相机、和在图16中处于相反侧的内置照相机接收根据来自照明机的光信号的位置信息等的数据的例子。在此情况下,通过使用9轴传感器,能够用重力检测上下方向。
在如图19那样、在餐厅中用处于桌子上的便携电话接收光信号的情况下,通过在根据9轴传感器的信号而便携电话的正面朝上的情况下使前置照相机动作,在朝下的情况下切换为内置照相机而接收光信号,能够削减耗电、或者迅速地接收光信号,能够将无用的照相机的动作停止。在此情况下,能够根据照相机的明亮程度检测处于桌子上的照相机的朝向而进行同样的动作。此外,当照相机从摄影模式切换为光信号的接收模式时,发送使快门速度变快的命令,并且如果向摄像电路部传送将摄像元件的灵敏度提高的命令则有灵敏度提高、图像变亮的效果。如果提高灵敏度,则噪声增加,但是是白噪声。另一方面,由于光信号处于特定的频率域中,所以通过用频率过滤器分离或除去,能够提高检测灵敏度。因此,能够检测到来自较暗的照明设备的光信号。
本发明主要从处于室内的空间的照明设备产生光信号,通过具有通信部、声音麦克风、声音扬声器、显示部、内置照相机和前置照相机的照相机部的便携终端的照相机部接收光信号,得到位置信息等,但如果从室内出到室外,则能够通过利用卫星的GPS检测位置信息。因此,得到来自光信号区域的边界的位置信息,起动来自GPS的信号接收,通过自动地进行该切换,具有能够无缝地进行位置检测的效果。
当从室外向室内移动时,通过GPS等的位置信息检测边界,进行向光信号的位置信息的自动切换。此外,在便携电话的显示部上显示条码、用商店、飞机的搭乘口的POS终端进行认证的情况下,如果使用服务器则花费应答时间,所以并不现实,所以仅能够进行单方向的认证。
但是,通过使用本发明从POS等的终端的读取机的发光部向便携电话的前置照相机部发送光信号,能够进行相互认证,所以安全性提高。
(实施方式2)
图7是表示实施方式2的原理的图。图8~图20是表示实施方式2的动作的一例的图。
图7(a)所示的图像传感器的各行1的曝光时间按照每个行而发生延迟。在通常的快门速度下由于在时间上各行具有重叠的部分,所以相同时间的光信号混合在各行中,所以不能判别。这里,在使快门的开时间变短的情况下,如果曝光时间变短到某一定的快门速度以下,则如图7(a)那样不再重叠,所以能够按照行每个将光信号在时间上分离而读取。
如果在此状态下给出图7(a)的上部那样的“1011011”的光信号,则最初的“1”的光信号在行1的快门开时间中入光,所以在行1中被光电变换,作为图7(b)的电信号2a的“1”输出。同样,下个光信号“0”成为(b)的电信号“0”,7比特(bit)的“1011011”的光信号被正确地变换为电信号。
实际上,由于如图7(b)那样因垂直空白时间而有不感时间,所以一部分的时间带的光信号不能取出。为了解决该问题,在本实施方式中,当从“通常的摄影模式”切换为“光信号的读出模式”时,变更为CMOS等的摄像仪器的访问地址,通过在处于最下方的最后的读出行1h的接着将最初的读出行1a读出,解决了空白期间的问题。虽然给画质带来一些不良影响,但能得到连续(无缝)读出的效果,传送效率大幅提高。
在本实施方式中,由于在1行中最高能分配1个符号,所以在采取后述那样的同步方式的情况下,当使用1000行30fps的摄像元件时,在理论上最大能够进行30kbps的传送。
另外,在取同步的情况下,如图8那样,能够观看照相机的受光元件的信号、通过将行的访问用的时钟上下变更来取同步,以得到最高对比度或者数据的错误率变低。在图像传感器的行的时钟比光信号快的情况下,如图8那样,通过用2行或3行的否行接收光信号的1符号,能够取同步。
此外,如果将图9的TV或图10的左图的TV那样的显示器、或在纵向上被分割为n个例如10个的光源用便携电话的照相机切换为本发明的高速电子快门或无空白等的检测模式而摄影,则如图10的右图那样,能够将本实施方式特有的条状的样式分别独立地检测10条,所以成为10倍(n倍)的转送速率。
例如在将30fps1000行的图像传感器10分割的情况下,成为300kbps。由于在HD影像中在水平上有1980像素,所以能够分割为50条。于是成为1.5Mbps,运动图像的影像数据成为能够接收。如果是200条,则能够传送HD影像。
为了得到本实施方式中的效果,如果将能够检测的最长的曝光时间设为T0,则需要使快门时间变短到T0以下。如果如图7的右上图那样将帧频率设为fp,则需要使快门时间为1/fp的一半以下。这是因为,在摄影时发生的空白最大为1帧的一半的大小。即,这是因为,由于空白时间是摄影时间的一半以下,所以实际的摄影时间也在最短的时间下为1/2fp。
但是,由于为了抑制闪变而需要4值PPM等,所以成为1(fp×2×4)分之1,即8fp分之1。由于通常的便携电话的照相机是fp=30、60,所以只要设定为1/240、1/480、即1/480以下的快门速度,就能够在保持互换性的同时,将本实施方式的可视光的光通信使用便携电话等的照相机接收。
实际上,由于没有采用本实施方式的同步方式的便携电话在世界上存在许多,所以最初为非同步型的通信。在此情况下,通过使用光信号的时钟的2倍以上、具体为2~10倍的扫描行接收1符号,实现虽然信息速率下降但具有互换性的通信。
在需要防止闪变的照明设备的情况下,在4值PPM、即4个比特中的1个时间带中灭灯或减光而发光。在此情况下位速率下降到一半,但由于不再有闪变,所以能够在照明设备中使用,能够清楚地传送数据。
图11表示在室内在共通时间带中从全部的照明机送来共通信号、在个别时间带中从个别的照明机L4送来个别的副信息的状况下,接收光信号的状况。L4由于面积较小,所以为了传送大量的数据而花费时间。因而,在个别时间带中仅传送数位的ID,在共通时间带中L1、L2、L3、L4、L5的全部传送相同内容的共通信息。
如果使用图12A详细地说明,则在图12A下的时间带A中,作为房间中的全部的照明的主区域M的2条照明、和处于其一部分中的S1、S2、S3、S4一齐将作为共通信息的“房间的基准位置的位置信息、各ID的个别设备的配置信息(从基准位置的差位置信息)、服务器的URL、数据广播、LAN发送数据”发信光信号。由于房间中被用相同的光信号照射,所以具有在共通时间带中便携设备的照相机部能够可靠地接收数据的效果。
另一方面,在时间带B中,如右上的俯视图所示,主区域M不闪烁,以通常的1/n的光量连续地发光。在4值PPM的情况下,如果以通常的3/4即75%发光,则平均光量不变化,所以能防止闪变。如果在平均光量不变化的范围中闪烁,则没有闪变,但在时间带B的部分区域S1、S2、S3、S4的接收中成为噪声,所以不优选。在时间带B中,S1、S2、S3、S4分别发送不同的数据内容的光信号。由于主区域M不传送调制信号,所以如右上的便携设备的画面那样在位置上被分离。因此,例如在将S1的区域的图像取出的情况下,由于噪声较少,所以容易检测在区域中发生的条,所以能够稳定地得到数据。
图12B是用来说明本实施方式的发送机及接收机的动作的图。
发送机8161例如构成为标识板,使记载有“A shop”的区域A和记载有“B shop”的区域B亮度变化。由此,从各个区域发送信号A及信号B。例如,信号A及信号B分别包含表示共通的内容的共通部分和表示相互不同内容的固有部分。将信号A及信号B的各自的共通部分同时发送。结果,接收机8162接收到信号A的共通部分及信号B的共通部分中的至少一方后,显示该标识板整体的图像。此外,发送机也可以将信号A的固有部分和信号B的固有部分同时发送,也可以以相互不同的定时发送。接收机8162接收到例如信号B的固有部分后,显示与上述的区域B对应的例如店铺的详细的信息。
图12C是用来说明本实施方式的发送机及接收机的动作的图。
例如,发送机8161如上述那样,将信号A及信号B的共通部分同时发送,接着将信号A及信号B的各自的表示相互不同的内容的独自部分同时发送。接收机8162通过拍摄发送机8161,从该发送机8161接收信号。
这里,当发送机8161发送信号A及信号B的共通部分时,能够不将发送机8161分为两个区域而作为1个较大的区域捕捉。结果,接收机8162即使处于距发送机8161较远的位置,也能够将该共通部分接收。此时,接收机8162从服务器取得与该共通部分建立了对应的信息并显示。例如,服务器将在作为发送机8161的标识板上显示的全部的店铺的信息向接收机8162发送。或者,服务器从这些店铺中选择任意的店铺的信息并向接收机8162发送。例如,服务器在这些店铺中将支付了最多的登记金额的店铺的信息优先地向接收机8162发送。或者,服务器将与处于由接收机8162的照相机摄影的范围的中心的区域(区域A或区域B)对应的店铺的信息发送。或者,服务器随机地选择店铺并将该店铺的信息向接收机8162发送。
此外,接收机8162当处于距发送机8161较近的位置时,能够将信号A或信号B的独自部分接收。此时,接收机8162从服务器取得与该独自部分建立了关联的信息。
例如,如图13所示那样照相机进行横向(水平方向)的扫描时,在为4值PPM的情况下,照明L2被前置照相机摄影,如果如右侧那样看到3根条,则能够将“0101”即每帧4比特的数据解调。由于其中有ID的数据,所以具有通过运算共通数据的基准位置信息与个别数据的各ID的距离差信息或配置信息、能够高速即在短时间中检测便携终端的位置的效果。这样仅通过发送例如2比特的ID,就能够将4个光源的数据和位置用1个帧信息在瞬间识别。
使用图14,说明使用该个别光源的低位的ID信息的例子。
在本实施方式中,在图14的共通数据101中,如图中所示那样是基准位置、服务器的URL、各ID的配置信息。将分区域数据广播的大容量数据使用全部的照明在共通时间带中发送。
如上述那样,能够将图14(a)的L1、L2、L3、L4~L8的个别ID进行3比特解调。
如图14(b)那样,即使发送频率f1和频率f2的信号,也由各照明部检测出本发明特有的条,变换为与频率对应的ID或与调制数据对应的ID数据。如果将该样式使用配置信息运算,则可知是从哪个位置摄影的。即,由于从L0能够得到各ID的配置信息和基准位置信息,所以能够确定终端的位置。
通过如图14(b)那样,将频率f1、f2分配给各ID,例如设为f1=1000Hz,f2=1100Hz,…,f16=2500Hz,能够将16值即4位的值通过频率表现。通过使发送频率按照一定时间变化,能够发送更多的信号。在将频率变更时或将调制开始/结束时,通过在变更的前后将平均亮度保持为一定,得到使人的眼睛不感到闪变的效果。
另外,接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。
例如,如果按照1/15秒使信号变化,则能够以60位每秒发送。一般的摄像装置由于1秒钟摄影30帧的图像,所以如果在1/15秒钟以相同的频率发送信号,则即使发送机仅拍摄在摄像图像的1部分中,也能够可靠地进行摄像。
此外,通过在1/15秒间以相同频率发送信号,在接收机的负荷较高、有不能处理的帧的情况下、或在1秒间仅能够摄影15帧的图像的摄像装置的情况下,也能够接收信号。
如果在与曝光行垂直的方向上将亮度值通过傅立叶变换等进行频率解析,则发送信号的频率表现为尖峰。在频率的切换部分等、多个频率被摄像到1帧内的情况下,与将单一频率信号傅立叶变换的情况相比为较弱的尖峰,可得到多个尖峰。在频率的切换部分中,为了避免前后的频率混合,也可以设置保护部分。
根据该方法,在一个画面内将以多个频率依次发送的光摄像的情况下也能够将发送频率解析,即使以1/15秒、或比1/30秒短的时间将发送信号的频率变更,也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,以比1画面长的范围进行傅立叶变换。在此情况下,将摄像的空白时间的亮度值作为不明处置。保护部分设为特定的频率的信号,或者不进行亮度变化(频率0Hz)。
如图14(b)那样,通过发送频率f2的FM调制信号、持续发送PPM调制信号,将FM调制信号和PPM调制信号交替地发送,即使是仅对应于某个方法的接收机也能够接收,此外,通过将重要度较高的信息分配给接收比较容易的FM调制信号,能够将重要度较高的信息优先地发送。
在本实施方式中,由于能够同时得到各设备的ID和画面上的位置,所以能够将处于与照明链接的URL上的云型的服务器的数据库中的、与照明的各ID链接的图像信息、位置信息及应用程序下载,使用AR的方法将关联的商品等的图像叠加显示到具有ID的照明的设备的影像上。在此情况下,通过将本实施方式的解调模式切换为摄影模式,具有能够得到叠加到更好看的影像上的AR图像的效果。
通过如图11所示那样、在时间带A中发送各ID的光源与基准位置的东西南北的距离差d,能够知道照明L4的cm单位的正确的位置。接着,根据顶棚的高度H、便携电话拿持者的身高求出高度h,将便携电话的姿势信息通过9轴传感器修正,求出正确的照相机方向的角度θ2和照明与便携电话的角度θ1,通过d=(H-h)×arctan·θ1等的运算计算d。
这样,能够以较高的精度求出便携电话的位置。通过这样在时间带A中发送共通光信号,在时间带B中发送个别光信号,能得到能够可靠地将大容量的共通信息和ID等的小容量的个别信息大致同时发送的效果。
如图12A的右上部的便携终端那样对个别光源S1~S4进行摄影。如图12A的下方的时间图那样,在时间C中,仅S1传送光信号。如图15的t=C那样,仅1个发生条纹(stripe),所以具有能够不受噪声的影响而进行检测的效果。
此外,也可以如t=D、E那样传送两个个别数据。如t=H、I那样,通过将在空间上最远离的个别数据传送,在画面上容易分离,所以有错误率变低的效果。
在图15的t=C的状况下,只要仅S1进行解调就可以,所以不需要其他区域的图像传感器的扫描。因而,通过如t=C那样以S1的区域进入的方式使扫描条数减少,仅将S1区域扫描,能够将数据解调。因此,具有不仅是高速化,还能够仅通过S1的较窄的区域将大容量的数据解调的效果。
但是,在此情况下,有可能通过手抖动而区域S1从图像传感器的扫描范围内脱离。
因而,图16所示那样的手抖动修正变得重要。内置在便携电话中的陀螺仪传感器通常不能检测到手抖动那样的范围减小的微细的旋转。
因而,在如图16的左图那样将L2的光信号用前置照相机接收的情况下,在限定了扫描的情况下等,难以使用来自前置照相机的图像根据图像检测手抖动。因而,通过使内置照相机为ON、根据内置照相机的图像检测手抖动、将扫描范围或检测范围修正,能够减轻手抖动的影响。这是因为,前置照相机的手抖动与内置照相机的手抖动相同。
使前置照相机的光信号样式以外的扫描区域的快门速度变慢,从该区域得到正常的图像,能够根据该图像进行手抖动修正。在此情况下,能够用1个照相机进行手抖动检测和信号检测。这在使用图16右图的内置照相机的情况下也有同样的效果。
图17用前置照相机进行光信号检测,首先获得终端的位置信息。
在根据此时的地点求出移动距离l2的情况下,便携电话用的9轴传感器由于精度较差,所以不实用。在此情况下,使用与前置照相机相反的内置照相机,能够根据终端的姿势和地面的图样的变化如图17那样求出移动距离l2。也可以用前置照相机检测顶棚的图样。
以下,说明实际的应用例。
图18是表示在车站的建筑物内从顶棚的照明接收作为共通数据的数据广播、根据个别数据获得自己的位置的状况的图。
如图19所示,在咖啡店中从显示有条码的便携终端显示认证信息,在店的终端读取后,从店的终端的发光部发光,便携终端使用本发明接收,进行相互认证,能够使安全性提高。认证也可以相反地进行。
如果拿持着该便携终端的顾客就座到桌旁,则将获得的位置信息用无线LAN等向店的终端发送,所以在店员的终端上显示顾客的位置,所以店员能够将订购的饮料向订购的顾客的位置信息的桌子运送。
图20中,在列车或飞机中,乘客使用本实施方式的方法知道自己的位置,用终端订购食物等的商品。乘务员在推车上有本发明的终端,在画面的订购的顾客的位置上显示有订购的商品的ID号码,所以向顾客的地方可靠地将订购的ID的商品送达。
图10是表示在TV等的显示器的背灯中使用本实施方式的方法或装置的情况的图。由于荧光灯、LED或有机EL能够施加低亮度调制,所以能够进行本实施方式的发送。但是,在特性上,扫描方向是重要的。在如智能电话那样纵向使用的情况下在水平方向上扫描,所以通过在画面的下部设置横长的发光区域,使TV等的影像的对比度变淡,向白色靠近,具有能够容易地接收信号的效果。
在如数字照相机那样在垂直方向上扫描的情况下,设置图9的画面右侧那样的纵长的显示。
通过将这两个设置在一个画面内、从两者发光相同的光信号,通过哪个扫描方向的图像传感器都能够接收信号。
另外,在要用在水平方向上扫描的图像传感器接收垂直方向的发光部的情况下,通过对终端的画面发出“请旋转为横向而摄影”那样的显示,能够向使用者敦促更可靠地高速接收。
另外,通过如图8那样将照相机的图像传感器的扫描行读取时钟控制为发光部的发光样式而取同步,能够将通信速度大幅提高。
在如图8(a)那样将发光样式的1符号用两行检测的情况下,在左边那样的样式中进行同步。在中图那样的样式的情况下,由于图像传感器的读取较快,所以使影像元件的读出时钟低速化而同步。在右图那样的样式的情况下,进行高速化而同步。
在图8(b)的将1符号用3个行检测的情况下,在中图那样的样式中低速化,在右图中高速化。
这样,能够进行高速的光通信。
另外,在双向通信的情况下,由于在发光部的照明设备中作为人感传感器而设有红外线受光部,所以通过将其兼用于接收,在照明机中能够不进行零件的追加而进行双向接收。终端侧既可以使用照相机用的频闪灯发送,也可以另外设置便宜的红外发光部。这样,能够不怎么追加零件而实现双向通信。
(实施方式3)
以下,对实施方式3进行说明。
(发光部的亮度的观测)
提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图21是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光行,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将正在闪烁的光源拍摄到摄像元件的整面上而摄像的情况下,如图22那样,在摄像图像上发生沿着曝光行的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度下的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低也可以是光源不发光的状态,也可以是与高相比较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图22表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光行数为l时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图23那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
图24A表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。即,为相邻的曝光行的曝光时间部分地具有时间上重叠的结构。通过这样的结构,(1)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被摄体的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使各曝光行的曝光时间变长,所以即使在被摄体较暗的情况下,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要在全部的曝光行中相邻的曝光行的曝光时间部分地具有时间上的重叠,也可以是一部分的曝光行部分地不具有时间上的重叠。通过做成一部分的曝光行部分地不具有时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
图24B表示在各曝光行的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来拍摄相同的明亮度的图像的摄像灵敏度抑制得较低,能够得到噪声较少的图像,所以通信错误被抑制。
图24C表示在曝光时间相等的情况下、因各曝光行的曝光开始时刻的差异带来的影响。7501a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7501b是比前个曝光行的曝光结束更早地开始下个曝光行的曝光的情况。通过如7501b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光行的曝光量的差来识别比曝光时间短的光源的闪烁。
如在图24B、图24C中说明那样,在以使相邻的曝光行的曝光时间部分地具有时间上的重叠的方式将各曝光行依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可视光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的空白最大为1帧的一半的大小。即,由于空白时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以产生了至少曝光时间比1/(2f×4)短的需要。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
图24D表示在各曝光行的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,做成在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,能够检测7502f那样的更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光行的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光行的曝光时间部分地具有时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生规定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生规定的不曝光的时间来实现。此外,通过如7502g那样使各曝光行的曝光开始时刻的间隔tD变大,也能够采用在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够拍摄明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光行变少,所以如7502h那样具有样本数变少的缺点,所以优选的是根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要在全部的曝光行中相邻的曝光行的曝光时间部分地具有时间上的重叠,也可以是一部分的曝光行部分地不具有时间上的重叠。此外,不需要在全部的曝光行中、在一个曝光行的曝光结束后到下个曝光行的曝光开始之前设置规定的不曝光的空闲时间(规定的等待时间),也可以是一部分的曝光行部分地具有时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可视光通信的1/480秒以下的曝光时间进行摄影的可视光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可视光通信模式使用分别不同的电路,能够使电路规模变小。
图24E表示光源亮度的最小变化时间tS、曝光时间tE、各曝光行的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,一个以上的曝光行从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。
图24F表示光源亮度的变迁时间tT和各曝光行的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,成为中间色的曝光行越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光行连续地为2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图24G表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比,tE越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当tE为tHT的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tHT是20微秒以下,所以通过使tE成为20微秒以上,能够容易地进行光源亮度的推测。
图24H是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。考虑tHT根据光源而有偏差,根据曲线图,tE是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,tE优选的是较大,但如上述那样,还具有在tE越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时tE优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE优选的是设定为74微秒以上。
图24I表示曝光时间tE与识别成功率的关系。曝光时间tE相对于光源的亮度为一定的时间具有相对性的意义,所以取将光源亮度变化的周期tS用曝光时间tE除的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1kHz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而拍摄明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为图335的中间模式优选的是使用这些曝光时间。
如图25那样,根据摄像装置,也有存在不进行曝光的时间(空白)的情况。
在存在空白的情况下,不能观察该时间的发光部的亮度。
通过发光部将相同的信号反复发送两次以上,或附加错误校正码,能够防止由空白带来的传送损失。
发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互素(relatively prime)的周期、或者比将图像摄像的周期短的周期发送信号。
(信号调制方式)
在输送波中使用可视光的情况下,通过使发光部发光以将以人的视觉的时间分辨率(resolution)(5毫秒到20毫秒左右)为窗宽时的发光部的亮度的移动平均值保持为一定,如图26那样,对人而言发送装置的发光部看起来以均匀的亮度发光,同时接收装置能够观察发光部的亮度变化。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图27所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约50%。
另外,假设发光/不发光的切换与人的视觉的时间分辨率是足够高速的。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图28所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约75%。
与图27的调制方式相比,编码效率为0.5是同等的,但能够使平均亮度变高。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图29所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约87.5%。
与图27、图28所示的调制方式相比,编码效率为0.375较差,但能够将平均亮度保持得较高。
以下同样,能够进行与编码效率权衡(trade off)而使平均亮度变高的调制。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图30所示的调制方法。
假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约25%。
通过与图28所示的调制方式等组合而周期性地使调制方式变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来闪烁。
同样,通过使调制方法变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来一边进行任意的亮度变化一边发光。
在输送波中使用可视光的情况下,通过使发光部发光以使以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值周期性地变化,如图31那样,对人而言可看到发信装置的发光部闪烁或以任意的节奏变化,同时接收装置能够观察发光信号。
如果使在背灯中使用LED光源的液晶TV的LED部发光,也能够得到同样的效果。在此情况下,通过至少降低光通信部的画面部分的对比度、向白色靠近,能够进行错误率较少的光通信。通过使整面或在通信中使用的画面部分为白色,能够提高通信速度。
在使用电视机的显示器等作为发光部的情况下,通过将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值成为想要使人看到的图像的亮度,如图32那样,对人而言能看到通常那样的电视机的影像,同时接收装置能够观察发光信号。
通过将设为摄像图像每1帧的时间左右的窗宽时的发光部的亮度的移动平均值调节为按照摄像帧传送信号的情况下的信号的值,如图33那样,通过在从近距离摄像的情况下按照曝光行观察发送装置的发光状态、在从远距离摄像的情况下按照摄像帧观察发送装置的发光状态,能够以两种速度进行信号传输。
另外,在从近距离摄像的情况下,也能够接收在从远距离摄像的情况下能够接收的信号。
图34是表示按照曝光时间怎样观察发光的图。
由于摄像出的像素的亮度与将摄像元件曝光的时间的摄像对象的平均亮度成比例,所以如果曝光时间较短则如2217b那样原样观察到发光样式2217a,如果曝光时间较长,则如2217c、2217d、2217e那样观察。
另外,2217a为将图28所示的调制方式分形地反复使用的调制方式。
通过利用这样的发光样式,能够向具有曝光时间较短的摄像装置的接收装置发送许多信息,向具有曝光时间较长的摄像装置的接收装置同时发送较少的信息。
接收装置如果遍及曝光行的1行或一定数量的行而发光部推测位置的像素的亮度是一定以上则识别为接收到1,如果是一定以下则识别为接收到0。
1持续的情况与通常的(不发送信号而总是发亮)发光部没有区别,0持续的情况与不存在发光部的情况没有区别。
因此,发送装置也可以在相同的数字连续一定数量的情况下发送不同的数字。
此外,也可以如图35那样,分为必定包含1和0的头部和发送信号的体部而发送。在此情况下,相同的数字不超过5次连续出现。
在发光部处于不与1部分的曝光行相配的位置的情况下、或在存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
因此,需要表示该信号是整体的哪个部分的信号。
为此,如图36那样,有将数据部和表示数据的位置的地址部一起发送的方法。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部和地址部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
如图37那样,有发送装置发送基准部和数据部、接收装置根据与接收到基准部时的时刻的差识别数据的位置的方法。
如图38那样,有发送装置将基准部、地址样式部和数据部发送、接收装置根据处于基准部的接着之处的地址样式部得到数据部的数据和其位置的样式、根据该样式和接收到基准部的时刻与接收到各数据时的时刻的差识别数据的位置的方法。
通过能够利用多个种类的地址样式,不仅是均匀地发送数据,可以将重要性较高的数据或应先处理的数据先发送、或相比其他数据增加重复次数。
发光部不与全部的曝光行相配的情况下、或存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
如图39那样,通过附加头部,能够检测信号的划分、检测地址部或数据部。
在头部的发光样式中,使用在地址部或数据部中没有出现的样式。
例如,在使用表2200.2a的调制方式的情况下,可以使头部的发光样式为“0011”。
此外,如果使头部的样式为“11110011”,则平均亮度与其他部分相等,能够抑制用人的眼睛观察时的闪变。由于该头部的冗余性较高,所以能够在这里也叠加信息。例如,在头部的样式为“11100111”的情况下,可以表示正在发送装置间发送通信的内容等。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部、地址部和头部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
在图40中,发送装置通过优先级决定信息的发送顺序。
例如,使发送次数与优先级成比例。
接收装置在发送装置的发光部没有拍摄在接收装置的摄像部全部中的情况下或有空白的情况下,不能连续接收信号,所以发送的频度越高则容易越快地接收。
图41表示存在于附近的多个发送装置同步发送信息的样式。
通过多个发送装置将共通信息同时发送,能够看作一个较大的发送装置,能够用接收装置的摄像部较大地摄像,所以能够将信息更快、从更远接收。
发送装置在附近的发送装置的发光部均匀发光(不发送信号)的时间带中单独发送信息,以便不与存在于附近的发送装置的发光样式混淆。
发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,学习存在于附近的发送装置的发光样式,决定自身的发光样式。此外,发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,由其他发送装置的命令来决定自身的发光样式。此外,发送装置也可以按照集中控制装置的命令决定发光样式。
(发光部的检测)
作为判断在摄像图像的哪个部分摄像了发光部的方法,有如图42那样在与曝光行垂直的方向上计数发光部被摄像的行数、将发光部最多被摄像的列作为发光部存在的列的方法。
发光部的接近于端部的部分在受光的程度上有波动,容易弄错发光部是否被摄像的判断,所以在发光部被摄像最多的列中也根据中央的列的像素的摄像结果将信号取出。
作为判断在摄像图像的哪个部分摄像了发光部的方法,如图43那样,有按照曝光行求出将发光部摄像的部分的中点、推测在将求出的点连结的近似线(直线或二次曲线)上存在发光部的方法。
也可以如图44那样,将前面的帧中的发光部的推测位置作为事前概率,根据当前的帧的信息将发光部的推测位置更新。
另外,也可以根据该期间的9轴传感器或陀螺仪传感器的值,将当前的发光部的推测位置更新。
如果说明图45,则当摄像范围为2212a时,如果将发光部2212b摄像,则摄像出摄像图像2212c、2212d、2212e那样的图像。
如果取摄像图像2212c、2212d、2212e的发光部分的和,则得到合成图像2212f,能够确定摄像图像中的发光部位置。
接收装置根据所确定的发光部的位置,检测发光部的发光的开启关闭。
另外,在使用图28所示的调制方式的情况下,由于发光概率是0.75,所以当取n张图像的和时,合成图像2212f中的发光部看起来发光的概率是1~0.25n。这里,例如当n=3时,该概率为约0.984。
另外,根据陀螺仪传感器或9轴传感器的传感器值推测摄像部的姿势、并在进行摄像方向的补偿后将图像合成时精度变高。但是,在合成图像数较少的情况下摄像时间较短,所以即使不进行摄像方向的补偿,不良影响也较少。
图46是表示接收装置将多个发光部摄像的情况的图。
在多个发光部发出相同的信号的情况下,从两者的发光样式取得一个发送信号。在多个发光部发出不同的信号的情况下,从各自的发光样式取得各自的发送信号。
在发送信号的相同地址的数据值不同的情况下,发送了不同的信号。另外,也可以根据发送信号的头部的样式来判断为发送了与附近的发送装置相同或不同的信号。
在发光部大致相邻的情况下,也可以看作发送了相同的信号。
在图47中,表示此时的发送信号的时间行、和将发光部摄像的图像。
(通过位置样式进行的信号的传送)
在图48中,发光部2216a、2216c、2216e均匀地发光,发光部2216b、2216d、2216f通过发光样式将信号发信。另外,发光部2216b、2216d、2216f也可以单单只是发光,以使得如果接收装置按照曝光行摄像则可看到棋盘格图案。
在图48中,发光部2216a~2216f既可以是相同的发送装置的发光部,也可以是各自不同的发送装置。
发送装置通过发送信号的发光部的位置、和不发送的发光部的位置的样式(位置样式)来表现发送的信号。
在图48中,由于有6个发信部,所以能够发送2的6次幂=64值的信号。如果从不同的方向观察,则不应使用看起来相同的位置样式,但通过由接收装置的9轴传感器等确定摄像方向,也能够识别上述那样的样式。另外,也可以通过使哪个发光部发送信号根据时刻变化来发送更多的信号。
发送装置也可以在一部分的时间带中进行通过位置样式的信号发送,在别的时间带中以发光样式发送信号。例如,可以在一部分的时间带中使全部的发光部同步将发送装置的ID及位置信息以发光样式发送。
发光部的配置样式大致无限地存在,所以接收装置难以将全部的位置样式预先存储。
所以,接收装置以发送装置通过发光样式发送的发送装置的ID及位置信息、由无线基站得到的接收装置的推测位置、由GPS或陀螺仪传感器、9轴传感器推测的接收装置的位置信息为关键字,从服务器取得存在于附近的位置样式的列表,基于该列表将位置样式解析。
根据该方式,用位置样式表现的信号不需要在全世界中是唯一的,只要相同的位置样式在附近(半径几米到300米左右)不存在就可以,发光部较少的发送装置能够解决能够表现的位置样式的数量较少的问题。
可以从服务器取得发光部的大小、形状及位置信息,根据这些信息、摄像的位置样式的大小及形状、和摄像部的透镜特性推测接收装置的位置。
(接收装置)
作为主要进行接收的通信装置,如图49那样,可以考虑便携电话或数字静像照相机、数字摄像机、头戴显示器、机器人(清扫用、照护用、产业用等)、监视照相机等。但是,接收装置并不限定于这些。
另外,所谓接收装置,是主要接收信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的发送的情况。
(发送装置)
作为主要进行发送的通信装置,如图50那样,可以考虑照明(家庭用、店铺用、办公室用、地下街用、街道用等)、怀中电灯、家电、机器人、其他电子设备。但是,发送装置并不限定于这些。
另外,所谓发送装置,是主要发送信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的接收的情况。
发光部如图51所示,优选的是如使用LED照明或LED背灯的液晶等那样、发光/不发光的开关较高速的结构。但是,发光部并不限定于这些。
在发光部中,除了上述以外,可以考虑荧光灯、白炽电灯、水银灯或有机EL显示器等的照明。
另外,发光部被较大地摄像时传送效率变高,所以发送装置也可以如图52那样具备多个同步发光的发光部。此外,由于越是在与摄像元件的曝光行垂直的方向上较大地映照则传送效率越高,所以发光部也可以排列为一列而设置。此外,在将接收装置自然构成的情况下也可以将发光部与曝光行垂直地排列。此外,在预想会从多个方向摄像的情况下,也可以如图53那样将发光部配置为十字形。此外,在预想会从多个方向摄像的情况下,也可以如图54那样,使用圆形的发光部、或将发光部配置为圆形。此外,较大地摄像由于传送效率变高,所以发送装置也可以如图55那样将散光板覆盖到发光部上。
如图56那样,发送不同的信号的发光部离开距离配置,以便不会同时被摄像。此外,如图57那样,发送不同的信号的发光部在中间配置不发送信号的发光部,以便不会同时被摄像。
(发光部的构造)
图58是表示发光部的优选的构造的图。
如2311a那样,通过使发光部和其周围的材料为反射率较低的材料,即使是光照在发光部周边的情况,接收装置也能够容易地识别发光的状况。此外,如2311b那样,通过设置阻挡外光的伞,光照在发光部周边,能够使接收装置容易识别发光的状况。此外,如2311c那样,通过在靠里的部分设置发光部,光照在发光部周边,能够使接收装置容易识别发光的状况。
(信号输送波)
输送信号的光(电磁波)使用接收装置能够受光的、图59所示的近红外线带~可视光带~近紫外线带的频率带的光(电磁波)。
(摄像部)
在图60中,接收装置的摄像部在摄像范围2310a中检测进行样式发光的发光部2310b。
摄像控制部代替使用其他曝光行,反复使用发光部的中心位置的曝光行2310c取得摄像图像2310d。
摄像图像2310d为曝光时间不同的相同场所的图像。通过将摄像图像2310d的发光部拍摄的像素在与曝光行垂直方向上扫描,能够观察发光部的发光样式。
通过该方法,即使是发光部仅存在于摄像图像中的一部分中的情况,也能够将发光部的亮度变化观察更长的时间。因此,即使是将较小的发光部或从较远将发光部摄像的情况,也能够读取信号。
在没有空白的情况下,通过该方法,只要用摄像装置的一部分拍摄发光部,就能够全部观察发光部的亮度变化。
在将一个行曝光的时间比到开始曝光下一行为止的时间长的情况下,通过使用发光部的中心的多个曝光行摄像,能够得到同样的效果。
另外,在能够进行以像素单位的控制的情况下,仅使用距发光部的中心最近的点、或仅使用其附近的多个点进行摄像。此时,通过将各像素的曝光开始时刻错开,能够以更细小的周期检测发光部的发光状态。
另外,通过主要使用2310c的曝光行、偶尔使用别的曝光行摄像、将摄像图像合成,虽然与通常相比分辨率及帧速率较差,但能够合成与通常那样摄像的摄像图像类似的图像(影像)。通过将该合成图像对用户显示,能够使用户操作接收装置、或用于手抖动的修正。
另外,在手抖动的修正中,也可以利用陀螺仪传感器或9轴传感器等的传感器值,或利用由与拍摄发光部的摄像装置不同的摄像装置拍摄的图像。
另外,与发光部的端部相比,接近于中心时,在手抖动时发光部更不易从曝光行或曝光像素偏离,所以优选的是将距发光部的中心较近的部分作为曝光行或曝光像素。
另外,由于发光部的边缘部的发光亮度较低,所以优选的是尽量将距发光部的周围较远、亮度较高的部分作为曝光行或曝光像素。
(接收装置的位置的推测)
在图61中,发送装置将自身被设置的位置信息、发光装置的大小、发光装置的形状和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图62中,发送装置将自身被设置的位置信息、发光部的大小、发光部的形状和发送装置的ID发送。这里,在位置信息中,包括发光部的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光部的大小和形状、被摄像的图像中的发光部的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光部的距离,推测接收装置的位置信息。接收装置根据从9轴传感器和陀螺仪传感器得到的信息,推测移动方向和移动距离。接收装置使用在多个地点推测出的位置信息、和根据移动方向和移动距离推测出的该地点间的位置关系,推测接收装置的位置信息。
例如,如果设在地点
[数式1]
x1
推测出的接收装置的位置信息的概率场为
[数式2]
Px1
设在从
[数式3]
x1
向地点
[数式4]
x2
移动时推测出的移动方向与移动距离的概率场为
[数式5]
Mx1x2
则最终推测的位置信息的概率场可以计算为
[数式6]
Π k n - 1 ( P x k × M x k x k + 1 ) × P x n
在图62中,发送装置将自身被设置的位置信息和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
在此情况下,接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图63中,发送装置将发送装置的ID发送。
接收装置接收发送装置的ID,从因特网得到发送装置被设置的位置信息、发光装置的大小和发光装置的形状等。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从因特网得到的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图64中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图65中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三角测量的方法推测接收装置的位置信息。此外,接收装置根据陀螺仪传感器或9轴传感器推测接收装置的姿势变化或移动。另外,接收装置也可以同时进行9轴传感器的零点调整及校准。
(发送信息的设定)
在图66中,由接收装置2606c将发送装置2606b的发光样式摄像,取得发送的信号,推测接收装置的位置。
接收装置2606c在被移动的期间中,根据摄像图像的变化、9轴传感器或陀螺仪传感器的传感器值,推测移动的距离和方向。
接收装置将发送装置2606a的受光部摄像,推测发光部的中心位置,将该位置向发送装置发送。
在发光部的位置推测中,需要发光装置的大小的信息,所以发送装置最好即使在发送的信息的一部分缺失的情况下,也将发光部的大小信息发送。另外,在不知道发光部的大小的情况下,根据在接收装置中在位置推测中使用的发送装置2606b与接收装置2606c之间的距离推测顶棚的高度,利用其结果推测发送装置2606a与接收装置2606c之间的距离。
在发送中,有通过发光样式的发送、通过声音的样式的发送、及通过无线电波的发送方式。也可以将发送装置的发光样式和其时刻存储,之后向发送装置或集中控制装置发送。
发送装置或集中控制装置根据发光样式和其时刻,确定接收装置摄像的发送装置,将位置信息向发送装置存储。
在图67中,通过作为接收装置摄像的图像中的点而指定发送装置的一点,指定设定位置的点。
接收装置计算从位置设定点向发送装置的发光部的中心的位置关系,将对设定的位置加上该位置关系后的位置向发送装置发送。
在图68中,接收装置通过将发送装置摄像,接收发送的信号。基于接收到的信号,与服务器或电子设备进行通信。
例如,接收装置以信号中包含的发送装置的ID为关键字,从服务器取得发送装置的信息、发送装置的位置及大小、与其位置关联的服务信息等。
此外,例如接收装置根据信号中包含的发送装置的位置推测接收装置的位置,从服务器取得地图信息及与该位置关联的服务信息等。
此外,例如接收装置以当前的大体上的位置为关键字,从服务器取得附近的发送装置的调制方式。
此外,例如接收装置以信号中包含的发送装置的ID为关键字,向服务器登记接收装置及发送装置的位置信息、附近的信息、接收装置在附近进行的处理的信息。
此外,例如接收装置以信号中包含的发送装置的ID为关键字,进行电子设备的操作。
(接收装置的框图)
图69是表示接收装置的结构图。接收装置由其全部或包括摄像部和信号解析部的一部分构成。另外,在图69中相同名称的块既可以是相同的部分兼用的,也可以是不同的部分。
狭义的接收装置2400af装备在智能电话或数字照相机等中。输入部2400h由用户操作输入部2400i、照度传感器2400j、麦克风2400k、计时部2400n、位置推测部2400m、通信部2400p的全部或一部分构成。
摄像部2400a由透镜2400b、摄像元件2400c、焦点控制部2400d、摄像控制部2400e、信号检测部2400f、摄像信息存储部2400g的全部或一部分构成。摄像部2400a通过用户的操作、照度的变化、声音或声响的样式、成为特定的时刻、接收装置移动到了特定的场所、或经由通信部被其他装置命令而开始摄像。
焦点控制部2400d进行将焦点对在发送装置的发光部2400ae上、或者对焦以使发送装置的发光部2400ae较大地映照而模糊等的控制。
曝光控制部2400ak设定曝光时间和曝光增益。
摄像控制部2400e将摄像的位置限定于特定的像素。
信号检测部2400f从摄像图像中,检测包含发送装置的发光部2400ae的像素、或包含通过发光的信号发送的像素。
摄像信息存储部2400g将焦点控制部2400d的控制信息、摄像控制部2400e的控制信息、及由信号检测部2400f检测到的信息存储。在摄像装置有多个的情况下,也可以同时进行摄像,将一方用于接收装置的位置及姿势的推测。
发光控制部2400ad通过用来自输入部2400h的输入控制发光部2400ae的发光样式来发送信号。发光控制部2400ad从计时部2400ac取得使发光部2400ae发光的时刻并记录。
摄像图像存储部2400w将由摄像部2400a摄像的图像存储。
信号解析部2400y利用摄像元件的各行的曝光时间的差异,根据摄像的发送装置的发光部2400ae的发光样式,基于存储在调制方式存储部2400af中的调制方式,取得发送的信号。
接收信号存储部2400z将由信号解析部2400y解析的信号存储。
传感器部2400q由GPS2400r、磁传感器2400t、加速度传感器2400s、陀螺仪传感器2400u的全部或一部分构成。磁传感器2400t及加速度传感器2400s也可以分别是9轴传感器。
位置推测部根据来自传感器部的信息、摄像图像、及接收到的信号,推测接收装置的位置及姿势。
运算部2400aa将接收到的信号、接收装置的推测位置、基于这些从网络2400ah得到的信息(地图、与场所关联的信息、及与发送装置关联的信息等)向显示部2400ab显示。
运算部2400aa根据接收到的信号、及接收装置的推测位置,基于输入到输入部2400h中的信息,进行发送装置的控制。
通信部2400ag在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2400ah而以终端彼此进行通信。
电子设备2400aj由接收装置控制。
服务器2400ai将发送装置的信息、发送装置的位置、与发送装置的位置关联的信息,与发送装置的ID建立联系而存储。
服务器2400ai将发送装置的调制方式与位置建立联系而存储。
(发送装置的框图)
图70是构成发送装置的框图。
发送装置由本结构图的全部、或包括发光部、发送信号存储部、调制方式存储部和运算部的一部分构成。
狭义的发送装置2401ab装备在电灯、电子设备或机器人中。
照明控制开关2401n是切换照明的开启关闭的开关。
散光板2401p是为了使发光部2401q的光散光而安装在发光部2401q的附近的部件。
发光部2401q利用图69的接收装置的摄像元件的各行的曝光时间的差异,以按照行检测发光样式的速度进行点灯、灭灯。
发光部2401q由能够高速地点灯、灭灯的LED或荧光灯等的光源构成。
发光控制部2401r控制发光部2401q的点灯和灭灯。
受光部2401s由受光元件及摄像元件构成。受光部2401s将受光到的光的强度变换为电信号。另外,也可以代替受光部2401s而使用摄像部。
信号解析部2401t根据受光部2401s受光的光的样式取得信号。
运算部2401u将存储在发送信号存储部2401d中的发送信号按照存储在调制方式存储部2401e中的调制方式变换为发光样式。运算部2401u基于从信号解析部2401t得到的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自安装部2401w的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自通信部2401v的信号,进行将存储部2401a的信息编辑等发光控制部2401r的控制。
此外,运算部2401u将安装装置2401h的存储部2401b的信息编辑。运算部2401u将安装装置2401h的存储部2401b的信息向存储部2401a复制。
运算部2401u在设定的时刻控制发光控制部2401r。运算部2401u经由网络2401aa进行电子设备2401zz的控制。
存储部2401a由发送信号存储部2401d、形状存储部2401f、调制方式存储部2401e、设备状态存储部2401g的全部或一部分构成。
发送信号存储部2401d存储从发光部2401q发送的信号。
调制方式存储部2401e存储将发送信号向发光样式变换的调制方式。
形状存储部2401f存储发送装置和发光部2401q的形状。
设备状态存储部2401g存储发送装置的状态。
安装部2401w由安装金属工具和电力供给口构成。
安装装置2401h的存储部2401b将存储到存储部2401a中的信息存储。存储部2401a也可以不具备,而使用安装装置2401h的存储部2401b或集中控制装置2401m的存储部2401c。
通信部2401v在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2401aa而以终端彼此进行通信。
服务器2401y将发送装置的信息、发送装置的位置及与发送装置的位置关联的信息与发送装置的ID建立联系而存储。此外,服务器2401y将发送装置的调制方式与位置建立联系而存储。
(接收的次序)
如果说明图71,则在步骤2800a中,确认在接收装置中是否有多个摄像装置。在否的情况下向步骤2800b前进,选择使用的摄像装置,向步骤2800c前进。另一方面,在是的情况下向步骤2800c前进。
在步骤2800c中,设定曝光时间(=快门速度)(另外,曝光时间优选的是较短)。
接着,在步骤2800d中,设定曝光增益。
接着,在步骤2800e中摄像。
接着,在步骤2800f中,按照曝光行,判断亮度超过一定的阈值的像素持续一定数量以上的部分,求出该部分的中心位置。
接着,在步骤2800g中,计算将上述中心位置连结的1次或2次的近似线。
接着,在步骤2800h中,将各曝光行的近似线上的像素的亮度值作为各曝光行的信号值。
接着,在步骤2800i中,根据由摄像帧速率、分辨率、空白时间等构成的摄像信息,计算每1行曝光行的担当时间。
接着,在步骤2800j中,如果空白时间是一定以下,则将某个摄像帧的最后的曝光行的下个曝光行看作是其下一帧的最初的曝光行。在不是那样的情况下,看作在某个摄像帧的最后的曝光行与其下一帧的最初的曝光行之间,存在将空白时间用每1曝光行的担当时间除的数量的不能观测的曝光行。
接着,在步骤2800k中,从解码信息中读入基准位置样式、地址样式。
接着,在步骤2800m中,根据各曝光行的信号值检测表示信号的基准位置的样式。
接着,在步骤2800n中,基于检测到的基准位置,计算数据部、地址部。
接着,在步骤2800p中,得到发送信号。
(自己位置推测的次序)
如果说明图72,则首先,在步骤2801a中,将识别为接收装置的当前位置的位置或当前位置的概率映射图作为自己位置的事前信息。
接着,在步骤2801b中,将接收装置的摄像部朝向发送装置的发光部。
接着,在步骤2801c中,根据9轴传感器和陀螺仪传感器的传感器值,计算摄像装置被朝向的方位和仰角。
接着,在步骤2801d中,将发光样式摄像,取得发送信号。
接着,在步骤2801e中,根据发送信号中包含的发光部的大小及形状的信息、摄像的发光部的大小和摄像装置的摄像的倍率,计算摄像装置与发光部之间的距离。
接着,在步骤2801f中,根据摄像图像中的发光部的位置和透镜特性,计算从摄像部向发光部的方向和与摄像面的法线的相对角度。
接着,在步骤2801g中,根据到此为止计算出的数值,计算摄像装置与发光部的相对位置关系。
接着,在步骤2801h中,根据发送信号中包含的发光部的位置、和摄像装置与发光部的相对位置关系,计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,通过根据各发送装置中包含的信号计算摄像装置的坐标,能够高精度地计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,可以使用三角测量的方法。
接着,在步骤2801i中,根据自己位置的事前信息和接收装置的位置的计算结果,将接收装置的当前位置或当前位置的概率映射图更新。
接着,在步骤2801j中,使摄像装置移动。
接着,在步骤2801k中,根据9轴传感器和陀螺仪传感器的传感器值,计算移动的方向和距离。
接着,在步骤2801m中,根据摄像图像和摄像装置的姿势,计算移动的方向和距离,向步骤2801a返回。
(发送控制的次序1)
如果说明图73,则首先,在步骤2802a中,用户将按钮按下。
接着,在步骤2802b中,使发光部发光。另外,也可以用发光样式表示信号。
接着,在步骤2802c中,记录发光开始时刻、结束时刻、及将特定的样式发送的时刻。
接着,在步骤2802d中,用摄像装置摄像。
接着,在步骤2802e中,将存在于摄像图像中的发送装置的发光样式摄像,取得发送的信号。另外,也可以利用记录的时刻同步地将发光样式解析。接着结束。
(发送控制的次序2)
如果说明图74,则首先,在步骤2803a中,用受光装置受光,或用摄像装置摄像。
接着,在步骤2803b中,确认是否是特定的样式。
在否的情况下向步骤2803a返回。另一方面,在是的情况下,向步骤2803c前进,将受光或摄像接收样式的开始时刻、结束时刻及特定的样式出现的时刻记录。
接着,在步骤2803d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2803e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(发送控制的次序3)
如果说明图75,则首先,在步骤2804a中,用受光装置受光,将受光的光能向电变换并蓄电。
接着,在步骤2804b中,确认蓄电能量是否成为了一定以上。
在否的情况下向步骤2804a返回。另一方面,在是的情况下,向步骤2804c前进,将受光的光解析,将出现特定的样式的时刻记录。
接着,在步骤2804d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2804e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(车站建筑内的信息提供)
图76是说明在车站建筑内接受信息提供的状况的图。
接收装置2700a将设置在车站施设中的照明摄像,通过读取发光样式或位置样式,接收照明装置发送的信息。
接收装置2700a基于接收到的信息从服务器取得照明及施设的信息,还根据摄像的照明的大小及形状推测接收装置2700a的当前位置。
例如,接收装置2700a将基于施设ID及位置信息得到的信息显示(2700b)。接收装置2700a基于施设ID下载施设的地图,根据用户购买的乘车券信息,进行向乘车场所的导航(2700c)。
另外,图76表示铁路的车站中的例子,但如果是飞机场、港口或公共汽车站等的施设也同样。
(乘车服务)
图77是表示交通工具内的利用的状况的图。
乘客具有的接收装置2704a和销售员具有的接收装置2704b将照明2704e发送的信号接收,推测自身的当前位置。
另外,各接收装置也可以从照明2704e取得自己位置推测所需要的信息,也可以以从照明2704e发送的信息为关键字而从服务器取得,也可以基于乘车车站或检票的位置信息等事前取得。
另外,接收装置2704a也可以根据用户(乘客)购买的乘车券的乘车时间信息和当前时刻识别出当前位置是交通工具内,将与该交通工具建立了关联的信息下载。
各接收装置将自身的当前的位置向服务器通知。接收装置2704a通过将用户(乘客)ID、接收装置的ID及用户(乘客)购买的乘车券的信息向服务器通知,服务器确认就座在座席中的人物是拥有乘车权利和指定席权利的人物。
接收装置2704a通过显示销售员的当前位置,用户(乘客)能够研究车内销售的购买时机。
当乘客经由接收装置2704a进行了车内销售的订购时,接收装置2704a将自身的位置、订购内容和核款信息向销售员的接收装置2704b及服务器通知。销售员的接收装置2704b将表示订购者的位置的地图2704d显示。
另外,乘客也可以经由接收装置2704a进行指定席券或换乘乘车券的购买。
接收装置2704a将空席信息2704c显示。接收装置2704a根据用户(乘客)购买的乘车券的乘车区间信息和自身的当前位置,将指定席券或换乘乘车券的购买信息及核款信息向服务器通知。
另外,图77表示了铁路内的例子,但在飞机、船或公共汽车站等的交通工具中也同样。
(店铺内服务)
图78是表示店铺内的利用的状况的图。
接收装置2707b、2707c、2707d将照明2707a发送的信号接收,推测自身的当前位置,向服务器通知。
另外,各接收装置也可以从照明2707a取得自己位置推测所需要的信息及服务器的地址,既可以以从照明2707a发送的信息为关键字从别的服务器取得,也可以从付款系统取得。
付款系统将付款信息与接收装置2707d建立关联,显示接收装置2707d的当前位置,将(2707c)订购的商品送到。
接收装置2707b基于从照明2707a发送的信息显示商品信息。如果购买者根据显示的商品信息进行订购,则接收装置2707b将商品信息、核款信息和当前位置向服务器通知。
这样,销售者能够基于接收装置2707b的位置信息将订购的商品送到,购买者能够坐在座席中而进行商品的购买。
(无线连接的建立)
图79是表示将无线连接的认证证书通信、建立无线连接的状况的图。
电子设备(数字照相机)2701b作为无线连接的接入点动作,作为其连接所需要的信息,将ID及口令作为发光样式发送。
电子设备(智能电话)2701a从发光样式取得发送信息,建立无线连接。
另外,这里设为无线连接,但建立的连接也可以是有线连接网络。
另外,两个电子设备之间的通信也可以经由第3电子设备进行。
(通信范围的调整)
图80是表示通过发光样式或位置样式的通信的范围的图。
在利用电波的通信方式中,即使是用墙壁隔开的邻室电波也到达,难以限制通信范围。
另一方面,在使用发光样式或位置样式的通信中,由于利用可视光和其周边域的波长,所以容易使用遮蔽物分隔通信范围。此外,在使用可视光的情况下,具有通信范围通过人的眼睛也能够确认的优点。
(室内的利用)
图81是表示地下街等的室内的利用的状况的图。
接收装置2706a接收照明2706b发送的信号,推测自身的当前位置。此外,接收装置2706a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2706b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。这在漏听了紧急状况广播的情况下、或对于不能听到紧急状况广播的听觉障碍者是有效的。
(室外的利用)
图82是表示街道等的室外的利用的状况的图。
接收装置2705a接收街灯照明2705b发送的信号,推测自身的当前位置。此外,接收装置2705a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2705b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。
此外,通过将其他车辆及步行者的移动显示在地图上、或向用户通知存在面向而来的车辆或步行者,能够起到事故防止的作用。
(道路顺序的指示)
图83是表示道路顺序的指示的状况的图。
利用从发送装置2703a、2703b、2703c发送的信息,接收装置2703e能够将附近的地图下载、或以误差1cm到几十cm的精度推测自身的位置。
通过知道接收装置2703e的正确的位置,能够将轮椅2703d自动运转、或使视觉障碍者安全地进行通行。
(多个摄像装置的利用)
图84的接收装置具备内置照相机2710a、接触面板2710b、按钮2710c、外照相机2710d和闪光灯2710e。
当用外照相机将发送装置摄像时,通过根据内置照相机的摄像图像推测接收装置的移动及姿势,能够进行手抖动的修正。
通过由内置照相机接收来自其他发送装置的信号,能够同时接收来自多个装置的信号、或提高接收装置的自己位置推测的精度。
(发送装置自律控制)
在图85中,发送装置1用受光部受光发送装置2的发光部的发光,取得发送装置2发送的信号和发送的定时。
在发送装置1的存储部中没有存储有发送的信号的情况下,与发送装置2的发光同步而以相同的样式发光,发送信号。
另一方面,在发送装置1的存储部中存储有发送的信号的情况下,发送装置2的发送信号和共通部分与发送装置2的发光同步而以相同的样式发光,发送信号。不共通的部分在发送装置2不发送信号的时间中发送。在没有发送装置2不发送信号的时间的情况下,适当地设定周期,按照该周期将不是共通的部分发送。在此情况下,发送装置2用受光部受光发送装置1的发光,检测出在相同的时刻发送不同的信号,在发送装置1不发送信号的时刻,发送不是共通的部分的信号。
为了避免通过发光进行的信号发送的冲突,利用CSMA/CD(CarrierSense Multiple Access with Collision Detection)的方式。
发送装置1以自身的信息为发光样式,使发光部发光。
发送装置2从受光部取得发送装置1的信息。
发送装置通过在可通信的发送装置彼此间交换相互的信息,制作发送装置的配置地图。此外,发送装置求出整体上最优的发光样式,以使通过发光的信号发送不冲突。此外,发送装置通过发送装置间的通信取得其他发送装置得到的信息。
(发送信息的设定)
在图86中,发送装置当发送装置被安装在安装装置中时、或存储在安装装置的存储部中的信息被变更时,将存储在安装装置的存储部中的信息向发送装置的存储部存储。在存储在安装装置或发送装置的存储部中的信息中,包括发送信号及发送的定时。
发送装置在存储在存储部中的信息被变更的情况下,在安装装置的存储部中存储该信息。从集中控制装置及配电盘将安装装置的存储部及发送装置的存储部的信息编辑。在从配电盘的操作中使用电力线通信。
发送装置的形状存储部存储有发送装置的安装部与发光部的中心位置的位置关系。
发送装置当发送位置信息时,发送对存储在存储部中的位置信息加上该位置关系后的位置信息。
在安装装置的存储部中,在建筑物的施工时等存储信息。在存储位置信息的情况下,通过利用建筑物的设计图及CAD数据,存储正确的位置。在建筑物的建筑时,通过从发送装置发送位置信息,能够确认位置,能够用于建筑的自动化、及材料的利用位置的确认等。
安装装置将发送装置的信息向集中控制装置通知。安装装置将安装了发送装置以外的设备的情况向集中控制装置通知。
在图87中,发送装置用受光部将光受光,由信号解析部从光的样式中取得信息,向存储部存储。发送装置当受光时,将存储在存储部中的信息向发光样式变换,使发光部发光。
关于发送装置的形状的信息存储在形状存储部中。
在图88中,发送装置将由通信部接收到的信号向存储部存储。发送装置当接收到时,将存储在存储部中的信息变换为发光样式,使发光部发光。
将关于发送装置的形状的信息向形状存储部存储。
发送装置在存储部中没有存储有发送信号的情况下,将适当的信号变换为发光样式,使发光部发光。
接收装置从摄像部取得发送装置发送的信号,将该信号和想要存储到发送装置中的信息经由通信部向发送装置或集中控制装置传递。
发送装置或集中控制装置,将发送来的信息向发送了与从接收装置从摄像部取得的信号相同的信号的发送装置的存储部存储。
另外,接收装置也可以匹配于将发送装置发送的信号摄像的时刻而发送,发送装置或集中控制装置利用该时刻确定接收装置摄像的发送装置。
另外,也可以以接收装置的通信部为发光部,以发送装置的通信部为受光部或摄像部,使用发光样式从接收装置向发送装置发送信息。
另外,也可以以接收装置的通信部为发音部、以发送装置的通信部为收音部,使用声音样式从接收装置向发送装置发送信息。
(与二维条码的组合)
图89是表示与二维条码组合利用的情况的图。
用户使通信设备2714a与通信设备2714d相对。
通信设备2714a使显示器将发送信息作为二维条码2714c显示。
通信设备2714d用二维条码读取部2714f读取二维条码2714c。通信设备2714d将发送信息表现为发光部2714e的发光样式。
通信设备2714a用摄像部2714b将发光部摄像,读取信号。通过该方式,能够进行双向的直接通信,在传送的数据量较少的情况下,能够比经由服务器的通信更高速地通信。
(地图的制作和利用)
图90是表示地图制作和其利用的状况的图。
机器人2715a通过基于照明2715d或电子设备2715c发送的信号进行自己位置推测,制作房间的地图2715f,将地图信息、位置信息、照明2715d或电子设备2715c的ID向服务器2715e存储。
接收装置2715b也同样,根据照明2715d或电子设备2715c发送的信号、移动中的摄像图像、以及陀螺仪传感器或9轴传感器的传感器值,制作房间的地图2715f,将地图信息、位置信息和照明2715d或电子设备2715c的ID向服务器2715e存储。
机器人2715a基于从服务器2715e取得的地图2715f,高效率地进行清扫或配餐。
接收装置2715b基于从服务器2715e取得的地图2715f,向机器人2715a指示清扫场所或移动场所,或操作处于朝向接收装置的方向的电子设备。
(电子设备的状态取得和操作)
图91是表示电子设备的状态取得和操作的状况的图。
通信装置2716a将控制信息变换为发光样式,使发光部朝向电子设备2716b的受光部2716d发光。
电子设备2716b从该发光样式读取控制信息,如控制信息那样进行动作。电子设备2716b当由受光部2716d受光时,将表示电子设备的状态的信息变换为发光样式,使发光部2716c发光。此外,电子设备2716b在运转结束时或错误发生时等、有想要向用户通知的信息的情况下,将该信息变换为发光样式,使发光部2716c发光。
通信装置2716a将发光部2716c摄像,取得发送的信号。
(电子设备的识别)
图92是表示将摄像的电子设备识别的状况的图。
通信装置2717a具有向电子设备2717b和电子设备2717e的通信路,向各电子设备发送ID显示命令。
电子设备2717b接收ID显示命令,用发光部2717c的发光样式将ID信号发送。
电子设备2717e接收ID显示命令,使用发光部2717f、2717g、2717h、2717i在位置样式发送ID信号。
另外,这里,各电子设备发送的ID信号也可以是电子设备具有的ID,也可以是被通信装置2717a指示的内容。
通信装置2717a根据存在于摄像图像中的发光部的发光样式或位置样式,识别被摄像的电子设备、该电子设备与接收装置的位置关系。
另外,为了识别电子设备与接收装置的位置关系,电子设备优选的是具备3点以上发光部。
(扩展现实对象的显示)
图93是表示显示扩展现实对象的状况的图。
显示扩展现实的舞台2718e以发光部2718a、2718b、2718c、2718d的发光样式或位置样式,发送扩展现实对象的信息、及显示扩展现实对象的基准位置。
接收装置基于接收到的信息,将扩展现实对象2718f叠加在摄像图像上而显示。
(用户界面)
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,所以如图94那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,如图95那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
即使是在摄像范围中不能确认发光部的情况,在能够根据其以前的摄像结果或附属于摄像终端的9轴传感器、陀螺仪传感器、麦克风或位置传感器等的信息推测发光部的位置的情况下,如图96那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
为了使摄像范围的中心朝向发光部的方向,如图97那样,根据想要使摄像范围移动的距离调整显示的图形的大小。
在发光部的拍摄较小的情况下,为了更大地摄像,如图98那样,进行敦促用户更靠近发光部而摄像那样的显示。
在发光部从摄像范围的中央偏离、并且拍摄的大小不充分的情况下,如图99那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像那样的显示。
在通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图100那样,进行敦促用户使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图101那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且使摄像范围旋转那样的显示。
在发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图102那样,进行敦促用户更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图103那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在信号接收中,如图104那样,进行传达正在接收信号的情况的显示、或显示接收到的信号的信息量。
在判明了接收的信号的尺寸的情况下,在信号接收中,如图105那样,通过进度条显示接收完成的信号的比例或信息量。
在信号接收中,如图106那样,用进度条显示接收完成的信号的比例、接收部位、或接收到的信号的信息量。
在信号接收中,如图107那样,叠加到发光部上,显示接收完成的信号的比例或信息量。
在检测到发光部的情况下,如图108那样,例如通过使发光部闪烁等的显示,显示该物体是发光部。
在接收来自发光部的信号的过程中,如图109那样,例如通过使发光部闪烁等的显示,显示正在从该发光部接收信号。
在图110中,在检测到多个发光部的情况下,通过使用户轻击某个发光部,使用户指定接收信号或进行操作的发送装置。
(实施方式4)
(向ITS的应用)
以下,作为本发明的应用例,说明ITS(Intelligent Transport Systems:智能交通系统)。在本实施方式中,实现了可视光通信的高速通信,能够实现向ITS领域的适用。
图111是说明搭载有可视光通信功能的交通系统与车辆或步行者的通信的图。信号机6003搭载有本实施方式的可视光通信功能,能够进行与车辆6001及步行者6002的通信。
从车辆6001及步行者6002与信号机6003的信息发送通过前照灯或步行者持有的便携终端的闪光灯发光部等进行。从信号机6003向车辆6001及步行者6002的信息发送通过信号机6003具有的照相机传感器或车辆6001具有的照相机传感器进行信号的照明。
另外,以后也说明通过道路照明或道路信息板等设置在路上的交通支援的物体与车辆6001或步行者6002进行通信实现的功能,但关于通信方式可以应用相同的方式,所以省略说明。
如图111所示,信号机6003向车辆6001提供道路交通信息。这里,所谓道路交通信息,是拥堵信息或事故信息、周边服务区域的信息等,辅助驾驶那样的信息。
信号机6003由于搭载有LED照明,所以通过进行由该LED照明实现的通信,能够不搭载新的装置而进行向车辆6001的信息提供。此外,由于车辆6001一般高速移动,所以通过以往的可视光通信技术能够发送的数据量较少,但根据本实施方式,由于通信速度提高,所以有能够向车辆发送的数据尺寸变多的效果。
此外,通过信号机6003及照明6004,能够按照信号或照明而提供不同的信息。由此,可以例如仅对在右转道中行驶的车辆进行信息发送等,发送与车辆的位置对应的信息。
此外,同样对于步行者6002,也能够仅对处于特定的地点的步行者6002提供信息,所以能够仅对例如在特定的交叉点的横穿人行道进行信号等待的步行者发送例如是事故较多的交叉点的信息、或街中地点信息等。
进而,信号机6003和别的信号机6005也能够通信。由此,例如在信号机6003将提供的信息变更的情况下,能够不新向信号机连通信号线或通信机,而通过信号机彼此的通信的中继将信号机分发的信息变更。通过本方式,可视光通信的通信速度较大地提高,所以能够进行更短时间中的分发信息的变更。由此,例如能够1天中变更几次分发信息。此外,能够将积雪或降雨信息等立即分发。
进而,通过照明将当前的位置信息分发,也能够对车辆6001或步行者6002提供位置信息。在商店街或隧道等房顶上有房檐的施设有难以进行使用GPS的位置信息取得的情况,但如果使用可视光通信,则具有在这样的状况下也能够取得位置信息的优点。此外,通过本实施方式,由于通信速度与以往相比能够更高速化,所以例如在通过店铺或交叉点等特定的地点的期间中能够接收信息。
另外,本实施方式是将可视光通信高速化的,所以当然能够对其他的使用可视光通信的ITS系统全部应用。
图112是在车辆彼此使用可视光通信进行通信的车车间通信中采用本发明的情况下的概略图。
车辆6001通过制动灯或其他LED照明向后方的车辆6001a传递信息。此外,也可以通过前照灯或其他照射前方的灯向面对的车辆6001b发送数据。
这样,通过在车辆间用可视光通信,能够共享车辆彼此的信息。例如,通过将前方交叉点处的事故信息向后方车辆以中继形式传递,能够将拥堵信息或引起注意的信息向后方车辆传递。
此外,同样通过向对向的车辆传递拥堵信息或从制动的传感器信息取得的急制动信息,对于对向车也能够传递辅助运转的信息。
通过本发明,由于可视光通信的通信速度提高,所以有能够一边与对向车错车一边发送信息的优点。此外,对于后方车辆,也由于信息发送的间隔变短,所以能够以更短的期间向许多车辆传递信息。此外,通过通信速度提高,也能够发送声音或图像信息。由此,能够将更丰富的信息在车车间共享。
(位置信息报知系统及施设系统)
在图113中,表示使用本实施方式的可视光通信技术的位置信息报知系统及施设系统的概略图。例如以在医院内将患者的病历或输送物、药品等用机器人配送的系统为代表进行说明。
机器人6101搭载有可视光通信功能。照明分发位置信息。机器人6101通过取得照明的位置信息,能够将药或其他物品送到特定的病房。由此,医生的负担减轻。此外,由于照明不会泄漏到相邻的房间,所以有机器人6101不会弄错房间的效果。
另外,使用本实施方式的可视光通信的系统并不限定于医院内,能够应用到使用照明器具分发位置信息的系统中。例如也可以作为在室内的购物中心中从向导显示板的照明将位置及向导信息发送的构造,也可以用于机场内的推车的移动。
此外,还可以通过在店铺的照明中搭载可视光通信技术而分发优惠券信息或销售信息。通过将信息叠加到可视光中,用户能够直观地理解从该店铺的光获得信息,所以有用户的方便性提高的效果。
此外,在发送是房间之中/外的信息的情况下,如果使用无线LAN分发位置信息,则由于电波泄漏到相邻的房间或走廊,所以在外壁中需要将电波阻断的功能,以使电波不会飞到房间之外。此外,如果用外壁将电波阻断,则有便携电话等的与外部通信的设备不能使用的问题。
如果使用本实施方式的可视光通信发送位置信息,则仅在照明可达的范围中能够进行通信,所以有例如容易将特定的房间的位置信息向利用者发送的效果。此外,由于外壁通常将光遮挡,所以有不需要特别的装置的效果。
此外,在大厦或大规模施设、普通住宅中,通常照明的位置不会变化,所以各照明发送的位置信息不会频繁地变化。由于各照明的位置信息的数据库的更新频度较低,所以有位置信息管理的维护成本较低的效果。
(超级市场的系统)
在图114中,说明在商店中、将搭载有本实施方式的通信方式的设备搭载到购物推车中、从商品货架的照明或室内照明取得位置信息的超级市场的系统。
推车6201搭载有使用本实施方式的通信方式的可视光通信设备。照明6100通过可视光通信将位置信息及该货架的信息分发。推车能够接受从照明分发的商品信息。此外,通过接受位置信息,能够掌握自己处于哪个货架,所以例如如果在推车中预先存储货架的位置信息,则仅通过向推车指定用户想去的货架或想要的商品,就能够在推车上显示应去哪个方向。
通过可视光通信,能够得到知道货架的位置的程度的高精度的位置信息,所以能够取得并利用推车的移动信息。例如,还能够将推车从照明取得的位置信息进行数据库化。
使用可视光通信,在照明中与推车的信息一起发送,或者使用无线LAN等向服务器发送。或者,在推车中搭载存储器,通过在店铺的闭店后将数据收集等,能够将推车通过了怎样的路径的情况汇集到服务器中。
通过收集推车的移动信息,能够掌握哪个货架有人气、最多通过哪个通路,所以有能够用于市场营销的效果。
(便携电话终端与照相机的通信)
在图115中表示使用本实施方式的可视光通信的应用例。
便携电话终端6301使用闪光灯向照相机6302发送数据。照相机6302从由摄像部接收到的光信息中接收便携电话终端6301发送的数据。
预先在便携电话终端6301中进行照相机的摄影设定,向照相机6302发送。由此,能够利用便携电话终端的丰富的用户界面进行照相机的设定。
此外,通过利用照相机的摄影传感器,在照相机与便携电话终端通信时,能够不搭载无线LAN等的新的通信设备而从便携电话终端对照相机发送设定信息。
(水中通信)
在图116中表示将本实施方式的通信方式应用于水中通信的情况下的概略图。由于水不通过电波,所以水中的潜水员彼此或海上的船与海中的船不能通过无线进行通信。在本实施方式的可视光通信中,在水中也能够利用。
另外,本实施方式的可视光通信方式能够从发光的物体或建筑物发送数据。如果将受光部面向建筑物,则能够取得该建筑物的向导信息及详细信息,所以能够对观光客提供有益的信息。
另外,本实施方式的可视光通信方式能够应用到从灯塔与船舶的通信中。由于能够进行比以往大容量的通信,所以能够交换更详细的信息。
另外,本实施方式的可视光通信由于使用光,所以能够进行仅在特定的房间中进行通信等的以房间单位的通信控制。例如在图书馆中向仅在特定的房间能够阅览的信息访问的情况下使用本实施方式的通信方式,或者应用到将本实施方式的通信方式用于密钥信息的交换、实际的通信使用无线LAN等的通信进行等的用途中。
另外,本实施方式的通信方式能够转用到通过LED的通信及具备MOS传感器的摄像装置的全部中,例如当然能够应用到数字照相机及智能电话中。
(实施方式5)
(服务提供例)
以下,在本实施方式中,作为本发明的应用例,使用图117说明向用户的服务提供例。图117是用来说明实施方式5的向用户的服务提供例的图。在图117中,表示了网络服务器4000a、发送机4000b、4000d、4000e、接收机4000c、4000f和建筑物4000g。
接收机4000c、4000f从处于家室内外的多个发送机4000b、4000d、4000e接收信号,通过处理,能够向用户提供服务。另外,发送机及接收机既可以能够单独地处理信号、向用户提供服务,也可以能够与构成网络的网络服务器4000a协同,按照来自网络的指示,一边使它们的动作及发信的信号变化,一边向用户提供服务。
另外,发送机及接收机既可以装备到人或车辆等运动的物体上,也可以装备到静止的物体上,也可以能够之后装备到已有的物体上。
图118是用来说明实施方式5的向用户的服务提供例的图。在图118中表示了发送机4001a和接收机4001b。
如图118那样,接收机4001b接收多个发送机4001a发信的信号,通过将信号中包含的信息处理,向用户提供服务。另外,在信号中包含的内容中,有关于唯一地表示设备的设备ID、位置信息、地图、标识、观光信息、交通信息、地域服务、优惠券、广告、商品说明、人物角色(characters)、音乐、运动图像、照片、声音、菜单、广播、紧急向导、时刻表、指引、应用、新闻、公告板、向设备的命令、识别个人的信息、金券、信用卡、安全、URL等的信息。
用户既可以将用来利用这些信号中包含的信息的登记处理等事前在网络服务器上实施,在实际发送机4001a将信号发信的场所,用户通过用接收机4001b接收这些信号能够接受服务的提供,也可以不经由网络服务器而接受服务的提供。
图119是表示本实施方式的将接收机从发送机接收到的多个信号同时处理的情况的流程图。
首先,在步骤4002a中开始。接着,在步骤4002b中,接收机接收来自多个光源的信号。接着,在步骤4002c中,根据接收到的结果,判断各个光源被显示的区域,从各自的光源提取信号。
将在步骤4002d中取得的信号的数量的处理在步骤4002e中基于信号中包含的信息反复进行,直到数量成为0个。在要处理的数量成为0个的阶段中,在步骤4002f中结束。
图120是表示通过实施方式5的相互通信实现设备间的通讯的情况下的一例的图。在图118中表示通过具有发送机及接收机的多个收发机4003a、收发机4003b、收发机4003c相互通信而实现设备间的通讯的情况下的一例。另外,收发机既可以如图118那样仅在相同设备间进行通信,也可以能够在不同的设备间通信。
此外,本实施方式通过将应用利用本实施方式提供的通信机构或其他网络、拆装式的存储设备向便携电话、智能电话、个人计算机、游戏机等分发,从这些应用利用已经装备的设备的仪器(LED、光电二极管、图像传感器),能够向用户提供服务。另外,应用也可以从最初就搭载在设备中。
(利用指向性的服务的例子)
此外,作为本发明的应用例,对利用本实施方式的指向性的特性的服务进行说明。具体而言,是在电影院、音乐厅、博物馆、医院、公民馆、学校、公司、商店街、百货商店、政府机关、食品店等那样的公共施设中利用本发明的情况下的例子。本发明与以往的可视光通信相比,由于能够使发送机向接收机产生的信号的指向性变低,所以能够向存在于公共施设中的许多接收机同时发信信息。
图121是用来说明利用实施方式5的指向性的特性的服务的图。在图121中表示屏幕4004a、接收机4004b和照明4004c。
如图121那样,通过在电影院中利用本实施方式,能够在电影的上映中抑制用户进行与其他用户的舒适的电影的视听妨害相联系的设备(便携电话、智能电话、个人计算机、游戏机等)的利用。发送机以向显示电影的屏幕4004a投影的影像内或装备在施设上的照明4004c等发出的光为信号,使这些信号内包含控制接收机4004b的命令。通过接收机4004b接收该命令,控制接收机4004b的动作,能够防止妨碍其他用户的电影视听那样的行为。控制接收机4004b的命令有电源或接收发出的声音、通信功能、LED的显示、振动等的ON、OFF、水平调整等。
此外,接收机通过将发送机发送的信号利用光源的强度等过滤,能够控制指向性的强度。在本实施方式中,通过将指向性设定得较低,能够向存在于施设中的接收机一齐发送命令及信息。
另外,在想要使指向性变高的情况下,也可以发送机侧限制光源的量,也可以通过在接收机侧降低受光光源的灵敏度、或将受光的光源的量进行信号处理来加以制约。
另外,在将本实施方式在如食品店、政府机关等那样接受来自用户的订购、现场处理订购那样的店铺等中利用的情况下,通过配置在能看遍店的场所的接收机接收由处于用户的手边的发送机发信的包含订购的信号,能够检测出哪个座席的用户订购了什么菜单。服务提供者通过设置时间轴处理订购,能够向用户提供公平性较高的服务。
另外,也可以通过在发信机与接收机间利用预先设定的秘密密钥或公开密钥将信号中包含的信息加密、解密,限制能够发送信号的发送机、能够接收信号的接收机。此外,也可以在发送机及接收机间的发送路利用在因特网中在标准中利用的SSL等的协议抑制来自其他设备的信号的监听。
(现实世界与因特网上的世界的融合的服务例)
此外,作为本发明的应用例,对将由照相机摄像的现实世界与因特网上的世界的信息叠加、向用户提供服务的服务进行说明。
图122是用来说明实施方式5的向用户的服务提供例的另一例的图。具体而言,图122表示利用在便携电话、智能电话、游戏机等的接收机中搭载的照相机4005a应用本实施方式的情况下的服务的一例。这里,在图122中表示了照相机4005a、光源4005b和叠加的内容4005c。
从照相机4005a的摄像结果中提取多个光源4005b发信的信号4005d,将在这些信号4005d中包含的信息向照相机4005a叠加而显示。另外,向照相机4005a叠加的内容4005c有字符串、图像、运动图像、人物角色、应用、URL等。另外,不仅是与照相机的叠加,也可以利用声音、振动等将信号中包含的信息处理。
图123是表示在发送机发送的光源中包含的信号的格式例的图。在图123中,表示光源的特性4006a、服务种类4006b和关于服务的信息4006c。
关于将接收机接收到的信号向照相机叠加的服务的信息4006c是根据在发送机发出的信号中包含的服务种类4006b等的信息及从照相机到光源的距离、将能够从信号取得的信息过滤的结果。另外,接收机过滤的内容既可以遵照预先设定的接收机的设定,也可以遵照用户设定在接收机中的用户的嗜好。
此外,接收机可以推测到发出信号的发信机的距离,显示到光源的距离。接收机通过将由照相机摄像的发信机发出的光量进行数字信号处理,推测到发信机的距离。
但是,接收机用照相机摄像的各个发信机的光量根据光源的位置及强度而不同,所以如果仅用摄像的发信机的光量推测距离,则有大幅偏离的情况。
为了解决该问题,使发信机发出的信号内包含表示光源的强度及颜色、种类等的光源的特性4006a。接收机通过进行添加了信号中包含的光源的特性的数字信号处理,能够推测精度较高的距离。在接收机摄像的发信机的光源有多个的情况下,在全部的光源的强度相同的情况下,用光源的光量推测距离。在有接收机摄像的光源的强度不相同的发送机的情况下,不仅根据光源量推测距离,而与其他距离测量手段组合来推测从发送机到接收机的距离。
作为其他距离测量手段,也可以利用由二眼透镜摄像的影像的视差推测距离,也可以使用红外线或微波读取器等推测距离,也可以通过9轴传感器或搭载在接收机中的摄像等取得接收机的移动量,推测将移动的距离与三角测量组合的距离。
另外,不仅是接收机利用在发送机侧发生的信号的强度或距离将信号过滤、显示,也可以作为接收机调整从发送机接收的信号的指向性的手段利用。
(实施方式6)
以下,对通过作为设备具备的LED的闪烁样式发送信息、使用智能电话的照相机通信的处理的流程进行叙述。
图124是表示本实施方式的宅内的环境的例子的图。在图124所示的环境中,对于电视机1101及电灶1106、空气净化机1107,智能电话1105等也处于用户的周边。
图125是表示本实施方式的家电设备与智能电话的通信的例子的图。图125是信息通信的例子,是表示通过由用户持有的智能电话1201取得图124的电视机1101或电灶1106那样的各设备输出的信息来得到信息的结构的图。如图125所示,各设备使用LED的闪烁样式发送信息,智能电话1201使用照相机等的摄像功能接受信息。
图126是表示本实施方式的发送侧装置1301的结构的一例的图。
该发送侧装置1301通过用户按下按钮、或由NFC(Near FieldCommunication)等送出发送指示、或检测到装置内部的故障等的状态的变化,将信息作为光的闪烁样式发送。此时将发送重复一定时间。发送的信息如果是预先登记的设备间,也可以使用缩短ID。此外,在具有无线LAN或特定节电无线等无线通信部的情况下,也可以将其连接所需要的认证信息作为闪烁样式发送。
此外,发送速度判断部1309通过掌握设备内部的时钟发生装置的性能,可以进行在时钟发生装置因较便宜而精度较差的情况下使发送速度变慢、在较高的情况下使发送速度变快的处理。在时钟发生装置的性能较差的情况下,或者也可以通过将发送的信息自身划分为较短,来减少因长时间通信下的闪烁间隔的偏差的累积造成的错误。
图127是表示本实施方式的接收侧装置1401的结构的一例的图。
该接收侧装置1401根据图像取得部1404取得的帧图像判断能看到光的闪烁的区域。此时闪烁也可以取能够采取追随可观测到一定以上的亮度的高低的区域那样的方法。
闪烁信息取得部1406根据闪烁的样式取得发送的信息,在其中包含有设备ID等的设备关联的情况下,使用该信息向云上的关联服务器查询附带的信息,或者使用事前保管的无线通信区域内的设备或保管在接收侧装置内部中的信息进行插补。由此,能够得到削减为了取得因将光的发光样式摄像时的噪声带来的错误修正或已经获得的信息而用户将智能电话罩在发送侧装置的发光部上的时间等的效果。
以下,说明图128。
图128是表示通过本实施方式的发送侧装置的LED的闪烁向智能电话等的接收侧装置发送信息的处理的流程的图。这里,设想具有通过NFC与智能电话通信的功能的发送侧装置、和植入在该发送侧装置具有的否FC用的通信标记的一部分中的LED的发光样式发送信息的状况。
首先,在步骤1001a中,用户购买家电设备,初次向插座插入电源,成为通电状态。
接着,在步骤1001b中,确认初始设定信息是否是已写入。在是的情况下向图中的圈3前进。另一方面,在否的情况下向步骤1001c前进,标记以用户容易理解的闪烁速度(例如:1~2/5)闪烁。
接着,在步骤1001d中,确认是否用户通过以NFC通信将智能电话接触在标记上而取得家电的设备信息。这里,在是的情况下,向步骤1001e前进,智能电话接收设备信息,向云的服务器登记。接着,在步骤1001f中,从云接收与智能电话的用户的账户建立了关联的缩短ID,向家电发送,向步骤1001g前进。另外,在步骤1001d中为否的情况下向步骤1001g前进。
接着,在步骤1001g中,确认是否有NFC下的登记。在是的情况下向步骤1001j前进,在蓝色的闪烁2次后,在步骤1001k中闪烁结束。
另一方面,在步骤1001g中为否的情况下向步骤1001h前进。接着,在步骤1001h中,确认是否过了30秒。这里,在是的情况下向步骤1001i前进,LED部分通过光的闪烁将设备信息(设备的型号、NFC下的登记处理有无、设备的固有ID)输出,向图129的圈2前进。
另外,在步骤1001h中为否的情况下向步骤1001d返回。
接着,使用图129~图132,说明本实施方式的发送侧装置的通过LED的闪烁向接收侧装置发送信息的处理的流程。这里,图129~图132是表示通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
以下,说明图129。
首先,在步骤1002a中,用户起动取得智能电话的光闪烁信息的应用。
接着,在步骤1002b中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1002c中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1002d中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1002e中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1002f中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知,向图130的圈4前进。
以下,说明图130。
首先,在步骤1003a中,在家电故障、或生成了向用户通知的使用次数、室温等的消息的情况下,开始信息发送模式。
接着,在步骤1003b中,使标记以1~2/s闪烁。同时,LED也开始信息发信。
接着,在步骤1003c中,确认是否开始了NFC下的通信。另外,在否的情况下向图132的圈7前进。在是的情况下向步骤1003d前进,停止LED的闪烁。
接着,在步骤1003e中,智能电话向云的服务器访问,将关联信息显示。
接着,在步骤1003f中,在需要现场应对的故障的情况下,在服务器侧检索支援的服务人员。利用家电、设置场所、位置信息。
接着,在步骤1003g中,服务人员通过以预先决定的顺序按下家电的按钮而成为支援模式。
接着,在步骤1003h中,在从智能电话看到由标记以外的家电的LED进行标记的闪烁的情况下,同时可见的LED的一部分或全部以将信息插补的方式烁,向图131的圈5前进。
以下,说明图131。
首先,在步骤1004a中,服务人员在持有的接收终端的性能能够检测高速(例如:1000/s次)的闪烁的情况下,按下其设定按钮。
接着,在步骤1004b中,家电的LED进行高速模式闪烁,向圈6前进。
以下,说明图132。
首先,在步骤1005a中继续闪烁。
接着,在步骤1005b中,用户用智能电话来获取LED的闪烁信息。
接着,在步骤1005c中,用户将智能电话的取得光闪烁信息的应用起动。
接着,在步骤1005d中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1005e中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1005f中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1005g中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1005h中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知。
并且,向图130的步骤1003f前进。
这样,家电设备等的发送装置能够通过LED的闪烁向智能电话发送信息。即使是没有无线功能或NFC等的通信机构那样的设备也能够发信信息,还能够经由智能电话向处于云上的服务器的丰富的信息向用户提供。
此外,如本实施方式那样,在至少包括一个可拿持的设备的两个设备间具有通过双向通信(例如NFC通信)和单向通信(例如通过LED的亮度变化进行的通信)的两个通信方法进行数据的收发的功能的情况下,当从一方的设备向另一方的设备以单向通信进行数据的发送时,在以双向通信实现了数据收发的情况下,能够停止单向的通信。由此,能够省去单向通信所需要的耗电的浪费,所以是有效率的。
以上,根据实施方式6,能够实现能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置。
具体而言,本实施方式的信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
这里,例如也可以是,还具备保存自己的起动状态及用户的使用履历等的设备内部的传感到的信息的起动履历管理部,上述光发送部取得利用的时钟发生装置的预先登记的性能信息,变更发送速度。
此外,例如也可以是,上述光发送部在用来通过光的闪烁发送信息的第一发光元件的周围配置有第二发光元件,上述第二发光元件在将通过上述第一发光元件的闪烁进行的信息发信重复一定次数的情况下,在信息发信的结束和开始之间发光。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式7)
在本实施方式中,以清扫机为例,对使用可视光通信的设备与用户的通信次序、以及对从使用可视光通信的初始设定到故障时的修理对应服务、使用清扫机的服务协同进行说明。
图133和图134是用来说明本实施方式的使用可视光进行用户与设备的通信的次序的图。
以下,对图133进行说明。
首先,在圈1中开始。
接着,在步骤2001a中,用户将电源投入。
接着,在步骤2001b中,作为起动处理,确认是否进行了设置设定、NW设定等的初始设定。
这里,在进行了初始设定的情况下,向步骤2001f前进,开始通常动作,如圈3所示那样结束。
另一方面,在没有进行初始设定的情况下,向步骤2001c前进,通过“LED通常发光”、“蜂鸣音”向用户通知需要初始设定。
接着,在步骤2001d中,收集设备信息(制品号码和制造号码),进行可视光通信的准备。
接着,在步骤2001e中,将设备信息(制品号码和制造号码)和能够进行可视光通信的情况通过“LED通信发光”、“向显示器的图标显示”、“蜂鸣音”、“将多个LED发光”向用户通知。
并且,如圈2所示那样结束。
接着,对图134进行说明。
首先,如圈2所示那样开始。
接着,在步骤2002a中,通过“接近传感器”、“照度传感器”及“人感传感器”感知可视光接收终端的接近。
接着,在步骤2002b中,以感知到的情况为触发事件,开始可视光通信。
接着,在步骤2002c中,用户用可视光接收终端取得设备信息。
接着,如圈4所示那样结束。或者,向步骤2002f~步骤2002i的某个前进。
在前进到步骤2002f的情况下,通过“灵敏度传感器”的感知、以及“与调光设备的协同”,感知到房间被灭灯的情况,停止设备信息的发光,如圈5所示那样结束。此外,在前进到步骤2002g的情况下,可视光接收终端取得设备信息,将感知到的情况通过“NFC通信”及“NW通信”通知并结束。在前进到步骤2002h的情况下,感知可视光接收终端的脱离,将设备信息停止并结束。在前进到步骤2002i的情况下,等待一定时间的经过,将设备信息的发光停止并结束。
另外,在步骤2002a中没有感知到的情况下,向步骤2002d前进,等待一定时间的经过,将能够进行可视光通信的通知通过“变亮”、“使声音变大”、“移动图标”等强化并通知。这里,向步骤2002d返回。或者,向步骤2002e前进,进而在一定时间经过后,向步骤2002i前进。
图135是用来说明本实施方式的用户购买设备、进行设备的初始设定为止的次序的图。
在图135中,首先如圈4所示那样开始。
接着,在步骤2003a中,用GPS(Global Positioning System)取得接收到设备信息的智能电话的位置信息。
接着,在步骤2003b中,如果在智能电话中有用户信息,则在终端内收集用户名、电话号码、邮件地址等的用户信息。或者,在步骤2003c中,如果在智能电话中没有用户信息,则通过NW从周边设备收集用户信息。
接着,在步骤2003d中,将设备信息、用户信息和位置信息向云服务器发送。
接着,在步骤2003e中,使用设备信息和位置信息收集初始设定所需要的信息和激活信息。
接着,在步骤2003f中,收集为了与用户已登记的设备的协同在设定中需要的IP、认证方式及可利用服务等相关信息。或者,在步骤2003g中,通过对用户已登记的设备通过NW发送设备信息和设定信息,进行与周边设备的协同设定。
接着,在步骤2003h中,使用设备信息和用户信息进行用户设定。
接着,在步骤2003i中,将初始设定信息、活动信息和协同设定信息向智能电话发送。
接着,在步骤2003j中,将初始设定信息、激活信息和协同设定信息用NFC向家电发送。
接着,在步骤2003k中,通过初始设定信息、激活信息和协同设定信息进行设备的设定。
并且,如圈6所示那样结束。
图136是用来对本实施方式的设备故障的情况下的、服务人员专用的服务进行说明的图。
在图136中,首先如圈3所示那样开始。
接着,在步骤2004a中,将在设备的通常动作中发生的动作日志、用户操作日志等的履历信息向本地存储媒体记录。
接着,在步骤2004b中,在故障发生的同时,将错误代码、错误详细情况等的错误信息记录,将能够进行可视光通信的情况用LED异常发光通知。
接着,在步骤2004c中,通过服务人员的特殊命令执行而成为LED高速发光模式,开始可视光的高速通信。
接着,在步骤2004d中,判别接近的终端是通常智能电话、还是服务人员的专用接收终端。这里,在前进到了步骤2004e的情况下,在智能电话的情况下取得错误信息并结束。
另一方面,在前进到了步骤2004f的情况下,在服务人员的情况下,用专用接收终端取得错误信息和履历信息。
接着,在步骤2004g中,向云发送设备信息、错误信息和履历信息,取得修理方法。这里,在前进到了步骤2004h的情况下,通过服务人员的特殊命令执行将LED高速发光模式解除并结束。
另一方面,在前进到了步骤2004i的情况下,从云服务器取得设备信息的关联商品、类似商品的商品信息、最近店铺的销售价格、新商品信息。
接着,在步骤2004j中,用用户的智能电话和服务人员的专用终端通过可视光通信取得用户信息,经由云服务器向最近店铺订购商品。
并且,如圈9所示那样结束。
图137是用来对本实施方式的和清扫机使用可视光通信的、用于确认清扫状况的服务进行说明的图。
首先,如圈3所示那样开始。
接着,在步骤2005a中,记录设备的通常动作中的清扫信息。
接着,在步骤2005b中,房间布局信息组合而制作污垢信息,进行加密压缩。
这里,在前进到步骤2005c的情况下,将污垢信息的压缩作为触发事件,将污垢信息向本地存储媒体记录。或者,在前进到了步骤2005d的情况下,将清扫的暂停(吸入处理停止)作为触发事件将污垢信息通过可视光通信向照明器具发送。或者,在前进到了步骤2005e的情况下,将污垢信息的记录作为触发事件,将污垢信息用NW向家庭内本地服务器及云服务器发送。
接着,在步骤2005f中,以污垢信息的发送及记录为触发事件,将设备信息、保存部位、解密密钥通过可视光通信向智能电话发送。
接着,在步骤2005g中,通过NW及NFC取得污垢信息并解码。
并且,如圈10所示那样结束。
如以上这样,根据实施方式7,能够实现包括能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置的可视光通信系统。
具体而言,包括本实施方式的信息通信装置的可视光通信系统(图133)搭载有用来判断可视光发送的准备是否完成的可视光发送可否判断部、和将是可视光发送中向用户通知的可视光发送通知部,当成为能够进行可视光通信的状态时向用户视觉及听觉地通知的可视光通信系统。由此,通过使LED的发光模式为“发光色”、“声音”、“图标显示”、“多LED发光”向用户通知能够进行可视光接收的状况,能够提高用户的方便性。
优选的是,如在图134中说明那样,也可以是一种可视光通信系统,搭载有感知可视光接收终端的接近的终端接近感知部、和根据可视光接收终端的位置判断可视光发送的开始和停止的可视光发送判断部,以由终端接近感知部感知到可视光接收终端的接近作为触发事件开始可视光发送。
这里,例如如在图134中说明那样,也可以是以由终端接近感知部感知到可视光接收终端的脱离为触发事件而将可视光发送停止的可视光通信系统。此外,例如如在图134中说明那样,也可以是一种可视光通信系统,搭载有感知房间的灭灯的周边照度感知部,以由周边照度感知部感知到房间的灭灯为触发事件将可视光发送停止。由此,通过感知可视光接收终端的接近和脱离、以及房间的灭灯,通过仅在能够可视光通信的状况下开始可视光通信,能够省去不必要的可视光通信而实现节能化。
进而,例如如在图134中说明那样,也可以是一种可视光通信系统,搭载有计测进行可视光发送的时间的可视光通信时间监视部、和将是可视光发送中的情况向用户通知的可视光发送通知部,以可视光通信进行了一定以上但没有可视光接收终端的接近的情况为触发事件,将向用户的视觉及听觉的通知进一步强化。此外,例如如在图134中说明那样,也可以是一种以可视光发送通知部将通知强化后可视光发送时间进行了一定以上但没有可视光接收终端的接近的情况为触发事件、将可视光发送停止的可视光通信系统。
由此,通过在虽然经过了一定以上的可视光发送时间、但没有进行用户的接收的情况下进行向用户的可视光接收的情况和停止,放置忘记接收或忘记取消,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图135)也可以是一种可视光通信系统,搭载有判断接收到可视光通信的可视光接收判断部、用来取得终端位置的接收终端位置取得部、和取得设备信息和位置信息并收集设备设定信息的设备设定信息收集部,以接收到可视光为触发事件而取得接收终端的位置,收集设备设定所需要的信息。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
这里,还如在图137中说明那样,也可以是一种可视光通信系统,搭载有管理设备信息的设备信息管理部、管理设备与设备的类似性的设备关系管理部、管理销售设备的店铺信息的店铺信息管理部、和根据位置信息检索最近店铺的最寄店铺检索部,以接收设备信息和位置信息为触发事件,取得销售类似设备的最近店铺及价格。由此,根据设备信息收集关联的设备的销售状况及销售店铺,通过省去检索设备的工夫,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图135)也可以是一种可视光通信系统,搭载有监视用户信息保存在终端内的情况的用户信息监视部、通过NW从周边设备收集用户信息的用户信息收集部、和取得用户信息和设备信息并进行用户登记的用户登记处理部,以没有用户信息为触发事件,从可访问的周边设备收集用户信息,与设备信息一起进行用户登记。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定、及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图136)也可以是一种可视光通信系统,搭载有受理特殊命令的命令判断部、可视光通信的频率、和操作多LED协同的可视光通信速度调整部,通过由受理特殊命令进行可视光通信的频率的调整和发送LED数,使可视光通信高速化。这里,例如,如在图137中说明那样,也可以是一种可视光通信系统,搭载有通过NFC通信判别接近终端的种类的终端种类判断部、和根据终端种类判别发送的信息的发送信息种类判断部,将由接近的终端发送的信息的量和可视光通信速度变更。由此,通过根据接收终端调整可视光通信的频率及发送LED数、变更可视光通信的速度和发送信息,能够进行高速通信,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图137)也可以是一种可视光通信系统,搭载有记录清扫信息的清扫信息记录部、记录房间布局信息的房间布局信息记录部、通过将房间布局信息与清扫信息叠加而生成污垢部位信息的信息合成部、和监视通常动作的停止的动作监视部,通过以设备的停止的感知为触发事件,将污垢部位信息可视光发送。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式8)
在本实施方式中,举住宅配送服务为例,对使用光通信的Web信息及设备的协同进行说明。
在图138中表示本实施方式的概要。即,图138是本实施方式的使用光通信的住宅配送服务支援的概略图。
具体而言,订购者使用移动终端3001a从商品购买站点进行商品的订购。在订购完成时,从商品购买站点发行订购号码。接收到订购号码的移动终端3001a将订购号码使用NFC通信向门禁电话宅内器3001b发送。
门禁电话宅内器3001b将从移动终端3001a接收到的订购号码向本设备的监视器显示等,向用户呈现发送完成的消息。
门禁电话宅内器3001b对门禁电话宅外器3001c发送内置在门禁电话宅外器3001c中的LED的闪烁指示和闪烁样式。闪烁样式根据从移动终端3001a接收到的订购号码由门禁电话宅内器3001b生成。
门禁电话宅外器3001c根据从门禁电话宅内器3001b指定的闪烁样式而使LED闪烁。
作为移动终端的替代,也可以是PC等的能够向处于WWW3001d的商品购买站点访问的环境。
作为从移动终端3001a向门禁电话宅内器3001b的发送机构,除了NFC通信以外,也可以使用宅内网络。
移动终端3001a也可以不经由门禁电话宅内器3001b而直接向门禁电话宅外器3001c发送订购号码。
在从订购者有订购的情况下,从住宅配送订购接收服务器3001e对住宅配送者移动终端3001f发送订购号码。当住宅配送者到达了住宅配送目标时,在住宅配送者移动终端3001f和门禁电话宅外器3001c的双向进行使用基于订购号码生成的LED闪烁样式的光通信。
接着,使用图139~图144进行说明。图139~图144是用来说明发明的实施方式8的使用光通信的住宅配送服务支援的流程图。
图139表示订购者进行订购、到发行订购号码为止的流程。以下,对图139进行说明。
订购者移动终端3001a在步骤3002a中,通过智能电话的Web浏览器或应用实施住宅配送的预约。并且,向图140的圈1前进。
此外,订购者移动终端3001a接着图140的圈2,在步骤3002b中,在订购号码发送等待状态下待机。接着,在步骤3002c中,确认是否接触在了订购号码发送目标设备上。在是的情况下,向步骤3002d前进,对门禁电话室内器NFC接触而发送订购号码(在门禁电话存在于与智能电话相同网络中的情况下也有经由网络发送的方法)。另一方面,在否的情况下,向步骤3002b返回。
门禁电话宅内器3001b首先在步骤3002e中,从其他终端等待LED闪烁的请求。接着,在步骤3002f中,从智能电话接收订购号码。接着,在步骤3002g中,根据接收到的订购号码,发出门禁电话室外机的LED闪烁指示。并且,向图142的圈3前进。
门禁电话宅外器3001c首先在步骤3002h中,从门禁电话宅内器等待LED闪烁指示。并且,向图142的圈7前进。
住宅配送者移动终端3001f在步骤3002i中,在订购通知等待状态下待机。接着,在步骤3002j中,确认是否被从住宅配送订购服务器通知了订购通知。这里,在否的情况下,向步骤3002i返回。在是的情况下,向步骤3002k前进,接收订购号码、住宅配送目标住址等的信息。接着,在步骤3002n中,待机直到用户有接收到的订购号码的LED发光指示或为了其他设备的LED发光识别而起动照相机。并且,向图141的圈5前进。
图140表示到订购者用订购者移动终端3001a进行住宅配送订购为止的流程。以下,对图140进行说明。
住宅配送订购服务器3001e首先在步骤3003a中等待接受订购号码。接着,在步骤3003b中确认是否接收到住宅配送订购。这里,在否的情况下,向步骤3003a返回。在是的情况下,向步骤3003c前进,对接收到的住宅配送订购发行订购号码。接着,在步骤3003d中,对住宅配送者通知接收到住宅配送订购的情况并结束。
订购者移动终端3001a接着图139的圈1,在步骤3003e中,从住宅配送订购服务器提示的菜单中选择订购内容。接着,在步骤3003f中,确定订购,向住宅配送服务器发送。接着,在步骤3003g中,确认是否接收到订购号码。这里,在否的情况下,向步骤3003f返回。在是的情况下,向步骤3003h前进,显示接收到的订购号码,进行敦促向门禁电话宅内器的接触的显示。并且,向图139的圈2前进。
图141表示住宅配送者使用住宅配送者移动终端3001f与住宅配送目标的门禁电话宅外器3001c进行光通信的流程。以下,对图141进行说明。
住宅配送者移动终端3001f接着图139的圈5,在步骤3004a中,确认是否为了识别住宅配送目标的门禁电话宅外器3001c的LED而起动照相机。这里,在否的情况下,向图139的圈5返回。
另一方面,在是的情况下,向步骤3004b前进,通过住宅配送者移动终端的照相机确认住宅配送目标门禁电话宅外器的LED闪烁。
接着,在步骤3004c中,识别门禁电话宅外器的LED发光并与订购号码对照。
接着,在步骤3004d中,确认门禁电话宅外器的LED闪烁是否与订购号码一致。这里,在是的情况下,向图143的圈6前进。
另外,在否的情况下,确认是否在照相机内能够确认其他LED闪烁。并且,在是的情况下,向步骤3004c返回,在否的情况下结束。
图142表示进行门禁电话宅内器3001b与门禁电话宅外器3001c间的订购号码对照的流程。以下,对图142进行说明。
门禁电话宅外器3001c接着图139的圈7,在步骤3005a中,确认是否从门禁电话宅内器有LED闪烁的指示。在否的情况下,向图139的圈返回。在是的情况下,向步骤3005b前进,按照从门禁电话宅内器指示的LED闪烁使LED闪烁。并且,向图143的圈8前进。
此外,门禁电话宅外器3001c接着图143的圈9,在步骤3005c中,将由门禁电话宅外器的照相机识别出的LED闪烁向门禁电话宅内器通知。并且,向图144的圈10前进。
门禁电话宅内器3001c接着图139的圈3,在步骤3005d中,对门禁电话宅外器实施对应于订购号码的LED闪烁指示。接着,在步骤3005e中待机,直到门禁电话宅外器的照相机识别住宅配送者移动终端的LED闪烁。接着,在步骤3005f中,确认是否从门禁电话宅外器识别出了LED闪烁。这里,在否的情况下,向步骤3005e返回。在是的情况下,在步骤3005g中将门禁电话宅外器的LED闪烁与订购号码对照。接着,在步骤3005h中,确认门禁电话宅外器的LED闪烁与订购号码是否一致。在是的情况下,向图144的圈11前进。另一方面,在否的情况下,在步骤3005i中,向门禁电话宅外器指示LED闪烁的中止并结束。
图143表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图143进行说明。
住宅配送者移动终端3001f接着图141的圈6,在步骤3006a中,根据住宅配送者移动终端保持的订购号码开始LED闪烁。
接着,在步骤3006b中,将LED闪烁部分配置到从门禁电话宅外器照相机能够摄影的范围中。
接着,在步骤3006c中,关于门禁电话宅外器的照相机摄影的住宅配送者移动终端的LED闪烁与门禁电话宅内器保持的订购号码是否一致,确认门禁电话宅外器LED闪烁是否表示一致。
这里,在否的情况下,向步骤3006b返回。另一方面,在是的情况下,向步骤3006e前进,将是否一致显示在住宅配送者移动终端上并结束。
此外,如图143所示,门禁电话宅外器3001c接着图142的圈8,在步骤3006f中,确认是否由门禁电话宅外器的照相机识别出了住宅配送者移动终端的LED闪烁。这里,在是的情况下,向图142的圈9前进。在否的情况下,向图142的圈返回。
图144表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图144进行说明。
门禁电话宅外器3001c接着图142的圈11,在步骤3007a中,关于门禁电话宅内器通知的LED闪烁是否与订购号码一致确认是否有通知。这里,在否的情况下向图142的圈11返回。另一方面,在是的情况下向步骤3007b前进,通过门禁电话宅外器进行表示是否一致的LED闪烁并结束。
此外,如图144所示,门禁电话宅内器3001b接着图142的圈10,在步骤3007c中,用门禁电话宅内器将配送者已到达的显示调出,通过声音输出向订购者通知。接着,在步骤3007d中,向门禁电话宅外器指示表示LED闪烁的中止与订购号码一致的LED闪烁。接着结束。
另外,在公寓中住宅配送目标不在的情况下,有在玄关等设置收存住宅配送物的住宅配送盒的情况。住宅配送者在住宅配送时订购者不在的情况下,将住宅配送物向住宅配送盒收存。也可以是,通过使用住宅配送者移动终端3001f的LED对门禁电话宅外器3001c的照相机进行光通信并发送住宅配送物的尺寸,门禁电话宅外器3001c能够自动地仅利用与住宅配送物的尺寸相符的住宅配送盒。
如以上这样,根据实施方式8,能够实现使用光通信的Web信息及设备的协同。
(实施方式9)
以下,对实施方式9进行说明。
(向服务器登记用户和使用中的便携电话)
图145是用来说明向本实施方式的服务器登记用户和使用中的便携电话的处理的图。以下说明图145。
首先,在步骤4001b中,用户将应用起动。
接着,在步骤4001c中,将该用户和便携电话的信息向服务器对照。
接着,在步骤4001d中,确认在服务器的DB中是否登记有用户信息和使用中的便携电话的信息。
在是的情况下向步骤4001f前进,作为并行处理而开始(处理a)用户声音特性的解析,向图147的B前进。
另一方面,在否的情况下向4001e前进,向DB的便携电话表登记便携电话ID和用户ID,向图147的B前进。
(处理a:用户声音特性的解析)
图146是用来说明本实施方式的用户声音特性的解析的处理的图。以下,说明图146。
首先,在步骤4002a中,从麦克风进行集音。
接着,在步骤4002b中,确认声音识别的结果是否将集音的声音推测为用户的声音。这里,在否的情况下向步骤4002a返回。
在是的情况下向步骤4002c前进,确认发生内容是否是在该应用中使用的关键字(“向后”“返回”等)。在是的情况下,向步骤4002f前进,将声音数据向服务器的用户关键字声音表登记,向步骤4002d前进。另一方面,在否的情况下向步骤4002d前进。
接着,在步骤4002d中,将声音特性(频率、声压、讲话速度)解析。
接着,在步骤4002e中,将解析结果向便携电话和服务器的用户声音特性表登记。
(声音识别处理的准备)
图147是用来说明本实施方式的进行声音识别处理的准备的处理的图。以下,说明图147。
首先,接着图中的B,在步骤4003a中,(用户操作)进行显示烹调菜单一览的操作。
接着,在步骤4003b中,从服务器取得烹调菜单一览。
接着,在步骤4003c中,将烹调菜单一览向便携设备画面显示。
接着,在步骤4004d中,从连接在便携电话上的麦克风开始集音。
接着,在步骤4003e中,作为并行处理而开始(处理b)从周边的集音设备的集音。
接着,在步骤4003f中,作为并行处理而开始(处理c)环境音特性的解析。
接着,在步骤4003g中,作为并行处理而开始(处理d)来自存在于周边的声音输出设备的声音的消除。
接着,在步骤4003h中,从服务器的DB取得用户声音特性。
最后,在步骤4003i中,开始用户声音的识别,向图28的C前进。
(处理b:从周边的集音设备的集音)
图148是用来说明进行从本实施方式的周边的集音设备的集音的处理的图。以下,说明图148。
首先,在步骤4004a中,搜索从便携电话能够通信、能够集音的设备(集音设备)。
接着,在步骤4004b中,确认是否发现了集音设备。
这里,在否的情况下结束。在是的情况下向步骤4004c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4004d中,确认在服务器中是否存在信息。
在是的情况下向步骤4004e前进,确认是否集音设备的设置位置距便携电话的位置足够近、能够将用户的声音集音。另外,在步骤4004e中为否的情况下,向步骤4004a返回。另一方面,在步骤4004e中为是的情况下,向步骤4004f前进,使集音设备开始集音。接着,在步骤4004g中,向便携电话发送由集音设备集音的声音,直到有集音处理结束的命令。另外,也可以不将集音的声音原样向便携电话发送,而向便携电话发送进行了声音识别的结果。此外,将向便携设备发送的声音与从连接在便携电话上的麦克风集音的声音同样处理,向步骤4004a返回。
另外,在步骤4004d中为否的情况下,向步骤4004h前进,使集音设备开始集音。接着,在步骤4004i中,从便携电话输出信号音。接着,在步骤4004j中,向便携电话发送由集音设备集音的声音。接着,在步骤4004k中,确认是否能够根据从集音设备传送的声音识别出信号音。这里,在是的情况下向步骤4004g前进,在否的情况下向步骤4004a返回。
(处理c:环境音特性的解析)
图149是用来说明本实施方式的环境音特性的解析处理的图。以下,说明图149。
首先,在步骤4005f中,取得将该用户拥有的设备中的除了位置距电灶的位置足够远者以外的设备的列表。从DB取得这些设备发出的声音的数据。
接着,在步骤4005g中,将所取得的声音数据的特性(频率、声压等)解析,作为环境音特性保持。另外,处于电灶的附近的电饭锅等发出的声音由于特别容易发生误识别,所以设定较高的重要度并保持。
接着,在步骤4005a中,从麦克风集音。
接着,在步骤4005b中,确认集音的声音是否是用户的声音,在是的情况下向步骤4005a返回。在否的情况下,向步骤4005c前进,将集音的声音的特性(频率、声压)解析。
接着,在步骤4005d中,根据解析结果将环境音特性更新。
接着,在步骤4005e中,确认结束标志是否亮起,在是的情况下结束。在否的情况下向步骤4005a返回。
(处理d:将来自存在于周边的声音输出设备的声音消除)
图150是用来说明本实施方式的将来自存在于周边的声音输出设备的声音消除的处理的图。以下,说明图150。
首先,在步骤4006a中,搜索能够通信的设备且能够声音输出的设备(声音输出设备)。
接着,在步骤4006b中,确认是否发现了声音输出设备,在否的情况下结束。在是的情况下,向步骤4006c前进,使声音输出设备输出包含各种各样的频率的信号音。
接着,在步骤4006d中,用便携电话及图148的集音设备(各集音设备)进行集音,将从声音输出设备输出的信号音集音。
接着,在步骤4006e中,确认是否能够将信号音集音、识别,在否的情况下结束。在是的情况下,向步骤4006f前进,将从声音输出设备到各集音设备的传送特性(各频率的输出音量与集音的音量的关系、以及从信号音输出到集音的延迟时间)解析。
接着,在步骤4006g中,确认声音输出设备输出的声音数据是否从便携电话能够访问。
这里,在是的情况下向步骤4006h前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音源、输出部位、音量,一边考虑传送特性一边从由各集音设备集音的声音中将由声音输出设备输出的声音消除。向步骤4006a返回。另一方面,在否的情况下,向步骤4006i前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音,一边考虑传送特性一边从由各集音设备集音的声音将由声音输出设备输出的声音消除,向步骤4006a返回。
(烹调菜单的选择和向电灶的运转内容设定)
图151是用来说明本实施方式的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。以下,说明图151。
首先,接着图中的C,在步骤4007a中,(用户操作)选择想要烹调的菜单。
接着,在步骤4007b中,(用户操作)设定烹饪法参数(烹调的分量、味的浓度、火候调节等)。
接着,在步骤4007c中,从服务器取得与烹饪法参数相符的烹饪法数据,进行电灶运转内容设定命令。
接着,在步骤4007d中,向用户敦促使便携电话向植入在电灶中的非接触IC标签接触。
接着,在步骤4007e中,确认是否检测到向电灶的接触。
这里,在否的情况下向步骤4007e返回。在是的情况下,向步骤4007f前进,将从服务器取得的电灶的设定命令向电灶发送。由此,在该烹饪法中需要的电灶的设定全部被进行,用户仅通过按下电灶的运转开始按钮就能够烹调。
接着,在步骤4007g中,(处理e)从服务器等的DB取得电灶用的通知音,向电灶设定。
接着,在步骤4007h中,(处理f)进行电灶的通知音的调整,向图155的D前进。
(处理e:从服务器等的DB取得电灶用的通知音,向电灶设定)
图152是用来说明本实施方式的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。以下,说明图152。
首先,在步骤4008a中,用户将便携电话向植入在电灶中的非接触IC标签靠近(=接触)。
接着,在步骤4008b中,向电灶询问在电灶中是否登记有面向该便携电话的通知音数据(在电灶的操作时或运转结束时输出的声音的数据)。
接着,在步骤4008c中,确认在电灶中是否登记有面向该便携电话的通知音数据。
这里,在是的情况下结束。在否的情况下,向步骤4008d前进,确认在便携设备中是否登记有面向该便携电话的通知音数据。在是的情况下,向步骤4008h前进,将登记在便携电话中的通知音数据向电灶登记并结束。另一方面,在否的情况下,向步骤4008e前进,参照服务器或便携电话或电灶的DB。
接着,在步骤4008f中,在DB中有面向该便携电话的通知音数据(该便携电话容易识别的通知音的数据)的情况下从DB取得该数据,在没有的情况下从DB取得面向一般的便携电话的通知音数据(一般便携电话容易识别的通知音的数据)。
接着,在步骤4008g中,将所取得的通知音数据向便携电话登记。
接着,在步骤4008h中,将登记在便携电话中的通知音数据向电灶登记并结束。
(处理f:电灶的通知音的调整)
图153是用来说明本实施方式的进行电灶的通知音的调整的处理的图。以下,说明图153。
首先,在步骤4009a中,取得登记在便携电话中的该电灶的通知音数据。
接着,在步骤4009b中,确认该终端用的通知音的频率与环境音的频率的重叠是否为一定以上。
这里,在否的情况下结束。
另一方面,在是的情况下,向步骤4009c前进,将通知音的音量设定为相比环境音足够大的音量。或者将通知音的频率变更。
这里,如果举将频率变更的通知音的制作方法的一例,则如果电灶能够输出图154的(c)的声音,则以(c)的样式制作通知音并结束。如果(c)不能而(b)能够,则以(b)的样式制作通知音并结束。如果仅(a)能够,则以(a)的样式制作通知音并结束。
图154是表示本实施方式的向电灶设定的通知音的波形的例子的图。
图154(a)所示的波形是单纯的矩形波,能够由几乎全部的声音输出装置输出。由于容易与通知音以外的声音混淆,所以输出几次,如果能够识别其中的几个,则应当进行识别为该通知音响起等的对应。
图154(b)所示的波形是通过短时间的矩形波将(a)的波形细小地划分那样的波形,如果声音输出装置的动作时钟足够快则能够输出。该声音在人的耳朵中能够与(a)的声音同样听到,但在机械识别中,有信息量比(a)多、难以与通知音以外的声音混淆的性质。
图154(c)所示的波形是将声音输出部分的时间的长度改变的波形,称作PWM波形。比(b)难输出,但信息量比(b)多,也可以使识别率提高、从电灶向便携电话同时传递想要传递的信息。
另外,图154(b)、图154(c)的波形相比图154(a)误识别的可能性较低,但与图154(a)同样,通过将相同的波形重复多次,能够进一步提高识别率。
(烹调内容的显示)
图155是表示本实施方式的向电灶设定的通知音的波形的例子的图。以下,说明图155。
首先,接着图中的D,在步骤4011a中,显示烹调内容。
接着,在步骤4011b中,确认烹调内容是否是电灶的运转。
这里,在是的情况下,向步骤4011c前进,向用户通知向电灶装入食材并按下运转开始按钮,向图156的E前进。
另一方面,在否的情况下,向步骤4011d前进,显示烹调内容,向图中的F前进或向步骤4011e前进。
在步骤4011e中,确认用户的操作是什么样的。在应用结束的情况下结束。
另一方面,在显示内容的变更操作、手输入(按钮按下等)、声音输入(“向后”“向前”等)的情况下,向步骤4011f前进,确认显示内容变更的结果是否是烹调结束。这里,在是的情况下,向步骤4011g前进,将烹调结束向用户通知并结束。在否的情况下向步骤4011a前进。
(电灶的通知音的识别)
图156是用来说明本实施方式的进行电灶的通知音的识别的处理的图。以下,说明图156。
首先,接着图中的E,在步骤4012a中,作为并行处理,(处理g)开始从周边的集音设备的集音和电灶通知音的识别。
接着,在步骤4012f中,作为并行处理,(处理i)开始便携电话操作状态的确认。
接着,在步骤4012g中,作为并行处理,(处理j)开始用户位置的追踪。
接着,在步骤4012b中,对识别内容进行确认。
这里,在识别出按钮按下的通知音的情况下,向步骤4012c前进,登记设定变更,向步骤4012b返回。在识别出用户的操作的情况下,向图155的F前进。在从显示向电灶装入食材并按下运转开始按钮起经过运转时间后识别出(运转结束的通知音或将电灶的门打开的声音)的情况下,在步骤4012e中,(处理h)向用户通知电灶的运转结束,向图155的G前进。在识别出运转开始的通知音的情况下,向步骤4012d前进,待机直到经过运转时间,向步骤4012e前进,(处理h)向用户通知电灶的运转结束,向图155的G前进。
(处理g:从周边的集音设备的集音和电灶通知音的识别)
图157是用来说明本实施方式的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。以下,说明图157。
首先,在步骤4013a中,搜索能够从便携电话通信、能够集音的设备(集音设备)。
接着,在步骤4013b中,确认是否发现了集音设备。
这里,在否的情况下结束。另一方面,在是的情况下,向步骤4013c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4013d中,确认在服务器中是否存在信息。
在是的情况下,向步骤4013r前进,确认是否集音设备的设置位置距电灶足够近、能够将通知音集音。
这里,在步骤4013r中为否的情况下向步骤4013a返回。在是的情况下,向步骤4013s前进,确认集音设备的运算装置是否能够进行声音识别。在步骤4013s中为是的情况下,在步骤4013u中,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013v中,使集音设备开始集音和声音识别,向便携电话发送识别结果。接着,在步骤4013q中,在向下个烹调阶段前进之前,进行电灶的通知音的识别处理,将识别结果向便携电话发送。另一方面,在步骤4013s中为否的情况下,向步骤4013t前进,使集音设备开始集音,将集声音音向便携电话发送。接着,在步骤4013j中,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音。
另外,在步骤4013d中为否的情况下,向步骤4013e前进,确认集音设备的运算装置是否能够进行声音识别。
在是的情况下,向步骤4013k前进,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013m中,使集音设备开始集音和声音识别,将识别结果向便携电话发送。接着,在步骤4013n中,使电灶的通知音响起。接着,在步骤4013p中,确认是否能够由集音设备识别上述通知音。在步骤4013p中为是的情况下,向4013q前进,在向下个烹调阶段前进之前进行电灶的通知音的识别处理,将识别结果向便携电话发送,向步骤4013a返回。在步骤4013p中为否的情况下,向步骤4013a返回。
此外,在步骤4013e中为否的情况下,向步骤4013f前进,使集音设备开始集音,将集声音音向便携电话发送。接着,在步骤4013g中,使电灶的通知音响起。接着,在步骤4013h中,对从集音设备送来的声音进行识别处理。接着,在步骤4013i中,确认是否能够识别上述通知音。这里,在是的情况下,向4013j前进,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音,向步骤4013a返回。在否的情况下向步骤4013a返回。
(处理h:向用户通知电灶的运转结束)
图158是用来说明本实施方式的向用户通知电灶的运转结束的处理的图。以下,说明图158。
首先,在步骤4013a中,确认是否能够判断出是正在使用便携电话中或根据传感器数据判断出便携电话是移动中。另外,在是的情况下,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另一方面,在步骤4013a中为否的情况下,向步骤4014b前进,搜索由用户登入的PC等操作中的设备(用户操作中设备)。
接着,在步骤4014c中,确认是否发现了用户操作中设备。另外,在是的情况下,使用用户操作中设备的画面显示等向用户通知电灶的运转结束并结束。
另一方面,在步骤4014c中为否的情况下,向步骤4014e前进,搜索能够从便携电话通信、能够取得图像的设备(摄像设备)。
接着,在步骤4014f中,确认是否发现了摄像设备。
这里,在是的情况下,向步骤4014p前进,使摄像设备摄像,向摄像设备发送用户的脸数据,进行用户的脸识别。或者,将摄像图像向便携电话或服务器传送,在图像的发送目标中进行用户的脸识别。
接着,在步骤4014q中,确认是否识别出了用户的脸。在否的情况下向步骤4014e返回。在是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。在步骤4014r中为是的情况下,向步骤4014s前进,使用附属于设备的装置向用户通知电灶的运转结束并结束。
此外,在步骤4014f中为否的情况下,向步骤4014g前进,搜索能够从便携电话通信、能够集音的设备(集音设备)。
此外,在步骤4014h中为否的情况下,向步骤4014i前进,发现能够通过其他设备的操作或步行振动等的方法确定用户的位置的设备。接着,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另外,在步骤4014i中为是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。这里,在否的情况下,向步骤4014t前进,从服务器取得发现设备的位置信息。
接着,在步骤4014u中,搜索处于发现设备的附近、有显示装置或发声装置的设备(通知设备)。接着,在步骤4014v中,考虑从通知设备到用户的距离,通过画面显示或足够的音量的声音向用户通知电灶的运转结束并结束。
(处理i:便携电话操作状态的确认)
图159是用来说明本实施方式的进行便携电话操作状态的确认的处理的图。以下,说明图159。
首先,在步骤4015a中,确认是否是正在操作便携电话中,或便携电话正在移动,或在连接于便携电话上的输入输出装置中有输入输出,或正在将影像或音乐再现中,或处于距便携电话较近的位置的设备为操作中,或由处于距便携电话较近的位置的设备的照相机或各种传感器识别到了用户。
这里,在是的情况下,向步骤4015b前进,识别为用户的位置距该便携电话较近的概率较高,向步骤4015a返回。
另一方面,在否的情况下,向步骤4015c前进,确认是否处于距便携电话较远的位置的设备是操作中,或由处于距便携电话较远的位置的设备的照相机或各种传感器识别到用户,或是充电中。
在步骤4015c中,在是的情况下,向步骤4015d前进,识别为用户的位置距该便携电话较远的概率较高,向步骤4015a返回。在步骤4015c中,在否的情况下向步骤4015a返回。
(处理j:用户位置的跟踪)
图160是用来说明本实施方式的进行用户位置的跟踪的处理的图。以下,说明图160。
首先,在步骤4016a中,确认是否由方位传感器、位置传感器或9轴传感器判断出便携电话正被移动。另外,9轴传感器是由加速度传感器、角速度传感器及地磁传感器中的至少1个构成的传感器。
在步骤4016a中为是的情况下,向步骤4016b前进,将便携电话和用户的位置向DB登记,向步骤4016a返回。
另一方面,在步骤4016a中为否的情况下,向步骤4016c前进,搜索能够从便携电话通信、照相机或麦克风、人感传感器等的能够检测用户的位置或用户存在的情况的设备(用户探知设备)。
接着,在步骤4016d中,确认是否发现集音设备。在步骤4016d中为否的情况下,向步骤4016a返回。
在步骤4016d中为是的情况下,向步骤4016e前进,确认是否由用户探知设备探知到用户。步骤4016e中为否的情况下,向步骤4016a返回。
在步骤4016e中为是的情况下,向步骤4016f前进,将用户的探知向便携电话发送。
接着,在步骤4016g中,将在用户探知设备的附近存在用户的情况向DB登记。
接着,在步骤4016h中,如果在DB中有用户探知设备的位置信息则取得,确定用户的位置,向步骤4016a返回。
图161是表示一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果使处于距用户位置较近的位置的设备进行向用户的通知的图。此外,图162是表示在本实施方式的服务器或便携电话、电灶中保持的数据库的内容的图。
如图162所示,在电灶表4040a中,将电灶的机种、确定可输出的声音的数据(扬声器特性、调制方式等)、具有容易按照各种便携电话机种识别该便携电话的特性的通知音的数据、和一般的便携电话平均容易识别的通知音数据建立对应保持。
在便携设备表4040b中,将便携电话的各个体、该便携电话的机种、使用该便携电话的用户、和表示该便携电话的位置的数据建立对应保持。
在便携设备机种表4040c中,将便携电话的机种与在该便携电话机种中附带的麦克风等的集音特性建立对应保持。
在用户声音特性表4040d中,将用户与该用户的声音的声响特性建立对应保持。
在用户关键字声音表4040e中,将用户、与该用户发声“向后”“返回”等的便携电话要识别的关键字时的声音波形数据建立对应保持。另外,该数据也可以不是声音波形数据本身,而是将其解析、变形为容易处置的形式后的数据。
在用户拥有设备位置表4040f中,将用户、用户拥有的设备、和该设备的位置数据建立对应保持。
在用户拥有设备位置表4040g中,将用户、用户拥有的设备、和该设备发出的通知音或运转音等的声音的数据建立对应保持。
在用户位置表4040h中,将用户与用户的位置的数据建立对应保持。
此外,图163是表示本实施方式的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”“返回”等的声音操作便携电话的显示内容的图。图164是表示本实施方式的在开始电灶的运转、等待运转结束的期间、或煮东西的期间等的时间中、用户向其他场所移动的图。图165是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。图166作为用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。另外,该识别处理也可以由电视机或空调进行,也可以将图像数据等向便携电话或服务器发送,由发送目标进行识别处理。但是,从隐私保护的观点,不应将用户的数据向外部服务器发送。
图167是表示从探知到用户的设备向便携电话发送探知到用户的情况、及从探知到的设备到用户的相对位置的图。
这样,如果在DB中存在探知到用户的设备的位置信息,则能够确定用户的位置。
图168是表示本实施方式的便携电话识别电灶的运转结束音的图。图169是表示识别出电灶的运转结束的便携电话对探知到用户的设备中的、具有画面显示功能或声音输出功能的设备(在本图中是处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令的图。
图170是表示接受到上述命令的设备将通知内容向用户通知(在本图中,在电视机的画面上显示电灶的运转已结束)的图。图171是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备识别电灶的运转结束音的图。图172是表示从识别到电灶的运转结束的设备向便携电话通知该情况的图。图173是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
图174是表示将电灶的运转结束向用户通知的图。具体而言,图174是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话不在用户的附近、则在探知到用户的设备中的、对具有画面显示功能或声音输出功能的设备(在本图中处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令、接受到该命令的设备向用户通知电灶的运转结束的图。表示当便携电话连接在充电器上时,便携电话在电灶的附近、用户的附近都不存在的情况较多,容易发生本图所示的状况。
图175是表示接受到电灶的运转结束的通知的用户向厨房移动的图。另外,此时便携电话显示接着的烹调内容。此外也可以是,便携电话通过声音等识别出用户已向厨房移动,在正合适的时机开始接着的烹调次序的说明。
图176是表示从电灶通过无线通信向便携电话发送运转结束等的信息、从便携电话对用户正观看的电视机进行通知命令、通过电视机的画面显示或声音向用户进行通知的图。
另外,信息源设备(在本图中是电灶)与便携电话的通信、及便携电话与向用户进行通知的设备(在本图中是电视机)的通信可以利用家庭内LAN,或直接的无线通信,特别是700MHz~900MHz台的无线通信等。此外,这里利用便携电话作为枢纽,但可以代替便携电话而利用具有通信能力的其他设备。
图177是表示从电灶通过无线通信向用户正观看的电视机发送运转结束等的信息、使用电视机的画面显示或声音对用户进行通知的。它表示不经由在图176中承担作为枢纽的作用的便携电话的情况下的动作。
图178是表示在1层的空调进行某个信息通知的情况下、向2层的空调发送信息、从2层的空调向便携电话发送信息、从便携电话对用户观看的电视机进行通知命令、通过电视机的画面显示或声音对用户进行通知的图。它表示在不能从信息源设备(在本图中是1层的空调)向作为枢纽的便携电话直接通信的情况下向能够通信的其他设备发送信息、进行到便携电话为止的通信。
图179是表示向处于远程的用户进行信息的通知的图。具体而言,图179表示从经由声音、光或无线通信等从电灶接受到通知的便携电话通过因特网或载波通信向处于远程的用户进行信息的通知。图180是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等对便携电话发送信息的图。图181是表示从图180的接受到通信的便携电话逆向沿着信息通信路径对电灶发送操作命令等的信息的图。
另外,便携电话也可以接受图180的信息、自动地发送信息,也可以将该信息向用户通知、接受到该通知而发送用户进行的操作的信息。
图182是表示从作为信息源设备的空调不能对作为枢纽的便携电话进行直接的通信的情况下、对用户进行信息的通知的图。具体而言,图182表示,在不能从作为信息源设备的空调对作为枢纽的便携电话进行直接的通信的情况下,首先,在圈1中,对个人计算机等的、作为向便携电话的通信的阶梯的设备发送信息,在圈2和圈3中,通过因特网或载波通信网从个人计算机向便携电话发送信息,便携电话自动处理该信息,或者,接受拿着便携电话的用户的操作,在圈4和圈5中,通过因特网或载波通信网将信息向个人计算机发送,在圈6中,个人计算机对能够向想要通知的用户通知的设备(在本图中是电视机)发送通知命令,在圈7中,使用电视机的画面显示或声音对用户进行信息的通知。
这样的状况在应接受来自空调的通知信息的用户与正使用便携电话的用户不同的情况下容易发生。
另外,在本图中,在个人计算机与便携电话之间的通信中经由因特网或载波通信网,但也可以通过家庭内LAN或直接通信等进行通信。
图183是用来对利用使用700~900MHz的电波的通信装置的系统说明的图。具体而言,在图183的结构中,对利用使用700~900MHz的电波(以下称作G电波)的通信装置(以下称作G装置)的系统进行说明,表示从带有G装置的电灶对带有G装置的3层的便携电话使用G电波发送信息、从带有G装置的3层的便携电话利用家庭内网络对没有G装置的2层的便携电话发送信息、从2层的便携电话向用户进行信息的通知。
另外,可以考虑在带有G装置的设备间的通信的登记、认证中使用附属于两设备的否FC的方法。此外,在某个设备中没有NFC的情况下,可以考虑作为登记模式而降低G电波的输出以使得仅在10~20cm程度的距离下能够通信、在将双方的设备靠近而通信成功的情况下进行G装置间的通信的登记、认证的方法。
此外,信息源设备(在本图中是电灶)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是2层的便携电话)的中继的设备(在本图中是3层的便携电话)只要能够对G电波和家庭内网络访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
此外,信息通知设备只要能够向家庭内网络访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图184是表示远程的便携电话对用户通知信息的图。具体而言,图184表示从带有G装置的空调对带有G装置的宅内的便携电话发送信息、从宅内的便携电话通过因特网或载波通信网对远程的便携电话发送信息、用远程的便携电话向用户通知信息。
另外,信息源设备(在本图中是空调)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图185是表示远程的便携电话向用户进行信息的通知的图。具体而言,图185表示,带有G装置的电视机识别没有G装置的电灶的通知音,电视机经由G电波向带有G装置的宅内的便携电话发送信息,从宅内的便携电话经由因特网或载波通信网向远程的便携电话发送信息,远程的便携电话向用户进行信息的通知。
另外,信息源设备(在本图中是电灶)如果是其他设备也同样,通知识别设备(在本图中是电视机)识别信息源设备的通知的方法如果不是声音而是发光状态等也是同样的。
此外,通知识别设备也即使是带有G装置的其他设备也同样。此外,进行通知识别设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
此外,图186是在与图185同样的情况下、代替进行通知识别设备(在本图中是2层的电视机)和信息通知设备(在本图中是远程的便携电话)的中继的设备(在图185中是宅内的便携电话)而由2层的电视机发挥中继设备的作用的情况下的图。
根据以上,本实施方式的装置实现以下的功能。
·通过应用的利用来学习用户的声音特性的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从便携电话发出的声音集音的集音设备的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从电子设备发出的声音集音的集音设备的功能
·将由集音设备集音的声音原样或将声音识别结果向便携电话发送的功能
·将环境音的特性解析、使声音识别的精度提高的功能
·从DB取得能够从用户拥有的设备输出的声音、使声音识别的精度提高的功能
·在能够从便携电话通信、具有集音功能的设备中、找到便携电话或集音设备能够将从该设备发出的声音集音的声音输出设备的功能
·取得从声音输出设备输出的声音数据、通过考虑传送特性而从集声音音中减除、从集声音音中将不需要的声音消除的功能
·接受烹调烹饪法的参数输入、从服务器取得对用户进行指示的烹调次序、和用来控制烹调设备的控制数据的功能
·基于设备能够输出的声音的数据设定设备发出的通知音、以使便携电话或集音设备容易识别的功能
·通过基于用户的声音特性调整识别功能、使用户声音的识别精度提高的功能
·使用多个集音设备识别用户的声音的功能
·使用多个集音设备识别电子设备的通知音的功能
·经由便携电话和电子设备的非接触IC卡等、仅通过一次的操作、为了进行一系列的作业而从电子设备得到需要的信息、对电灶进行设定的功能
·在从便携电话能够通信的设备中,使用照相机或麦克风、人感传感器等的能够探知用户的设备探索用户、将用户的当前位置向便携电话发送或向DB保存的功能
·使用保存在DB中的用户位置、从存在于附近的设备对用户进行通知的功能
·根据便携电话的状态(操作状态、传感器值、充电状态、数据链路状态等)推测在便携电话的附近是否存在用户的功能
另外,在图145到图175的处理中,如果分别将声音数据改读作发光数据(频率或亮度等)、将声音输出改读作发光、将集音改读作受光,也能够实现同样的功能。
此外,在本实施方式中以电灶为例,但发出识别的通知音的电子设备如果不是电灶,而改变为洗衣机或电饭锅、清扫机、电冰箱、空气净化机、热水壶、餐具清洗干燥机、空调、个人计算机、便携电话、电视机、汽车、电话、邮件收信装置等,也有同样的效果。
此外,在本实施方式中,电灶、便携电话、和电视机等的向用户进行通知的设备直接进行通信,但在直接的通信中存在不良状况的情况下,也可以经过其他设备间接地进行通信。
此外,在本实施方式中,设想了主要利用家庭LAN的通信,但如果是经由设备彼此的直接无线通信、因特网或载波通信网的通信的情况,也能够实现同样的功能。
此外,在本实施方式中,将使用者的场所通过从便携电话的一下子的询问、用TV的照相机等进行人物识别,向本人的便携电话加密发送,所以具有防止个人信息的泄漏的效果。在家中有多个人的情况下,通过将空调或空气净化机、电冰箱的人感传感器的数据放置到便携设备等的位置管理数据库中,通过随着识别了一次的操作者的移动用传感器跟踪,也能够推测操作者的位置。
另外,在用户持有具备陀螺仪或方位计的便携电话的情况下,可以将所确定的位置数据登记到用户位置数据库中。
此外,当操作者将便携设备放置时,首先,由于物理传感器的运动在一定期间中静止,所以能够检测到该情况。接着离开的情况,使用家电或照明器具的人感传感器或按钮操作、TV等的照相机、便携设备的麦克风等检测。并且,将其位置向便携设备或家内的服务器的用户位置数据库登记。
如以上这样,根据实施方式9,能够实现能够进行设备间的通信的信息通信装置(识别装置)。
具体而言,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、利用上述集音设备的集音功能识别别的电子设备的通知音的识别装置。
这里,该识别装置还可以是利用仅能够将从操作终端发出的信号音集音的集音设备的集音功能的识别装置。
此外,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、将上述声音输出设备与上述集音设备之间的声音传送特性解析而取得上述声音输出设备的输出声音数据、根据上述声音传送特性和上述输出声音数据、从集声音音中将从上述声音输出设备输出的声音消除的集音装置。
此外,本实施方式的信息通信装置也可以包括调整想要识别通知音的电子设备的通知音、以使其不会被环境音掩埋的识别装置。
此外,本实施方式的信息通信装置也可以是,将用户拥有的电子设备(拥有电子设备)、拥有电子设备输出的声音的数据和拥有电子设备的位置数据保持在数据库中,包括调整上述想要识别的电子设备的上述通知音、以便容易区别拥有电子设备输出的声音和想要通知音的电子设备的通知音的识别装置。
这里,该识别装置还可以是调整声音识别处理、以便容易区别拥有电子设备输出的声音和想要识别通知音的电子设备的通知音的识别装置。
此外,本实施方式的信息通信装置也可以包括利用操作终端的操作状态、物理传感器的传感器值、数据链路状态和充电状态、识别上述操作终端与操作者的位置是否较近的识别装置。
这里,该识别装置还可以是利用能够从上述操作终端通信的电子设备的操作状态、照相机、麦克风、人感传感器、保持在数据库中的上述电子设备的位置数据识别用户的位置的识别装置。
此外,该上述识别装置还可以包含在信息通知装置中,所述信息通知装置利用上述用户位置的识别结果、和保持在数据库中的、具有能够通过画面显示或声音输出等的手段向上述用户通知的功能的电子设备(通知设备)的位置数据,使用能够向上述用户通知的上述通知设备对用户进行信息的通知。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式10)
当前,在无线通信中研究了各种各样的简单认证方式。例如,在由Wi-Fi联盟制定的无线LAN的WPS中,规定了按钮方式、PIN输入方式、NFC方式等。在无线的各种各样的简单认证方式中,对于正使用设备的用户是否要进行认证,通过限定时间、或者确定处于能够直接接触到双方的设备上来判断,进行认证。
但是,限定时间的方法在有恶意的用户处于某种程度接近的距离中的情况下不能说是安全的。此外,在家电设备等的固定放置设备中,有直接碰触较困难或较麻烦的情况。
所以,在本实施方式中,说明通过在无线认证中使用采用可视光的通信、确定要进行认证的用户确实处于房间内、简单且安全地进行家电设备的无线认证的方法。
图187是表示本实施方式的宅内的环境的例子的图。图188是表示本实施方式的家电设备与智能电话的通信的例子的图。图189是表示本实施方式的发送侧装置的结构的图。图190是表示本实施方式的接收侧装置的结构的图。图187~图190是与图124~图127同样的图,详细的说明省略。
宅内环境可以考虑图187所示那样的、将用户在厨房中拿持的平板电脑与处于起居室中的TV认证那样的环境。两者是能够连接到无线LAN的终端,假设安装了WPS模组。
图191是在图187中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。以下,对图191进行说明。
首先,例如图189所示那样的发送侧终端制作随机数(步骤5001a)。接着,向WPS的寄存器登记(步骤5001b)。进而,如登记在寄存器中的随机数的样式那样使发光元件发光(步骤5001c)。
另一方面,在发送侧装置的发光元件发光的期间中,例如在图190所示那样的接收侧装置中,以光认证模式使照相机起动。这里,所谓光认证模式,是能够识别发光元件为认证用而发光的模式,是指能够与发光侧的周期匹配而摄影的运动图像摄影模式。
即,首先,用户将发送侧终端的发光元件摄影(步骤5001d)。接着,接收侧终端通过摄影而受光随机数(步骤5001e)。接着,受光到随机数的接收侧终端将随机数作为WPS的PIN输入(步骤5001f)。
这里,成为了由双方共享PIN的状态的收发终端按照WPS中的规定,进行认证处理(步骤5001g)。
接着,如果认证完成,则发送侧终端从寄存器将随机数删除,使得不会受理来自多个终端的认证(5001h)。
另外,本方式并不限于无线LAN的认证,能够应用到使用共享密钥的无线的认证方式全部中。
此外,本方式并不限定于无线的认证方式。对于例如在TV与平板电脑间的两者中搭载的应用的认证也能够适用。
图192是本实施方式的进行应用中的认证的情况下的顺序图。以下,说明图192。
首先,发送侧终端根据终端的状态制作发送侧ID(步骤5002a)。这里,发送侧ID既可以是随机数,也可以是用于加密的密钥。此外,也可以包含发送侧终端的终端ID(MAC地址、IP地址)。接着,发送侧终端如发送侧ID的样式那样发光(步骤5002b)。
另一方面,接收侧装置以与无线认证的情况相同的次序受光发送侧ID(步骤5002f)。接着,接收侧装置如果接收到发送侧ID,则制作能够证明已接收到发送侧ID的接收侧ID(步骤5002g)。例如,也可以是用发送侧ID加密的接收侧终端的终端ID。此外,也可以包括在接收侧终端中起动的应用的进程ID或口令。接着,接收侧终端将接收侧ID通过无线进行广播(步骤5002h)。另外,在发送侧ID中包含发送侧终端的终端ID的情况下也可以进行单播。
接着,用无线接收到接收侧ID的5002c发送侧终端与发送来所接收到的接收侧ID的终端使用相互共享的发送侧ID进行认证(步骤5002d)。
图193是表示本实施方式的发送侧终端的动作的流程图。以下,对图193进行说明。
首先,发送侧终端发光与终端的状态对应的ID(步骤5003a)。
接着,以与ID对应的样式发光(步骤5003b)。
接着,确认是否有与发光的ID对应的无线应答(步骤5003c)。在有应答的情况下(步骤5003c中是),对应答来的终端进行认证处理(步骤5003d)。另外,在步骤5003c中,在没有应答的情况下,等待过期时间(步骤5003i),显示无应答并结束(步骤5003j)。
接着,在步骤5003e中确认认证处理是否成功,在认证处理成功的情况下(步骤5003e中是),如果在发光的ID中包含认证以外的命令(步骤5003f中是),则进行遵循命令的处理(步骤5003g)。
另外,在步骤5003e中认证失败的情况下,显示认证错误(步骤5003h)并结束。
图194是表示本实施方式的接收侧终端的动作的流程图。以下,对图194进行说明。
首先,接收侧终端以光认证模式将照相机起动(步骤5004a)。
接着,确认是否能够以特定样式受光到光(步骤5004b),在能够确认的情况下(步骤5004b中是),制作能够证明接收到了发送侧ID的接收侧ID(步骤5004c)。另外,在不能确认的情况下(步骤5004b中否),等待过期时间(步骤5004i中是),显示过期(步骤5004j)并结束。
接着,确认在发送侧终端中是否包含发送终端的ID(步骤5004k),在包含的情况下(步骤5004k中是),向该终端将接收侧ID单播发送(步骤5004d)。另一方面,在不包含的情况下(步骤5004k中否)进行广播(步骤5004l)。
接着,从发送终端侧开始认证处理(步骤5004e),在认证处理成功的情况下(步骤5004e中是),判断在受光到的ID中是否包含有命令(步骤5004f)。在步骤5004f中判断为包含的情况下(步骤5004f中是),进行与ID对应的处理(步骤5004g)。
另外,在步骤5004e中认证失败的情况下(步骤5004e中否),显示认证错误(步骤5004h)并结束。
以上,根据本实施方式,通过在无线认证中使用利用可视光的通信,能够确定要认证的用户确实处于房间内,简单且安全地进行家电设备的无线认证。
(实施方式11)
在上述实施方式中,说明了使用NFC通信及高速无线通信进行数据交换时的流程,但并不限定于此。本实施方式当然也可以设为例如图195~图197所示那样的流程。
图195是本实施方式的移动AV终端1向移动AV终端2发送数据的顺序图。具体而言,图195表示使用NFC-无线LAN无线通信的数据收发的顺序图。以下,说明图195。
移动AV终端1首先在画面上显示作为向移动AV终端2发送的对象的数据。
这里,如果移动AV终端1和移动AV终端2通过使相互的设备接触而进行NFC通信,则移动AV终端1在画面上发出是否进行数据发送的确认画面。该确认画面既可以是与“是否发送数据?”的文字一起向用户要求“是/否”的选择的画面,也可以为通过再一次接触在移动AV终端1的画面上而开始数据发送那样的界面。
在数据发送意思确认为OK的情况下,移动AV终端1和移动AV终端2通过NFC通信交换发送的数据的信息及用来建立高速无线通信的信息。发送的数据的信息也可以通过无线LAN通信进行。关于无线LAN通信建立的信息既可以是通信频道或SSID、加密密钥信息,也可以是交换随机生成的ID信息、通过该信息建立安全的通信路的方式。
如果无线LAN通信建立,则移动AV终端1和移动AV终端2进行通过无线LAN通信的数据通信,将移动AV终端1的发送对象的数据向移动AV终端2发送。
接着,使用图196、图197,进行以移动AV终端1及移动AV终端2的画面的变迁为中心的说明。图196是本实施方式的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。图197是本实施方式的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
在图196及图197中,在移动AV终端1中用户首先将再现运动图像静止图像的应用起动。该应用将处于移动AV终端1内的静止图像或运动图像数据显示。
这里,通过使移动AV终端1与移动AV终端2准接触而进行NFC通信。该NFC通信是用来在移动AV终端1中开始静止图像或运动图像数据的交换的处理。
首先,如果移动AV终端1和移动AV终端2通过NFC通信识别数据交换的开始,则在移动AV终端1的画面上显示是否可以数据发送的确认画面。另外,该确认画面如图196那样,既可以是为了数据发送开始而使用户接触画面那样的界面,也可以是使用户以是/否选择数据发送可否的界面。在数据发送开始判断中为是的情况下,即在移动AV终端1向移动AV终端2发送数据的情况下,移动AV终端1向移动AV终端2发送交换的数据的信息、和关于通过无线LAN的高速无线通信开始的信息。另外,该交换的数据的信息也可以使用高速无线通信进行。
接着,如果移动AV终端1及移动AV终端2收发关于通过无线LAN的高速无线通信开始的信息,则进行用来建立无线LAN通信的连接的处理。该处理包括以怎样的频道进行通信、在通信拓扑上哪个为母终端、哪个为子终端、口令信息或相互的SSID或终端信息的交换等。
接着,如果建立无线LAN通信的连接,则移动AV终端1及移动AV终端2发送通过无线LAN通信的数据。在数据发送中,移动AV终端1如通常那样显示运动图像的再现画面,作为接收数据侧的移动AV终端2显示表示数据接收中的画面。这是因为,如果对移动AV终端1显示数据发送中的画面则不再能进行其他处理,所以通过将数据发送在后台进行,具有用户的方便性提高的优点。此外,移动AV终端2是正在接收数据中,通过在画面上显示表示数据接收中的画面以便能够将接收到的数据立即显示,具有在数据的接收完成时能够立即将接受诊断的数据显示的优点。
最后,移动AV终端2如果数据的接收完成,则将接受诊断的数据显示到画面上。
图198~图200是表示本实施方式的移动AV终端1是数字照相机的情况下的系统概略图。
如图198所示,即使移动AV终端1是数字照相机,本实施的便携终端也当然能够使用。
此外,在移动AV终端1是数字照相机的情况下,一般数字照相机具有通过无线LAN的因特网访问的手段、但不具有通过移动通信进行的因特网访问的手段的情况较多。
因此,如图199或图200那样,优选的是构成为,数字照相机(移动AV终端1)能够进行无线LAN通信的环境下,将通过无线LAN摄影的图像数据向照片共享服务发送,在不能进行无线LAN通信的环境中,向移动AV终端2首先使用无线LAN发送数据,移动AV终端2将接受了诊断的数据原样通过便携电话通信向照片共享服务发送。
无线LAN通信与便携电话通信相比是高速的,所以通过在能够进行无线LAN通信的情况下进行无线LAN通信,能够高速地将照片向照片共享服务发送。此外,便携电话通信网与无线LAN通信网相比服务区域一般较广,所以在没有无线LAN环境的情况下,通过具有将移动AV终端2作为中继通过便携电话通信向照片共享服务发送数据的功能,能够在各种各样的场所立即将照片向照片共享服务发送。
以上,根据本实施方式,能够使用NFC通信及高速无线通信进行数据交换。
以上,基于实施方式对有关本发明的一个或多个技术方案的信息通信装置等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个技术方案的范围内。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。
(实施方式12)
在本实施方式中,对使用上述实施方式1~11的智能电话等的接收机、和作为LED的闪烁样式发送信息的发送机的各应用例进行说明。
图201是表示实施方式12的接收机和发送机的应用例的图。
例如作为餐厅的标识板的发送机7001a将发送机7001a的识别信息(ID)向例如构成为智能电话的接收机7001b发送。接收机7001b从服务器取得与该ID建立了对应的信息并显示。该信息例如是到餐厅的路径、空席状况及优惠券等。
图202是表示实施方式12的接收机和发送机的应用例的图。
例如作为电影的标识板的发送机7042b将发送机7042b的识别信息(ID)向例如构成为智能电话的接收机7042a发送。接收机7042a从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促电影的预约的图像7042c、表示电影的上映时刻的图像7042d、表示空席状况的图像7042e、以及通知预约完成的图像7042f。
图203是表示实施方式12的接收机和发送机的应用例的图。
例如作为影视剧的标识板的发送机7043b将发送机7043b的识别信息(ID)向例如构成为智能电话的接收机7043a发送。接收机7043a如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促影视剧的录像预约的图像7043c、敦促将影视剧录像的记录机的选择的图像7043d、以及通知预约完成的图像7043e。
图204是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标识板的发送机7044d或7044c将发送机7044b或7044c的识别信息(ID)向例如构成为智能电话的接收机7044a发送。接收机7044a从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空位状况及优惠券等的图像7044b。
图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图是与图201~图204所示的应用例对应的。
首先,将发送机的ID、与向接收到ID的接收机传递的信息建立关联而向服务器存储(7101a)。这里,在向接收机传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
接着,从发送机发送ID(S7101b)。将接收机的照相机朝向发送机,接收ID(S7101c)。
接收机将接收到的ID向服务器发送,将与ID关联的信息向接收机存储(S7101d)。
接收机将终端ID及用户ID一起向服务器保存(S7101e)。进而,接收机作为向接收机显示的内容而显示存储在服务器中的信息(S7101f)。
接收机基于保存在接收机或服务器中的用户简况,调整显示内容(S7101g)。例如,进行变更字符的大小、使年龄限制内容为不显示、或将根据过去的用户的行为而推测为喜好的内容优先地显示等的控制。
接收机显示从当前位置到店铺或商品卖场的道路顺序(S7101h)。接收机适当从服务器取得信息,将空席信息或预约信息更新而显示(S7101i)。接收机显示用来将所取得的信息保存的按钮、或用来将保存显示内容的动作中止的按钮(S7101j)。
用户轻击用来将接收机取得的信息保存的按钮(S7101k)。接收机将所取得的信息保存,以便能够通过用户的操作而再显示(S7101m)。店铺的读取机读取接收机发送的信息(S7101n)。作为发送方法,有可视光通信、经由wifi或bluetooth的通信、通过二维条码的通信等。在发送信息中,也可以包括接收机的ID或用户ID。
店铺的读取装置将所读取的信息和店铺的ID向服务器保存(S7101p)。服务器将发送机、接收机和店铺建立关联而保存(S7101q)。由此,能够分析标识板的广告效果。
图206是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标识板的发送机7002a将发送机7002a的识别信息(ID)向例如构成为智能电话的接收机7002b发送。接收机7002b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,显示与标识板相同的显示内容。如果用户进行用来选择希望的店铺的轻击选择或声音输入,则接收机7002b显示该店铺的内容。
图207是表示实施方式12的接收机7002b和发送机7002a的处理动作的一例的流程图。
将发送机7002a的ID与向接收到ID的接收机7002b传递的信息建立关联而向服务器存储(7102a)。在向接收机7002b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7002a显示的内容的位置关系向服务器存储。
从标识板等的发送机7002a发送ID(7102b)。将接收机7002b的照相机朝向发送机7002a,接收ID(7102c)。接收机7002b将接收到的ID向服务器发送,得到与ID关联的信息(7102d)。接收机7002b作为向接收机7002b显示的内容而显示存储在服务器中的信息(7102e)。作为该信息的图像也可以保持着显示在发送机7002a上的图像的位置关系而显示在接收机7002b上。
用户通过画面的轻击或声音的指定,选择显示在接收机7002b上的信息(7102f)。接收机7002b显示由用户指定的信息的详细情况(7102g)。
图208是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标识板的发送机7003a将发送机7003a的识别信息(ID)向例如构成为智能电话的接收机7003b发送。接收机7003b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标识板的显示内容中的、距接收机7003b的照相机的摄影图像的中心较近的部分(例如最近的部分)的内容显示。
图209是表示实施方式12的接收机7003b和发送机7003a的处理动作的一例的流程图。
将发送机7003a的ID与向接收到ID的接收机7003b传递的信息建立关联而向服务器存储(7103a)。在向接收机7003b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7003a显示的内容的位置关系向服务器存储。
从标识板等的发送机7003a发送ID(7103b)。将接收机7003b的照相机朝向发送机7003a,接收ID(7103c)。接收机7003b将接收到的ID向服务器发送,得到与ID关联的信息(7103d)。接收机7003b将标识板的显示内容中的、与摄像图像的中心或指定部分在位置上最近的内容显示(7103e)。
图210是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标识板的发送机7004a将发送机7004a的识别信息(ID)向例如构成为智能电话的接收机7004b发送。接收机7004b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标识板的显示内容中的、距接收机7004b的照相机的摄影图像的中心较近的部分的内容(例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户向左方向划动,则接收机7004b将用标识板表示处于店铺“B咖啡”的右侧的店铺“C书店”的内容的图像。即,接收机7004b显示与发送源的标识板相同的位置关系的图像。
图211是表示实施方式12的接收机7004b和发送机7004a的处理动作的一例的流程图。
将发送机7004a的ID、与向接收到ID的接收机7004b传递的信息建立关联而向服务器存储(7104a)。在向接收机7004b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7004a显示的内容的位置关系向服务器存储。
从标识板等的发送机7004a发送ID(7104b)。将接收机7004b的照相机朝向发送机7004a,接收ID(7104c)。接收机7004b将接收到的ID向服务器发送,得到与ID关联的信息(7104d)。作为向接收机7004b显示,而显示存储在服务器中的信息(7104e)。
用户对接收机7004b进行划动操作(7104f)。接收机7004b根据用户操作变更显示内容,以成为与显示在发送机7004a上的信息相同的位置关系(7104g)。例如,在用户将画面向左方向划动而要显示当前显示的部分的右侧的情况下,在发送机7004a的显示中,使接收机7004b显示在当前接收机7004b上显示的内容的右侧显示的内容。
图212是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标识板的发送机7005a将发送机7005a的识别信息(ID)向例如构成为智能电话的接收机7005b发送。接收机7005b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标识板的显示内容中的、距接收机7005b的照相机的摄影图像的中心较近的部分的内容(例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户轻击接收机7005b的画面的左端(或向左的箭头),则接收机7005b将在标识板上表示处于店铺“B咖啡”的左侧的店铺“A餐厅”的内容的图像显示。此外,如果用户轻击接收机7005b的画面的下端(或朝下的箭头),则接收机7005b将在标识板上表示处于店铺“B咖啡”的下侧的店铺“E事务所”的内容的图像。此外,如果用户轻击接收机7005b的画面的右端(或朝右的箭头),则接收机7005b将在标识板上表示处于店铺“B咖啡”的右侧的店铺“C书店”的内容的图像。即,接收机7004b显示与发送源的标识板相同的位置关系的图像。
图213是表示实施方式12的接收机7005b和发送机7005a的处理动作的一例的流程图。
将发送机7005a的ID、和向接收到ID的接收机7005b传递的信息建立关联而向服务器存储(7105a)。在向接收机7005b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7005a显示的内容的位置关系向服务器存储。
从标识板等的发送机7005a发送ID(7105b)。将接收机7005b的照相机朝向发送机7005a,接收ID(7105c)。接收机7005b将接收到的ID向服务器发送,得到与ID关联的信息(7105d)。作为向接收机7005b显示,将存储在服务器中的信息显示(7105e)。
用户轻击显示在接收机7005b上的端部的部分、或显示在接收机7005b上的表示上下左右的方向的部分(7105f)。接收机7005b根据用户操作将显示内容变更,成为与显示在发送机7005a上的信息相同的位置关系(7105g)。例如,在用户轻击画面的右端或表示右方向的部分的情况下,在发送机7005a的显示中,使接收机7005b显示在当前接收机7005b上显示的内容的右侧显示的内容。
图214是表示实施方式12的接收机和发送机的应用例的图。另外,图214是将汽车从后方观察的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7006a将发送机7006a的识别信息(ID)向例如构成为智能电话的接收机发送。接收机如果接收到该ID,则从服务器取得与该ID建立了对应的信息。例如,该信息是表示该车或发送机的ID、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的号码、前方的样子或表示危险的有无的信息。此外,接收机也可以从发送机7006a直接取得这些信息。
图215是表示实施方式12的接收机和发送机7006a的处理动作的一例的流程图。
将发送机7006a的ID、和向接收到ID的接收机传递的信息建立关联而向服务器存储(7106a)。在向接收机传递的信息中,也可以包括作为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状及重量、车体号码等的识别号码、或难以从接收机观察的场所的状况及危险的有无等的信息。
发送机7006a发送ID(7106b)。在发送内容中,也可以包括上述服务器的URL、或存储在上述服务器中的信息。
接收机将发送来的ID等的信息接收(7106c)。接收机从服务器取得与接收到的ID建立了联系的信息(7106d)。接收机将接收到的信息及从服务器取得的信息显示(7106e)。
接收机根据发光部的大小信息、和摄像的发光部的看起来的大小,或根据发光部间的距离信息和摄像的发光部间的距离,通过三角测量的要领,计算接收机与发光部的距离(7106f)。接收机基于难以从接收机观察的场所的状况及危险的有无等的信息,进行危险的警告等(7106g)。
图216是表示实施方式12的接收机和发送机的应用例的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7007b将发送机7007b的信息向例如构成为停车场的收发装置的接收机7007a发送。发送机7007b的信息表示发送机7007b的识别信息(ID)、车的号码、车的大小、车的形状或车的重量。接收机7007a如果接收到该信息,则发送停车的可否、核款信息或停车位置。另外,接收机7007a也可以接收ID,从服务器取得ID以外的信息。
图217是表示实施方式12的接收机7007a和发送机7007b的处理动作的一例的流程图。另外,发送机7007b由于不仅是发送还进行接收,所以具备车载发送机和车载接收机。
将发送机7007b的ID、与向接收到ID的接收机7007a传递的信息建立关联,向服务器(停车场管理服务器)存储(7107a)。在向接收机7007a传递的信息中,也可以包括将发送机7007b作为构成要素的一部分的物体的形状、重量、车体号码等的识别号码、发送机7007b的用户的识别号码、或用于支付的信息。
发送机7007b(车载发送机)发送ID(7107b)。在发送内容中,也可以包括上述服务器的URL、或向上述服务器存储的信息。停车场的接收机7007a(停车场的收发装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的ID为关键字,取得与ID建立了联系的信息(7107d)。停车场管理服务器调查停车场的空闲状况(7107e)。
停车场的接收机7007a(停车场的收发装置)将停车的可否、停车位置信息、或保持这些信息的服务器的地址发送(7107f)。或者,停车场管理服务器将这些信息向别的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从别的服务器取得这些信息。
停车场管理服务器进行停车场的控制以便容易进行停车(7107h)。例如进行立体停车场的控制。停车场的收发装置将ID发送(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的ID,对停车场管理服务器进行询问(7107j)。
停车场管理服务器根据停车时间等进行核款(7107k)。停车场管理服务器进行停车场的控制,以便容易访问停车的车辆(7107m)。例如进行立体停车场的控制。车载接收机(发送机7007b)显示向停车位置的地图,进行从当前地开始的导航(7107n)。
图218是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标识板的发送机7008a或7008b将发送机7008a或7008b的识别信息(ID)向例如构成为智能电话的接收机7008c发送。接收机7008c如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空席状况、优惠券及二维条码等的图像。
图219是表示实施方式12的接收机7008c和发送机7008a或7008b的处理动作的一例的流程图。另外,以下举发送机7008a及7008b中的发送机7008a为例进行说明,但发送机7008b的处理动作也与发送机7008a的处理动作相同。
首先,将发送机7008a的ID、和向接收到ID的接收机7008c传递的信息建立关联而向服务器存储(7108a)。在向接收机7008c传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、优惠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
从标识板等的发送机7008a发送ID(7108b)。将接收机7008c的照相机朝向发送机7008a,将ID接收(7108c)。接收机7008c将接收到的ID向服务器发送,将与ID关联的信息向接收机7008c存储(7108d)。接收机7008c将终端ID及用户ID一起向服务器保存(7108e)。
接收机7008c作为向接收机7008c显示的内容而显示存储在服务器中的信息(7108f)。接收机7008c显示从当前位置到店铺或商品卖场的道路顺序(7108g)。接收机7008c适当从服务器取得信息,将空席信息或预约信息更新并显示(7108h)。
接收机7008c显示预约或订购座席或商品的按钮(7108i)。用户轻击显示在接收机7008c上的预约按钮或订购按钮(7108j)。接收机7008c将预约或订购的信息向管理它们的服务器发送(7108k)。
图220是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机(终端)7009b被放置到例如店铺的座席之前的桌子上。此时,例如作为照明设备的发送机7009a将发送机7009a的识别信息(ID)向接收机7009b发送。接收机7009b如果接收到该ID,则从服务器取得与该ID建立了对应的信息。并且,接收机7009b进行该座席的预约、临时预约的确认、或预约时间的延长等。
图221是表示实施方式12的接收机和发送机的应用例的图。
从服务器取得了信息的接收机7009b例如显示店铺的空席状况、和用来选择“付款”、“延长”及“追加订购”的某个的按钮。
图222是表示实施方式12的接收机7009b和发送机7009a的处理动作的一例的流程图。
将发送机7009a的ID、和向接收到ID的接收机7009b传递的信息建立关联而向服务器存储(7109a)。在向接收机7009b传递的信息中,也可以包括发送机7009a的位置或形状的信息。从顶棚照明等的发送机7009a发送ID(7109b)。
用户将接收机7009b放置在桌子等上(7109c)。接收机7009b根据陀螺仪传感器、9轴传感器的信息,识别出接收机7009b被放置在桌子等上,开始接收处理(7109d)。接收机7009b从加速度传感器的上方判别朝向上方的照相机,使用该照相机接收ID。
将接收机7009b的照相机朝向发送机7009a,接收ID(7109e)。接收机7009b将接收到的ID向服务器发送,将与ID关联的信息向接收机7009b存储(7109f)。接收机7009b推测接收机7009b的位置(7109g)。
接收机7009b将接收机7009b的位置向店铺管理服务器发送(7109h)。店铺管理服务器确定接收机7009b被放置的座席(7109i)。店铺管理服务器将座席号码向接收机7009b发送(7109j)。
图223是表示实施方式12的接收机和发送机的应用例的图。
例如作为顶棚照明的发送机7011a将发送机7011a的识别信息(ID)向例如构成为智能电话的接收机7011b发送。接收机7011b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,推测(确认)自己位置。并且,如果该接收机7011b被置于电子设备7011c中,则接收机7011b作为电子设备7011c的操作终端发挥功能。由此,能够用接触面板或声音输出等的丰富的接口操作电子设备7011c。
图224是表示实施方式12的接收机7011b和发送机7011a的处理动作的一例的流程图。
将电子设备的位置向服务器存储(7110a)。也可以将电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)与位置信息建立关联而存储。
将发送机7011a的ID、和向接收到ID的接收机7011b传递的信息建立关联,向服务器存储(7110b)。在向接收机7011b传递的信息中,也可以包括发送机7011a的位置或形状的信息。
从顶棚照明等的发送机7011a发送ID(7110c)。将接收机7011b的照相机朝向发送机7011a,将ID接收(7110d)。接收机7011b将接收到的ID向服务器发送,将与ID关联的信息向接收机7011b存储(7110e)。接收机7011b推测接收机7011b的位置(7110f)。
用户将接收机7011b放置到电子设备上(7110g)。接收机7011b根据陀螺仪传感器、9轴传感器的信息识别出接收机7011b静止,开始以下的处理(7110h)。接收机7011b在最后推测接收机7011b的位置起经过一定时间以上的情况下,通过上述方法推测自己位置(7110i)。
接收机7011b根据陀螺仪传感器、9轴传感器的信息,推测从最后进行自己位置推测起的移动,推测当前位置(7110j)。接收机7011b从服务器取得距当前位置最近的电子设备的信息(7110k)。接收机7011b经由bluetooth或wifi从电子设备取得电子设备的信息(7110m)。或者取得保存在服务器中的电子设备的信息。
接收机7011b将电子设备的信息显示(7110n)。接收机7011b作为电子设备的操作终端而受理输入(7110p)。接收机7011b将电子设备的操作信息经由bluetooth或wifi向电子设备发送(7110q)。或者经由服务器向电子设备发送。
图225是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7012a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7012b。此时,接收机7012a接收从发送机7043b发送的发送机7043b的识别信息(ID)。接收机7043a从服务器取得与该ID建立了对应的信息。由此,接收机7012a作为处于照相机被朝向的方向的电子设备的操作终端发挥功能。即,接收机7012a通过bluetooth或wifi等与发送机7012b无线连接。
图226是表示实施方式12的接收机7012a和发送机7012b的处理动作的一例的流程图。
将发送机7012b的ID、和向接收到ID的接收机7012a传递的信息建立关联,向服务器存储(7111a)。在向接收机7012a传递的信息中,也可以包括电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)。
从搭载在电子设备中、或者与电子设备建立了关联的发送机7012b发送ID(7111b)。将接收机7012a的照相机朝向发送机7012b,将ID接收(7111c)。接收机7012a将接收到的ID向服务器发送,将与ID关联的信息向接收机7012a存储(7111d)。接收机7012a以接收到的ID为关键字,从服务器取得电子设备的信息(7111e)。
接收机7012a经由bluetooth或wifi从电子设备取得电子设备的信息(7111f)。或者取得保存在服务器中的电子设备的信息。接收机7012a将电子设备的信息显示(7111g)。
接收机7012a作为电子设备的操作终端而受理输入(7111h)。接收机7012a将电子设备的操作信息经由bluetooth或wifi向电子设备发送(7111i)。或者经由服务器向电子设备发送。
图227是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机7013b受理从用户输入的目的地。并且,将该接收机7013b的照相机朝向构成为照明设备(光亮)的发送机7013a。此时,接收机7013b将从发送机7013a发送的发送机7013a的识别信息(ID)接收。接收机7013b从服务器取得与该ID建立了对应的信息。基于该取得的信息,接收机7013b进行自己位置的推测(确认)。并且,接收机7013b用声音等将用户向目的地导航。此外,在用户是视觉障碍者的情况下,接收机7013b将障碍物详细地向用户报告。
图228是表示实施方式12的接收机7013b和发送机7013a的处理动作的一例的流程图。
用户将目的地向接收机7013b输入(7112a)。用户将接收机7013b朝向亮光(发送机7013a)(7112b)。即使是视觉有障碍的用户,只要能够识别较强的亮光,就能够将接收机7013b朝向那里。
接收机7013b接收叠加在亮光中的信号(7112c)。接收机7013b以接收到的信号为关键字,从服务器取得信息(7112d)。接收机7013b从服务器取得从当前地到目的地的地图(7112e)。接收机7013b显示地图,进行从当前地到目的地的导航(7112f)。
图229是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7014a具备前置照相机7014b。并且,接收机7014a当该前置照相机7014b的摄像方向相对于地平面朝向一定角度以上时,进行通过该前置照相机7014b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7014a在具备前置照相机7014b以外的其他照相机的情况下,将该前置照相机7014b的优先级比其他照相机提高。
图230是表示实施方式12的接收机7014a的处理动作的一例的流程图。
判断前置照相机7014b的摄像方向相对于地平面是否朝向一定角度以上(7113a)。如果判断结果是真(是),则开始通过前置照相机7014b的接收(7113b)。或者,提高由前置照相机7014b进行的接收处理的优先级。并且,如果经过一定时间(7113c),则结束由前置照相机7014b进行的接收(7113d)。或者,将由前置照相机7014b进行的接收处理的优先级降低。
图231是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7015a具备外照相机(out cemera)7015b。并且,接收机7014a当该外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,进行通过该外照相机7015b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7015a在还具备外照相机7015b以外的其他照相机的情况下,将该外照相机7015b的优先级比其他照相机提高。
另外,当外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,接收机7015a是被纵置的状态,接收机7015a的具备外照相机7015b的面的相对于地平面的角度为一定角度以上。
图232是表示实施方式12的接收机7015a的处理动作的一例的流程图。
判断外照相机7015b的摄像方向相对于地平面是否是一定角度以下(7114a)。如果判断结果是真(是),则开始由外照相机7015b进行的接收(7114b)。或者,将由外照相机7015b进行的接收处理的优先级提高。并且,如果经过一定时间(7114c),则结束由外照相机7015b进行的接收(7114d)。或者,将由外照相机7015b进行的接收处理的优先级降低。
图233是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7016a具备外照相机。并且,接收机7016a在被向该外照相机的摄像方向移动(伸出)时,进行通过该外照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,在接收机7016a还具备外照相机以外的其他照相机的情况下,将该外照相机的优先级比其他照相机提高。
另外,当被向外照相机的摄像方向移动时,移动方向与(移动结束时点的)摄像方向之间的角度为一定角度以下。
图234是表示实施方式12的接收机7016a的处理动作的一例的流程图。
将接收机7016a移动,判断移动方向与移动结束时点的外照相机的摄像方向是否是一定角度以下(7115a)。如果判断结果是真(是),则开始由外照相机进行的接收(7115b)。或者,将由外照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115c),则结束由外照相机进行的接收(7115d)。或者,将由外照相机进行的接收处理的优先级降低。
图235是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7017a具备规定的照相机。并且,接收机7017a当进行了与规定的照相机对应的显示器操作或专用按钮的按下时,进行通过该规定的照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7017a在也具备规定的照相机以外的其他照相机的情况下,将该规定的照相机的优先级比其他照相机提高。
图236是表示实施方式12的接收机7017a的处理动作的一例的流程图。
判断是否对接收机7017a进行了显示器操作或专用按钮的按下(7115h)。如果判断结果是真(是),则开始与显示器操作或专用按钮的按下对应的通过照相机的接收(7115i)。或者,将由该照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115j),则结束与显示器操作或专用按钮的按下对应的由照相机进行的接收(7115k)。或者,将由该照相机进行的接收处理的优先级降低。
图237是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7018a具备前置照相机(facecamera)7018b。并且,接收机7018a当该前置照相机7018b的摄像方向相对于地平面朝向一定角度以上、并且接收机7014a沿着相对于地平面处于一定角度以下的方向移动时,进行通过该前置照相机7018b进行的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7018a在还具备前置照相机7018b以外的其他照相机的情况下,将该前置照相机7018b的优先级比其他照相机提高。
图238是表示实施方式12的接收机7018a的处理动作的一例的流程图。
将前置照相机7018b的摄像方向相对于地平面朝向一定角度以上,判断是否相对于地平面以一定角度以下平行移动(7116a)。如果判断结果是真(是),则开始由前置照相机7018b进行的接收(7116b)。或者,将由前置照相机7018b进行的接收处理的优先级提高。并且,如果经过一定时间(7116c),则将由前置照相机7018b进行的接收结束(7116d)。或者,将由前置照相机7018b进行的接收处理的优先级降低。
图239是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7019b的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7019a。此时,接收机7019b接收从发送机7019a(发送机7019a的显示器)发送的、视听中的频道的识别信息(ID)。接收机7019b从服务器取得与该ID建立了对应的信息。由此,接收机7019b显示电视节目的关联商品的购买页、或电视节目的关联信息。此外,接收机7019b通过投票或参与抽奖而参加电视节目。另外,发送机(TV)7019a也可以具备存储有用户的住址的住址存储部,发送与存储在该住址存储部中的住址相关联的信息。接收机7019b通过将接收到的ID和接收到ID的时刻向服务器发送,能够将从ID接收到服务器访问的延迟的影响去除而从服务器取得数据。发送机7019a也可以从内置时钟或广播波取得时刻信息或根据时刻变化的ID并发送。由此,能够不依存于接收机的时刻设定而将广播者设定的数据从服务器向接收机发送。
图240是表示实施方式12的接收机和发送机的应用例的图。
发送机7019a及接收机7019b如图240(a)所示,也可以直接收发为了实现图239所示的应用例而需要的信息。
此外,如图240(b)所示,发送机7019a将视听中的频道的ID向接收机7019b发送。接收机7019b从服务器取得与该ID建立了对应的信息、即为了实现图239所示的应用例而需要的信息。
此外,如图240(c)所示,发送机7019a也可以将在发送机(TV)7019a的ID或无线连接中需要的信息向接收机7019b发送。在此情况下,接收机7019b接收该ID或信息,基于该ID或信息,对发送机7019a或记录机询问视听中的频道。进而,接收机7019b从服务器取得通过询问得到的关于频道的信息,即实现图239所示的应用例而需要的信息。
例如,发送机7019a作为Wi-Fi或Bluetooth(注册商标)等的无线连接所需要的信息而发送SSID(Service Set Identifier)、口令、IP地址或设备ID等。接收到这样的信息的接收机7019b基于该信息与发送机7019a进行无线连接。并且,接收机7019b通过无线连接,从发送机7019a取得正被用户视听的节目的信息,将该节目的信息向服务器发送。服务器如果接收到该节目的信息,则将与该节目的信息建立了关联而保持的内容向接收机7019b发送。接收机7019b如果取得从服务器发送的内容,则将该内容显示。
图241是表示实施方式12的接收机和发送机的应用例的图。
发送机7019a也可以具备TV2021b和记录机2021a。在该发送机7019a中,记录机2021a在录像时保持录像的频道的识别信息(ID)及录像时刻。或者,记录机2021a从服务器取得并保持与录像的频道的识别信息(ID)及录像时刻建立了对应的信息。并且,在再现时,TV2021b将保存在该记录机2021a中的信息的一部分或全部向接收机7019b发送。此外,TV2021b和记录机2021a的至少一方也可以起到服务器的功能。当记录机2021a进行服务器的功能时,记录机2021a将服务器的地址替换为记录机2021a的地址,将该地址从TV202b向接收机7019b发送。
图242是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7022c的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7022b。此时,接收机7022c将从发送机7022b(发送机7022b的显示器)发送的信息接收。接收机7022c基于该信息与发送机7022b进行无线通信。这里,发送机7022b当从服务器7022a取得包括向接收机7022c显示的图像等的信息并向接收机7022c发送时,将在该信息中包含的服务器7022a的地址替换为发送机7022b的地址。
图243是表示实施方式12的接收机和发送机的应用例的图。
例如记录机7023b在电视节目的录像时,将实现图239所示的应用例而需要的信息从服务器7023a一起取得。
在电视节目的再现时,记录机7023b将再现画面、和为了实现图239所示的应用例而需要的信息向作为发送机的电视机7023c发送。电视机7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与电视机7023c进行无线通信。
或者,在电视节目的再现时,记录机7023b将再现画面、和记录机7023b的地址等的为了进行无线通信而需要的信息向作为发送机的电视机7023c发送。电视机7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与记录机7023b进行无线通信。
图244是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7045a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7045b。发送机7045b显示歌曲节目等的电视节目的影像,并从显示器发送信息。此时,接收机7045a接收从发送机7045b(发送机7045b的显示器)发送的信息。并且,接收机7045a基于该信息,显示提示在该歌曲节目中视听的歌曲的购买的画面7045c。
图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
搭载在电视机或录像机等中的发送机从服务器作为与放映中的节目关联的信息而取得想要向接收机传递的信息(7117a)。发送机将信号叠加到显示器的背灯中而发送(7117b)。在发送的信号中,也可以包括发送机的URL、发送机的SSID、或用来向发送机访问的口令。
图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
接收机从显示器接收信息(7118a)。判断在接收到的信息中是否包含视听中的频道信息(7118b)。如果其判断结果是假(否),则从具有接收到的信息中包含的ID的电子设备取得视听中的频道信息(7118c)。
另一方面,如果上述判断结果是真(是),则从服务器取得与视听中的画面关联的信息(7118d)。电视机及录像机也可以发挥服务器的作用。接收机将从服务器取得的信息显示(7118e)。接收机基于保存在接收机或服务器中的用户简况调整显示内容(7118f)。例如,进行变更字符的大小、将年龄限制内容不显示、或将根据过去的用户的行动推测为喜欢的内容优先地显示等的控制。
图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
录像机在节目录像的同时,从服务器取得与节目关联的信息并保存(7119a)。在关联的信息随着时刻而变化的情况下,将该时刻也一起保存。
录像机在将录像的图像再现时,将上述保存的信息向显示器发送(7119b)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为显示器的访问信息。
录像机在将录像的图像再现时,将上述保存的信息向接收机发送(7119c)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为录像机的访问信息。
图248是表示实施方式12的发送机的亮度变化的图。
发送机通过使从亮度急剧上升时到下次亮度急剧上升时之间的时间的长度按照代码(0或1)不同,将向接收机发送的信息编码。由此,能够不改变发送的信息的内容,而通过PWM(Pulse Width Modulation)控制进行人感觉的明亮程度的调节。另外,亮度的波形也可以不是正确的矩形波。
图249是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图248所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7120a)。计测从之前亮度急剧上升到下次亮度急剧上升的时间(7120b)。或者计测从之前亮度急剧下降到下次亮度急剧下降的时间。通过上述时间识别信号的值(7120c)。例如,当上述时间为300微秒以下时识别为0,当以上时识别为1。
图250是表示实施方式12的发送机的亮度变化的图。
发送机通过使表示亮度的增减的波长变化,表现向接收机发送的信息的开始点。或者,发送机通过使其波长变化,在1个信息中叠加别的信息。
图251是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图250所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7121a)。求出亮度急剧变化的期间的时间幅度的最低值(7121b)。寻找不是上述最低值的整数倍的亮度变化幅度(7121c)。以不是上述整数倍的亮度变化幅度为信号的开始点,将信号解析(7121d)。求出具有不是上述整数倍的亮度变化幅度的部分间的时间幅度(7121e)。
图252是表示实施方式12的发送机的亮度变化的图。
发送机通过以比接收机的曝光时间短的间隔使亮度变化,能够调整在人的眼睛中看到的明亮程度。此外,能够将随着时间经过而积累的亮度变化复位。
图253是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图252所示的亮度变化的与发送机对应的接收机的处理动作。
当亮度或控制亮度的电流低于一定值时,以相比接收机的曝光时间足够短的时间幅度进行电流的关闭开启(S7125a)。由此,使电流回到初始值,能够防止发光部的亮度下降。此外,当亮度或控制亮度的电流高于一定值时,相比接收机的曝光时间足够短的时间幅度进行电流的开启关闭(S7125b)。由此,使电流回到初始值,能够防止发光部的亮度上升。
图254是表示实施方式12的发送机的亮度变化的图。
发送机通过使亮度的载波频率不同,表现不同的信号(信息)。接收机能够将载波频率在比信号内容早的时点识别。因而,使载波频率不同,适合于表现发送机的ID等应优先识别的内容。
图255是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示与伴随着图254所示的亮度变化的发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7122a)。求出亮度急剧变化的期间的时间幅度的最低值(7122b)。将上述最低值识别为载波频率(7122c)。以载波频率为关键字,从服务器取得信息(7122d)。
图256是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7123a)。将亮度变化进行傅立叶变换,将最大成分识别为载波频率(7123b)。以载波频率为关键字,从服务器取得信息(7123c)。
图257是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的发送机的处理动作。
将发送信号表现为亮度变化(7124a)。制作以将亮度变化进行傅立叶变换后的最大成分为载波频率那样的亮度变化(7124b)。如制作出的亮度变化那样使发光部发光(7124c)。
图258是表示实施方式12的发送机的结构例的图。
发送机7028a具有发送信号A的部分7028b、发送信号B的部分7028d、和发送信号C的部分7028f。这样,通过沿着接收机的摄像部(照相机)同时曝光的方向具有发送相互不同的信号的部分,接收机能够同时接收多个信号。另外,在各个部分7028b、7028d、7028f之间,也可以设置不发出信号的部分、或者发出特别的缓冲部分7028c、7028e。
图259是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
在发送机中,也可以将图258所示的发送各信号的部分7029a分别如图259所示那样配置。由此,在将接收机倾斜的情况下,接收机的摄像部(照相机)也能够将信号A、B及C的许多部分同时接收(摄像)。
图260是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
发送机的圆形的发光部具备排列为同心圆状的、发送各信号的多个圆环状的部分7030a、7030b、7030c。部分7030a发送信号C,部分7030b发送信号B,部分7030c发送信号A。这样,在发送机的发光部为圆形的情况下,通过如上述那样将发送各信号的部分排列,接收机能够将从各部分发出的信号A、B及C的许多部分同时接收(摄像)。
图261是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示具备图258~图260的任一个所示的发光装置的发送机和接收机的处理动作。
接收机计测同时受光的行的各自的位置的亮度(7126a)。通过在与同时受光行垂直方向上将分别发送的信号接收,能够高速地接收信号(7126b)。
图262是表示由实施方式12的接收机和发送机进行的显示和摄影的例子的图。
发送机将在与接收机的受像部(照相机)同时曝光的方向垂直的方向上构成为均匀的图像的多个一维条码分别作为帧1(7031a)、帧2(7031b)及帧3(7031c)依次显示。另外,一维条码由沿着与上述同时曝光的方向垂直的方向的线(棒)构成。接收机通过将由发送机显示的图像如上述各实施方式那样摄像,取得帧1(7031d)及帧2(7031e)。接收机通过在一维条码的棒中断的部分将一维条码分割,能够依次识别被连续显示的一维条码。在此情况下,不需要使通过发送机的显示与通过接收机的摄像的定时同步,接收机能够将由发送机显示的内容全部识别。此外,由发送机进行的显示的帧速率也可以比由接收机进行的摄像的帧速率快。但是,由发送机进行的显示的1帧的显示时间需要比由接收机摄像的帧间的空白时间长。
图263是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示进行图262所示的显示的发送机具备的显示装置的处理动作。
显示装置将一维条码显示(7127a)。显示装置以比接收机的摄像的空白时间长的间隔使条码显示变化(7127b)。
图264是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图进行进行图262所示的摄影的接收机的处理动作。
接收机将显示在显示装置上的一维条码摄影(7128a)。在条码的行中断的地方,显示装置识别为显示下个条码(7128b)。通过该方法,即使不进行显示与摄像的同步,接收机也能够接收全部的显示内容。此外,还能够接收以比接收机的摄像帧速率快的帧速率显示的信号。
图265是表示实施方式12的接收机和发送机的应用例的图。
例如作为照明设备的发送机7032a将发送机7032a的加密的识别信息(ID)发送。例如构成为智能电话的接收机7032b如果接收到该加密的ID,则将该加密的ID向服务器7032c发送。服务器7032c如果接收到该加密的ID,则将该加密的ID解密。或者,接收机7032b如果接收到该加密的ID,则将该加密的ID解密,向服务器7032c发送。
图266是表示实施方式12的接收机7032b和发送机7032a的处理动作的一例的流程图。
发送机7032a保持一部分或全部被加密的信息(7129a)。接收机7032b将从发送机7032a发送的该信息接收,将接收到的信息解密(7129b)。或者,接收机7032b将加密的状态的信息向服务器7032c发送。在将加密的状态的信息发送的情况下,服务器7032c将该加密的状态的信息解密(7129c)。
图267是表示实施方式12的接收机的状态的图。
用户为了打电话,将例如构成为智能电话的接收机7033a贴在耳朵上。此时,装备在接收机7033a的扬声器附近的照度传感器检测表示较低的照度的照度值。结果,接收机7033a将接收机7033a的状态推测为通话中,停止来自发送机的信息的接收。
图268是表示实施方式12的接收机7033a的处理动作的一例的流程图。
接收机7033a根据照度传感器的传感器值等判断是否推测为通话中(7130a)。在该判断结果是真(是)的情况下,接收机7033a将由前置照相机进行的接收结束(7130b)。或者,接收机7033a将由前置照相机进行的接收处理的优先级降低。
图269是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机7034a在作为用来将来自发送机的信息接收(摄像)的摄像装置的照相机(例如前置照相机)附近具备照度传感器7034b。如果由该照度传感器7034b检测到一定值以下的表示较低的照度的照度值,则接收机7034a将来自发送机的信息的接收中止。或者,在接收机7034a具备其他照相机的情况下,将该照度传感器7034b附近的照相机(例如前置照相机)的优先级比其他照相机降低。
图270是表示实施方式12的接收机7034a处理动作的一例的流程图。
接收机7034a判断照度传感器7034b的传感器值是否是一定值以下(7131a)。在该判断结果是真(是)的情况下,接收机7034a将由前置照相机进行的接收结束(7131b)。或者,接收机7034a将由前置照相机进行的接收处理的优先级降低。
图271是表示实施方式12的接收机的处理动作的一例的流程图。
接收机根据照度传感器的传感器值计测照度变化(7132a)。以用摄像装置(照相机)计测亮度变化而接收信号的方式,接收机根据照度值的变化接收信号(7132b)。由于照度传感器比摄像装置便宜,所以能够将接收机便宜地制造。
图272是表示实施方式12的发送机的波长的一例的图。
发送机如图272的(a)及(b)所示,通过输出同色异谱的光7037a、7037b,表现向接收机发送的信息。
图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示输出图272所示的波长的光的发送机和接收机的处理动作。
发送机将对人而言识别为等色但分光分布不同的光(同色异谱的光)用不同的信号表现,使发光部发光(7135a)。接收机计测分光分布而接收信号(7135b)。根据该方式,能够不注意到闪变而发送信号。
图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备ID解决服务器7038a、中继服务器7038b、接收机7038c、发送机7038d及发送机侧控制装置7038e。
图275是表示实施方式12的系统的处理动作的一例的流程图。
ID解决服务器7038a将发送机7038d的ID、和发送机侧控制装置7038e与接收机7038c通信的方法建立关联而存储(7136a)。接收机7038c接收发送机7038d的ID,从ID解决服务器7038a取得与发送机侧控制装置7038e的通信方法(7136b)。接收机7038c判断接收机7038c和发送机侧控制装置7038e是否能够直接通信(7136c)。在其判断结果为假(否)的情况下,接收机7038c经由中继服务器7038b与发送侧控制装置7038e通信(7136d)。另一方面,在其判断结果为真(是)的情况下,接收机7038c与发送侧控制装置7038e直接通信(7136e)。
图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7039g、店铺侧设备7039a及便携设备7039b。店铺侧设备7039a具备发送机7039c和摄像部7039d。便携设备7039b具备接收机7039e和显示部7039f。
图277是表示实施方式12的系统的处理动作的一例的流程图。
便携设备7039b在显示部7039f上以二维条码等的形式显示信息(7137a)。店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d摄像,取得信息(7137b)。店铺侧设备7039a将某些信息从发送机7039c发送(7137c)。
便携设备7039b将发送的信息用接收机7039e接收(7137d)。便携设备7039b基于接收到的信息使显示部7039f的显示内容变化(7137e)。向显示部7039f显示的内容既可以由便携设备7039b决定,也可以由服务器7039g基于接收到的内容决定。
店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d摄像,取得信息(7137f)。店铺侧设备7039a判断所取得的信息与发送的信息的一致性(7137g)。该判断既可以由店铺侧设备7039a进行,也可以由服务器7039g进行。在一致的情况下,正常地完成交易(7137h)。
通过该方法,能够防止将显示在显示部7039f上的优惠券信息复制而不正当地使用。此外,还可以通过该方法进行加密密钥交换。
图278是表示实施方式12的接收机的处理动作的一例的流程图。
接收机开始接收处理(7138a)。接收机设定摄像装置的曝光时间(7138b)。接收机设定摄像装置的增益(7138c)。接收机根据摄像图像的亮度接收信息(7138d)。
图279是表示实施方式12的接收机的处理动作的一例的流程图。
设定曝光时间(7139a)。判断是否存在使曝光时间变化的API(Application Program Interface)(7139b)。在该判断结果是假(否)的情况下,将摄像装置朝向光源等亮度较高的物体(7139c)。进行自动曝光设定(7139d)。如果自动曝光设定值的变化足够小,则将曝光设定值固定(7139e)。
另一方面,在上述判断结果是真(是)的情况下,利用API开始曝光时间的设定(7139f)。
图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7036a、接收机7036b及至少1个发送机7036c。接收机7036b从服务器取得关于存在于接收机7036b的附近的至少1个发送机7036c的信息。
图281是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7036b根据GPS及基站等的信息进行自己位置推测(7133a)。接收机7036b将推测出的自己位置和推测误差范围向服务器7036a发送(7133b)。接收机7036b从服务器7036a取得存在于接收机7036b的位置附近的发送机7036c的ID、和与该ID建立了关联的信息并存储(7133c)。接收机7036b从发送机7036c接收ID(7133d)。
接收机7036b判断是否存储有与接收到的ID建立了关联的信息(7133e)。在其判断结果为假(否)的情况下,接收机7036b以接收到的ID为关键字,从服务器7036a取得信息(7133f)。接收机7036b根据从服务器7036a接收到的信息和发送机7036bc的位置关系进行自己位置推测,从服务器7036a取得附近的其他发送机7036c的ID、和与该ID建立了关联的信息并存储(7133g)。
在上述步骤7133e中判断为真(是)的后,或者进行上述步骤7133g后,接收机7036b将与接收到的ID建立了关联的信息显示(7133h)。
图282是表示实施方式12的接收机和发送机的应用例的图。
在建筑物a(7040a)中,配设有例如构成为照明设备的发送机7040c及7040d,在建筑物b(7040b)中,配设有例如构成为照明设备的发送机7040e及7040f。发送机7040c及7040e发送信号A,发送机7040d及7040f发送信号B。例如构成为智能电话的接收机(终端)7040g接收从某个发送机发送的信号。
图283是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7040g检测进入到建筑物中的情况(7134a)。接收机7040g将推测出的自己位置、推测误差范围、和推测为接收机7040g存在的建筑物的名称等向服务器发送(7134b)。接收机7040g从服务器取得在接收机7040g存在的建筑物中存在的发送机的ID、和与该ID建立了关联的信息并存储(7134c)。接收机7040g从发送机接收ID(7134d)。
接收机7040g判断是否存在与接收到的ID建立了关联的信息(7134e)。在其判断结果是假(否)的情况下,接收机7040g以接收到的ID为关键字,从服务器取得信息(7134f)。接收机7040g从服务器取得在与接收到ID的发送机存在的建筑物相同的建筑物内存在的其他发送机的ID、和与该ID建立了关联的信息(7134g)。
在上述步骤7134e中判断为真(是)后,或者在进行步骤S7134g后,接收机7040g显示与接收到的ID建立了关联的信息(7134h)。
图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
例如构成为照明设备的发送机7041a发送信号A,发送机7041b发送信号B,发送机7041c发送信号C,发送机7041d发送信号B。例如构成为智能电话的接收机(终端)7041e接收从某个发送机发送的信号。这里,在基于GPS或基站等的信息(其他手段)推测的接收机7041e的自己位置的误差范围中,有发送机7041a、7041b、7041c。
图285是表示实施方式12的系统的处理动作的一例的流程图。
接收机7041e从发送机接收ID(7140a)。接收机7041e进行自己位置推测(7140b)。接收机7041e判断自己位置推测是否成功(7140c)。在其判断结果是假(否)的情况下,接收机7041e将地图及输入表格显示,使用户输入当前位置(7140d)。
接收机7041e将接收到的ID、推测出的自己位置、和自己位置推测的误差范围向服务器发送(7140e)。
服务器判断从接收机7041e的推测自己位置在推测误差范围(推测误差半径)以内是否仅存在一个发送接收机7041e接收到的ID的发送机(7140f)。在其判断结果是假(否)的情况下,接收机7041e将从步骤7140d起的处理重复执行。另一方面,在其判断结果是真(是)的情况下,服务器将与该发送机建立了关联的信息向接收机7041e发送(7140g)。
图286是表示实施方式12的接收机的处理动作的一例的流程图。
首先,接收机检测发出了信号的发光装置(发送机)(7141a),接收信号(7141b)。并且,接收机将接收状况、已接收数据量、发送数据量、对于发送数据量的已接收数据量的比例(7141c)。
接着,接收机确认是否已将发送数据全部接收(7141d)。在确认了已接收的情况下(7141d的是),接收机将接收处理中止(7141e),进行接收完成的显示(7141f)。
进而,接收机响起通知音(7141g),进行振动(7141h)。
在步骤7141d中,在确认了没有接收的情况下(7141d的否),接收机确认是否在由接收机的摄像装置(照相机)得到的影像中从发送机离开屏幕(frame)起经过了一定时间(7141i)。这里,在确认经过了一定时间的情况下(7141i的是),接收机将已接收数据丢弃,将接收处理停止(7141m)。进而,接收机响起通知音(7141n),进行振动(7141p)。
在步骤7141i中,在确认了没有经过一定时间的情况下(7141i的否),接收机确认由接收机的9轴传感器得到的传感器值是否以一定值以上的大小变化了,或者是否能够推测出将接收机朝向了别的方向(7141j)。这里,如果确认了以一定值以上的大小变化、或者能够推测出朝向了别的方向(7141i的是),则进行上述步骤7141m以后的处理。
另一方面,如果确认了没有以一定值以上的大小变化,或者不能推测为朝向了别的方向(7141i的否),接收机确认是否接收机的9轴传感器的传感器值以一定的节奏变化了、或者能够推测出接收机被晃动(7141k)。这里,如果确认以一定的节奏变化了、或者能够推测出被晃动,则接收机进行上述步骤7141m以后的处理。另一方面,如果确认没有以一定的节奏变化、或者不能推测出被晃动(7141k的否),则接收机将从步骤7141b起的处理重复执行。
图287A是表示实施方式12的发送机的结构的一例的图。
发送机7046a具备发光部7046b、二维条码7046c和NFC芯片7046d。发光部7046b将与二维条码7046c及NFC芯片7046d的至少一方共通的信息通过上述各实施方式的方法发送。或者,发光部7046b也可以将与二维条码7046c及NFC芯片7046d的至少一方不同的信息通过上述各实施方式的方法发送。在此情况下,接收机也可以以从发光部7046b发送的信息的内容为关键字,从服务器取得与二维条码7046c及NFC芯片7046d的至少一方共通的信息。此外,接收机也可以在从发光部7046b接收信息的情况、和从二维条码7046c及NFC芯片7046d的至少一方接收信息的情况中进行共通的处理。在上述哪种情况下,接收机对共通的服务器访问,显示共通的信息。
图287B是表示实施方式12的发送机的结构的另一例的图。
发送机7046e具备发光部7046f,使其发光部7046f显示二维条码7046g。即,该发光部7046f兼具备图287A所示的发光部7046b及二维条码7046c的各自的功能。
这里,发光部7046b、7046f也可以通过发送表示发光部7046b、7046f的大小的信息,使接收机推测从接收机到发送机7046a、7046e的距离。由此,接收机能够将二维条码7046c、7046g更简单或鲜明地摄影。
图288是表示实施方式12的接收机和发送机7046a、7046e的处理动作的一例的流程图。另外,以下举发送机7046a及发送机7046e中的发送机7046a为例说明,但发送机7046e的处理动作也与发送机7046a的处理动作相同。
发送机7046a发送表示发光部7046b的大小的信息(步骤7142a)。另外,将发光部7046b的任意的2点间的距离的最大值作为发光部7046b的大小。另外,该一系列的处理由于速度较重要,所以优选的是,发送机7046a将表示发送机7046a的发光部7046b的大小的信息直接发送,接收机不经由服务器通信而取得表示该大小的信息。此外,优选的是通过能够将发送机7046a的明暗变化的频率等迅速接收的方法发送。
接着,接收机接收作为上述信息的信号,取得发送机7046a的发光部7046b的大小(步骤7142b)。并且,接收机基于发光部7046b的大小、摄像的发光部7046b的图像的大小、和接收机的摄像部(照相机)的特性,计算从接收机到发光部7046b的距离(步骤7142c)。接着,接收机将摄像部的焦点距离匹配于计算出的距离而摄影(步骤7142d)。接收机在将二维条码摄影的情况下取得其内容(步骤7142e)。
(实施方式13)
在本实施方式中,对使用上述实施方式1~12的智能电话等的接收机、和作为LED或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图289是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7201a中,发送机发出特定的频率的声音或以特定的样式变化的声音(该频率例如是2kHz到20kHz等,优选的是人难以听到、用一般的集音器能够集音的频率的声音。此外,由于一般的集音器的采样频率是44.1kHz左右,所以通过采样定理,虽然仅能够正确地识别到其一半的频率,但只要知道发送信号,就能够高精度地推测是否将该信号集音。所以,利用该性质,也可以利用20kHz以上的频率的信号)。
在步骤7201b中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7201c中,接收机将集音部起动。在步骤7201d中,接收机将发送机发出的声音集音。在步骤7201e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7201f中,接收机开始接收并结束。
图290是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7202a中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7202b中,接收机将照度传感器起动。在步骤7202c中,接收机从照度传感器识别照度的变化。在步骤7202d中,接收机从照度传感器接收发送信号。在步骤7202e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7202f中,接收机开始接收并结束。
图291是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7203a中,用户操作接收机,使其开始接收。或者,以某种触发事件,接收机自动地开始接收。在步骤7203b中,使画面整体的平均亮度或亮度最大点的亮度较明亮的摄像部优先地接收并结束。
图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7204a中,摄像部通过在同时摄像行或像素中不进行发送机没有拍摄的同时摄像行或像素的摄像,将发送机拍摄的同时摄像行或像素高速地摄影。在步骤7204b中,接收机用陀螺仪或9轴传感器检测接收机的运动或手抖动,通过电子修正调整以使发送机总是拍摄,并结束。
图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7205a中,接收机显示二维条码A。在步骤7205b中,发送机将二维条码A读取。在步骤7205c中,发送机发送显示变更命令。在步骤7205d中,接收机显示二维条码B。在步骤7205e中,发送机将二维条码B读取并结束。
图294是表示实施方式13的发送机的应用例的图。
发送机7211a具备表示是发送机的标记7211b。人不能将发送信号与通常的光区别,但由此能够识别出7211a是发送机。同样,发送机7211c具备表示是发送机的标记7211d。同样,发送机7211e仅在发送信号的期间中,显示表示是发送机的标记7211f。
图295是表示实施方式13的发送机的应用例的图。
电视机等的发送机7212a使背灯或画面7212b的亮度变化而发送信号。电视机等的发送机7212c使画面以外的部分、例如边框7212d或图标标记等的亮度变化而发送信号。
图296是表示实施方式13的发送机的应用例的图。
电视机等的发送机7213a在画面7213b上显示紧急新闻或屏上显示7213c时发送信号。此外,7213c通过对暗色的字符设为亮色的背景、在画面的横向上较大地显示,能够使接收机容易接收信号。
图297是表示实施方式13的发送机和接收机的应用例的图。
当用户进行了接收机或电视机等的遥控器7214a的操作时,从7214a向发送机7214b发送开始信号,发送机7214b在接受到开始信号后的一定时间中发送信号。发送机7214b显示表示是发送中的显示7214c。由此,即使在电视机本来的显示较暗的情况下,接收机也容易接收信号。显示7214c的明亮的部分越多、在横向越宽,接收机越容易接收信号。
另外,发送机7214b也可以与显示电视的影像的区域另外地具备用于信号发送的区域7214c。另外,发送机7214b也可以将用户的运动及遥控器7214a的运动用照相机7214d或麦克风7214e识别而开始信号发送。
图298是表示实施方式13的发送机和接收机的应用例的图。
发送机7215a、7215b将发送机的ID号码发送。发送机的ID既可以是完全唯一的,也可以是在地域内、建筑物内或房间内唯一的ID。在后者的情况下,优选的是使得在几十m以内不存在相同ID。接收机7215c将接收到的ID向服务器7215d发送。也可以向服务器同时发送由GPS等的位置传感器识别的7215c的位置信息、7215c的终端ID或用户ID、会话ID等同时发送。
数据库7215e与发送机发送的ID建立关联,保持别的ID、发送机的位置信息(纬度、经度、高度、房间号码)、发送机的型号、形状或大小、字符、图像、影像或音乐等的内容、使接收机执行的命令或程序、其他服务器的URL、发送机的所有者信息、ID的登记日或有效期限等。
服务器7215d将与接收到的ID建立了关联的信息从数据库读出,向接收机7215c发送。接收机7215c进行将接收到的信息显示、基于接收到的信息向别的服务器访问、或执行接收到的命令等的处理。
图299是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7216a、7216b将发送机的ID1发送。接收机7216c将接收到的ID1向服务器A7216d发送。服务器A将与ID1建立了关联的ID2和用来向别的服务器B访问的信息(URL或口令等)发送。接收机7216c将ID2向服务器B7216f发送。服务器B7216f将与ID2建立了关联的信息向接收机7216c发送、或进行与ID2建立了关联的处理。
图300是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7217a、7217b将发送机的ID1发送。接收机7217c将接收到的ID1向服务器A7217d发送。服务器A将与ID1建立了关联的信息、和随机生成的密钥信息向服务器B发送。密钥信息也可以由服务器B生成并向服务器A发送。服务器A向接收机发送密钥信息、和用来向服务器B访问的信息(URL或口令等)。接收机7217c将密钥信息向服务器B7217f发送。服务器B7217f将与ID2建立了关联的信息向接收机7217c发送,进行与ID2建立了关联的处理。
图301A是表示实施方式13的发送信号的例子的图。
信号由头部7218a、数据部7218b、填充部7218c、数据结尾部7218e构成。信号将相同的数据在1/15秒间反复发送。由此,在仅接收到信号的1部分的情况下,也能够将信号解码。接收机从接收到的信号中提取头部,将两个头部之间的部分作为数据部将数据解码。如果使1帧的数据部变短,则即使是在接收机的摄像部中将发送机拍摄得较小的情况也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/15秒中重复,用在1秒间摄影30帧的接收机,即使有空白,也能够可靠地将数据部的信号摄像。此外,由于通过相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,在通过其他应用的动作而没有进行不连续的帧的处理的情况下,或者通过在1秒间仅能够摄影15帧的接收机,也能够接收信号。此外,由于越接近于头部则越容易接收数据,所以也可以向距头部较近的部分配置重要度较高的数据。
图301B是表示实施方式13的发送信号的另一例的图。
信号与图301A的例子同样,由头部7218a、数据部7218b、填充部7218c、数据结尾(End of Data)部7218e构成。信号将相同的数据在1/30秒间反复发送。由此,即使在仅接收到信号的一部分的情况下,也能够将信号解码。如果使数据部变短,则即使在接收机的摄像部中较小地拍摄有发送机的情况下也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/30秒间重复,用在1秒间摄影30帧的接收机,即使有空白也能够可靠地将数据部的信号摄像。此外,由于用相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,由于越是接近于头部越容易接收数据,所以也可以在距头部较近的部分配置重要度较高的数据。
图302是表示实施方式13的发送信号的例子的图。
将2位的信号调制为5位的信号的7219a的调制方式与将2位的信号调制为4位的信号的2200.2a等的调制方式相比,虽然调制效率较差,但能够用与数据部分相同的形式表现头样式,所以与插入不同的形式的头样式相比能够抑制闪变。数据结尾也可以通过在数据部中使用头来表现。
图303A是表示实施方式13的发送信号的例子的图。
信号由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/15秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a那样的头。
图303B是表示实施方式13的发送信号的另一例的图。
信号与图303A的例子同样,由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/30秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a那样的头。
图304是表示实施方式13的发送信号的例子的图。
通过频率分配信号。接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。在用接收机的摄像部将发送数据1和数据2的光摄像到一个画面内的情况下,如果在与曝光行垂直的方向上将亮度值进行傅立叶变换,则在数据1和数据2的频率中,出现比将发送一个数据的光的情况弱的尖峰。
根据该方法,即使是在一个画面内将用多个频率依次发送的光摄像的情况,也能够将发送频率解析,即使以比1/15秒或1/30秒短的时间变更发送信号的频率也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,在比1画面长的范围中进行傅立叶变换。在此情况下,可以将摄像的空白时间的亮度值作为不明处置。
图305A及图305B是表示实施方式13的发送信号的例子的图。
在发送信号的频率是200Hz以下的情况下,人能作为闪烁感觉到,但如果是其以上的频率,则感觉为连续发亮。在照相机中,以500Hz(根据条件以1kHz)左右以内的频率将闪烁摄影。因此,信号频率(输送波的频率)优选的是1kHz以上。在因在照相机中摄影到闪变带来的影响较低的情况下,信号频率也可以为200Hz以上。由于照明装置的高谐波噪声为20kHz以上变大,所以在避免它的情况下,信号频率只要设为20kHz以下就可以。此外,在500Hz到3kHz的范围中,由于发生因线圈的振动带来的声音,所以需要进行将信号频率设为3kHz以上、或者将线圈固定化等的对策。当将信号频率设为1kHz(1毫秒周期)时,为了非同步地识别该信号,需要将摄像装置的曝光时间设为一半的0.5毫秒(=1/2000秒)以下。在信号的调制方式中使用频率调制的情况下,通过采样定理,同样需要使摄像装置的曝光时间为信号周期的一半以下。但是,如图304那样,在用频率本身表现值的调制方式的情况下,由于能够根据多个时点的信号的值推测频率,所以摄像装置的曝光时间可以是信号周期的4倍左右以下。
图306是表示实施方式13的发送机的应用例的图。
照明等的发送机7223a将ID发送。个人计算机等的接收机7223b接收ID,向服务器7223d发送ID和文件7223e。服务器7223d将文件7223e与ID建立关联而存储,对于发送来相同的ID的个人计算机,进行向文件的访问许可。此时,也可以是仅读取的许可、读写的许可等,通过ID进行多个访问控制。个人计算机等的接收机7223c将ID接收,向服务器7223d发送ID,向服务器上的文件7223e访问。服务器7223d在向文件最后有访问起经过了一定时间的情况下、或个人计算机7223b发送来不同的ID的情况下,将文件删除,或者将访问控制初始化。另外,个人计算机7223b或个人计算机7223c也可以将ID发送。
图307是表示实施方式13的发送机的应用例的图。
发送机7224b将自身的ID信息向服务器7224d登记。接收机7224a将优惠券、入场票、会员信息或预付款信息向画面显示。发送机7224b将ID发送。接收机7224a将ID接收,将接收到的ID、用户ID、终端ID和显示在画面上的信息向服务器7224d发送。服务器7224d确认接收机7224a显示的内容是有效的,将其结果向显示装置7224c发送。另外,服务器7224d也可以将随着时间变化的密钥信息向发送机7224b发送,发送机7224b也可以将该密钥信息发送。另外,服务器7224d也可以作为与发送机7224b或显示装置7224c相同的装置安装。在接收机7224a将优惠券、入场票、会员信息或预付款信息用二维条码等的形式显示到画面上、将其读取的方式中,通过显示将画面复制的图像而能够容易地伪装,但通过使用该方式,能够防止通过将画面复制进行的伪装。
图308~图310是用来说明实施方式13的摄像元件的图。
图308表示本发明的摄像元件800的前面图。如使用前面的实施方式的图说明那样,为了使本发明的光通信速度提高,如果如图310那样,一边使光信号发生部830跟踪、一边仅将该区域的830a的扫描行、例如n=4~n=7之间的行的数据向垂直访问机构802发送扫描行选择信号,并反复扫描而取得,则能够如图310的下段的图那样连续地将本发明的光信号取出。具体而言可得到4、5、6、7及空白期间4、5、6、7空白期间的连续的信号。在当前的摄像元件的工序中,该空白能够包含在2μs以下。如果为2μs以下,则在30fps下是1帧33ms,在1000行中是33μs/行,所以能够将数据大致连续地解调。
在本发明中,在卷帘快门方式的摄像元件(图像传感器)中,首先使快门速度变快,在显示本发明的行后得到信号,然后,光源的图像830通过照相机的摄影者的手抖动而上下左右地移动。于是,图像830一部分从行n=4~7中出来。信号中断而发生错误。因此,首先,如果使用手抖动修正检测修正机构832修正,则图像830被固。或者/并且,如果使用检测图像830的位置的行否的机构834确定图像830的行号码n、由行选择部835控制垂直访问机构而变更为希望的行n(例如,n=7~10),则可得到图像830,得到连续的信号,所以成为错误较少的数据,能够进行高速数据接收。
回到图308说明摄像元件800,水平的像素有a~k,能够由水平访问机构801访问。垂直方向的像素从n=1到n=12有12列,803a~803n按照列读出,在读出时读出到行存储器805中,从输出部808输出。
如图309所示,在本发明中,首先,在通常摄影模式中,如(a)所示那样依次读出。在通常的帧与帧之间设有空白期间821,在其之间中进行关于颜色等的影像信号的各种各样的调整作业。
根据摄像元件而不同,但5%~20%的时间带不能得到信号的信号。由于不能得到本发明特有的接收样式,所以在步骤820c中成为数据信号接收模式的情况下,首先使快门速度成为高速,提高增益而接收数据。在是的情况下,通过将上述颜色、明亮程度或灵敏度等的影像摄影作业的一部分中止,成为将空白期间821缩短的空白期间821a。由此,通过将调整作业省略的缩短,在当前的工序中能够将空白期间821a降低到2μs以下,所以能够大幅减少输入信号的猝发错误,所以能够较大地提高传送速度。
接着,当如图310那样仅图像的一部分被摄影了影像830时,由于不能得到n=4~8以外的行的信息,所以成为较大的猝发错误,接收效率下降,传送量大幅下降。
通过图310的图像位置检测机构834检测图像830的位置和大小,在图像较小的情况下,在步骤820d中切换为高速读取模式,仅扫描将图像830摄影的行(n=4~7)。如(c)那样将行信号803d、803e、803f、803g多次反复读取,将本发明特有的样式无缝地读取。因此,成几乎没有猝发错误的连续的数据接收,能够实现大幅的数据速率的提高。
具体而言,如果在当前的摄像元件中使输送波为4.8KHz,则能得到2400bps左右的传送速率。将来,随着摄像元件的高速化,能得到几十kbps的传送速率。
另外,如果在步骤820e中数据的读取完成,则使快门速度低速化,使空白期间变长,向(a)的通常摄影模式返回。
通过上述空白期间的缩短和特定行的反复读出,同步信号及地址的读出变可靠,能够大幅地提高本发明的样式传送方式的传送速度。
(变形例)
这里,对关于上述各实施方式的变形例或补充进行说明。
图311A是表示接收装置(摄像装置)的处理动作的流程图。另外,该图311A表示比图71的处理动作更详细的处理动作。
这里,接收机的摄像部不是使全部的受光元件同时曝光的方式(全局快门方式),而是隔开时间差每次使受光元件的一部分依次曝光的方式(卷帘快门方式、焦平面快门方式)。另外,在本发明的解说中使用的“曝光”,包括通过物理的快门控制光照在摄像元件上的时间的曝光方式、和通过电子快门仅将特定的时间内的摄像元件的输出取出的曝光方式。
首先,在步骤7340a中,在摄像模式是全局快门模式的情况下,变更为卷帘快门模式。接着,在步骤7340b中,设定快门速度,以使得在将5毫秒以上的时间幅度的移动平均亮度不变化、在5毫秒以下的区域中使亮度变化的被摄体拍摄时摄影出亮线。
在步骤7340c中,设定受光元件的灵敏度,以使上述亮线的较亮的部分与较暗的部分的差变大。接着,在步骤7340d中,将摄像模式设为微距摄像模式。或者,与将焦点对在发送机上相比,将焦点距离设定得较短。由此,通过将发送机模糊而较大地摄像,能够增加将亮线摄像的曝光行。
在步骤7340e中,在与曝光行垂直的方向上观察亮线的亮度的变化。接着,在步骤7340f中,求出上述亮度相比其他场所急剧变高的部位的间隔、或者急剧变低的部位的间隔,从该间隔读取发送信号。或者,求出亮度变化的周期,从该周期读取发送信号。
图311B是将通过通常摄像模式得到的图像、与通过微距摄像模式得到的图像对比表示的图。如该图311B所示,通过将发光的被摄体以微距摄像模式摄像而得到的图像7307b与通过将相同的被摄体用通常摄像模式摄像得到的图像7307a相比包含许多较亮的区域。结果,在微距摄像模式中,能够增加能够对该被摄体生成亮线的曝光行的数量。
图312是表示将影像等显示的显示装置的图。
例如具备液晶显示器等的显示装置7300a在影像区域7300b中显示影像,在信息显示区域7300c中显示各种信息。并且,显示装置7300a构成为发送机(发送装置),通过使背灯的亮度变化来发送信号。
图313是表示显示装置7300a的处理动作的一例的图。
首先,在步骤7350a中,设为信号发送模式。接着,在步骤7350b中,通过使信息显示区域7300c的背灯的亮度变化而发送信号。
图314是表示显示装置7300a的发送信号的部分的例子的图。
显示装置7300a也可以通过使背灯成为开启的部分(7301d、7301f、7301g、7301i)的亮度变化而发送信号,从其他部分(7301c、7301e、7301h、7301j)不发送信号。
图315是表示显示装置7300a的处理动作的另一例的图。
首先,在步骤7351a中,设为信号发送模式。接着,在步骤7351b中,为了运动分辨率的提高,在画面切换时将背灯关闭的情况下,仅用背灯成为开启的部分发送信号。并且,在步骤7351c中,在画面的全部的部分的背灯成为关闭的期间中不发送信号。
图316是表示显示装置7300a的发送信号的部分的另一例的图。
显示装置7300a将用于各部分(7302b、7302e、7302g、7202j)的运动分辨率提高的背灯控制关闭,从这些部分发送信号。另一方面,显示装置7300a将用于其他各部分(7302c、7302d、7302h、7301i)的运动分辨率提高的背灯控制开启。
图317是表示由显示装置进行的处理动作的又一例的图。
首先,在步骤7352a中设为信号发送模式。接着,在步骤7352b中,将用于画面的一部分(7302b、7302e、7302g、7202j)的运动分辨率提高的的背灯控制关闭,从该部分发送信号。
并且,在步骤7352c中,调整背灯的平均亮度,以使发送信号的部分的明亮程度与不发送信号的部分的背灯的平均亮度成为同等。该调整既可以通过信号发送时的背灯的闪烁时间比的调整来进行,也可以通过背灯的最大亮度的调整来进行。
图318是表示包括发送机及接收机的通信系统的结构的图。
该通信系统具备发送机7303a、7303b、控制装置7303c、网络7303d、ID管理服务器7303e、无线接入点7303f和接收机7303g、7303h。
图319是表示图318的通信系统的处理动作的流程图。
首先,在步骤7353a中,在ID管理服务器7303e中,将发送机的ID、无线接入点7303f的信息(SSID、口令、无线接入点的ID、无线频率、接入点的位置信息、可连接的位置信息等)、和控制装置7303c的信息(IP地址等)建立关联而存储。接着,在步骤7353b中,发送机7303a或7303b将发送机7303a或7303b的ID发送。另外,发送机7303a或7303b也可以还发送无线接入点7303f的信息和控制装置7303c的信息。并且,在步骤7353c中,接收机7303g或7303h接收发送机7303a或7303b的ID,从ID管理服务器7303e取得无线接入点7303f的信息和控制装置7303c的信息。或者,接收机7303g或7303h接收发送机7303a或7303b的ID和无线接入点7303f的信息。
接着,在步骤7353d中,发送机7303a或7303b连接在无线接入点7303f上。并且,在步骤7353e中,发送机7303a或7303b将网络上的ID管理服务器7303e的地址、向该ID管理服务器7303e的命令、和发送机7303a或7303b的ID向控制装置7303c发送。
进而,在步骤7353f中,控制装置7303c将受理ID向接收机7303g或7303h发送。接着,在步骤7353g中,控制装置7303c进行向网络上的ID管理服务器7303e的命令,得到应答。此时,控制装置7303c作为代理服务器动作。
进而,在步骤7353h中,控制装置7303c从发送机ID所表示的发送机7303a或7303b发送上述应答和上述受理ID。该发送也可以反复进行,直到被从接收机7303g或7303h送来接收完成通知、或者直到经过一定时间。
接着,在步骤7353i中,接收机7303g或7303h接收上述应答。进而,在步骤7353j中,接收机7303g或7303h将上述受理ID向控制装置7303c发送,通知接收完成。
并且,在步骤7353k中,另外,接收机7303g或7303h也可以在处于不能接收到发送机7303a或7303b的信号的位置的情况下向控制装置7303c通知,以经由无线接入点7303f返回应答。
图320是表示上述各实施方式的信号传送的变形例的图。
在本发明的接收方式中,在接收机的摄像部中越大地摄影了发送机的发光部则信号传送效率越高,所以如果将较小的电球或装备在较高的顶棚上的照明作为发送机的发光部,则信号传送效率较差。所以,通过将发送机7313a的照明光照在墙壁、顶棚、地板及照明的灯罩等上,将其反射光7313b用接收机7313c摄像,能够提高信号传送的效率。
图321是表示上述各实施方式的信号传送的变形例的图。
发送机7314d通过向展示品7314a投影包含发送信号的照明光、将其反射光7314b用接收机7314c摄像,进行信号传送。
图322是表示上述各实施方式的信号传送的变形例的图。
发送机7315a发送的信号由具备照度传感器的接收机7315b接收。接收机7315b由于不是摄像元件而是使用照度传感器接收信号,所以耗电较低,适合于总是接收信号,轻量,能够便宜地制造。
接收机7315b作为眼镜、耳环、发饰、腕表、助听器、项链、手杖、手推车、购物推车的一部分构成。接收机7315b按照接收到的信号,进行影像显示、声音再现或振动。此外,接收机7315b将接收到的信号通过无线或有线传送路向便携信息终端7315c发送。
图323A是表示上述各实施方式的信号传送的变形例的图。
投影机7316a将投影光作为发送信号而发送信号。接收机7316c将来自屏幕7316b的反射光摄像而接收信号。接收机7316c将投影机7316a投影的内容和其附属信息显示在画面7316d上。向画面7316d显示的内容既可以作为发送信号传送,也可以基于发送信号中包含的ID从服务器7316e取得。
图323B是表示上述各实施方式的信号传送的变形例的图。
接收机7317b将从发送机7317a发送的信号接收。接收机7317b向登记在接收机7317b中的耳机或助听器7317c发送声音。在登记在接收机7317b中的用户简况中包含视觉障碍的情况下,接收机7317b将视觉障碍者用的解说声音向耳机7317c发送。
图323C是表示上述各实施方式的信号传送的变形例的图。
从发送机7318a、7318b发送的信号由接收机7318c接收。接收机7318c也可以使用照度传感器接收信号。接收机7318c通过具备指向性较高的照度传感器,能够高精度地推测发送机所在的方向。此外,接收机7318c通过具备多个照度传感器,能够扩大能够接收发送信号的范围。接收机7318c将接收到的信号向耳机7318d或头戴显示器7318e发送。
图323D是表示包括显示器或投影机和接收机的通信系统的处理动作的流程图。另外,该流程图比哦是与图323A~图323C所示的信号传送的例子对应的处理动作。
首先,在步骤7357a中,将发送机的ID、显示内容ID和向显示器或投影机显示的内容建立关联,向ID管理服务器记录。接着,在步骤7357b中,发送机在显示器或投影机上显示内容,并使用显示器的背灯或投影机的投影光发送信号。发送信号也可以包括发送机的ID、显示内容ID、保存有显示内容的URL、或显示内容本身。
进而,在步骤7357c中,接收机将上述发送信号接收。并且,在步骤7357d中,接收机基于接收到的信号,取得发送机显示在显示器或投影机上的内容。
接着,在步骤7357e中,在接收机中设定有用户简况的情况下,取得适合于该简况的内容。例如,在设定了听力较差的简况的情况下,取得字幕数据或手边再现用的声音内容,在设定了视力较差的简况的情况下,取得声音解说用的内容。
进而,在步骤7357f中,接收机使接收机的显示器显示所取得的图像内容,使所取得的声音内容从接收机的扬声器、耳机或助听器再现。
图324是表示实施方式12的发送信号的例子的图。另外,该图324是详细地说明图250的发送信号的图。
在将发送信号用图27~图87、图302等的方法编码的情况下,接收机只要检测到亮度值急剧变高的点7308c、7308d、7308e,就能够将发送信号解码。此时,发送信号7308a和7308b是等价的,表现相同的信号。
因此,如发送信号7308a和7308b那样,通过调节降低亮度的时间,能够使平均亮度变化。在需要使发送机的亮度变化的情况下,通过这样调节平均亮度,能够不对发送信号的内容添加变化而进行亮度的调节。
图325是表示实施方式3的发送信号的例子的图。另外,该图325是详细地说明图34的发送信号的图。
发送信号7309a或7309b如果取7309d左右的长度的平均亮度,则可以看作与发送信号7309c等价。通过如发送信号7309a或7309b那样、以通过其他接收机不能观察的时间幅度使亮度变化,能够叠加别的信号。
图326是表示实施方式3的发送信号的另一例的图。另外,该图326是详细地说明图34的发送信号的图。
通过对发送信号7310a添加用其他接收机不能观察的时间幅度下的亮度变化而成为7310c,叠加别的信号。在发送信号7310a中在亮度下降的区间中不能叠加信号的情况下,通过对高速调制部分加上7310e那样的开始信号和结束信号,能够将高速调制信号断续地发送。
图327A是表示上述各实施方式的接收机的摄像元件的一例的图。
许多的摄像元件由于为7311a那样的配置,所以在将光学黑体摄像的期间中不能将发送机摄像。但是,通过使摄像元件的配置成为7311b那样,能够将发送机进行更长时间摄像。
图327B是表示上述各实施方式的接收机的摄像装置的内部电路的结构例的图。
摄像装置7319a具备切换全局快门模式和卷帘快门模式的快门模式变更部7319b。接收机当开始接收时,将快门模式变更为卷帘快门模式,当接收结束时,将快门模式变更为全局快门模式,或者,回到接收开始前的设定。
图327C是表示上述各实施方式的发送信号的例子的图。
在作为在照相机中不映照出闪变的频率而将输送波设为1kHz的情况下,1时隙为1毫秒(7320a)。此时,在图28的调制方式(4PPM调制)中,1符号(4时隙)的平均值为75%(7320b)。4毫秒间的移动平均的值域为75%±调制度/4。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,输送波为800Hz以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,输送波为4kHz以上。
同样,当输送波为1kHz时,在图302的调制方式(5PPM调制)中,1符号(5时隙)的平均值为80%(7320c)。5毫秒间的移动平均的值域为80%±调制度/5。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,输送波为800Hz以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,输送波为5kHz以上。
图327D是上述各实施方式的发送信号的例子。
头样式与表示数据的样式不同,并且为了消除闪变,必须使表示数据的样式与平均亮度相等。作为2200.2a的调制方式的数据样式与平均亮度相等的样式,有7321b、7321c、7321d、7321e等的样式。在能够阶段地控制亮度值的情况下,7321b是优选的。在如7321e那样、亮度的变化相比接收机的摄像装置的曝光时间足够快的情况下,在接收机中如7321b那样观察到。在7219a的调制方式中,以包含头样式的形式决定调制方式。
图328A是用来说明接收机的摄像模式的图。
接收机在通常摄像模式中,通过使用图像传感器中包含的全部的曝光行(摄像行)进行摄像而取得图像7304a。例如,全部的曝光行是3000个。并且,接收机通过该摄像,在时刻t1~t4的期间中取得1张图像,进而在时刻t5~t8的期间中取得1张图像。
这里,仅在图像的一部分中拍摄有作为发送机的被摄体的情况下,接收机有时不能获取来自该被摄体的信号。例如,在仅第1001个~第2000个曝光行捕捉被摄体、其他曝光行不捕捉被摄体的情况下,当第1001个~第2000个曝光行不曝光时,即,在第1个~1000个曝光行曝光时(时刻t1~t2,t5~t6)、和第2001个~3000个曝光行曝光时(时刻t3~t4,t7~t8),不能获取来自该被摄体的信号。
所以,如果摄像模式被从通常摄像模式切换为特别摄像模式A,则接收机仅将全部的曝光行中的捕捉了被摄体的曝光行用于摄像。即,接收机在时刻t1~t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式A中,遍及时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,将第1001个~第2000个曝光行依次地仅1次分别均等地曝光。由此,能够防止来自被摄体的信号的遗漏。
图328B是表示接收机的使用特别摄像模式A的处理动作的流程图。
首先,在步骤7354a中,从摄像图像中找到摄像有亮线的部分。接着,在步骤7354b中,将手抖动修正功能开启。
接着,在步骤7354c中,切换为仅使用摄像有亮线的曝光行的像素进行摄像的特别摄像模式A。在特别摄像模式A中,设定各曝光行的曝光时间,以使从开始将曝光行曝光到开始拍摄下个曝光行的时间在拍摄1张图像的期间(例如时刻t1~t4)中在时间上为等间隔。另外,也可以将与曝光行垂直的方向的像素间隔剔除而进行摄像。
由此,从接收机的摄像部的帧的输出张数与通常摄像模式相比没有变化,所以该特别摄像模式A适合于具有性能较低的处理装置的接收机、或具有也进行别的处理的处理装置的接收机。
进而,在步骤7354d中,指定以特别摄像模式A摄像的区域。这里,作为上述摄像的区域,通过指定比摄像有亮线的区域窄的区域,即使在因手抖动等而摄像方向变化的情况下也能够继续对亮线进行摄像。
接着,在步骤7354e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够对亮线继续进行摄像。接着,在步骤7354f中,根据亮线的样式取得发送的信息。
图329A是用来说明接收机的其他摄像模式的图。
如果摄像模式被从通常摄像模式切换为特别摄像模式B,则接收机仅将全部的曝光行中的捕捉了被摄体的曝光行用于摄像。即,接收机在时刻t1~t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式B中,遍及时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,执行多次将第1001个~第2000个曝光行依次曝光的动作。由此,能够防止来自被摄体的信号的遗漏。
图329B是表示使用接收机的特别摄像模式B的处理动作的流程图。
首先,在步骤7355a中,从摄像图像中找出拍摄有亮线的部分。接着,在步骤7355b中,将手抖动修正功能开启。
接着,在步骤7355c中,切换为仅使用拍摄有亮线的曝光行的像素进行摄像的特别摄像模式B。在特别摄像模式B中,通过仅将拍摄有亮线的区域进行摄像,高速地进行摄像。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
接着,在步骤7355d中,指定以特别摄像模式B摄像的区域。这里,通过作为上述摄像的区域而指定比拍摄有亮线的区域窄的区域,在通过手抖动等而摄像方向变化的情况下也能够对亮线持续进行摄像。
接着,在步骤7355e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够对亮线继续进行摄像。接着,在步骤7355f中,取得从亮线的样式发送的信息。
图330A是用来说明接收机的又一摄像模式的图。
如果摄像模式被从通常摄像模式切换为特别摄像模式C,则接收机仅将全部的曝光行中的捕捉有被摄体的曝光行用于摄像。即,接收机在时刻t1~t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式C中,遍及时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,执行多次将第1001个~第2000个曝光行依次曝光的动作。进而,在该特别摄像模式C中,不将通过该多次执行得到的多个图像分别单独地输出,将包括该多个图像的1个图像(与以通常摄像模式生成的图像相同的尺寸的图像)输出。由此,能够防止从被摄体的信号的遗漏。
图330B是表示接收机的使用特别摄像模式C的处理动作的流程图。
首先,在步骤7356a中,从摄像图像中找出拍摄有亮线的部分。接着,在步骤7356b中,将手抖动修正功能开启。
接着,在步骤7356c中,切换为仅使用拍摄有亮线的曝光行的像素进行摄像的特别摄像模式C。特别摄像模式C是仅将拍摄有亮线的区域进行摄像、将原来的像素配置忽视、通过将摄像结果排列来制作一张图像的方法。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
由此,从接收机的摄像部的帧的输出张数与通常摄像模式相比没有变化,所以该特别摄像模式C适合于具有性能较低的处理装置的接收机、以及具有还进行其他处理的处理装置的接收机。
进而,在步骤7356d中,指定以特别摄像模式C摄像的区域。这里,通过作为上述摄像的区域而指定比拍摄有亮线的区域窄的区域,即使在通过手抖动等而摄像方向变化的情况下也能够将亮线继续进行摄像。
接着,在步骤7356e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够将亮线继续摄像。接着,在步骤7356f中,取得从亮线的样式发送的信息。
以上,基于实施方式对有关一个或多个技术方案的信息通信方法进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形厚度形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个技术方案的范围内。
图331A是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括步骤SA11、SA12及SA13。
即,该信息通信方法包括:曝光时间设定步骤(SA11),设定上述图像传感器的曝光时间,以使得在通过由图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤(SA12),通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;信息取得步骤(SA13),通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331B是有关本发明的一技术方案的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置A10是从被摄体取得信息的信息通信装置,具备构成要素A11、A12及A13。
即,该信息通信装置A10具备:曝光时间设定部A11,设定上述图像传感器的曝光时间,以使得在通过由图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;摄像部A12,通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;解调部A13,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331C是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法是从被摄体取得信息的信息通信方法,包括步骤SA21~SA26。
即,该信息通信方法包括:第1摄像步骤(SA21),通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第1图像;检测步骤(SA22),从上述第1图像中检测拍摄有上述被摄体的范围;决定步骤(SA23),决定上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定步骤(SA24),设定上述图像传感器的曝光时间,使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2摄像步骤(SA25),通过使用上述规定的曝光行对亮度变化的上述被摄体以设定的上述曝光时间进行摄像,取得包含上述亮线的第2图像;以及信息取得步骤(SA26),通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
图331D是有关本发明的一技术方案的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置A20是从被摄体取得信息的信息通信装置,具备构成要素A21~A26。
即,该信息通信装置A20具备:第1图像取得部A21,通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第1图像;摄像范围检测部A22,从上述第1图像中检测拍摄有上述被摄体的范围;曝光行决定部A23,决定上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定部A24,设定上述图像传感器的曝光时间,使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2图像取得部A25,通过使用上述规定的曝光行对亮度变化的上述被摄体以设定的上述曝光时间进行摄像,取得包含上述亮线的第2图像;以及解调部A26,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
另外,上述的亮线的样式与各亮线的间隔的差异是同义的。
图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
例如,对于以200Hz以上的频率亮度变化的被摄体,将曝光时间设定得比10毫秒短。这里,将图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。在这样的情况下,如图332所示,在通过图像传感器得到的图像中发生若干个亮线。即,该图像包含与曝光行平行的亮线。此外,在信息取得步骤(SA13或SA26)中,将通过该亮线的样式中的、与曝光行垂直的方向的样式确定的数据解调。
在通过这样的图331A及图331B表示的信息通信方法及信息通信装置A10中,通过被摄体的亮度变化发送的信息是通过图像传感器的曝光行的曝光而取得的,所以不需要例如用来进行无线通信的特别的通信仪器,能够进行多种多样的设备间的通信。进而,在由图331C及图331D表示的信息通信方法及信息通信装置A20中,由于仅使用图像传感器中包含的全部的曝光行中的捕捉有被摄体的曝光行用于包含亮线的第2图像的取得,所以能够将对于没有捕捉到被摄体的曝光行的处理省去,能够提高信息取得的效率,并且能够防止从被摄体的信息的遗漏。
图333A是有关本发明的另一技术方案的信息通信方法的流程图。
有关本发明的另一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SB11、SB12及SB13。
即,该信息通信方法包括:决定步骤(SB11),通过对发送对象的信号进行调制,决定亮度变化的样式;第1发送步骤(SB12),通过发光体按照所决定的上述样式而亮度变化,发送上述发送对象的信号;第2发送步骤(SB13),通过上述发光体在发送上述发送对象的信号后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送;在上述决定步骤(SB11)中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中。
图333B是有关本发明的另一技术方案的信息通信装置的框图。
有关本发明的另一技术方案的信息通信装置B10是通过亮度变化发送信号的信息通信装置,具备构成要素B11及B12。
即,该信息通信装置B10具备:亮度变化样式决定部B11,通过对发送对象的信号进行调制,决定亮度变化的样式;发光体B12,通过按照所决定的上述样式而亮度变化,发送上述发送对象的信号,通过在发送上述发送对象的信号后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送。
然后,上述亮度变化样式决定部B11决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中。
在由这样的图333A及图333B表示的信息通信方法及信息通信装置B10中,由于决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变、并通过亮度变化发送信号。进而,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
图334A是有关本发明的又一技术方案的信息通信方法的流程图。
有关本发明的又一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SC11、SC12、SC13及SC14。
即,该信息通信方法包括:决定步骤(SC11),通过对发送对象的信号进行调制,决定多个频率;发送步骤(SC12),通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;变更步骤(SC14),将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。另外,也可以是,在执行发送步骤SC12后,判断是否所决定的全部的频率已在亮度变化中使用(SC13),在判断为还没有使用全部的频率的情况下(SC13中否),执行更新步骤SC14。此外,在上述发送步骤(SC12)中,上述发光体进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
图334B是有关本发明的又一技术方案的信息通信装置的框图。
有关本发明的又一技术方案的信息通信装置C10是通过亮度变化发送信号的信息通信装置,具备构成要素C11、C12及C13。
即,该信息通信装置C10具备:频率决定部C11,通过对发送对象的信号进行调制,决定多个频率;发光体C13,通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;频率变更部C12,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。此外,上述发光体C13进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
在通过这样的图334A及图334B表示的信息通信方法及信息通信装置C10中,决定亮度变化的样式,对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中,所以能够防止人感到闪变、并通过亮度变化发送信号。进而,能够发送FM调制的许多信号。
此外,也可以是,信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
此外,也可以是,上述信息通信装置还具备将表示自己的起动状态或用户的使用履历的设备内部的传感到的信息保存的起动履历管理部,上述光发送部取得预先登记有利用的时钟发生装置的性能信息,变更发送速度。
此外,也可以是,上述发光元件具备第一及第二发光元件,在用来通过光的闪烁发送信息的上述第一发光元件的周围配置有上述第二发光元件,上述第二发光元件在通过上述第一发光元件的闪烁进行的信息发信被重复一定次数的情况下,在信息发信的结束与开始之间发光。
此外,上述信息通信装置也可以具备隔开时间差使各摄像元件曝光的摄像部、和利用上述各摄像元件的曝光时间的差异、将被摄像物的1毫秒以下的时间平均亮度的变化从1张摄像图像中读取的信号解析部。
此外,上述时间平均亮度也可以是3万分之1秒以上的时间平均亮度。
上述信息通信装置还可以将发送信息调至为发光样式,通过发光样式发送信息。
上述信息通信装置也可以将发送信号用1毫秒以下的时间平均亮度的变化表现,并且使发光部的亮度变化,以使60毫秒以上的时间平均亮度为均匀的。
上述信息通信装置也可以将上述发送信号用3万分之1秒以上的时间平均亮度的变化表现。
此外,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的共通部分通过以与上述同种的信息通信装置的发光部相同的定时使发光部发光来发送。
进而,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的非共通部分在上述同种的信息通信装置没有用时间平均亮度表现信号的时间带中,通过发光部的时间平均亮度表现。
此外,也可以是,上述信息通信装置具备将上述发送信号用时间平均亮度的变化表现的第1发光部、和不将上述发送信号用时间平均亮度的变化表现的第2发光部,通过第1发光部和第2发光部的位置关系发送信号。
此外,集中控制装置也可以具备集中控制上述某个信息通信装置的控制部。
此外,建筑物也可以具备上述某种信息通信装置或上述集中控制装置。
此外,列车也可以具备上述某个信息通信装置、或上述集中控制装置。
此外,摄像装置也可以是将2维图像摄像的摄像装置,比使全部的摄像元件曝光而摄像更高速地、仅使任意的摄像元件曝光而摄像。
此外,上述任意的摄像元件也可以是将1毫秒以下的时间平均亮度的变化最大的像素摄像的摄像元件、或者包括该摄像元件的1列的摄像元件。
另外,在上述各实施方式中,各构成要素可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。例如程序使计算机执行由图331A、图331C、图333A及图334A中的某个流程图表示的信息通信方法。
(上述各实施方式及它们的变形例的总结)
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1摄像步骤,通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第1图像;检测步骤,从上述第1图像中检测拍摄有上述被摄体的范围;决定步骤,决定上述多个曝光行中的对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2摄像步骤,通过使用上述规定的曝光行将亮度变化的上述被摄体以设定的上述曝光时间进行摄像,取得包含上述亮线的第2图像;信息取得步骤,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
由此,通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光被取得,所以不需要例如用来进行无线通信的特别的通信仪器就能够进行多种多样的设备间的通信。进而,由于仅将图像传感器中包含的全部的曝光行中的、捕捉有被摄体的曝光行用于包含亮线的第2图像的取得,所以能够将对于没有捕捉到被摄体的曝光行的处理省去,能够提高信息取得的效率,并且能够防止从被摄体的信息的遗漏。另外,曝光行是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由后述的图22等表示的摄像图像中包含的线。
此外,也可以是,上述规定的曝光行仅包括上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的曝光行,不包含对未拍摄有上述被摄体的范围进行摄像的曝光行。
由此,能够更可靠地提高信息取得的效率,并且能够防止被摄体的信息的遗漏。
此外,也可以是,在上述第2摄像步骤中,取得将取得上述第1图像时的第1摄像时间用上述规定的曝光行中包含的行数等分的第2摄像时间,将上述第2摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如后述的图328A及图328B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将上述第1摄像步骤中的上述图像传感器的各曝光行的摄像时间设为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如后述的图329A及图329B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将由上述规定的曝光行摄像的多个上述第2图像合并,生成与上述第1图像相同图像尺寸的第3图像;在上述信息取得步骤中,通过将由上述第3图像中包含的上述亮线的样式确定的数据解调来取得信息。
由此,例如如后述的图330A及图330B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述决定步骤中,将上述多个曝光行中的、对于比拍摄有上述被摄体的范围窄的范围进行摄像的曝光行决定为上述规定的曝光行。
由此,例如如后述的图328B、图329B及图330B所示,能够不受手抖动等的影响而从作为发送机的被摄体适当地取得信息。
此外,也可以是,能够在使用上述图像传感器的上述多个曝光行中的全部的曝光行对上述被摄体进行摄像的第1模式、和使用上述图像传感器的上述多个曝光行中的上述规定的曝光行对上述被摄体进行摄像的第2模式之间切换。
由此,通过进行切换,能够从作为发送机的被摄体适当地取得信息。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄像得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄像,取得包含上述亮线的图像;信息取得步骤,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调而取得信息。
由此,通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光被取得,所以不需要例如用来进行无线通信的特别的通信仪器就能够进行多种多样的设备间的通信。另外,曝光行是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由后述的图22等表示的摄像图像中包含的线。
例如,在上述摄像步骤中,将上述图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。
由此,通过进行卷帘快门方式的摄像发生的亮线包含在图像内的与各曝光行对应的位置,所以能够从被摄体得到许多信息。
这里,在上述信息取得步骤中,也可以将由上述亮线的样式中的与上述曝光行垂直的方向的样式确定的上述数据解调。
由此,能够适当地取得与亮度变化对应的信息。
此外,也可以是,在上述曝光时间设定步骤中,将上述曝光时间设定得比10毫秒短。
由此,能够更可靠地使图像中产生亮线。
这里,也可以是,在上述摄像步骤中,将对以200Hz以上的频率亮度变化的上述被摄体进行摄像。
由此,例如如后述的图305A及图305B所示,人不会感到闪变而能够从被摄体取得许多信息。
此外,也可以是,在上述摄像步骤中,取得包含与上述曝光行平行的亮线的上述图像。
由此,能够适当地取得与亮度变化对应的信息。
这里,也可以是,在上述信息取得步骤中,按照所取得的上述图像内的、与上述图像传感器中包含的各曝光行对应的区域,将根据在该区域中是否有亮线而确定的表示0或1的上述数据解调。
由此,能够从被摄体取得PPM调制后的许多信息。例如如后述的图22所示,当设每1秒的图像的数量(帧速率)为f、构成1个图像的曝光行数为l时,如果根据各曝光行是否受光了一定以上的光来取得信息,则能够以最大fl比特每秒的速度取得信息。
此外,也可以是,在上述信息取得步骤中,按照每个上述区域,根据该区域的亮度值是否为阈值以上,来确定在该区域中是否有亮线。
由此,能够从被摄体适当地取得信息。
这里,也可以是,在上述摄像步骤中,按照每个规定的期间,对于以与该规定的期间对应的一定的频率亮度变化的上述被摄体进行摄像;在上述信息取得步骤中,按照每个上述规定的期间,将由根据与该规定的期间对应的一定的频率的亮度变化生成的上述亮线的样式确定的上述数据解调。
由此,能够从被摄体取得FM调制后的许多信息。例如如图14所示,能够根据与频率f1对应的亮线的样式和与频率f2对应的亮线的样式取得适当的信息。
此外,也可以是,在上述摄像步骤中,对于以通过调整亮度的上升及下降中的一方的变化和下次上述一方的变化之间的时间来发送信号的方式进行亮度变化上述被摄体进行摄像;在上述信息取得步骤中,将通过上述亮线的样式确定的、作为与上述时间建立了对应的符号的上述数据解调。
由此,例如如图248所示,能够不改变从被摄体发送的信息的内容,而通过PWM控制来调整人感到的被摄体(例如照明设备)的明亮度。
这里,也可以是,在上述摄像步骤中,对于以相对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中的方式进行亮度变化的上述被摄体进行摄像。
由此,人不会感到闪变而能够从被摄体取得许多信息。例如如图28所示,当调制后的信号为0时为非发光、当1时为发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够防止人感到闪变。
此外,也可以是,上述亮线的样式根据上述图像传感器的曝光时间而不同;在上述信息取得步骤中,将由与设定的上述曝光时间对应的上述样式确定的上述数据解调。
由此,例如如后述的图34所示,能够从被摄体取得根据曝光时间而不同的信息。
这里,也可以是,上述信息通信方法还检测具备上述图像传感器的摄像装置的状态;在上述信息取得步骤中,取得表示上述被摄体的位置的上述信息,再基于所取得的上述信息和检测到的上述状态计算上述摄像装置的位置。
由此,例如如后述的图11所示,即使不能使用GPS等,或者与使用GPS等的情况相比,能够更准确地确定摄像装置的位置。
此外,也可以是,在上述摄像步骤中,包括以沿着上述曝光行的方式排列的多个区域,将按照各个区域而亮度变化的上述被摄体摄像。
由此,例如如后述的图258所示,能够从被摄体取得许多信息。
这里,也可以是,在上述摄像步骤中,也可以将以相互不同的定时发出同色异谱的多种光的上述被摄体摄像。
由此,例如如后述的图272所示,人不会感到闪变而能够从被摄体取得许多信息。
此外,也可以是,上述信息通信方法还推测具备上述图像传感器的摄像装置所存在的场所;在上述信息取得步骤中,取得上述被摄体的识别信息作为上述信息,并且从服务器取得与上述场所及上述识别信息建立了关联的关联信息。
由此,例如如后述的图282及图283所示,即使是从多个照明设备将相同的识别信息通过亮度变化发送那样的情况,也能够根据摄像装置所存在的场所(建筑物)、即照明设备所存在的场所(建筑物)取得适当的关联信息。
这里,有关本发明的一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;第1发送步骤,通过发光体按照所决定的上述样式亮度变化,来发送上述发送对象的信号;第2发送步骤,在上述发光体发送上述发送对象的信号后33毫秒以内,通过按照与所决定的上述样式相同的样式亮度变化,发送与上述发送对象的信号相同的信号;在上述决定步骤中,决定上述样式,使得对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
由此,决定亮度变化的样式,使得相对于亮度变化以5毫秒以上的幅负移动平均时的各亮度值包含在预先决定的范围中,所以能够防止人感到闪变,同时通过亮度变化发送信号。进而,例如如后述的图301B所示,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
此外,也可以是,在上述决定步骤中,按照将由两比特表示的信号分别调制为用表示相同的值的3个比特和表示其他值的1个比特构成的4比特表示的信号的方式,对上述发送对象的信号进行调制。
由此,例如如后述的图28所示,设当调制后的信号为0时非发光、调制后的信号为1时发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够更可靠地防止人感到闪变。
这里,也可以是,在上述决定步骤中,通过将亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间根据上述发送对象的信号进行调整,来决定上述亮度变化的样式。
由此,例如如后述的图248所示,能够不改变发送对象的信号的内容而通过PWM控制来调整人感到的发光体(例如照明设备)的明亮度。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,也可以进行亮度变化,使具备上述图像传感器的摄像装置取得根据将亮度变化的上述发光体摄像的图像传感器的曝光时间而不同的信号。
由此,例如如后述的图34所示,可以将根据曝光时间而不同的信号向摄像装置发送。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,通过多个发光体同步地进行亮度变化,上述多个发光体发送共通的信息,在将上述共通的信息发送后,通过按照发光体而亮度变化,按照该发光体而发送不同的信息。
由此,例如如后述的图41所示,通过多个发光体将共通的信息同时发送,能够将多个发光体看作一个较大的发光体,能够由接收该共通的信息的摄像装置将发光体较大地拍摄,所以能够将信息更快、从更远处发送。进而,例如如图12A所示,通过多个发光体发送共通的信息,能够抑制按照每个发光体发送的独立的信息的信息量。
此外,也可以是,上述信息通信方法还包括受理是否进行上述发送对象的信号的调制的指示的指示受理步骤;在受理了表示进行上述调制的指示的情况下,执行上述决定步骤、上述第1发送步骤及上述第2发送步骤;在受理了表示不进行上述调制的指示的情况下,不执行上述决定步骤、上述第1发送步骤及上述第2发送步骤而上述发光体点灯或灭灯。
由此,例如如后述的图12A所示,由于切换是否进行调制,所以能够抑制对于其他发光体的亮度变化作为噪声带来的影响。
这里,也可以是,上述发光体包括以沿着对该发光体进行摄像的图像传感器的曝光行的方式排列的多个区域;在上述第1发送步骤及上述第2发送步骤中,按照上述发光体的区域而亮度变化。
由此,例如如后述的图258所示,能够发送许多信息。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,上述发光体也可以通过将同色异谱的多种光以相互不同的定时发出而亮度变化。
由此,例如如后述的图272所示,人不会感到闪变而能够发送许多信息。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,作为上述发送对象的信号或上述相同的信号而发送上述发光体的识别信息。
由此,例如如后述的图282所示,由于发送发光体的识别信息,所以接收到该识别信息的摄像装置能够经由因特网等的通信线路从服务器等取得与该识别信息建立了关联的更多的信息。
此外,有关本发明的一技术方案的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制而决定多个频率;发送步骤,发光体按照所决定的上述多个频率中的某个一定的频率进行亮度变化,从而发送信号;以及变更步骤,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率;在上述发送步骤中,上述发光体进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
由此,由于决定亮度变化的样式而使得对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中,所以能够防止人感到闪变,同时通过亮度变化发送信号。进而,能够发送FM调制后的许多信号。例如如后述的图14所示,可以通过将亮度变化的频率(f1、f2等)以33毫秒以上的周期变更来发送适当的信息。
(实施方式14)
在本实施方式中,说明使用上述实施方式1~13的智能电话等的接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各应用例。
图335是表示本实施方式的接收机的各模式的一例的图。
接收机8000在通常摄影模式中,通过以例如1/100秒的快门速度摄影,取得通常摄影图像,将该通常摄影图像显示到显示器上。在此情况下,在该通常摄影图像中,例如鲜明地映照出街灯或作为店铺的招牌构成的标识板等的被摄体和其周围。
此外,接收机8000在可视光通信模式中,通过以例如1/10000秒的快门速度摄影,取得可视光通信图像。例如,在上述街灯或标识板作为上述实施方式1~13所示的发送机通过亮度变化发送信号的情况下,在该可视光通信图像中,在发送了信号的部位映照出1个或多个亮线(以下称作亮线图样),在该部位以外什么都不映照。即,在该可视光通信图像中,仅映照出亮线图样,没有映照出被摄体的不亮度变化的部分及被摄体的周围。
此外,接收机8000在中间模式中,通过以例如1/3000秒的快门速度摄影,取得中间图像。在该中间图像中,映照出亮线图样,并且也映照出上述被摄体的不亮度变化的部分及被摄体的周围。因而,接收机8000通过将该中间图像显示在显示器上,用户能够知道从哪里或哪个位置发送了信号。另外,通过该中间图像映照出的亮线图样、被摄体及其周围与可视光通信图像的亮线图样、通常摄影图像的被摄体及其周围相比并不鲜明,但具有可被用户识别的鲜明度。
另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可视光通信模式或可视光通信模式下的摄影称作可视光摄影(可视光通信)。此外,也可以代替通常摄影及可视光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。
图336是表示本实施方式的接收机的摄影动作的一例的图。
接收机8000将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可视光通信图像合成,生成鲜明地映照出亮线图样、被摄体及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可视光通信图像的亮线图样而生成的图像。此外,由该合成图像映照出的亮线图样、被摄体及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过显示这样的合成图像,用户能够更明确地知道从哪里或哪个位置发送了信号。
图337是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000具备照相机Ca1及照相机Ca2。在这样的接收机8000中,照相机Ca1进行通常摄影,照相机Ca2进行可视光摄影。由此,照相机Ca1取得上述那样的通常摄影图像,照相机Ca2取得上述那样的可视光通信图像。并且,接收机8000通过将通常摄影图像及可视光通信图像合成,生成上述合成图像,显示到显示器上。
图338A是表示本实施方式的接收机的摄影动作的另一例的图。
在具有两个照相机的上述接收机8000中,照相机Ca1将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。另一方面,照相机Ca2持续进行通常摄影。并且,当由照相机Ca1和照相机Ca2同时进行通常摄影时,接收机8000根据由这些照相机取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被摄体的距离(以下称作被摄体距离)。通过使用这样推测出的被摄体距离,接收机8000能够将可视光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。
图338B是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机Ca3)。在这样的接收机8000中,两个照相机(照相机Ca2及照相机Ca3)持续进行通常摄影,其余的1个照相机(照相机Ca1)持续进行可视光通信。由此,不论是怎样的定时,都基于由进行通常摄影的两个照相机得到的通常摄影图像推测被摄体距离。
图338C是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机Ca3)。在这样的接收机8000中,各个照相机将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。这里,在1个期间中,以这些照相机的中的某两个照相机进行通常摄影、其余的1个照相机进行可视光通信的方式,将各个照相机的摄影模式按照期间切换。即,进行通常摄影的照相机的组合周期性地变化。由此,不论是怎样的期间,都能够基于由进行通常摄影的两个照相机得到的通常摄影图像推测被摄体距离。
图339A是表示本实施方式的接收机的照相机配置的一例的图。
在接收机8000具备两个照相机Ca1及Ca2的情况下,如图339A所示,两个照相机Ca1及Ca2被配置在相互离开的位置。由此,能够精度良好地推测被摄体距离。即,两个照相机的间的距离越长,能够越高精度地推测被摄体距离。
图339B是表示本实施方式的接收机的照相机配置的另一例的图。
在接收机8000具备3个照相机Ca1、照相机Ca2及照相机Ca3的情况下,如图339B所示,通常摄影用的两个照相机Ca1及Ca2被配置在相互离开的位置。此外,可视光通信用的照相机Ca3被配置在例如照相机Ca1与照相机Ca2之间。由此,能够高精度地推测被摄体距离。即,通过将最远离的两个照相机用于通常摄影,能够高精度地推测被摄体距离。
图340是表示本实施方式的接收机的显示动作的一例的图。
接收机8000如上述那样,将摄影模式如可视光通信、通常摄影、可视光通信、…那样切换。这里,接收机8000在最初进行可视光通信时将应用程序起动。并且,接收机8000基于通过可视光通信接收到的信号,如上述实施方式1~13所示那样推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示AR(AugmentedReality)信息。该AR信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息的显示位置移动。由此,能够使AR信息追随于通常摄影图像的被摄体像。
此外,接收机8000如果将摄影模式从通常摄影切换为可视光通信,则在该可视光通信时,将AR信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了AR信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息及通常摄影图像移动。由此,在可视光通信时,也与通常摄影时同样,能够与接收机8000的移动等相应地使AR信息追随于通常摄影图像的被摄体像。此外,能够与接收机8000的移动等相应地将该通常图像扩大及缩小。
图341是表示本实施方式的接收机的显示动作的一例的图。
例如,接收机8000也可以如如图341的(a)所示那样显示映照出亮线图样的上述合成图像。此外,接收机8000也可以如图341的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有规定颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。
此外,接收机8000也可以如图341的(c)所示那样,显示发送了信号的部位用点线的框和识别码(例如,ID:101、ID:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图341的(d)所示,通过代替亮线图样而将作为用来通知发送了特定种类的信号的具有规定颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,在从发送机输出的信号是优惠券的情况下叠加绿色的信号识别对象。
图342是表示本实施方式的接收机的动作的一例的图。
例如,接收机8000也可以在通过可视光通信接收到信号的情况下,显示通常摄影图像,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。
图343是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像中映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的从被摄体发送的信号来生成信息通知图像,并显示该信息通知图像。该信息通知图像例如表示店铺的优惠券或场所等。另外,亮线图样也可以是图341所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样一是同样的。
图344是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像上映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的被摄体发送的信号来生成信息通知图像,显示该信息通知图像。该信息通知图像例如用地图等表示接收机8000的当前地。
图345是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000从构成为发送机的作为被摄体的两个街灯接收信号。并且,接收机8000与上述实施方式1~13同样,基于这些信号推测自己的当前地。并且,接收机8000显示通常摄影图像,并将表示该推测结果的信息通知图像(表示纬度及经度等的图像)添加到通常摄影图像上而显示。另外,接收机8000也可以将辅助信息通知图像叠加到通常摄影图像中而显示。该辅助信息通知图像例如用来向用户建议对9轴传感器(特别是地磁传感器)进行校准的操作、即用来将漂移消除的操作。通过进行这样的操作,能够以高精度推测上述当前地。
此外,如果显示的信息通知图像被用户触碰,则接收机8000也可以代替通常摄影图像而显示表示该推测出的位置的地图。
图346是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000显示与图341的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。
此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示优惠券的图像)。
图347是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000以追随于划动操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被摄体距离与箭头一起向用户容易理解地表示的。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。
图348是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000将表示多个店铺的作为标识板的发送机作为被摄体摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将映照在通常摄影图像中的被摄体中包含的1个店铺的标识板的图像轻击,则接收机8000基于从该店铺的标识板发送的信号生成信息通知图像,显示该信息通知图像8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。
图349是表示本实施方式的接收机、发送机和服务器的动作的一例的图。
首先,构成为电视机的发送机8012通过亮度变化向接收机8011发送信号。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可视光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的SIM(Subscriber IdentityModule)卡中包含的信息、用户ID、终端ID、信用卡信息、用于核款的信息、口令及发送机ID中的至少1个向服务器8013发送。服务器8013按照每个用户将用户ID和支付信息建立联系而管理。并且,服务器8013基于从接收机8011发送的信息确定用户ID,确认与该用户ID建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则向接收机8011发送许可信息。接收机8011如果接收到许可信息,则向发送机8012发送该许可信息。接收到许可信息的发送机8012例如经由网络取得并再现该内容。
此外,发送机8012也可以通过亮度变化将包含发送机8012的ID的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012视听例如电视机节目,能够进行电视机节目的视听率调查。
此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。
进而,通过由发送机8012发送上述那样的信息,服务器8013能够对基于收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013可以对接收机8011显示广告,或显示向发送机8012显示的电视机节目的详细信息,或显示表示该详细信息的站点的URL。进而,服务器8013通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款,即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对由该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。
图350是表示本实施方式的接收机的动作的另一例的图。
例如,用户将接收机8021的照相机朝向作为照明体构成的多个发送机8020a~8020d。此时,使接收机8021移动,以将发送机8020a~8020d分别依次作为被摄体进行摄影。并且,接收机8021通过在该移动的期间中进行可视光通信,从各发送机8020a~8020d接收信号。在这些信号中包含表示发送机的位置的信息。接收机8021基于由该接收到的来自发送机8020a~8020d的信号表示的位置、接收机8021中具备的9轴传感器的检测结果和通过摄影得到的图像的运动,使用三角测量的原理推测接收机8021的位置。在此情况下,通过移动接收机8021,将9轴传感器(特别是地磁传感器)的漂移消除,所以能够推测精度更高的位置。
图351是表示本实施方式的接收机的动作的另一例的图。
接收机8030例如构成为具备照相机的头戴显示器。当开始按钮被按下时,该接收机8030开始基于可视光通信模式的摄影、即可视光通信。并且,在通过可视光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可视光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在接收机8030所具备的9轴传感器得到的值的变化幅度超过规定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可视光通信。
图352是表示本实施方式的接收机的初始设定的例子的图。
接收机8030在初始设定时显示对位图像8031。该对位图像8031用来进行由用户在通过接收机8030的照相机的摄影而得到的图像内指示的位置和由接收机8030显示的图像的对位。如果用户将指尖对准于由该对位图像8031表示的圆的位置,则接收机8030将该指尖的位置与圆的位置建立关联而进行对位。即,进行由用户指示的位置的校准。
图353是表示本实施方式的接收机的动作的另一例的图。
如果接收机8030通过可视光通信确定了发送信号的部位,则显示在该部位映照出亮线图样的合成图像8034。用户对于该亮线图样进行轻击或双轻击等的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图354是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样围起的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图355是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上抵按在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图356是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行通过划动将指尖朝向合成图像8034的亮线图样移动的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图357是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将使视线朝向合成图像8034的亮线图样的状态持续预先决定的时间以上的操作。或者,用户进行在将视线朝向该亮线图样的状态下以预先设定的次数眨眼的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图358是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并显示与合成图像8034中的亮线图样分别建立了关联的箭头。这些箭头按照亮线图样而朝向不同的方向。这里,用户进行将头沿着某个箭头移动的操作。接收机8030如果基于9轴传感器的检测结果受理了该操作,则确定与对应于该操作的箭头、即朝向头移动的方向的箭头建立了关联的亮线图样。并且,接收机8030显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图359A是表示在本实施方式的接收机的操作中使用的笔的图。
笔8033具备通过亮度变化来发送信号的发送机8033a、按钮8033b和按钮8033c。如果按钮8033b被按下,则发送机8033a发送预先决定的第1信号,如果按钮8033c被按下,则发送机8033a发送与第1信号不同的预先决定的第2信号。
图359B是表示本实施方式的使用笔的接收机的动作的图。
笔8033被作为上述用户的指尖的替代物使用,如记录笔那样使用。此外,通过将按钮8033b和按钮8033c区分使用,能够将笔8033作为通常的笔使用,或如擦除橡皮那样使用。
图360是表示本实施方式的接收机的外观的一例的图。
接收机8030具备第1接触传感器8030a和第2接触传感器8030b。这些接触传感器被安装在接收机8030的框架上。例如,如果用户将指尖抵按在第1接触传感器8030a上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户触碰第2接触传感器8030b,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。
图361是表示本实施方式的接收机的外观的另一例的图。
接收机8030具备接触传感器8030c。该接触传感器8030c安装在接收机8030的框架上。例如,如果用户将指尖抵按在接触传感器8030c上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户将接触传感器8030c按下,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。即,接触传感器8030c构成为所谓可点击接触传感器。
图362是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并在合成图像8034中显示上述指针8035。在接收机8030具备第1接触传感器8030a和第2接触传感器8030b的情况下,用户通过将指尖抵按在第1接触传感器8030a上并移动而移动该指针,将该指针对准于作为亮线图样的对象。并且,用户通过触碰第2接触传感器8030b而使接收机8030选择该亮线图样。接收机8030如果选择了亮线图样,则显示基于从该亮线图样的部位发送的信号的信息通知图像8032。
此外,在接收机8030不具备接触传感器8030c的情况下,用户通过将指尖抵按在接触传感器8030c上并移动而移动该指针,将该指针对准于作为亮线图样的对象。用户通过将接触传感器8030c按下,使接收机8030选择该亮线图样。接收机8030如果选择了该亮线图样则,将基于从该亮线图样的部位发送的信号的信息通知图像8032显示。
图363A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可视光通信得到的信号,显示手势确认图像8036。该手势确认图像8036例如是为了向用户提供服务而向该用户提示规定的手势的图像。
图363B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030而处于例如店铺中。这里,接收机8030向用户8038显示上述手势确认图像8036。用户8038按照该手势确认图像8036进行规定的手势。这里,处于店铺中的店员8039佩戴着接收机8037。接收机8037构成为具备照相机的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037也基于通过进行可视光通信得到的信号而显示手势确认图像8036。店员8039判断由显示的手势确认图像8036表示的规定的手势与由用户8038进行的手势是否一致。店员8039判断为一致时,对用户8038提供与手势确认图像8036建立了关联的服务。
图364A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可视光通信得到的信号而显示手势确认图像8040。该手势确认图像8040例如是为了许可无线通信而向用户提示规定的手势的图像。
图364B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030。这里,接收机8030向用户8038显示上述手势确认图像8040。用户8038按照该手势确认图像8040进行规定的手势。这里,处于用户8038的周围的人8041佩戴着接收机8037。接收机8037构成为具备照相机的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037通过拍摄由用户8038进行的规定的手势,取得在该手势中包含的口令等的认证信息。并且,接收机8037如果判断为该认证信息与预先决定的信息一致,则确立与接收机8030之间的无线连接。在进行该确立后,接收机8030和接收机8037能够相互进行无线通信。
图365A是表示本实施方式的发送机的动作的一例的图。
发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1的发送和信号2的发送分别通过可视光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。
图365B是表示本实施方式的发送机的动作的另一例的图。
发送机也可以不像上述那样将信号1和信号2连续发送,而隔开缓冲时间断续地将信号1和信号2发送。这里,发送机在缓冲时间中不进行亮度变化。或者,发送机也可以在缓冲时间中将表示是缓冲时间的信号通过亮度变化发送、或进行与用来分别发送信号1及信号2的亮度变化不同的亮度变化。由此,接收机能够将信号1和信号2不混信而适当地接收。
图366是表示本实施方式的发送机的动作的另一例的图。
发送机将由前同步码、块1、块2、块3及检验信号构成的结构单位的信号列通过亮度变化反复发送。这里,块1具有前同步码、地址1、数据1及检验信号。块2及块3也与块1同样地构成。此外,通过使用在块1、块2及块3各自中包含的数据而得到特定的信息。
即,在上述那样的信号列中,将1个数据或信息分为3个块保存。因而,如上述实施方式1~13所示那样在摄影中需要空白期间的接收机,即使不能从1个信号列接收到块1、块2及块3的全部的数据,也能够从其他信号列接收其余的数据。结果,即使是需要空白期间的接收机,也能够从至少1个信号列适当地取得特定的信息。
此外,在上述那样的信号列中,相对于3个块的集合配置有前同步码和检验信号。因而,不需要空白期间而能够受光的接收机、例如具备照度传感器等的接收机通过使用相对于该集合配置的前同步码和检验信号,能够将1个信号列一次接收,能够在短期间中取得特定的信息。
图367是表示本实施方式的发送机的动作的另一例的图。
发送机如上述那样,将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列来变更该信号列中包含的块的配置。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的空白期间的接收机仅取得相同的块。
图368是表示本实施方式的多个发送机与接收机之间的通信形态的一例的图。
接收机8050也可以接收从构成为照明体的发送机8051a及发送机8051b发送并被反射面反射的信号(可视光)。由此,能够将来自许多发送机的信号一起接收。此外,在此情况下,发送机8051a及发送机8051b分别发送相互不同的频率或协议的信号。由此,接收机8050能够将来自这些发送机的信号不混信地接收。
图369是表示本实施方式的多个发送机的动作的一例的图。
也可以是,发送机8051a及发送机8051b中的一方监视来自另一方的信号的发送状况,发送信号以防止与另一方的信号的混信。例如,一方的发送机接收从另一方的发送机发送的信号,发送与该信号不同协议的信号。或者,一方的发送机检测从另一方的发送机不发送信号的期间,在该期间中发送信号。
图370是表示本实施方式的多个发送机与接收机之间的通信形态的另一例的图。
发送机8051a及发送机8051b也可以分别发送相同的频率或协议的信号。在此情况下,接收机8050确定从这些发送机发送的信号的强度,即在通过摄影得到的图像中包含的亮线的边缘强度。接收机8050与发送机之间的距离越长,该强度越弱。在接收机8050与发送机8051a及发送机8051b的各自之间的距离不同的情况下,能够利用这样的距离的差异。即,接收机8050根据该确定的强度,能够将从发送机8051a及发送机8051b分别发送的信号适当分离并接收。
图371是表示本实施方式的接收机的动作的另一例的图。
接收机8050接收从发送机8051a发送并被反射面反射的信号。此时,接收机8050也可以基于通过摄影得到的图像内的亮度的强度分布(多个位置处的亮度的差)推测发送机8051a的位置。
图372是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7510a用后照相机(外置照相机)7510c将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的拍摄方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机7510a自身的位置和朝向。接收机7510a用前照相机(面部照相机、内置照相机)7510f对用户7510e进行摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后照相机7510c的摄像和通过前照相机7510f的摄像既可以同时进行,也可以交替地进行。
图373是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7511d、7511i与上述同样,接收来自光源7511b、7511g的信号,推测自身的位置和朝向,推测用户7511e、7511j的视线方向。此外,接收机7511d、7511i基于接收到的数据,从服务器取得周边的物体7511a~7511c、7511f~7511h的信息。接收机7511d、7511i以从用户观察时如同透过接收机7511d、7511i看到面向的一侧的物体的方式,使显示器的显示变化。接收机7511d、7511i根据显示器上显示的内容,显示7511k那样的AR(扩展现实)对象。当用户7511j的视线超过照相机的摄像的摄像范围时,接收机7511i如7511l那样显示是范围外。或者,在范围外的区域中显示AR对象或其他信息。或者,将范围外区域与过去摄像时的图像接合而显示。
图374是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7512c与上述同样,接收来自光源7512a的信号,推测自身的位置和朝向,推测用户7512d的视线方向。接收机7512c进行与处于用户7512d的视线方向上的物体7512b有关的处理。例如,将与物体7512b有关的信息显示在画面上。当用户7512h的视线方向从物体7512f向接收机7512g移动时,接收机7512g判断用户7512h的兴趣在于物体7512f,继续进行与物体7512f有关的处理。例如,保持将物体7512f的信息显示在画面上的原状。
图375是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7513a亮度较高,不论在作为发送信号而亮度较高(high)时和亮度较低(low)时,都在由接收机摄像的情况下超过上限的明亮度,如7513b那样不出现亮线。所以,如7513c所示,通过具备如散光板或棱镜那样使光发散或减弱的部分7513d而使亮度下降,接收机能够如7513e那样对亮线进行摄像。
图376是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7514a由于光源不是均匀的,所以摄像图像如7514b那样,在亮度中发生不匀,引起接收错误。所以,如7514c所示,通过具备如散光板或棱镜那样使光发散的部分7514d而使得亮度变均匀,能够抑制接收错误。
图377是表示本实施方式的接收方法的应用例的图。
发送机7515a、7515b的中心部分的亮度较高,在接收机的摄像图像中不出现亮线,在周边部分出现亮线。接收机虽然因亮线中断而不能从7515d的部分接收信号,但能够从7515c的部分接收信号。接收机通过以7515e的路径读取亮线,能够从比7515c的部分多的亮线接收信号。
图378是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7516a、7516b、7516c、7516d与7513a同样,亮度较高,在用接收机摄像时不易发生亮线。所以,通过具备散光板-棱镜7516e、反射板7516f、反射板-半反射镜7516g、反射板7516h或散光板-棱镜7516j,能够使光发散而使发生亮线的部分变大。这些发送机将摄像图像以如7515a那样在周围发生亮线的形式进行摄像。接收机由于使用摄像图像上的发送机的大小推测接收机与发送机之间的距离,所以通过将光发散的部分作为光源的大小,并与发送ID建立关联存储到服务器等中,接收机能够正确地推测到发送机的距离。
图379是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7517a与7513a同样亮度较高,在由接收机摄像时不易发生亮线。所以,通过具备反射板7517b,能够使光发散而使发生亮线的部分变大。
图380是表示本实施方式的发送机的应用例的图。
发送机7518a通过使来自光源的光被7518c反射,接收机能够将亮线在大范围中摄像。发送机7518d通过将光源朝向散光板或棱镜7518e,接收机能够将亮线在大范围中摄像。
图381是表示本实施方式的接收机的动作的另一例的图。
接收机通过上述那样的合成图像或中间图像等来显示亮线图样。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学缩放,显示该亮线图样的部位被扩大的合成图像或中间图像。通过进行这样的光学缩放,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学缩放,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学缩放,也能够进行较快的接收。
(本实施方式的总结)
本实施方式的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别出现上述亮线的部位的空间位置的方式,显示映照出上述被摄体和该被摄体的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。
例如,将图335~图337及图341所示那样的合成图像或中间图像作为显示用图像显示。此外,在映照出被摄体和该被摄体的周围的显示用图像中,将出现亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化发送信号的被摄体。
此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被摄体和该被摄体的周围以上述较长的曝光时间进行摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中出现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。
例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图336、图337及图341所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化发送信号的被摄体。
此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得映照出上述被摄体的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。
例如,如图335所示,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可视光通信图像并合成等的处理,能够实现处理的简略化。
此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过由上述第2图像传感器与上述第1图像传感器的摄影同时地进行摄影,取得上述亮线图像。
例如,如图337所示,将通常摄影图像和作为亮线图像的可视光通信图像通过各自的照相机取得。因而,与用1个照相机取得通常摄影图像和可视光通信图像的情况相比,能够更快地取得这些图像,能够使处理高速化。
此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的出现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续规定的时间以上抵按在上述部位上的操作,持续规定的时间以上使视线朝向上述部位的状态的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖抵按在上述部位上的操作,或通过触碰接触传感器而将显示在上述显示用图像上的指针对准于上述部位的操作。
例如,如图343~图348、图353~图362所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。
此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影机显示上述显示用图像。
由此,例如如图351~图358所示,能够简单地向用户提示信息。
此外,也可以是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中对多个上述被摄体进行摄影,取得包含多个出现上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照每个上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被摄体各自的位置;上述信息通信方法还包括基于所取得的多个上述被摄体各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。
由此,例如如图350所示,根据多个照明体等的被摄体的亮度变化,能够正确地推测包括图像传感器的接收机的位置。
此外,也可以是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,提示所取得的上述信息;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。
由此,例如如图363A~图364B所示,能够根据用户是否进行被提示的手势来进行对于该用户的认证等,能够提高方便性。
此外,也可以是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被摄体进行摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被摄体分别对应的亮线,通过按照上述被摄体将由与该被摄体对应的亮线的样式确定的数据解调,来取得信息。
由此,例如如图370所示,即使是多个照明体等的被摄体分别亮度变化的情况,也能够从被摄体分别取得适当的信息。
此外,也可以是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被摄体进行摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被摄体的位置的位置推测步骤。
由此,例如如图371所示,能够基于亮度分布推测适当的被摄体的位置。
此外,也可以是通过亮度变化发送信号的信息通信方法,包括:第1决定步骤,通过对发送对象的第1信号进行调制来决定亮度变化的第1样式;第2决定步骤,通过对发送对象的第2信号进行调制来决定亮度变化的第2样式;发送步骤,通过由发光体交替地进行按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化,来发送上述第1及第2信号。
由此,例如如图365A所示,能够将第1信号和第2信号分别没有延迟地发送。
此外,也可以是,在上述发送步骤中,当使亮度变化在按照上述第1样式的亮度变化和按照上述第2样式的亮度变化之间切换时,隔开缓冲时间来切换。
由此,例如如图365B所示,能够抑制第1信号和第2信号的混信。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1数据对应的前同步码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前同步码和与上述第2数据对应的检验信号。
由此,例如如图366所示,不论是需要空白期间的接收机、还是不需要空白期间的接收机,都能够适当地取得数据。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过由多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,发送频率或协议相互不同的信号。
由此,例如如图368所示,能够抑制来自多个发送机的信号的混信。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过有多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号混信的方式发送其他信号。
由此,例如如图369所示,能够抑制来自多个发送机的信号的混信。
(实施方式15)
在本实施方式中,对使用上述实施方式1~14的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各应用例进行说明。
图382是表示实施方式15的接收机的动作的一例的流程图。
首先,接收机用照度传感器接收信号(8101)。接着,接收机基于接收到的信号,从服务器取得位置信息等的信息(8102)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动(8103)。接着,接收机用图像传感器将信号的一部分或全部接收,确认该一部分或全部是否是与由照度传感器接收到的信号相同的信号(8104)。接着,接收机根据摄像图像(摄影图像)中的发送机的位置、来自接收机中具备的9轴传感器的信息和发送机的位置信息,推测接收机的位置(8105)。这样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到信号的情况下,将图像传感器起动。并且,接收机利用该图像传感器的摄像进行位置推测。由此,能够在抑制耗电的同时,高精度地推测接收机的位置。
图383是表示实施方式15的接收机的动作的另一例的流程图。
接收机根据照度传感器的传感器值,识别亮度的周期性的变化(8111)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动,接收信号(8112)。即,与上述同样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到亮度的周期性的变化的情况下,将图像传感器起动。并且,接收机通过该图像传感器的摄像,接收正确的信号。由此,能够在抑制耗电的同时接收正确的信号。
图384A是表示实施方式15的发送机的一例的框图。
发送机8115具备电源部8115a、信号控制部8115b、发光部8115c和发光部8115d。电源部8115a向信号控制部8115b供给电力。信号控制部8115b将从该电源部8115a供给的电力向发光部8115c及发光部8115d分配,控制发光部8115c及发光部8115d的亮度变化。
图384B是表示实施方式15的发送机的另一例的框图。
发送机8116具备电源部8116a、信号控制部8116b、发光部8116c和发光部8116d。电源部8116a向发光部8116c及发光部8116d供给电力。这里,信号控制部8116b通过控制从电源部8116a供给的电力,控制发光部8116c及发光部8116d的亮度变化。这样,通过由信号控制部8116b控制向发光部8116c及发光部8116d分别供给电力的电源部8116a,能够提高电力的使用效率。
图385是表示实施方式15的包括多个发送机的系统的结构例的图。
该系统具备集中控制部8118、发送机8117及发送机8120。集中控制部8118控制通过发送机8117及发送机8120各自的亮度变化进行的信号的发送。例如,集中控制部8118从发送机8117及发送机8120分别以相同的定时发送相同的信号,或仅对某一方的发送机使该发送机发送固有的信号。
发送机8120具备两个发送单元8121及8122、信号变更部8123、信号存储部8124、同步信号输入部8125、同步控制部8126和受光部8127。
两个发送单元8121及8122分别具有与图384A所示的发送机8115同样的结构,通过亮度变化来发送信号。具体而言,发送单元8121具备电源部8121a、信号控制部8121b、发光部8121c及发光部8121d。发送单元8122具备电源部8122a、信号控制部8122b、发光部8122c及发光部8122d。
信号变更部8123将发送对象的信号调制为表示亮度变化的样式的信号。信号存储部8124存储有表示其亮度变化的样式的信号。发送单元121的信号控制部8121b将保存在信号存储部8124中的信号读出,根据该信号而使发光部8121c及发光部8121d亮度变化。
同步信号输入部8125根据集中控制部8118的控制而取得同步信号。同步控制部8126如果取得该同步信号,则使发送单元8121和发送单元8122的亮度变化同步。即,同步控制部8126通过控制信号控制部8121b及信号控制部8122b,使发送单元8121和发送单元8122的亮度变化同步。这里,受光部8127检测来自发送单元8121和发送单元8122的发光。同步控制部8126根据由该受光部8127检测到的光,进行向信号控制部8121b及信号控制部8122b的反馈控制。
图386是表示实施方式15的发送机的另一例的框图。
发送机8130具备通过亮度变化来发送信号的发送单元8131、和不进行信号的发送而发光的非发送单元8132。
发送单元8131具有与图384A所示的发送机8115同样的结构,具备电源部8131a、信号控制部8131b及发光部8131c~8131f。此外,非发送单元8132具备电源部8132a及发光部8132c~8132f,不具备信号控制部。即,在包含电源的单元是多个、在这些单元间不能进行亮度变化的同步控制的情况下,如图386所示的结构那样,仅在某1个单元中具备信号控制部,仅使该1个单元亮度变化。
这里,在这样的发送机8130中,发送单元8131的发光部8131c~8131f被连续地配置为一列。即,在发光部8131c~8131f的集合中,不会混杂非发送单元8132的发光部8132c~8132f的某个。由此,亮度变化的发光体的尺寸变大,所以接收机能够容易地接收通过该亮度变化发送的信号。
图387A是表示实施方式15的发送机的一例的图。
发送机8134例如构成为标牌,具备3个发光部(发光区域)8134a~8134c。另外,来自这些发光部8134a~8134c的光不会相互干涉。这里,在能够仅使发光部8134a~8134c中的某1个亮度变化而发送信号的情况下,如图387A的(a)所示,优选的是使处于中央的发光部8134b亮度变化。此外,在能够使发光部8134a~8134c中的两个亮度变化的情况下,如图387A的(b)所示,优选的是使处于中央的发光部8134b和处于端部的发光部8134a或发光部8134c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图387B是表示实施方式15的发送机的一例的图。
发送机8135例如构成为标牌,具备3个发光部8135a~8135c。另外,来自这些发光部8135a~8135c中的彼此相邻的发光部的光相互干涉。这里,在能够仅使发光部8135a~8135c中的某1个亮度变化而发送信号的情况下,如图387B的(a)所示,优选的是使配置在端部的发光部8135a或发光部8135c亮度变化。由此,能够抑制用来发送信号的亮度变化与来自其他发光部的光干涉。此外,在能够使发光部8135a~8135c中的两个亮度变化的情况下,如图387B的(b)所示,优选的是使处于中央的发光部8135b和处于端部的发光部8135a或发光部8135c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图387C是表示实施方式15的发送机的一例的图。
发送机8134在能够使3个发光部8134a~8134c中的两个亮度变化的情况下,如图378C所示,也可以使处于两端的发光部8134a及发光部8134c亮度变化。在此情况下,在通过接收机的摄像中,能够扩大拍摄有亮度变化的部位的摄像范围。
图388A是表示实施方式15的发送机的一例的图。
发送机8137例如构成为标牌,通过字符部分“A Shop”和发光部8137a亮度变化来发送信号。发光部8137a例如形成为在水平方向上较长的矩形状而均匀地亮度变化。通过该发光部8137a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图388B是表示实施方式15的发送机的一例的图。
发送机8138例如构成为标牌,通过字符部分“A Shop”和发光部8138a亮度变化来发送信号。发光部8138a例如沿着标牌的边缘而形成为框状,均匀地亮度变化。即,该发光部8138a形成为,使得当将发光部射影到任意的直线上时连续的射影部分的长度为最大。通过该发光部8138a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图389是表示实施方式15的接收机、发送机及服务器的处理动作的一例的图。
例如构成为智能电话的接收机8142取得表示自己的位置的位置信息,将该位置信息向服务器8141发送。另外,接收机8142例如利用GPS等,在接收到其他信号时取得其位置信息。服务器8141将与由该位置信息表示的位置建立了对应的ID列表向接收机8142发送。在ID列表中,按照“abcd”等的ID,包括该ID和与该ID建立了对应的信息。
接收机8142例如从构成为照明设备的发送机8143接收信号。此时,接收机8142有仅ID的一部分(例如“b”)不能作为上述信号接收的情况。在此情况下,接收机8142从ID列表中检索包括该ID的一部分的ID。在找不到唯一的ID的情况下,接收机8142还从发送机8143接收包括该ID的其他部分的信号。由此,接收机8142取得该ID中的更多的部分(例如“bc”)。并且,接收机8142从ID列表再次检索包含该ID的一部分(例如“bc”)的ID。通过进行这样的检索,接收机8142即使仅能够取得ID的一部分,也能够确定ID的全部。另外,接收机8142当从发送机8143接收信号时,不仅是ID的一部分,还接收CRC(Cyclic Redundancy Check)等的检验部分等。
图390是表示实施方式15的接收机,发送机及服务器的处理动作的一例的图。
例如构成为智能电话的接收机8152取得表示自己的位置的位置信息。另外,接收机8152例如利用GPS等,在接收到其他信号时取得其位置信息。进而,接收机8152从例如构成为照明设备的发送机8153接收信号。此时,在该信号中,仅包含ID中的该ID的一部分(例如“b”)。这里,接收机8152将该位置信息和ID的一部分向服务器8151发送。
服务器8151从与由该位置信息表示的位置建立了对应的ID列表中,检索包含该ID的一部分的ID。在找不到唯一的ID的情况下,服务器8151将ID的确定失败向接收机8152通知。
接着,接收机8152从发送机8153接收包含该ID的另一部分的信号。由此,接收机8152取得该ID中的更多的部分(例如“be”)。并且,接收机8152将该ID的一部分(例如“be”)和位置信息向服务器8151发送。
服务器8151从与由该位置信息表示的位置建立了对应的ID列表中,检索包含该ID的一部分的ID。如果找到唯一的ID,则服务器8151将该ID(例如“abef”)被确定的情况向接收机8152通知,并将与该ID建立了对应的信息向接收机8152发送。
图391是表示实施方式15的接收机、发送机及服务器的处理动作的一例的图。
接收机8152也可以不是将ID中的仅一部分、而是将其全部与位置信息一起向服务器8151发送。此时,在该完全的状态的ID(例如“wxyz”)没有包含在ID列表中的情况下,服务器8151向接收机8152通知错误。
图392A是用来说明实施方式15的多个发送机的同步的说明图。
发送机8155a及发送机8155b通过亮度变化来发送信号。这里,发送机8155a通过将同步信号向发送机8155b发送,与该发送机8155b同步而进行亮度变化。此外,发送机8155a和发送机8155b分别从发信源取得信号,进行与该信号对应的亮度变化。这里,有在从发信源向发送机8155a的信号发送中花费的时间(第1延迟时间)和在从发信源向发送机8155b的信号发送中花费的时间(第2延迟时间)不同的情况。所以,测量这些发送机8155a、8155b与发信源之间的信号的往复时间,将它们的往复时间的1/2确定为上述第1或第2延迟时间。发送机8155a通过发送同步信号以将这些第1或第2延迟时间的差消除,进行与发送机8155b同步的亮度变化。
图392B是用来说明实施方式15的多个发送机的同步的说明图。
受光传感器8156检测来自发送机8155a及发送机8155b的光,将其结果作为检测信号向发送机8155a及发送机8155b输出。发送机8155a及发送机8155b如果接收到来自该受光传感器8156的检测信号,则基于该检测信号进行相互同步的亮度变化,或进行信号的强度的调整。
图393是表示实施方式15的发送机及接收机的动作的一例的图。
例如构成为电视机的发送机8165从控制部8166取得图像和与该图像建立了对应的ID(ID 1000)。并且,发送机8165将该图像显示,并通过亮度变化,将该ID(ID 1000)向接收机8167发送。接收机8167通过摄像来接收该ID(ID 1000),并显示与该ID(ID 1000)建立了对应的信息。这里,控制部8166将向发送机8165输出的图像变更为其他图像。此时,控制部8166将向发送机8165输出的ID也变更。即,控制部8166与其他图像一起,将与其他图像建立了对应的其他ID(ID 1001)也向发送机8165输出。由此,发送机8165将其他图像显示,并通过亮度变化将其他ID(ID 1001)向接收机8167发送。接收机8167通过摄像而将其他ID(ID 1001)接收,并显示与其他ID(ID 1001)建立了对应的信息。
图394是表示实施方式15的发送机及接收机的动作的一例的图。
发送机8170例如构成为标牌,将图像切换而显示。并且,发送机8170在将图像显示时,将与显示的图像对应的ID和表示显示该图像的时刻的ID时刻信息通过亮度变化向接收机8171发送。例如,发送机8170在时刻t1,显示表示圆图形的图像,并将与该图像对应的ID(ID:1000)和表示该图像被显示的时刻(TIME:t1)的ID时刻信息发送。
这里,发送机8170不仅将与当前显示的图像对应的ID时刻信息、还将与过去显示的图像对应的ID时刻信息发送至少1个。例如,发送机8170在时刻t2,显示表示四方的图形的图像,并将与该图像对应的ID(ID:1001)和表示该图像被显示的时刻(TIME:t2)的ID时刻信息发送。进而,此时,发送机8170将与表示圆图形的图像对应的ID(ID:1000)和表示该图像被显示的时刻(TIME:t1)的ID时刻信息发送。同样,在时刻t3,发送机8170将表示三角形的图形的图像显示,并将与该图像对应的ID(ID:1002)和表示该图像被显示的时刻(TIME:t3)的ID时刻信息发送。进而,此时,发送机8170将与表示四方的图形的图像对应的ID(ID:1001)、和表示该图像被显示的时刻(TIME:t2)的ID时刻信息发送。即,发送机8170将多个ID时刻信息以相同的定时发送。
例如,用户为了得到与表示四方的图形的图像关联的信息,在显示有表示该四方的图形的图像的时刻t2,将接收机8171的图像传感器罩向发送机8170,开始通过接收机8171的摄像。
这里,接收机8171有虽然在时刻t2开始摄像、但在表示该四方的图形的图像显示在发送机8170上的期间中不能取得与该图像对应的ID时刻信息的情况。即使是这样的情况,如上述那样,由于将与过去显示的图像对应的ID时刻信息也从发送机8170发送,所以接收机8171在时刻t3,不仅能取得与表示三角形的图形的图像对应的ID时刻信息(ID:1002,TIME:t3),还能够取得与表示四方的图形的图像对应的ID时刻信息(ID:1001,TIME:t2)。并且,接收机8171从这些ID时刻信息中,选择表示被罩向发送机8170的时刻(t2)的ID时刻信息(ID:1001,TIME:t2),确定由该ID时刻信息表示的ID(ID:1001)。由此,接收机8171在时刻t3,能够基于该确定的ID(ID:1001),从例如服务器等得到关于表示四方的图形的图像的信息。
另外,上述时刻并不限于绝对的时刻,也可以是取得接收机8171被罩向发送机8170的时刻与接收机8171取得ID时刻信息的时刻之间的时间(所谓相对时刻)。此外,发送机8170将与过去显示的图像对应的ID时刻信息和与当前显示的图像对应的ID时刻信息一起发送,但也可以发送与未来计划显示的图像对应的ID时刻信息。此外,发送机8170在接收机8171的接收处于困难的状况的情况下,也可以增加被发送的过去或未来的ID时刻信息的数量。
此外,发送机8170在不是标牌而构成为电视机的情况下,发送机8170也可以代替ID时刻信息而发送表示与显示的图像对应的频道的信息。即,在将广播的电视机节目的图像实时地用发送机8170显示的情况下,由发送机8170显示的图像的显示时刻能够按照频道唯一地确定。因而,接收机8171能够基于通过摄像得到的图像和其频道,确定接收机8171被罩向发送机8170的时刻、即接收机8171开始摄像的时刻。并且,接收机8171能够基于频道和其时刻,从例如服务器等得到关于通过摄像得到的图像的信息。另外,发送机8170也可以代替ID时刻信息而发送表示显示的图像的显示时刻的信息。在此情况下,接收机8171从此时广播的全部的电视机节目中检索包括通过摄像得到的图像的电视机节目,能够基于该电视机节目的频道和其显示时刻从服务器等得到与该图像关联的信息。
图395是表示实施方式15的发送机、接收机及服务器的动作的一例的图。
如图395的(a)所示,接收机8176通过将发送机8175摄像而取得包含亮线的图像,从该图像确定(取得)发送机8175的ID。进而,接收机8176将该ID向服务器8177发送,从服务器8177取得与该ID建立了关联的信息。
另一方面,如图395的(b)所示,接收机8176也可以通过将发送机8175摄像,取得包括亮线的图像,将该图像作为摄像数据向服务器8177发送。此外,接收机8176也可以对包含亮线的图像进行图像的信息量变少那样的前处理,将进行前处理后的图像作为摄像数据向服务器8177发送。该前处理例如是图像的二值化处理等。服务器8177如果取得该摄像数据,则根据由摄像数据表示的图像确定(取得)发送机8175的ID。进而,服务器8177将与该ID建立了关联的信息向接收机8176发送。
图396是表示实施方式15的发送机及接收机的动作的一例的图。
当用户处于位置A时,接收机8183通过取得从亮度变化的发送机8181发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围8183a一起显示。
接着,如果用户从位置A移动而到达位置B,则接收机8183成为不能从发送机8181取得信号的状态。此时,接收机8183通过使用装备在自身上的9轴传感器等,推测自己的位置。并且,接收机8183将表示该推测出的位置的点8183b与该位置的误差范围8183a一起显示。此时,由于该位置是由9轴传感器推测的,所以将误差范围8183a较大地显示。
接着,如果用户从位置B移动而到达位置C,则接收机8183通过取得从亮度变化的其他发送机8182发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围8183a一起显示。这里,接收机8183不将表示使用9轴传感器推测的位置的点8183b及误差范围8183a直接切换为如上述那样确定的位置及误差范围而显示,而是使它们平滑地移动而切换。此外,此时误差范围8183a变小。
图397是表示实施方式15的接收机的外观的一例的图。
接收机8183例如构成为智能电话(高性能便携电话),如图397的(a)所示,在接收机8183的前表面上,配置有图像传感器8183c、照度传感器8183d及显示器8183e。图像传感器8183c通过将如上述那样亮度变化的被摄体摄像,取得包含亮线的图像。照度传感器8183d检测上述被摄体的亮度变化。因而,照度传感器8183d根据被摄体的状态或状况,能够作为图像传感器8183c的替代物使用。显示器8183e显示图像等。这里,接收机8183也可以具备作为亮度变化的被摄体的功能。在此情况下,接收机8183通过使显示器8183e亮度变化来发送信号。
此外,如图397的(b)所示,在接收机8183的背面上,配置有图像传感器8183f、照度传感器8183g及闪光发光部8183h。图像传感器8183f与上述图像传感器8183c相同,通过如上述那样将亮度变化的被摄体摄像,取得包含亮线的图像。照度传感器8183g与上述照度传感器8183d相同,检测被摄体的亮度变化。因而,照度传感器8183g根据被摄体的状态或状况,能够作为图像传感器8183f的替代物使用。闪光发光部8183h为了摄像而发出闪光。这里,接收机8183也可以不具备作为亮度变化的被摄体的功能,在此情况下,通过使闪光发光部8183h亮度变化而发送信号。
图398是表示实施方式15的发送机,接收机及服务器的动作的一例的图。
例如构成为智能电话的发送机8185通过使显示器8185a中的除了条码部分8185b以外的部分亮度变化,即通过可视光通信,将例如表示“优惠券减去100日元”的信息发送。此外,发送机8185不使条码部分8185b亮度变化,而使该条码部分8185b显示条码。该条码表示与通过上述可视光通信发送的信息相同的信息。进而,发送机8185在显示器8185a中的除了条码部分8185b以外的部分上,显示表示通过可视光通信发送的信息的字符或图画,例如字符“优惠券减去100日元”。通过将这样的字符或图画显示,发送机8185的用户能够容易地掌握发送了怎样的信息。
接收机8186通过摄像,取得通过可视光通信发送的信息和由条码表示的信息,将这些信息向服务器8187发送。服务器8187判断这些信息是否一致或关联,在判断为一致或关联时,执行按照这些信息的处理。或者,服务器8187将该判断结果向接收机8186发送,使接收机8186执行遵循这些信息的处理。
另外,发送机8185也可以将由条码表示的信息中的一部分通过可视光通信发送。此外,也可以在条码中表示服务器8187的URL。此外,发送机8185也可以作为接收机而取得ID,通过将该ID向服务器8187发送,取得与该ID建立了对应的信息。与该ID建立了对应的信息与通过上述可视光通信发送的信息、或由条码表示的信息相同。此外,服务器8187也可以经由接收机8186将与从发送机8185发送的信息(可视光通信的信息或条码的信息)建立了对应的ID向发送机8185发送。
图399是表示实施方式15的发送机及接收机的动作的一例的图。
例如构成为智能电话的发送机8185通过使显示器8185a亮度变化而发送信号。接收机8188具备有遮光性的圆锥状的容器8188b和照度传感器8188a。照度传感器8188a被收存在容器8188b的内部,配置在该容器8188b的前端附近。在从发送机8185通过可视光通信发送信号的情况下,接收机8188的容器8188b的开口部(底部)被朝向显示器8185a。由此,来自显示器8185a的光以外的光不进入到容器8188b内,所以接收机8188的照度传感器8188a能够不受作为噪声的光的影响,而将来自显示器8185a的光适当地受光。结果,接收机8188能够将来自发送机8185的信号适当地接收。
图400是表示实施方式15的发送机及接收机的动作的一例的图。
发送机8190例如构成为公共汽车停靠站的标识塔,通过亮度变化,将表示公共汽车的运行状况等的运行信息向接收机8183发送。例如,将公共汽车的前往地、该前往地的公共汽车到达公共汽车停靠站的时刻、和表示该公共汽车的当前地等的运行信息向接收机8183发送。接收机8183如果接收到该运行信息,则将由该运行信息表示的内容向显示器显示。
这里,例如在相互不同的前往地的公共汽车停在该公共汽车停靠站的情况下,发送机8190将关于这些前往地的公共汽车的运行信息发送。接收机8183如果接收到这些运行信息,则从这些运行信息中,选择由用户利用的频度较高的前往地的公共汽车的运行信息,将由该运行信息表示的内容向显示器显示。具体而言,接收机8183例如通过使用GPS等,确定由用户利用过的公共汽车的前往地,将该前往地的履历记录。接收机8183通过参照该履历,选择由用户利用的频度较高的前往地的公共汽车的运行信息。或者,接收机8183也可以将由通过用户的操作从这些运行信息中选择的运行信息表示的内容向显示器显示。或者,接收机8183也可以将通过用户的操作选择的频度较高的前往地的公共汽车的运行信息优先地显示。
图401是表示实施方式15的发送机及接收机的动作的一例的图。
例如构成为标牌的发送机8191通过亮度变化,将多个店铺的信息向接收机8183发送。该信息是将关于多个店铺的信息汇集的信息,不是各店铺所固有的信息。因而,接收机8183如果通过摄像接收到该信息,则不仅是1个店铺、能够显示关于多个店铺的信息。这里,接收机8183在这些关于多个店铺的信息中,选择关于摄像范围中包含的店铺(例如“B shop”)的信息,将该选择的信息显示。此外,接收机8183在将该信息显示时,将用来表示该信息的语言翻译为预先登记的语言,用该翻译后的语言显示该信息。此外,在发送机8191中,也可以通过字符等显示敦促通过接收机8183的图像传感器(照相机)的摄像的消息。具体而言,如果使专用的应用程序起动而用照相机进行摄像,则将通知能够接受信息的提供的消息(例如“用照相机GET信息”等)向发送机8191显示。
图402是表示实施方式15的发送机及接收机的动作的一例的图。
例如,接收机8183将包括多个人物8197及路灯8195的被摄体摄像。路灯8195具备通过亮度变化发送信息的发送机8195a。通过该摄像,接收机8183取得将发送机8195a的像表示为上述亮线图样的图像。进而,接收机8183例如从服务器等取得与由该亮线图样表示的ID建立了关联的AR对象8196a。并且,接收机8183将该AR对象8196a叠加到通过通常摄影得到的通常摄影图像8196上,将叠加了该AR对象8196a的通常摄影图像8196显示。
图403A是表示由实施方式15的发送机发送的信息的结构的一例的图。
例如,由发送机发送的信息由前同步码部、固定长的数据部和检验部构成。接收机使用检验部进行数据部的检验,将由这些各部分构成的信息正常地接收。这里,接收机将前同步码部和数据部接收,当不能接收到检验部时,将使用该检验部的检验省略。即使是将这样的检验省略的情况,接收机也能够正常地接收由这些各部分构成的信息。
图403B是表示由实施方式15的发送机发送的信息的结构的另一例的图。
例如,由发送机发送的信息由前同步码部、检验部和可变长的数据部构成。由发送机发送的下个信息也由前同步码部、检验部和可变长的数据部构成。这里,接收机当在接收中接收到前同步码部、再接收到下个前同步码部时,将从前个前同步码部到下个前同步码部的紧接着之前的信息作为构成1个意思的信息来识别。此外,接收机也可以通过使用检验部来确定在该检验部的下个被接收的数据部的末端。在此情况下,接收机即使不能接收上述下个前同步码部(前同步码部的全部或一部分),也能够将之发送的形成1个意思的信息适当地接收。
图404是表示实施方式15的发送机的4值PPM调制方式的一例的图。
发送机通过4值PPM调制方式,将发送对象的信号调制为亮度变化的样式。此时,发送机不论发送对象的信号是怎样的信号,都能够将亮度变化的光的明亮度保持为一定。
例如在将明亮度保持为75%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为连续的4个时隙中的某1个表示亮度L(Low)、其余的3个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调制为第1个时隙表示亮度L、第2~第4个时隙表示亮度H的亮度变化的样式(L,H,H,H)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第2个时隙表示亮度L、第1、第3及第4个时隙表示亮度H的亮度变化的样式(H,L,H,H)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
此外,在将明亮度保持为50%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某两个表示亮度L(Low)、其余的两个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1及第4个时隙表示亮度L、第2及第3个时隙表示亮度H的亮度变化的样式(L,H,H,L)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1及第2个时隙表示亮度L、第3及第4个时隙表示亮度H的亮度变化的样式(L,L,H,H)。或者,发送机将发送对象的信号“01”调制为第2及第4个时隙表示亮度L、第1及第3个时隙表示亮度H的亮度变化的样式(H,L,H,L)。即,在这些亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
此外,在将明亮度保持为25%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某3个表示亮度L(Low)、其余的1个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1、第3及第4个时隙表示亮度L、第2个时隙表示亮度H的亮度变化的样式(L,H,L,L)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1、第2及第4个时隙表示亮度L、第3个时隙表示亮度H的亮度变化的样式(L,L,H,L)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
发送机通过上述那样的4值PPM调制方式,能够抑制闪变,并且能够将明亮度阶段性地容易地调节。此外,接收机通过确定亮度的上升的位置,能够将该亮度变化的样式适当地解调。另外,接收机将由4个时隙构成的时隙群与下个时隙群之间的边界处的亮度的上升的有无不用于亮度变化的样式的解调而忽视。
图405是表示实施方式15的发送机的PPM调制方式的一例的图。
发送机与图404所示的4值PPM调制方式同样,将发送对象的信号调制为亮度变化的样式,但也可以不按照时隙将亮度切换为L和H而进行PPM调制。即,发送机通过将图404所示的连续的4个时隙的时间宽度(以下称作单位时间宽度)中的亮度的上升位置根据发送对象的信号切换来进行PPM调制。例如,发送机如图405所示,将发送对象的信号“00”调制为在单位时间宽度中的25%的位置处亮度上升那样的亮度变化的样式。与此同样,发送机如图405所示,将发送对象的信号“01”调制为在单位时间宽度中的50%的位置处亮度上升那样的亮度变化的样式。
此外,发送机在将明亮度保持为75%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置处表示亮度L、在25~100%的位置处表示亮度H的亮度变化的样式。这里,发送机在将明亮度保持为99%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的24~25%的位置处表示亮度L、在0~24%的位置及25~100%的位置处表示亮度H的亮度变化的样式。同样,发送机在将明亮度保持为1%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置及26~100%的位置处表示亮度、在25~26%的位置处表示亮度H的亮度变化的样式。
这样,通过不按照时隙将亮度切换为L和H、而在单位时间宽度的任意的位置处将亮度切换为L和H,能够将明亮度连续地调节。
图406是表示实施方式15的发送机的PPM调制方式的一例的图。
发送机与图405所示的PPM调制方式同样进行调制,但不论发送对象的信号是怎样的信号,都将该信号调制为在单位时间宽度的最初必定表示亮度H、并且在单位时间宽度的最后必定表示亮度L的亮度变化的样式。由此,在单位时间宽度与下个单位时间宽度的边界发生亮度的上升,接收机能够适当地确定该边界。因而,接收机及发送机能够将时钟的偏差修正。
图407A是表示实施方式15的与头(前同步码部)对应的亮度变化的样式的一例的图。
发送机例如在发送图403A及图403B所示的头(前同步码部)的情况下,按照图407A所示的样式而进行亮度变化。即,在头由7个时隙构成的情况下,发送机按照由L,H,L,H,L,H,H表示的样式而进行亮度变化。此外,在头由8个时隙构成的情况下,发送机按照由H,L,H,L,H,L,H,H表示的样式而进行亮度变化。这些样式由于能够与图404所示的亮度变化的样式区别,所以能够使接收机明确地知道由这些样式表示的信号是头。
图407B是表示实施方式15的亮度变化的样式的一例的图。
如图404所示,在4值PPM调制方式中,在将明亮度保持为50%的状态下将数据部中包含的发送对象的信号“01”调制的情况下,发送机将该信号调制为两个样式中的某个样式。即,调制为由L,L,H,H表示的第1样式、或者由H,L,H,L表示的第2样式。
这里,在与头对应的亮度变化的样式是图407A所示那样的样式的情况下,发送机优选的是将上述发送对象的信号“01”调制为由L,L,H,H表示的第1样式。例如将在上述数据部中包含的发送对象的信号“11,01,11”在使用上述第1样式的情况下调制为“H,H,L,L,L,L,H,H,H,H,L,L”的样式。另一方面,在使用上述第2样式的情况下,将在上述数据部中包含的发送对象的信号“11,01,11”调制为“H,H,L,L,H,L,H,L,H,H,L,L”的样式。在此情况下,在该样式“H,H,L,L,H,L,H,L,H,H,L,L”中,包含与图407A所示的、由7个时隙构成的头的样式相同的样式。因而,为了使头与数据部的区别变明确,优选的是将上述发送对象的信号“01”调制为第1样式。
图408A是表示实施方式15的亮度变化的样式的一例的图。
如图404所示,在4值PPM调制方式中,在将发送对象的信号“11”调制的情况下,发送机将该信号调制为“H,H,H,L”的样式、“H,H,L,L”的样式或“H,L,L,L”的样式,以使得不发生亮度的上升。但是,如图408A所示,发送机也可以为了调整明亮度而将发送对象的信号“11”调制为“H,H,H,H”的样式或“L,L,L,L”的样式。
图408B是表示实施方式15的亮度变化的样式的一例的图。
如图404所示,在4值PPM调制方式中,在将明亮度保持为75%、对发送对象的信号“11,00”进行调制的情况下,发送机将该信号调制为“H,H,H,L,L,H,H,H”的样式。但是,在亮度L要连续发生的情况下,也可以将连续的亮度L中的最后的亮度L以外的亮度变更为H,以使亮度L不连续。在此情况下,发送机将该信号“11,00”调制为“H,H,H,H,L,H,H,H”的样式。
由此,亮度L不连续,所以能够抑制发送机的负荷。此外,能够使发送机中具备的电容器的电容较小,能够使控制电路的容积变小。进而,由于发送机的光源的负荷较小,所以能够容易地制作光源。进而,能够提高发送机的电力效率。此外,由于保证了亮度L不连续,所以接收机能够容易地将该亮度变化的样式解调。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述亮度变化的样式是在预先设定的时间宽度中的任意的各位置出现相互不同的两个亮度值中的一方的样式;在上述决定步骤中,对于发送对象的相互不同的信号的每一个,以使上述时间宽度中的作为亮度的上升位置或下降位置的亮度变化位置相互不同的方式,决定上述亮度变化的样式、并且上述时间宽度中的上述发光体的亮度的积分值成为与预先设定的明亮度对应的相同的值。
例如,如图405所示,对于发送对象的相互不同的信号“00”、“01”、“10”及“11”,分别决定亮度变化的样式,以使亮度的上升位置(亮度变化位置)相互不同、并且预先决定的时间宽度(单位时间宽度)中的发光体的亮度的积分值成为与预先决定的明亮度(例如99%或1%等)对应的相同的值。由此,能够对于发送对象的信号分别将发光体的明亮度保持为一定,能够抑制闪变,并且将该发光体摄像的接收机能够基于亮度变化位置将该亮度变化的样式适当地解调。此外,亮度变化的样式由于是在单位时间宽度中的任意的各位置出现相互不同的两个亮度值(亮度H(High)或亮度L(Low))中的一方的样式,所以能够使发光体的明亮度连续地变化。
此外,也可以是,上述信息通信方法还包括将多个图像的分别依次切换而显示的图像显示步骤;在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与显示的图像对应的识别信息调制为上述发送对象的信号,决定与上述识别信息对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,来发送上述识别信息。
由此,例如如图393所示,每当显示图像,就发送与所显示的图像对应的识别信息,所以用户能够基于显示的图像容易地选择使接收机接收的识别信息。
此外,也可以是,在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体还按照对与过去显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,将上述识别信息发送。
由此,例如如图394所示,即使是因显示的图像切换而接收机不能接收到在切换前发送的识别信号的情况,由于与当前显示的图像对应的识别信息一起将与过去显示的图像对应的识别信息也发送,所以能够将在切换前发送的识别信息重新由接收机适当地接收。
此外,也可以是,在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与所显示的图像对应的识别信息和上述图像被显示的时刻调制为上述发送对象的信号,决定与上述识别信息及上述时刻对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送,还通过上述发光体按照对与过去显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送。
由此,例如如图394所示,由于每当显示图像时,就将多个ID时刻信息(由识别信息及时刻构成的信息)发送,所以接收机能够从接收到的多个ID时刻信息中,基于在该ID时刻信息的各自中包含的时刻而容易地选择在过去被发送而未能接收到的识别信号。
此外,也可以是,上述发光体具有分别发光的多个区域,上述多个区域中彼此相邻的区域的光相互干涉;在上述多个区域中的仅1个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,仅上述多个区域中的配置在端部的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,例如如图387B的(a)所示,由于仅配置在端部的区域(发光部)亮度变化,所以与仅配置在端部以外的区域亮度变化的情况相比,能够抑制由来自其他区域的光带来的向其亮度变化的影响。结果,接收机能够通过摄影适当地捕捉其亮度变化的样式。
此外,也可以是,在仅上述多个区域中的两个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,上述多个区域中的配置在端部的区域和与上述配置在端部的区域相邻的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,例如如图387的(b)所示,由于配置在端部的区域(发光部)和与该配置在端部的区域相邻的区域(发光部)亮度变化,所以与相互离开的区域亮度变化的情况相比,能够将在空间上连续而进行亮度变化的范围的面积保持得较大。结果,接收机能够通过摄影适当地捕捉该亮度变化的样式。
本实施方式的信息通信方法,是从被摄体取得信息的信息通信方法,包括:信息发送步骤,发送表示在上述被摄体的摄影中使用的图像传感器的位置的位置信息;列表接收步骤,接收与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;检索步骤,从上述ID列表中检索包含所取得的上述信息的识别信息。
由此,例如如图389所示,由于预先接收了ID列表,所以即使所取得的信息“bc”仅为识别信息的一部分,也能够基于ID列表确定适当的识别信息“abcd”。
此外,也可以是,在上述检索步骤中没有唯一确定包含所取得的上述信息的识别信息的情况下,通过反复进行上述图像取得步骤及上述信息取得步骤,取得新的信息;上述信息通信方法还包括从上述ID列表中检索包含所取得的上述信息和上述新的信息的识别信息的再检索步骤。
由此,例如如图389所示,即使是所取得的信息“b”仅为识别信息的一部分、仅通过该信息不能唯一确定识别信息的情况,由于取得新的信息“c”,所以能够基于该新的信息和ID列表确定适当的识别信息“abcd”。
本实施方式的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;发送步骤,将所取得的上述识别信息和表示上述图像传感器的位置的位置信息发送;错误接收步骤,在与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表中没有所取得的上述识别信息的情况下,接收用来通知错误的错误通知信息。
由此,例如如图391所示,由于在ID列表中没有所取得的识别信息的情况下接收错误通知信息,所以接收到该错误通知信息的接收机的用户能够容易地掌握不能得到与该取得的识别信息建立了关联的信息的情况。
(实施方式16)
在本实施方式中,对使用上述实施方式1~15的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各个情形的应用例进行说明。
<情形:店前>
首先,使用图409~图413,对携带着接收机的用户处于悬挂着构成为发送机的广告用的招牌的店铺之前的应用例进行说明。
图409是表示店前的情形中的接收机的动作的一例的图。
例如,用户在携带着构成为智能电话的接收机8300(终端装置)而步行时,发现店铺的招牌8301。该招牌8301是如上述实施方式1~15的某种发送机那样通过亮度变化发送信号的发送机(被摄体)。这里,用户如果对该店铺有兴趣并且判断为该招牌8301正通过亮度变化发送信号,则通过操作接收机8300,使该接收机8300的可视光通信用的应用软件(以下称作通信应用)启动。
图410是表示店前的情形中的接收机8300的动作的另一例的图。
接收机8300也可以不受理用户的操作,而使通信应用自动启动。例如,接收机8300通过利用GPS或9轴传感器等检测自己的当前地,判断该当前地是否进入了对招牌8301预先设定的特定区域。另外,该特定区域是招牌8301的周边区域。并且,接收机8300如果判断为接收机8300的当前地进入了该特定区域,则使通信应用启动。此外,接收机8300也可以通过利用内置的9轴传感器等来检测将该接收机8300伸出的动作或使接收机8300旋转的动作,来使通信应用启动。由此,能够省去用户的操作,能够提高使用方便性。
图411是表示店前的情形中的接收机8300的下个动作的一例的图。
如上述那样使通信应用启动后的接收机8300将构成为通过亮度变化发送信号的发送机的招牌8301进行摄像(可视光摄影)。即,接收机8300与招牌8301进行可视光通信。
图412是表示店前的情形中的接收机8300的下个动作的一例的图。
接收机8300通过上述摄像,取得包含亮线的图像。并且,接收机8300通过对由该亮线的样式确定的数据进行解调,取得招牌8301的设备ID。即,接收机8300通过实施方式1~15的可视光摄影或可视光通信,从招牌8301取得设备ID。进而,接收机8300将该设备ID向服务器发送,从服务器取得与该设备ID建立了关联的广告信息(服务信息)。
另外,接收机8300也可以从事前保持的多个广告信息中取得与该设备ID建立了关联的广告信息。在此情况下,接收机8300在判断为接收机8300的当前地进入了上述特定区域时,将该特定区域或当前地向服务器通知,从服务器事前取得与该特定区域对应的全部的设备ID和与该设备ID分别建立了关联的广告信息,并将它们保持(高速缓存)。由此,接收机8300当在该特定区域内取得了招牌8301的设备ID时,不用特意向服务器请求与该设备ID对应的广告信息,就能够从与预先保持的各设备ID建立了关联的广告信息中,迅速地取得与该招牌8301的设备ID建立了关联的广告信息。
接收机8300如果取得与招牌8301的设备ID建立了关联的广告信息,则显示该广告信息。例如,接收机8300显示由招牌8301表示的店铺的优惠券、空席状况、和表示与它们相同的内容的条码。
这里,接收机8300也可以通过可视光通信,不仅取得设备ID,还从该招牌8301取得优惠数据。该优惠数据例如表示随机ID(随机数)、或者该优惠数据被发送的时刻或时间带等。接收机8300在取得了优惠数据时,将该优惠数据也与设备ID一起向服务器发送。并且,接收机8300从服务器取得与该设备ID及优惠数据建立了关联的广告信息。由此,接收机8300能够接受根据优惠数据而不同的广告信息。例如,如果将招牌8301摄像时的时间带是早晨,则接收机8300能够取得表示早晨折扣的优惠券的广告信息并显示。即,能够对相同招牌的广告赋予与优惠数据(时间带等)对应的变化。结果,用户能够接受与时间带等相适合的服务的提供。另外,在本实施方式中,将服务信息等信息向用户的提示(显示)称作服务的提供。
此外,接收机8300也可以通过可视光通信,从招牌8301将高精度(误差1m以内)地表示该招牌8301的空间上的配置的3维信息与设备ID一起取得。或者,接收机8300也可以从服务器取得与该设备ID建立了关联的3维信息。此外,接收机8300也可以代替3维信息或与3维信息一起,取得表示招牌8301的大小的尺寸信息。接收机8300如果取得该尺寸信息,则基于由该尺寸信息表示的招牌8301的大小与在通过摄像得到的图像中映照出的招牌8301的大小的差,计算从接收机8300到招牌8301的距离。
此外,接收机8300也可以在将通过可视光通信取得的设备ID向服务器发送时,将自己预先保持的保持信息(附属信息)与设备ID一起向服务器发送。例如,保持信息是接收机8300的用户的个人信息(性别或年龄等)或用户ID。与设备ID一起接收到这样的保持信息的服务器将与该设备ID建立了关联的至少1个广告信息中的与该保持信息(个人信息或用户ID)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与个人信息等匹配的店铺的广告信息或与用户ID对应的店铺的广告信息等。结果,用户能够接受更有益的服务的提供。
或者,保持信息表示对接收机8300事前设定的接收条件。该接收条件例如在店铺是饮食店的情况下是来客人数。与设备ID一起接收到这样的保持信息的服务器将与该设备ID建立了关联的至少1个广告信息中的与该接收条件(来客人数)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与来客人数匹配的店铺的广告信息,具体而言,能够获取表示与该来客人数对应的空席状况的信息。此外,店铺通过显示根据来店人数或星期、时间带而变更了折扣率的广告信息,能够实现吸引顾客和利益的最优化。
或者,保持信息表示由接收机8300事前检测到的当前地。与设备ID一起接收到这样的保持信息的服务器不仅将与该设备ID建立了关联的广告信息、还将与该保持信息表示的当前地(当前地和其周边)对应的其他设备ID、和与其他设备ID建立了关联的广告信息向接收机8300发送。由此,接收机8300能够将其他设备ID和与其他设备ID建立了关联的广告信息高速缓存。因而,当接收机8300在该当前地(当前地和其周边)在与其他发送机之间进行可视光通信时,不用访问服务器就能够迅速地取得与其他发送机的设备ID建立了关联的广告信息。
图413是表示店前的情形中的接收机8300的下个动作的一例的图。
接收机8300如果如上述那样从服务器取得广告信息,则例如作为由该广告信息表示的空席状况,显示记述有“有空席”的按钮。这里,如果用户进行将手指对按钮“有空席”接触的操作,则接收机8300将该操作结果向服务器通知。服务器如果接受到该通知,则进行对招牌8301的店铺的临时预约,将该临时预约完成的情况向接收机8300通知。接收机8300如果从服务器接受到该通知,则代替按钮“有空席”而显示表示临时预约完成的字符串“临时预约”。接收机8300将包括由招牌8301表示的店铺的优惠券、证明已临时预约的字符串“临时预约”、和表示与它们相同的内容的条码在内的图像作为事前取得图像向存储器保存。
这里,服务器按照使用图412及图413说明的动作,能够将有关在招牌8301与接收机8300之间进行的可视光通信的信息进行记录。即,服务器能够将进行了可视光通信的发送机(招牌)的设备ID、进行了可视光通信的场所(接收机8300的当前地)、表示进行了可视光通信的时间带等的优惠数据、以及进行了可视光通信的接收机8300的用户的个人信息等进行记录。服务器能够使用所记录的这些信息中的至少1个,解析招牌8301的价值、即招牌8301对店铺的广告及宣传的贡献程度作为广告效果。
<情形:店内>
接着,使用图414~图422,对携带着接收机8300的用户进入了与显示的广告信息(服务信息)对应的店铺的情形中的应用例进行说明。
图414是表示店内的情形中的显示装置的动作的一例的图。
例如,与上述招牌8301进行了可视光通信的接收机8300的用户进入与所显示的广告信息对应的店铺。此时,接收机8300使用可视光通信检测用户进入了与所显示的广告信息对应的店铺(进店)。例如,接收机8300在与招牌8301进行可视光通信后,从服务器取得表示与招牌8301的设备ID建立了关联的店铺的所在地的店铺信息。并且,接收机8300判断利用GPS或9轴传感器等得到的接收机8300的当前地是否进入了由该店铺信息表示的店铺的所在地。这里,接收机8300通过判断为当前地进入了店铺的所在地,来检测上述进店。
并且,接收机8300如果检测到进店,则例如经由服务器等向显示装置8300b通知进店。或者,接收机8300通过可视光通信或无线通信向显示装置8300b通知进店。显示装置8300b如果接受到该通知,则取得表示由该店铺提供的商品或业务的菜单等的商品业务信息,显示由该商品业务信息表示的上述菜单。另外,显示装置8300b既可以是由接收机8300的用户或店铺的店员携带的便携终端,也可以是装备在店铺中的装置。
图415是表示店内的情形中的显示装置8300b的下个动作的一例的图。
用户从显示在显示装置8300b上的菜单中,选择希望的商品。即,用户进行将手指对菜单中的显示有希望的商品的名称的部分接触的操作。由此,显示装置8300b受理商品选择的操作结果。
图416是表示店内的情形中的显示装置8300b的下个动作的一例的图。
受理了商品选择的操作结果的显示装置8300b将表示所选择的商品的图像及该商品的价格显示。由此,显示装置8300b促使用户确认所选择的商品。另外,上述表示商品的图像及表示商品的价格的信息等例如也可以包含在上述商品业务信息中。
图417是表示店内的情形中的接收机8300的下个动作的一例的图。
被促使确认的用户进行用来订购该商品的操作。接收机8300如果被进行该操作,则将电子结算所需要的结算信息经由显示装置8300b或服务器向店铺的POS(Pint of Sale)系统通知。进而,接收机8300判断是否有利用与该店铺的招牌8301的可视光通信取得并保存的上述事前取得图像。接收机8300如果判断为有该事前取得图像,则显示该事前取得图像。
另外,在本情形中使用了显示装置8300b,但也可以不使用显示装置8300b,而接收机8300代之进行显示装置8300的处理。在此情况下,接收机8300如果检测到进店,则从服务器取得表示由该店铺提供的商品或业务的菜单等的商品业务信息,将由该商品业务信息表示的上述菜单显示。此外,接收机8300如果受理了用来订购商品的操作,则将订购的商品和电子结算所需要的结算信息经由服务器向店铺的POS系统通知。
图418是表示店内的情形中的接收机8300的下个动作的一例的图。
店铺的店员将POS系统的条码扫描仪8302罩在显示于该接收机8300上的事前取得图像的条码上。条码扫描仪8302将该事前取得图像的条码读取。结果,POS系统进行与由该条码表示的优惠券对应的电子结算。并且,POS系统的条码扫描仪8302将表示电子结算完成的结算完成信息通过亮度变化向接收机8300发送。即,条码扫描仪8302还具有作为可视光通信的发送机的功能。接收机8300如果通过可视光通信取得结算完成信息,则显示该结算完成信息。该结算完成信息例如表示“感谢购买”这样的消息和结算的金额。通过进行这样的电子结算,POS系统、服务器及接收机8300能够判断出,在与显示于店铺前的广告信息(服务信息)对应的店铺,用户利用了由该广告信息表示的服务。
如以上这样,通过图414~图418所示那样的接收机8300及POS系统等的动作,进行店内的商品的订购。因而,用户只要进入店铺,就能够从自动显示在显示装置8300b或接收机8300上的该店铺的菜单进行商品的订购。即,店铺的店员不需要给用户看菜单就直接从用户受理商品的订购。结果,能够大幅削减店员的负担。此外,在上述例子中,条码扫描仪8302将条码读入,但也可以不使用条码扫描仪8302。例如,接收机8300也可以将条码所表示的信息经由服务器向POS系统发送。并且,接收机8300也可以经由服务器从该POS系统取得结算完成信息。由此,能够将店员的作业进一步削减,用户能够不经由店员而进行商品的订购。或者,也可以是显示装置8300b和接收机8300以可视光通信将订购或核款的数据交换,或通过使用利用可视光通信交换的密钥的无线通信将上述数据交换。
此外,招牌8301也有由属于连锁店的多个店铺中的1个店铺发出的情况。在这样的情况下,使用与招牌8301的可视光通信取得的广告信息能够在属于连锁店的全部的店铺中利用。但是,即使在相同的连锁店中,也可以在发出招牌8301的店铺(广告店铺)和没有发出的店铺(非广告店铺)间、在用户接受的服务上设置差异。例如,在用户进入了非广告店铺的情况下,用户接受如事前取得图像所示的优惠券那样的折扣率(例如20%)的服务,在用户进入到广告店铺的情况下,接受比该优惠券的折扣率高的折扣率(例如30%)的服务。即,接收机8300在检测到向广告店铺的进店的情况下,从服务器取得表示10%的进一步折扣的附加性的服务信息,代替图417所示的事前取得图像而显示表示30%(20%+10%)的折扣率的图像。另外,接收机8300基于从服务器取得的上述店铺信息,检测用户进入了广告店铺中还是进入了非广告店铺中。在店铺信息中,与属于连锁店的多个店铺的各自的所在地一起示出这些店铺是广告店铺还是非广告店铺。
此外,在相同的连锁店中有多个非广告店铺的情况下,也可以在各个非广告店铺间在用户接受的服务上设置差异。例如,向进入到非广告店铺中的用户提供与从招牌8301的位置、或从与招牌8301进行可视光通信时的接收机8300的当前地到该非广告店铺为止的距离对应的服务。或者,向进入到该非广告店铺中的用户提供与接收机8300和招牌8301进行可视光通信的时刻与用户进入到非广告店铺中的时刻的差(时间差)对应的服务。即,接收机8300从服务器取得根据上述距离(招牌8301的位置)和时间差而不同的、表示进一步的折扣的附加性的服务信息,代替图417所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。另外,这样的服务由服务器或POS系统、或者由它们相互协同来决定。此外,这样的服务也可以没有广告店铺及非广告店铺的区别,而对属于连锁店的全部的店铺适用。
此外,在用户进入非广告店铺而进行了利用广告信息的订购的情况下,非公告店铺的POS系统也可以将通过订购得到的金额的一部分返还给广告店铺的POS系统。
进而,服务器在每当显示广告信息时,能够判定该广告信息是否已被利用,并通过将该判定出的结果累积,能够解析招牌8301的广告效果。此外,服务器还能够通过将招牌8301的位置、显示广告信息的时刻、利用广告信息的店铺的位置、利用广告信息的时刻及用户的进店时刻中的至少1个累积,来实现招牌8301的广告效果的解析精度的提高,并能够找到广告效果最高的招牌8301的位置。
此外,接收机8300也可以从服务器取得表示广告信息被利用于商品订购的利用次数量的进一步的折扣的附加性的服务信息,代替图417所示的事前取得图像而显示表示反映了该利用次数量的进一步的折扣的折扣率(例如30%)的图像。例如,服务器也可以与POS系统协同来进行利用次数越多则使折扣率越高那样的服务。
此外,服务器也可以在由接收机8300接收到与由店铺发出的全部的招牌8301的设备ID分别建立了关联的广告信息的情况(全部的广告信息的取得完成的情况)下,向进入到该招牌8301的店铺中的用户提供特别服务。特别服务例如是折扣率很高的服务、或将订购商品以外的商品免费提供的服务。即,如果接收机8300检测到用户的进店,则服务器对于与该店铺建立了关联的全部的招牌分别判断接收机8300是否进行了包括可视光通信等的处理。并且,在判断为进行了该处理的情况下,接收机8300从服务器取得表示进一步的折扣的附加性的服务信息作为上述特别服务,代替图417所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如50%)的图像。
此外,接收机8300也可以从服务器取得根据与招牌8301进行可视光通信而显示广告信息的时刻和用户进入到店铺中的时刻的差而不同的、表示进一步的折扣率的附加性的服务信息,代替图417所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。例如,接收机8300从服务器取得该差越小则表示越高的折扣率的附加性的服务信息。
图419是表示店内的情形中的接收机8300的下个动作的一例的图。
结束了订购及电子结算的接收机8300接收从构成为店铺内的照明设备的发送机通过亮度变化发送的信号,通过将该信号向服务器发送,取得表示用户的座席位置(例如黑圈)的店铺内的导引图。进而,接收机8300与上述实施方式1~15的任一个同样,使用该接收到的信号确定接收机8300的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示到导引图中。由此,用户能够容易地掌握在店铺内怎样前进能到达自己的座席。
此外,接收机8300在用户移动时,也通过与构成为店铺内的照明设备的附近的发送机进行可视光通信,随时进行上述那样的接收机8300的位置的确定。因而,接收机8300将显示的接收机8300的位置(例如星号)依次更新。由此,能够将用户适当地导引到座席。
图420是表示店内的情形中的接收机8300的下个动作的一例的图。
如果用户到达座席,则接收机8300通过与构成为照明设备的发送机8303进行可视光通信,确定接收机8300的位置,判断为该位置处于用户的座席位置。并且,接收机8300将已到达座席的情况与用户名或昵称一起经由服务器向店铺内的终端通知。由此,店员能够掌握哪个用户坐在哪个座席。
图421是表示店内的情形中的接收机8300的下个动作的一例的图。
发送机8303通过亮度变化,发送包括顾客ID和通知订购商品已备好的消息的信号。另外,接收机8300例如在从服务器取得表示商品的菜单等的商品业务信息时,从服务器也取得并保持上述顾客ID。接收机8300通过将发送机8303可视光摄影,接收上述信号。进而,接收机8300判断该信号中包含的顾客ID是否与预先保持的顾客ID一致。这里,接收机8300如果判断为一致,则将在该信号中包含的消息(例如“商品已备好”)显示。
图422是表示店内的情形中的接收机8300的下个动作的一例的图。
将订购商品送达用户的座席的店员为了证明送达了该订购商品,将手持终端8302a朝向接收机8300。手持终端8302a构成为发送机,将表示送达了订购商品的信号通过亮度变化向接收机8300发送。接收机8300通过将手持终端8302a摄像而接收该信号,将由该信号表示的消息(例如“请用餐”)显示。
<情形:寻找店铺>
接着,使用图423~图425,对携带着接收机8300的用户寻找有兴趣的店铺的情形中的应用例进行说明。
图423是表示寻找店铺的情形中的接收机8300的动作的一例的图。
用户发现登载着有兴趣的饮食店的标牌8304。此时,用户如果判断为该标牌8304正通过亮度变化发送信号,则与图409所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图410所示的例子同样,接收机8300使通信应用自动启动。
图424是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标牌8304的整体或标牌8304中的登载着用户有兴趣的饮食店的部分进行摄像,接收用来识别该标牌8304或该饮食店的ID。
图425是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。
接收机8300如果接收到上述ID,则将该ID向服务器发送,从服务器取得与该ID建立了关联的广告信息(服务信息)并显示。此时,接收机8300也可以将进入饮食店的预定人数(附属信息)与该ID一起向服务器通知。由此,接收机8300能够取得与该人数对应的广告信息。例如,接收机8300能够取得表示在该饮食店中是否有该通知的人数量的空席的广告信息。
<情形:电影广告>
接着,使用图426~图429,对携带着接收机8300的用户处于登载着有兴趣的电影广告的标牌前的情形中的应用例进行说明。
图426是表示电影广告的情形中的接收机8300的动作的一例的图。
用户发现登载着有兴趣的电影广告的标牌8305、和例如构成为液晶显示器且显示电影广告用的运动图像的标牌8306。标牌8305例如具备描绘有表示电影广告的图像的透射性的薄膜、和配置在该薄膜的背面侧并将该薄膜照明的多个LED。即,该标牌8305通过多个LED的发光,将描绘在薄膜上的图像作为静止图像明亮地显示。此外,该标牌8305构成为通过亮度变化发送信号的发送机。
这里,用户如果判断该标牌8305正通过亮度变化发送信号,则与图409所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图410所示的例子同样,接收机8300使通信应用自动启动。
图427是表示电影广告的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标牌8305摄像,取得该标牌8305的ID。并且,接收机8300将该ID向服务器发送,将与该ID建立了关联的电影广告用的运动图像数据作为服务信息从服务器下载并再现。
图428是表示电影广告的情形中的接收机8300的下个动作的一例的图。
通过如上述那样下载的运动图像数据的再现而显示的运动图像,例如与由标牌8306显示的运动图像相同。因而,用户在想要观看电影广告用的运动图像的情况下,不用站立在标牌8306前而能够在任意的场所观看该运动图像。
图429是表示电影广告的情形中的接收机8300的下个动作的一例的图。
接收机8300不仅将运动图像数据,还可以与该运动图像数据一起将表示电影的上映时间等的上映信息也作为服务信息下载。由此,接收机8300能够将上映信息的内容显示并向用户通知,并且能够与其他终端(其他智能电话等)共享该上映信息。
<情形:美术馆>
接着,使用图430~图435,对携带着接收机8300的用户进入美术馆鉴赏馆内的各展示物的情形中的应用例进行说明。
图430是表示美术馆的情形中的接收机8300的动作的一例的图。
用户例如在要向美术馆入馆时,发现挂在该美术馆的入口处的导引公告板8307。此时,用户如果判断为该导引公告板8307正通过亮度变化发送信号,则与图409所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图410所示的例子同样,接收机8300使通信应用自动启动。
图431是表示美术馆的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将导引公告板8307摄像,取得该导引公告板8307的ID。并且,接收机8300将该ID向服务器发送,作为与该ID建立了关联的服务信息而将该美术馆的导引用应用程序(以下称作美术馆应用)从服务器下载并使其启动。
图432是表示美术馆的情形中的接收机8300的下个动作的一例的图。
如果美术馆应用启动,则接收机8300按照该美术馆应用,显示美术馆内的导引图。进而,接收机8300与上述实施方式1~15的某种同样,确定接收机8300的美术馆中的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示在导引图中。
接收机8300为了如上述那样确定位置,例如在下载美术馆应用时,从服务器取得表示导引公告板8307的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的导引公告板8307的大小及形状、和在通过上述摄像得到的图像中映照出的导引公告板8307的大小及形状,按照三角测量的方法等,确定接收机8300相对于导引公告板8307的相对位置。
图433是表示美术馆的情形中的接收机8300的下个动作的一例的图。
如上述那样启动了美术馆应用的接收机8300如果用户进入到美术馆内,则通过与处于美术馆内的构成为照明设备的近处的发送机进行可视光通信,随时进行接收机8300的位置的确定。例如,接收机8300通过将构成为照明设备的发送机8308摄像,从该发送机8308取得发送机8308的ID。并且,接收机8300从服务器取得与该ID建立了关联的表示发送机8308的位置的位置信息、和表示发送机8308的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的发送机8308的大小及形状、和在通过上述摄像得到的图像中映照出的发送机8308的大小及形状,按照三角测量的方法等,推测接收机8300相对于发送机8308的相对位置。此外,接收机8300基于从服务器取得的位置信息所表示的发送机8308的位置、和如上述那样推测出的接收机8300的相对位置,确定接收机8300在美术馆中的位置。
并且,接收机8300每当进行了接收机8300的位置的确定,就使显示的星号移动到所确定的最新的位置。由此,进入到美术馆中的用户只要看到显示在接收机8300上的导引图和星号,就能够容易地掌握自己处于美术馆的何处。
图434是表示美术馆的情形中的接收机8300的下个动作的一例的图。
进入到美术馆内的用户如果发现有兴趣的展示物8309,则进行将该接收机8300罩向展示物8309的动作,以使接收机8300能够将该展示物8309摄像。这里,展示物8309被照明设备8310的光照亮。此外,照明设备8310是对于展示物8309专用的,构成为通过亮度变化发送信号的发送机。因而,展示物8309被亮度变化的光照亮,将来自照明设备8310的信号间接地发送。
接收机8300如果基于来自例如内置的9轴传感器的输出而检测到将接收机8300罩向展示物8309的动作,则通过将该展示物8309摄像,接收来自照明设备8310的信号。该信号例如表示展示物8309的ID等。并且,接收机8300从服务器取得与该ID建立了关联的展示物8309的介绍信息(服务信息)。该介绍信息表示用来介绍展示物8309的图,并将用于介绍的文章通过日语、英语及法语等的各国语言表示。
接收机8300如果从服务器取得介绍信息,则将由该介绍信息表示的图和文章显示。这里,接收机8300在将文章显示时,从各国语言的文章中,提取由用户预先设定的语言的文章,仅显示该语言的文章。此外,接收机8300也可以通过用户的选择操作来变更该语言。
图435是表示美术馆的情形中的接收机8300的下个动作的一例的图。
接收机8300如果通过用户的操作结束了介绍信息的图及文章的显示,则再次通过与构成为照明设备的近处的发送机(例如照明设备8311)进行可视光通信,进行接收机8300的位置的确定。并且,接收机8300如果确定了接收机8300的新的位置,则使显示的星号移动到该确定的新的位置。由此,鉴赏完展示物8309的用户通过观看显示在接收机8300上的导引图和星号,能够容易地向下个想要鉴赏的展示物移动。
<情形:公共汽车停靠站>
接着,使用图436~图437,对携带着接收机8300的用户处于公共汽车停靠站的情形中的应用例进行说明。
图436是表示公共汽车停靠站的情形中的接收机8300的动作的一例的图。
用户例如为了乘公共汽车而来到公共汽车停靠站。在此,用户如果判断为处于该公共汽车停靠站的标识塔8312正通过亮度变化发送信号,则与图409所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图410所示的例子同样,接收机8300使通信应用自动启动。
图437是表示公共汽车停靠站的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标识塔8312摄像,取得该标识塔8312所处的公共汽车停靠站的ID。并且,接收机8300将该ID向服务器发送,从服务器取得与该ID建立了关联的运行状况信息。另外,该运行状况信息是表示交通状况的信息,是表示向用户提供的服务的服务信息。
这里,服务器通过从在包括该公共汽车停靠站的地域中运行的各公共汽车收集信息,管理这些公共汽车的运行状况。因而,服务器当从接收机8300取得了公共汽车停靠站的ID时,基于管理的运行状况,推测公共汽车到达该ID的公共汽车停靠站的时间,将表示该推测出的时间的运行状况信息向接收机8300发送。
取得了运行状况信息的接收机8300将由该运行状况信息表示的时间如例如“还有10分钟到达”那样显示。由此,用户能够容易地掌握公共汽车的运行状况。
(补充)
在摄像侧的扫描方向是便携终端的垂直方向(上下方向)的情况下,如果使曝光时间较短而摄像,则对于LED的照明装置整体的开启/关闭,如图438的(a)那样,能够在与扫描方向相同的方向上摄像出作为黑白的样式的亮线。在图438的(a)中,由于将纵长的LED照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像(便携终端的左右方向),所以能够在与扫描方向相同的方向上摄像出许多黑白样式的亮线。即,能够使能够发送接收的信息量变大。另一方面,如图438的(b)那样,在将纵长的LED照明装置以相对于摄像侧的扫描方向为平行的方式摄像的情况(便携终端的上下方向),能够摄像的黑白样式的亮线变少。即,能够发送的信息量变少。
这样,根据相对于摄像侧的扫描方向的LED照明装置的朝向,发生能够摄像出许多黑白样式的亮线的情况(将纵长的LED照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像的情况)、和仅能够摄像出少量的黑白样式的亮线的情况(使纵长的LED照明装置的长边方向相对于摄像侧的扫描方向为平行的情况)。
在本实施方式中,说明即使在仅能够摄像少量的黑白样式的亮线的情况下也能够摄像许多亮线的照明装置的控制方法。
在图439中表示在纵向上配设有多个LED的照明装置和其驱动信号的一例。图439的(a)是在纵向上配设有多个LED的照明装置。设各LED元件相当于将可视光通信信号编码的横条纹的最小单位,相当于编码后的开启/关闭信号。这样,生成黑白的样式,通过将各LED元件开启/关闭而照明,摄像侧的扫描方向与纵长的LED照明装置的长边方向是并行的,能够将LED元件单位的黑白样式摄影。
图439的(c)及(d)表示生成黑白的样式、将各LED元件开启/关闭而照明的例子。在照明装置中,如果作为黑白的样式照明,则尽管是短时间但有光亮中发生不匀的情况。因此,表示生成反相位的样式并交替地照明的例子的为图439的(c)及(d)。在图439的(c)中为开启的元件在图439的(d)中为关闭,在图439的(c)中为关闭的元件在图439的(d)中为开启。通过这样将黑白的样式将正相位的样式和反相位的样式依次交替而照明,不会发生光亮的不匀,并且不受摄像侧的扫描方向与照明装置的朝向的关系的影响,在可视光通信中能够收发较多的信息。此外,并不限于交替地生成正相位的样式、反相位的样式这两种样式而照明的情况,也可以考虑生成3种以上的样式而照明的情况。图440表示将4种样式依次照明的例子。
通常,也可以考虑LED照明整体进行闪烁(图439的(b))、以规定时间生成黑白样式而以LED元件单位照明的结构。例如,可以考虑在规定的数据单位的收发的时间中LED照明整体进行闪烁、然后在短时间中以LED元件单位照明黑白样式的结构。这里,规定的数据单位例如是指从第1头到接下来的第2头的数据单位。此时,在图438的(a)的方向上摄像的情况下从将LED照明整体的闪烁进行了摄像的亮线接收信号,在图438的(b)的方向上接收的情况下从LED元件单位的发光样式接收信号。
另外,本实施方式并不限定于LED照明装置,只要是与LED元件同样能够以较小的元件单位控制开启/关闭的元件,是怎样的元件都可以。此外,并不限于照明装置,也可以是电视机、投影机、或标牌等装置。
此外,在本实施方式中,对以黑白样式照明的例子进行了说明,但也可以不是黑白样式而使用颜色。例如,也可以使RGB中的RG总是点灯、仅使用B来闪烁。与R及G相比,仅使用B时不易被人辨识,能够抑制闪变。作为另一例,也可以代替黑白样式而使用在加法混色中为互补色的颜色(红和青绿的样式、绿和洋红的样式、黄和蓝的样式等)来显示开启/关闭。通过使用在加法混中为互补色的颜色,能够抑制闪变。
此外,在本实施方式中,使用将LED元件1维地配置的例子进行了说明,但也可以不是将LED元件1维地排列,而是2维地配置,如2维条码那样进行显示。
(本实施方式的总结)
本实施方式的服务提供方法,使用具备具有多个曝光行的图像传感器的终端装置向上述终端装置的用户提供服务,包括:图像取得步骤,将上述图像传感器的各曝光行的曝光依次在不同的时刻开始,并且以1/480秒以下的曝光时间进行被摄体的摄影以使上述各曝光行的曝光时间在与相邻的曝光行之间具有局部的时间上的重叠,由此取得图像数据;可视光通信步骤,通过将上述图像数据中出现的、与上述各曝光行对应的亮线样式解调,取得上述被摄体的识别信息;以及服务提示步骤,将与上述被摄体的识别信息建立了关联的服务信息向上述用户提示。
由此,利用被摄体及终端装置分别作为发送机及接收机而相互通信,向终端装置的用户提示与被摄体关联的服务信息,所以能够将对于用户而言有益的信息作为服务以多种形态向该用户提供。例如,在上述服务提示步骤中,将与上述被摄体关联的店铺的广告、表示空席状况或预约状况的信息、表示商品或业务的价格的折扣率的信息、电影广告用的运动图像、表示上映时间的信息、用来在建筑物内部导引的信息、用来介绍展示物的信息、和表示交通状况的信息中的至少1个作为上述服务信息提示。
此外,也可以是,上述服务提供方法还包括:识别信息发送步骤,上述终端装置将上述被摄体的识别信息向服务器发送;以及服务取得步骤,上述终端装置从上述服务器取得与上述被摄体的识别信息建立了关联的上述服务信息;在上述服务提示步骤中,上述终端装置将所取得的上述服务信息向上述用户提示。
由此,能够将服务信息与被摄体的识别信息建立关联而使服务器管理,所以能够使服务信息的更新等的维护变容易。
此外,也可以是,在上述识别信息发送步骤中,与上述被摄体的识别信息一起将附属信息向上述服务器发送;在上述服务取得步骤中,取得与上述被摄体的识别信息和上述附属信息建立了关联的上述服务信息。
由此,能够提供与附属信息对应的、对于用户而言更适当的服务。例如,如使用图412及图425说明的动作那样,在上述识别信息发送步骤中,将上述用户的个人信息、上述用户的识别信息、表示包括上述用户的组的人数的人数信息或表示上述终端装置的位置的位置信息作为上述附属信息发送。
此外,也可以是,上述服务提供方法还包括:位置发送步骤,上述终端装置将表示上述终端装置的位置的位置信息向服务器发送;以及事前取得步骤,上述终端装置从上述服务器取得并保持处于包括由上述位置信息表示的位置的规定的范围中的至少1个设备的识别信息、和与上述识别信息分别建立了关联的至少1个服务信息;在上述服务提示步骤中,上述终端装置从在上述事前取得步骤中保持的上述至少1个服务信息之中,选择与上述被摄体的上述识别信息建立了关联的服务信息,将该服务信息向上述用户提示。
由此,例如如使用图410说明的动作那样,当终端装置取得了被摄体的识别信息时,其后不用与服务器等通信就能够从预先保持的至少1个服务信息之中取得与该被摄体的识别信息建立了关联的服务信息并提示。因而,能够使服务的提供高速化。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及商品业务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置从服务器取得关于上述店铺的商品或业务的商品业务信息,并向上述用户提示。
由此,如使用例如图414~图418说明的动作那样,如果用户进入到店铺中,则能够将店铺的菜单等作商品业务信息自动地向用户提示。因而,店铺的店员不需要将菜单等向用户提示,用户便能够对店铺简单地进行订购。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述被摄体的位置及上述服务信息被提示的时刻中的至少一方而不同的上述店铺的附加性的服务信息。
由此,如使用例如图414~图418说明的处理那样,被摄体距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻(或进行了被摄体的摄影的时刻)越接近,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。具体而言,有属于连锁店的多个店铺分别是与在服务提示步骤中提示的服务信息对应的店铺、由这些店铺中的1个店铺(广告店铺)发出了作为被摄体的招牌的情况。在这样的情况下,属于上述连锁店的多个店铺中的广告店铺典型地处于距该被摄体(招牌)最近的位置。因而,被摄体距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻越接近,用户进入的店铺是广告店铺的可能性越高。所以,在用户进入到广告店铺中的可能性较高的情况下,能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述用户在上述店铺中利用了由上述服务信息表示的服务的次数而不同的上述店铺的附加性的服务信息。
由此,如使用例如图414~图418说明的动作那样,服务的利用次数越多,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。例如可以是,如果表示商品价格的20%折扣的服务信息的利用次数超过阈值,则将表示10%的进一步的折扣的附加性的服务信息向用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;完全判断步骤,当在上述进店判别步骤中判别为上述用户进入到了上述店铺中时,判断是否对与上述店铺建立了关联的上述被摄体以外的全部的其他被摄体分别也进行了包括上述图像取得步骤、上述可视光通信步骤以及上述服务提示步骤的处理;以及附加服务提示步骤,当在上述完全判断步骤中判断为进行了上述处理时,上述终端装置向上述用户提示上述店铺的附加性的服务信息。
由此,如使用例如图414~图418说明的动作那样,例如店铺将一些被摄体作为招牌发出,在对这些招牌的全部进行了图像取得步骤、可视光通信步骤及服务提示步骤的情况下,能够将对于用户而言最有益的服务信息作为附加性的服务信息向该用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述服务信息被提示的时刻与上述用户进入到上述店铺中时刻的差而不同的上述店铺的附加性的服务信息。
由此,如使用例如图414~图418说明的动作那样,服务信息被提示的时刻(或进行了被摄体的摄影的时刻)与用户进入到店铺中的时刻的差越小,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。即,能够对从通过被摄体的摄像接受服务信息的提示起到进店为止的时间较短的用户附加地提供更有益的服务。
此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;以及解析步骤,每当上述服务信息被提示,就将在上述利用判断步骤中判断的结果累积,基于累积的内容解析上述被摄体的广告效果。
如使用例如图414~图418说明的动作那样,在服务信息中示出商品价格的20%折扣等的服务的情况下,判断该服务是否通过例如电子结算而被利用。即,每当在被摄体的摄像时向用户提供服务,就判断该服务是否被利用。结果,例如在判断为被利用的情况较多的情况下,能够解析为被摄体的广告效果较高。即,能够基于利用结果适当地解析被摄体的广告效果。
此外,也可以是,在上述解析步骤中,与在上述利用判断步骤中判断出的结果一起,将上述被摄体的位置、上述服务信息被提示的时刻、上述店铺的位置及上述用户进入到上述店铺中的时刻中的至少1个累积,基于累积的内容解析上述被摄体的广告效果。
由此,能够将被摄体的广告效果更详细地解析。例如在改变了被摄体的位置的情况下,能够将改变位置的前后的广告效果比较,结果,能够将被摄体发出到广告效果较高的位置。
此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与在上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;店铺判断步骤,当在上述利用判断步骤中判断为利用了上述服务时,判断作为利用了上述服务的店铺的利用店铺是否是与上述被摄体建立了关联的特定店铺;以及返还步骤,当在上述店铺判断步骤中判断为上述利用店铺不是上述特定店铺时,将在上述利用店铺中利用上述服务而结算的金额的至少一部分使用电子商务交易向上述特定店铺返还。
由此,即使如使用例如图414~图418说明的动作那样,即使在没有在特定店铺(例如发出作为被摄体的招牌的广告店铺)利用服务的情况下,特定店铺也能够作为例如对作为被摄体的招牌的设置的补偿而得到利益。
此外,也可以是,在上述服务提示步骤中,在上述图像取得步骤中摄影了被亮度变化的光照射的上述被摄体的情况下,上述终端装置向上述用户提示用来介绍上述被摄体的上述服务信息,在上述图像取得步骤中将亮度变化的照明设备作为上述被摄体摄影的情况下,上述终端装置向上述用户提示用来在配置有上述被摄体的建筑物内部进行导引的上述服务信息。
由此,如使用例如图433及图434说明的动作那样,能够将例如美术馆等的馆内的导引服务和作为被摄体的展示物的介绍服务适当地向用户提供。
此外,本实施方式的信息通信方法,从具有多个发光元件的被摄体取得信息,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的各曝光行对应的亮线;图像取得步骤,上述图像传感器在设定的上述曝光时间中摄影按照用来表示第1信息的亮度变化的样式而上述多个发光元件的全部以相同的方式亮度变化的上述被摄体,由此取得作为包含上述亮线的图像的亮线图像;第1信息取得步骤,将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据进行解调,由此取得上述第1信息;以及第2信息取得步骤,将上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光的上述被摄体摄影,将由通过摄影得到的图像中表示的、沿着与上述曝光行平行的方向的亮度的明暗的排列确定的数据进行解调,由此取得第2信息。
或者,本实施方式的信息通信方法,通过亮度变化发送信号,包括:决定步骤,通过将发送对象的第1信号调制,决定亮度变化的样式;第1发送步骤,按照所决定的上述亮度变化的样式,发光体具有的多个发光元件的全部以相同的方式亮度变化,由此发送上述第1信号;以及第2发送步骤,上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光,在配置有上述发光体的空间上呈现亮度的明暗的排列,由此将发送对象的第2信号发送。
由此,如使用例如图438~图440说明的动作那样,即使作为被摄体或发光体的照明装置是具备排列为一列的多个LED的细长的结构,接收机也能够与摄影的朝向无关地适当地取得来自该照明装置的信息或信号。即,在接收机所具备的图像传感器的曝光行(摄像侧的操作方向)与多个LED的排列方向不平行的情况下,接收机能够根据照明装置的整体的亮度变化,适当地取得信息或信号。进而,接收机在曝光行与上述排列方向平行的情况下,接收机也能够根据沿着与曝光行平行的方向的亮度的明暗的排列,适当地取得信息或信号。换言之,能够抑制摄像的朝向对于信息的接收的依赖性。
(实施方式17)
在本实施方式中,对使用上述实施方式3~16的智能电话等的接收机、和作为LED或有机EL等的闪烁样式发送信息的发送机的应用例进行说明。
图441是表示实施方式17的发送机的动作的一例的图。
发送机8321、发送机8322及发送机8323分别具备与上述实施方式1~16的任一种发送机同样的功能,构成为通过亮度变化而发送信号(可视光通信)的照明设备。此外,这些发送机8321~8323通过分别以相互不同的频率进行亮度变化来发送信号。例如,发送机8321通过以频率a(例如9200Hz)进行亮度变化来发送该发送机8321的ID“1000”,发送机8322通过以频率b(例如9600Hz)进行亮度变化来发送该发送机8322的ID“2000”,发送机8323通过以频率c(例如10000Hz)进行亮度变化来发送该发送机8323的ID“3000”。
接收机以这些发送机8321~8323全部包含在视角中的方式,将发送机8321~8323与上述实施方式1~16同样地摄像(可视光摄影)。在通过该摄像得到的图像中,显现与各发送机对应的亮线样式。另外,根据亮线样式,能够确定与该亮线样式对应的发送机的亮度变化的频率。
这里,假如在发送机8321~8323各自的频率相同的情况下,根据与发送机分别对应的亮线样式确定的频率也相同。进而,在这些亮线样式相互相邻的情况下,根据这些亮线样式确定的频率也相同,所以难以将这些亮线样式区别。
所以,如上述那样,通过发送机8321~8323以相互不同的频率进行亮度变化,接收机能够将这些亮线样式容易地区别,通过将由各自的亮线样式确定的数据解调,能够适当地取得发送机8321~8323各自的ID。即,接收机能够将来自发送机8321~8323的信号适当地区别。
另外,发送机8321~8323各自的频率既可以由遥控器设定,也可以随机地设定。此外,也可以是发送机8321~8323分别与旁边的发送机通信,自动地设定自身发送机的频率以使其与旁边的通信机的频率不同。
图442是表示实施方式17的发送机的动作的一例的图。
在上述例子中,发送机以分别不同的频率进行亮度变化,但在有5个以上的发送机的情况下,也可以不以分别不同的频率进行亮度变化。即,5个以上的发送机只要分别以4种频率中的某1个频率进行亮度变化就可以。
例如,如图442所示,即使是与5个以上的发送机分别对应的亮线样式(图442中的矩形区域)相邻的状况,频率的种类也不是需要发送机的数量,而是只要有4种(频率a、b、c、d),就能够使相互相邻的亮线样式的频率可靠地不同。这由四色问题或四色定理给出理由。
即,在本实施方式中,多个发送机分别以至少4种频率中的某1个频率进行亮度变化,多个发送机中的两个以上的发光体以相同的频率进行亮度变化。此外,在向接收机的图像传感器的受光面投影该多个发送机的情况下,该多个发送机分别亮度变化,以使得在该受光面上相互相邻的全部的发送机(作为发送机的像的亮线样式)间亮度变化的频率不同。
图443是表示实施方式17的发送机的动作的一例的图。
发送机通过按照预先设定的时间单位(时隙)输出较高的亮度的光(H)或较低的亮度的光(L)而亮度变化,通过该亮度变化发送信号。这里,发送机按照由头和体构成的块发送信号。头例如如图407A所示那样使用7个时隙表现为(L,H,L,H,L,H,H)。并且,体由多个符号(00,01,10或11)构成,各符号使用4个时隙(4值PPM)表现。此外,块使用预先设定的数量(在图443的例子中是19)的时隙来表现。此外,ID是通过将例如包含在4个块的各自中的体结合而得到的。另外,块也可以使用33个时隙表现。
通过接收机的摄像得到的亮线样式包括与该头对应的样式(头样式)和与体对应的样式(数据样式)。在数据样式中不包括与头样式相同的样式。因而,接收机能够根据亮线样式容易地找出头样式,能够计测头样式与下个头样式之间的像素数(与块对应的曝光行的数量)。接收机由于1块的时隙数(在图443的例子中是19)不论频率如何都被设定为固定的数量,所以能够根据该计测的像素数确定发送机的频率(1时隙的时间幅度的倒数)。即,接收机像素数越多则确定越低的频率,像素数越少则确定越高的频率。
这样,接收机能够通过发送机的摄像取得该发送机的ID,并且能够确定该发送机的频率。这里,接收机能够利用这样确定的频率,判断所取得的ID是否是适当的,即能够进行ID的错误检测。具体而言,接收机计算与ID对应的散列值,将该散列值与所确定的频率比较。接收机在该散列值与频率一致的情况下,判断所取得的ID是适当的,在不一致的情况下,判断所取得的ID是不适当的(错误)的。例如,接收机将用预先设定的除数除ID的余数作为散列值来处理。反言之,发送机通过以与对应于发送对象的ID的散列值相同的值的频率(1个时隙的时间幅度的倒数)进行亮度变化,发送该发送对象的ID。
图444是表示实施方式17的发送机及接收机的动作的一例的图。
发送机也可以不使用如上述那样与散列值相同的值的频率,而使用任意的频率以该任意的频率进行亮度变化。在此情况下,发送机将表示与该发送机的ID不同的值的信号发送。例如,在发送机的ID是“100”、该发送机作为任意的频率而使用2kHz的情况下,发送机发送组合了ID和频率的信号“1002”。同样,在其他发送机的ID是“110”、其他发送机作为任意的频率而使用1kHz的情况下,其他发送机发送组合了ID和频率的信号“1101”。
在此情况下,接收机将从发送机发送而取得的信号中的下数第一位的数值用于错误检测,将其余的位的数值作为发送机的ID提取。并且,接收机将根据亮度样式确定的频率与在所取得的信号中包含的上述下数第一位的数值比较。接收机在该下数第一位的数值与频率一致的情况下,判断为提取出的ID是适当的,在不一致的情况下,判断为所提取的ID是不适当的(错误)。
由此,在接收机中能够进行错误检测,并且能够增加发送机中的亮度变化的频率的设定自由度。
图445是表示实施方式17的接收机的动作的一例的图。
如图445所示,在通过接收机的摄像(可视光摄影)得到的图像中,有亮线样式8327a和亮线样式8327b的各自的一部分重叠的情况。在这样的情况下,接收机从亮线样式8327a和亮线样式8327b重叠的部分8327c不进行数据的解调,而从亮线样式8327a和亮线样式8327b的各自的部分8327c以外的部分进行数据的解调。由此,接收机能够从亮线样式8327a和亮线样式8327b分别取得适当的ID。
图446是表示实施方式17的接收机的动作的一例的图。
发送机如图433的(a)所示,例如按照块切换用来将该块发送的亮度变化的频率。由此,接收机能够更容易地判别块与块的划分。
此外,发送机如图433的(b)所示,例如使用来对块的头进行发送的亮度变化的频率与用来对该块的体进行发送的亮度变化的频率不同。由此,能够抑制在体中出现与头相同的样式。结果,接收机能够更适当地判断头和体的区别。
图447是表示实施方式17的具有发送机、接收机及服务器的系统的动作的一例的图。
本实施方式的系统具备发送机8331、接收机8332和服务器8333。发送机8331具备与上述实施方式1~16的某个发送机同样的功能,构成为将发送机8331的ID通过亮度变化进行发送(可视光通信)的照明设备。接收机8332具备作为上述实施方式1~16的某个接收机的功能,通过将发送机8331摄像(可视光摄影),从该发送机8331取得发送机8331的ID。服务器8333与发送机8331及接收机8332经由例如因特网等网络进行通信。
另外,在本实施方式中,发送机8331的ID不变更而被固定。另一方面,在发送机8331的亮度变化(可视光通信)中使用的频率可以通过设定而任意地变更。
在这样的系统中,发送机8331首先将在亮度变化(可视光通信)中使用的频率向服务器8333登记。具体而言,发送机8331将自身ID、表示其频率的登记频率信息、以及与发送机8331关联的关联信息向服务器8333发送。服务器8333如果接收到发送机8331的ID、登记频率信息和关联信息,则将它们建立关联而记录。即,将发送机8331的ID、在发送机8331的亮度变化中使用的频率、以及关联信息相互建立关联而记录。由此,将在发送机8331的亮度变化中使用的频率登记。
接着,发送机8331通过该登记的频率的亮度变化,将发送机8331的ID发送。接收机8332通过将发送机8331摄像,取得该ID,并且与上述同样,确定该发送机8331的亮度变化的频率。
接着,接收机8332将该取得的ID和表示所确定的频率的确定频率信息向服务器8333发送。服务器8333如果接收到由接收机8332发送的ID及确定频率信息,则检索与该ID建立关联记录的频率(由登记频率信息表示的频率),判断该记录的频率与由确定频率信息表示的频率是否一致。这里,如果判断为一致,则服务器8333将与该ID及频率建立关联记录的关联信息(数据)向接收机8332发送。
由此,如果由接收机8332确定的频率与登记在服务器8333中的频率不一致,则不会从服务器8333向接收机8332发送关联信息。因而,通过将登记到服务器8333中的频率随时变更,能够防止只要接收机8332从发送机8331即便一次取得ID、接收机8332就成为总是能够从服务器8333获取关联信息的状态的情况。即,发送机8331通过将登记在服务器8333中的频率(即在亮度变化中使用的频率)变更,能够将由在变更前取得了ID的接收机8332进行的关联信息的取得禁止。换言之,通过频率的变更,能够对关联信息的取得设定有效期限。例如,在接收机8332的用户住宿在设有发送机8331的旅馆中的情况下,在住宿后旅馆的管理者将频率变更。由此,接收机8332仅在该用户住宿的日子能够取得关联信息,在住宿后能够禁止该接收机8332取得关联信息。
另外,服务器8333也可以将多个频率与1个ID建立关联而登记。例如,服务器8333每当从接收机8332取得登记频率信息,就总是将由最新的4个登记频率信息表示的频率与ID建立关联而登记。由此,即使是过去取得了ID的接收机8332,直到频率被变更3次,也能够从服务器8333取得关联信息。此外,服务器8333也可以按照登记的每个频率,管理该频率被设定给发送机8331的时刻或时间带。在此情况下,服务器8333当从接收机8332接受到ID及确定频率信息时,通过确认对于由该确定频率信息表示的频率管理的时间带等,能够确定该接收机8332取得了ID的时间带。
图448是表示实施方式17的发送机的结构的框图。
发送机8334具备与上述实施方式1~16的某个发送机同样的功能,并且具备频率存储部8335、ID存储部8336、检验值存储部8337、检验值比较部8338、检验值计算部8339、频率计算部8340、频率比较部8341、发送部8342及错误报告部8343。
频率存储部8335存储有在亮度变化(可视光通信)中使用的频率。ID存储部8336存储有发送机8334的ID。检验值存储部8337存储有用来判断存储在ID存储部8336中的ID是否适当的检验值。
检验值计算部8339将存储在ID存储部8336中的ID读出,通过对该ID应用规定的函数,计算与该ID对应的检验值(计算检验值)。检验值比较部8338将存储在检验值存储部8337中的检验值读出,将该检验值与通过检验值计算部8339计算出的计算检验值比较。检验值比较部8338如果判断为计算检验值与检验值不同,则将错误向错误报告部8343通知。例如,检验值存储部8337将表示存储在ID存储部8336中的ID是偶数的值“0”作为检验值存储。检验值计算部8339通过将存储在ID存储部8336中的ID读出并用值“2”除,计算其余数作为计算检验值。并且,检验值比较部8338将检验值“0”和作为上述除法的余数的计算检验值进行比较。
频率计算部8340将存储在ID存储部8336中的ID经由检验值计算部8339读出,根据该ID计算频率(计算频率)。例如,频率计算部8340通过将ID用预先设定的值除,计算其余数作为频率。频率比较部8341将存储在频率存储部8335中的频率(存储频率)与计算频率进行比较。频率比较部8341如果判断为计算频率与存储频率不同,则将错误向错误报告部8343通知。
发送部8342通过以由频率计算部8340计算出的计算频率进行亮度变化,将存储在ID存储部8336中的ID发送。
错误报告部8343当被从检验值比较部8338及频率比较部8341中的至少一方通知了错误时,通过蜂鸣音、闪烁或点灯等来报告错误。具体而言,错误报告部8343具备灯以用于错误的报告,通过使该灯点灯或闪烁来报告错误。或者,错误报告部8343当发送机8334的电源开关被切换为ON时,通过使为了发送ID等信号而亮度变化的光源在规定的期间(例如10秒)以人能够辨别的周期闪烁来报告错误。
由此,检验存储在ID存储部8336中的ID和根据该ID计算的频率是否适当,所以能够防止错误的ID的发送和错误的频率下的亮度变化。
图449是表示实施方式17的接收机的结构的框图。
接收机8344具备与上述实施方式1~16的某个接收机同样的功能,并且具备受光部8345、频率检测部8346、ID检测部8347、频率比较部8348及频率计算部8349。
受光部8345例如具备图像传感器,通过将亮度变化的发送机摄像(可视光摄影),取得包括亮线样式的图像。ID检测部8347从该图像中检测发送机的ID。即,ID检测部8347通过将由该图像中包含的亮线样式确定的数据解调,取得发送机的ID。频率检测部8346根据该图像来检测发送机的亮度变化的频率。即,频率检测部8346如使用图443说明的例子那样,根据该图像中包含的亮线样式确定发送机的频率。
频率计算部8349根据由ID检测部8347检测到的ID,例如如上述那样对ID进行除法,由此计算发送机的频率。频率比较部8348将由频率检测部8346检测出的频率与由频率计算部8349计算出的频率比较。这里,频率比较部8348在这些频率不同的情况下,判断为检测到的ID是错误的,使ID检测部8347重新进行ID的检测。由此,能够防止取得错误的ID。
图450是表示实施方式17的发送机的动作的一例的图。
发送机也可以通过在预先设定的时间单位中使有亮度变化的位置不同,将符号“00,01,10,11”分别区别而发送。
例如在将符号“00”发送时,发送机通过仅在时间单位中的最初的区间即第1区间中亮度变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过仅在时间单位中的第二个区间即第2区间中亮度变化,将该符号“01”发送。同样,当发送符号“10”时,发送机通过仅在时间单位中的第三个区间即第3区间中亮度变化,将该符号“10”发送,在将符号“11”发送时,发送机通过仅在时间单位中的第四个区间即第4区间中亮度变化,将该符号“11”发送。
这样,在本实施方式中,在将哪个符号发送时,在1个区间内都亮度变化,所以与使1个区间(时隙)的整体为较低的亮度的上述发送机相比,能够抑制闪变。
图451是表示实施方式17的发送机的动作的一例的图。
发送机也可以通过在预先设定的时间单位中使亮度变化的有无不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位中不亮度变化,发送该符号“0”。此外,在将符号“1”发送时,发送机通过在时间单位中亮度变化,将该符号“1”发送。
图452是表示实施方式17的发送机的动作的一例的图。
发送机也可以通过使预先设定的时间单位中的亮度变化的剧烈度(频率)不同,来将符号“00,01,10,11”分别区别而发送。例如,在将符号“00”发送时,发送机通过在时间单位中不亮度变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过在时间单位中亮度变化(以较低的频率亮度变化),将该符号“01”发送。此外,在将符号“10”发送时,发送机通过在时间单位中剧烈地亮度变化(以较高的频率亮度变化),将该符号“10”发送。并且,在将符号“11”发送时,发送机通过在时间单位中更剧烈地亮度变化(以更高的频率亮度变化),将该符号“11”发送。
图453是表示实施方式17的发送机的动作的一例的图。
发送机也可以通过使预先设定的时间单位中的亮度变化的相位不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位以预先设定的相位进行亮度变化,将该符号“0”发送。此外,在将符号“1”发送时,发送机通过在时间单位中以与上述相位相反的相位进行亮度变化,将该符号“1”发送。
图454是表示实施方式17的发送机的动作的一例的图。
发送机在将ID等信号发送时,也可以按照例如红色、绿色及蓝色等的每个颜色而亮度变化。由此,对于能够识别每个颜色的亮度变化的接收机,发送机能够将更多的信息量的信号发送。此外,也可以将某种颜色的亮度变化用于时钟对准。例如也可以将红色的亮度变化用于时钟对准。在此情况下,红色的亮度变化作为头发挥作用。结果,在红色以外的颜色(绿色及蓝色)的亮度变化中不需要使用头,能够抑制冗长的数据的发送。
图455是表示实施方式17的发送机的动作的一例图。
发送机例如也可以通过将红色、绿色及蓝色等多个颜色合成来表现合成色(例如白色)的亮度。即,发送机通过按照红色、绿色及蓝色等每个颜色进行亮度变化,表现合成色的亮度变化。通过该合成色的亮度变化,与上述可视光通信同样,将发送对象的信号发送。这里,也可以将红色、绿色及蓝色中的某1个以上的颜色的亮度在用来表现合成色的预先设定的亮度的调整用中使用。由此,能够通过合成色的亮度变化发送信号,并能够通过红色、绿色及蓝色中的某两个颜色的亮度变化来发送信号。即,发送机对于仅能够识别上述那样的合成色(例如白色)的亮度变化的接收机也能够发送信号,并且对于红色、绿色及蓝色等各色都能够识别的接收机能够将更多的信号例如作为附带信息进行发送。
图456是表示实施方式17的发送机的动作的一例的图。
发送机具备4个光源。这4个光源(例如LED电灯)分别发出在图456表示的CIExy色度图中由相互不同的位置8351a、8351b、8352a、8352b表示的颜色的光。
发送机通过切换第1点灯发送和第2点灯发送来发送各信号。这里,第1点灯发送是在4个光源中、通过使发出位置8351a的颜色的光的光源和发出位置8351b的颜色的光的光源点灯、来发送信号“0”的处理。此外,第2点灯发送是通过使发出位置8352a的颜色的光的光源和发出位置8352b的颜色的光的光源点灯、来发送信号“1”的处理。接收机的图像传感器由于能够识别由位置8351a、8351b、8352a、8352b分别表示的颜色,所以接收机能够将信号“0”和信号“1”适当地接收。
这里,在进行第1点灯发送时,在CIExy色度图中由处于位置8351a、8351b的中间的位置表示的颜色映入人的眼中。同样,在进行第2点灯发送时,在CIExy色度图中由处于位置8352a、8352b的中间的位置表示的颜色映入人的眼中。因而,通过将4个光源的颜色及亮度适当地调整,能够使处于位置8351a、8351b的中间的位置和处于位置8352a、8352b的中间的位置(与位置8353)一致。由此,即使切换第1点灯发送和第2点灯发送,在人的眼中也映照为发送机的发光色被固定,所以能够抑制人感到闪变。
图457是表示实施方式17的发送机及接收机的动作的一例的图。
发送机具备ID存储部8361、随机数生成部8362、加法部8363,加密部8364及发送部8365。ID存储部8361存储有发送机的ID。随机数生成部8362每一定时间生成不同的随机数。加法部8363将由随机数生成部8362生成的最新的随机数对存储在ID存储部8361中的ID进行组合,将其结果作为编辑ID输出。加密部8364通过对该编辑ID进行加密而生成加密编辑ID。发送部8365通过亮度变化而将该加密编辑ID向接收机发送。
接收机具备接收部8366、解密部8367及ID取得部8368。接收部8366通过将发送机摄像(可视光摄影),从发送机接收加密编辑ID。解密部8367通过将该接收到的加密编辑ID解密,将编辑ID复原。ID取得部8368通过从复原后的编辑ID中提取ID,取得该ID。
例如,ID存储部8361存储有ID“100”,随机数生成部8362生成最新的随机数“817”(例1)。在此情况下,加法部8363通过将随机数“817”对ID“100”组合,生成编辑ID“100817”并输出。加密部8364通过对该编辑ID“100817”进行加密,生成加密编辑ID“abced”。接收机的解密部8367通过将该加密编辑ID“abced”解密,将编辑ID“100817”复原。并且,ID取得部8368从复原后的编辑ID“100817”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
接着,随机数生成部8362生成新的随机数“619”(例2)。在此情况下,加法部8363通过将随机数“619”对ID“100”组合,生成编辑ID“100619”并输出。加密部8364通过对该编辑ID“100619”进行加密,生成加密编辑ID“difia”。发送机的解密部8367通过将该加密编辑ID“difia”解密,将编辑ID“100619”复原。并且,ID取得部8368从复原后的编辑ID“100619”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
这样,发送机不是将ID单纯地加密,而是将组合了按每一定时间被变更的随机数而得到的值进行加密,所以能够防止根据从发送部8365发送的信号简单地解读ID。即,在将单纯被加密的ID从发送机向接收机多次发送的情况下,即使该ID被加密,由于只要该ID相同,从发送机向接收机发送的信号也相同,所以也有可能将该ID解读。但是,在图457所示的例子中,将按每一定时间被变更的随机数与ID组合,将组合了该随机数的ID加密。因而,即使是将相同的ID向接收机多次发送的情况,只要这些ID的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止ID被容易地解读。
图458是表示实施方式17的发送机及接收机的动作的一例的图。
发送机具备ID存储部8371、计时部8372、加法部8373、加密部8374及发送部8375。ID存储部8371存储有发送机的ID。计时部8372计时,输出当前日期时间(当前的年月日及时刻)。加法部8373对于存储在ID存储部8371中的ID,将从计时部8372输出的当前日期时间作为发送日期时间进行组合,将其结果作为编辑ID输出。加密部8374通过对该编辑ID进行加密而生成加密编辑ID。发送部8375通过亮度变化,将该加密编辑ID向接收机发送。
接收机具备接收部8376、解密部8377、有效判断部8378及计时部8379。接收部8376通过将发送机摄像(可视光摄影),从发送机接收加密编辑ID。解密部8377通过将该接收到的加密编辑ID解密,将编辑ID复原。计时部8379计时,输出当前日期时间(当前的年月日及时刻)。有效判断部8378通过从复原后的编辑ID中提取ID而取得该ID。进而,有效判断部8378从复原后的编辑ID中提取发送日期时间,通过将该发送日期时间与从计时部8379输出的当前日期时间进行比较,判断该ID的有效性。例如,有效判断部8378在发送日期时间与当前日期时间的差比预先设定的时间长的情况下,或在发送日期时间比当前日期时间新的情况下,判断为该ID是无效的。
例如,ID存储部8371存储有ID“100”,计时部8372将当前日期时间“201305011200”(2013年5月1日12时0分)作为发送日期时间输出(例1)。在此情况下,加法部8373通过对ID“100”组合发送日期时间“201305011200”,生成编辑ID“100201305011200”并输出。加密部8374通过对该编辑ID“100201305011200”进行加密,生成加密编辑ID“ei39ks”。接收机的解密部8377通过将该加密编辑ID“ei39ks”解密,将编辑ID“100201305011200”复原。并且,有效判断部8378从复原后的编辑ID“100201305011200”中提取ID“100”。换言之,有效判断部8378通过将编辑ID的下12位删除而取得ID“100”。进而,有效判断部8378从复原后的编辑ID“100201305011200”中提取发送日期时间“201305011200”。并且,如果发送日期时间“201305011200”比从计时部8379输出的当前日期时间早、该发送日期时间与当前日期时间的差例如是10分钟以内,则有效判断部8378判断为该ID“100”是有效的。
另一方面,ID存储部8371存储有ID“100”,计时部8372将当前日期时间“201401011730”(2014年1月1日17时30分)作为发送日期时间输出(例2)。在此情况下,加法部8373通过对ID“100”组合发送日期时间“201401011730”,生成编辑ID“100201401011730”并输出。加密部8374通过对该编辑ID“100201401011730”进行加密,生成加密编辑ID“002jflk”。接收机的解密部8377通过将该加密编辑ID“002jflk”解密,将编辑ID“100201401011730”复原。并且,有效判断部8378从复原后的编辑ID“100201401011730”中提取ID“100”。换言之,有效判断部8378通过将编辑ID的下12位删除而取得ID“100”。进而,有效判断部8378从复原后的编辑ID“100201401011730”中提取发送日期时间“201401011730”。并且,如果发送日期时间“201401011730”比从计时部8379输出的当前日期时间新,则有效判断部8378判断为该ID“100”是无效的。
这样,发送机不是将ID单纯地加密,而是将组合了按每一定时间被变更的当前日期时间而得到的值进行加密,所以能够防止从发送部8375发送的信号简单地解读ID。即,在将单纯被加密的ID从发送机向接收机多次发送的情况下,即使该ID被加密,由于只要该ID相同,从发送机向接收机发送的信号也相同,所以也有可能将该ID解读。但是,在图458所示的例子中,将按每一定时间被变更的当前日期时间与ID组合,将组合了该当前日期时间的ID加密。因而,即使是将相同的ID向接收机多次发送的情况,也只要这些ID的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止ID被容易地解读。
进而,通过将加密编辑ID被发送的发送日期时间与当前日期时间进行比较,判断所取得的ID是否有效,所以能够基于发送接收的时间来管理ID的有效性。
另外,也可以是,图457及图458所示的接收机如果取得加密编辑ID,则将该加密编辑ID向服务器发送,从该服务器取得ID。
(车站中的导引)
图459是表示电车的站台中的本发明的利用形态的一例的图。用户使便携终端面向电子公告板或照明,通过可视光通信,取得显示在电子公告板上的信息、或者设置有电子公告板的车站的电车信息/车站的站内信息等。这里,既可以将显示在电子公告板上的信息自身通过可视光通信向便携终端发送,也可以将与电子公告板对应的ID信息向便携终端发送,便携终端通过将所取得的ID信息向服务器查询,取得显示在电子公告板上的信息。服务器在从便携终端发送来ID信息的情况下,基于ID信息,将显示在电子公告板上的内容向便携终端发送。将保存在便携终端的存储器中的电车的车票信息与显示在电子公告板上的信息对比,在与用户的车票对应的车票信息显示在电子公告板上的情况下,在便携终端的显示器上,显示表示向用户计划乘坐的电车到达的站台的前往地的箭头。也可以在下车时显示到出口或距换乘路径较近的车辆的路径。在座席指定的情况下,也可以显示到该座席的路径。当显示箭头时,通过使用与地图或电车导引信息中的电车的路线的颜色相同的颜色来显示箭头,能够更容易理解地显示。此外,也可以与箭头的显示一起而显示用户的预约信息(站台号码、车辆号码、发车时刻、座席号码)。通过将用户的预约信息一起显示,能够防止误识别。在车票信息保存在服务器中的情况下,通过从便携终端向服务器查询而取得车票信息并对比、或者在服务器侧将车票信息与显示在电子公告板上的信息对比,能够取得与车票信息关联的信息。也可以是,根据用户进行了换乘检索的履历推测目标路线并显示路径。此外,也可以不仅取得显示在电子公告板上的内容,还取得设置有电子公告板的车站的电车信息/站内信息并进行对比。对于显示器上的电子公告板的显示,也可以将与用户关联的信息强调显示,也可以改写显示。在用户的乘车计划不明的情况下,也可以显示向各路线的乘车处的导引的箭头。在取得了车站的站内信息的情况下,也可以将向小卖店/洗手间等进行导引的箭头显示在显示器上。也可以构成为,将用户的行动特性预先用服务器管理,在用户在车站站内顺便到小卖店/洗手间的情况较多的情况下,将向小卖店/洗手间等进行导引的箭头显示到显示器上。由于仅对具有顺便到小卖店/洗手间的行动特性的用户显示向小卖店/洗手间等导引的箭头,对于其他用户不进行显示,所以能够减少处理量。也可以将向小卖店/洗手间等导引的箭头的颜色设为与对向站台的前往地进行导引的箭头不同的颜色。当将两者的箭头同时显示时,通过设为不同的颜色,能够防止误识别。另外,在图459中表示了电车的例子,但如果是飞机或汽车等,也能够以同样的结构进行显示。
(导引招牌的翻译)
图460表示从设置在飞机场或车站内、观光地或医院等中的电子导引显示板、通过可视光通信取得信息的情况下的一例。通过可视光通信,从电子导引显示板取得显示内容的信息,在将显示内容的信息翻译为对便携终端设定的语言信息后,在便携终端的显示器上进行显示。由于翻译为用户的语言而显示,所以用户能够容易地理解信息。语言的翻译既可以在便携终端内进行,也可以在服务器中进行。在服务器中进行翻译的情况下,可以将通过可视光通信取得的显示内容的信息和便携终端的语言信息向服务器发送,在服务器中进行翻译,并向便携终端进行发送,在便携终端的显示器上进行显示。此外,也可以构成为,在从电子导引显示板取得了ID信息的情况下,将ID信息向服务器发送,从服务器取得与ID信息对应的显示内容信息。进而,也可以基于保存在便携终端中的国籍信息、机票信息或随身行李寄存信息,显示向用户接着要前往的场所进行导引的箭头。
(优惠券的弹出)
图461是表示如果用户接近店铺则显示通过可视光通信取得的优惠券信息、或者在便携终端的显示器上显示弹出消息的一例的图。用户使用便携终端,通过可视光通信从电子公告板等取得店铺的优惠券信息。接着,如果用户进入距店铺为规定距离的范围内,则显示店铺的优惠券信息或弹出消息。用户是否进入距店铺为规定距离的范围内,使用便携终端的GPS信息和优惠券信息中包含的店铺信息来判断。并不限于优惠券信息,也可以是票券信息。由于如果能够利用优惠券或票券的店铺等接近则自动地报信,所以用户能够将优惠券或票券适当地利用。
图462是表示在收款机或检票处等在便携终端的显示器上显示优惠券信息/票券信息或弹出消息的一例的图。通过可视光通信从设置在收款机或检票处的照明取得位置信息,在所取得的位置信息与在优惠券信息/票券信息中包含的信息一致的情况下进行显示。另外,也可以是,条码读取器具有发光部,通过与发光部进行可视光通信来取得位置信息,也可以从便携终端的GPS取得位置信息。也可以是,在收款机附近设置有发送机,用户通过使接收机面向该发送机,在接收机的显示器上显示优惠券或支付信息,也可以是接收机与服务器通信来进行支付处理。此外,也可以是,在优惠券信息/票券信息中包含设置在店铺等中的Wi-Fi信息,在用户的便携终端取得了与在优惠券信息/票券信息中包含的Wi-Fi信息相同的信息的情况下进行显示。
(操作用应用的起动)
图463是表示用户使用便携终端通过可视光通信从家电取得信息的一例的图。在通过可视光通信从家电取得了ID信息或关于该家电的信息的情况下,用来操作该家电的应用自动地启动。在图463中,表示使用电视机的例子。通过这样的结构,仅通过使便携终端面向家电,就能够将用来操作家电的应用起动。
(在条码读取器的动作中停止发送)
图464是表示当条码读取器8405a将商品的条码读取时、在条码读取器8405a的附近将可视光通信用的数据通信中止的一例的图。通过在条码读取时将可视光通信停止,能够防止条码读取器8405a将条码误识别。条码读取器8405a当条码读取按钮被按下时将发送停止信号向可视光信号发送机8405b发送,当手指从按钮离开时、或者当手指从按钮离开且经过规定的时间时,将发送再开始信号向可视光信号发送机8405b发送。发送停止信号和发送再开始信号通过有线/无线通信或红外线通信、声波的通信来进行。条码读取器8405a也可以是,当根据条码读取器8405a中具备的加速度传感器的计测值而推测出条码读取器8405a被移动时将发送停止信号发送,当推测出条码读取器8405a在规定的时间中没有被移动时将发送再开始信号发送。条码读取器8405a也可以是,当根据条码读取器8405a中具备的静电传感器或照度传感器的计测值而推测出条码读取器8405a被握住时将发送停止信号发送,当推测出手离开时将发送再开始信号发送。条码读取器8405a也可以是,根据设在条码读取器8405a的接地面上的开关从按下状态被释放而检测到条码读取器8405a被抬起,将发送停止信号发送,根据上述按钮被按下而检测到条码读取器8405a被放下,将发送再开始信号发送。条码读取器8405a也可以根据条码读取器放置处的开关或红外线传感器的计测值检测出条码读取器8405a被抬起而将发送停止信号发送,检测到条码读取器8405a被放回而将发送再开始信号发送。收款机8405c也可以在开始操作时将发送停止信号发送,在进行精算操作时将发送再开始信号发送。
例如构成为照明体的发送机8405b在接收到发送停止信号时将信号发送停止,此外,进行动作以使100Hz~100kHz的波动(亮度变化)变小。或者,使信号样式的亮度变化变小而继续信号发送。或者,使输送波的周期比条码读取器8405a的条码的读取时间长,或使输送波的周期比条码读取器8405a的曝光时间短。由此,能够防止条码读取器8405b的误动作。
如图465所示,例如构成为照明体的发送机8406b用人感传感器或照相机检测到人处于条码读取器8406a的附近,将信号发送停止。或者,进行与上述发送机8405b接收到发送停止信号时同样的动作。发送机8406b在检测出在条码读取器8406a的附近不再有人时再次开始信号发送。发送机8406b也可以检测条码读取器8406a的动作音,在规定的时间中停止信号发送。
(从个人计算机的信息发送)
图466是表示本发明的利用形态的一例的图。
例如构成为个人计算机的发送机8407a经由所装备的显示器、所连接的显示器或投影机等显示装置发送可视光信号。发送机8407a将浏览器正在显示的网站的URL、剪贴板的信息或由具有焦点的应用决定的信息发送。例如,将由网站取得的优惠券信息发送。
(数据库)
图467是表示管理发送机发送的ID的服务器所保持的数据库的结构的一例的图。
数据库具有保持对以ID为关键字的查询提供的数据的ID-数据表、和保存以ID为关键字的查询记录的访问日志表。ID-数据表具有发送机发送的ID、对以ID为关键字的查询提供的数据、提供数据的条件、存在以ID为关键字的访问的次数、将条件取消而提供了数据的次数。在提供数据的条件中,有日期时间、访问次数、访问成功次数、查询源的终端的信息(终端的机种、进行了查询的应用、终端的当前位置等)、以及查询源的用户信息(年龄、性别、职业、国籍、使用语言、信教等)。通过以访问成功次数为条件,能够实现“每访问1次1日元,但以100日元为上限,在这以后不返回数据”的服务的方法。日志表当存在以ID为关键字的访问时,记录该ID、请求的用户的ID、时刻、其他附带信息、是否将条件取消而提供了数据、以及提供的数据的内容。
(接收开始的手势)
图468是表示使通过本通信方式的接收开始的手势动作的一例的图。
用户通过使例如构成为智能电话的接收机伸出,并使手腕左右旋转的动作而开始接收。接收机根据9轴传感器的计测值检测该动作,开始接收。接收机也可以在检测到该动作的至少某一方的情况下开始接收。在使接收机伸出的动作中,由于接收机向发送机接近,发送机被更大地摄像,有接收速度及精度提高的效果。在使手腕左右旋转的动作中,通过使接收机的角度变化,将本方式的角度依存性消除,有能够稳定进行接收的效果。
另外,该动作也可以仅在主画面为前景时进行。由此,能够防止在使用其他应用的过程中违背用户的意图而进行本通信。
另外,也可以是,在接收机被伸出的动作的检测时将图像传感器启动,若没有将手腕左右摇晃的动作则停止接收。图像传感器的启动需要几百毫秒到2秒左右的时间,因此能够进一步提高响应性。
(通过电力线进行的发送机的控制)
图469是表示本发明的发送机的一例的图。
信号控制部8410g控制发送机8410a的发送状态(发送的信号的内容、发送的有无、在发送中使用的亮度变化的强度等)。信号控制部8410g将发送机8410a的控制内容向配电控制部8410f传送。配电控制部8410f通过使向发送机8410a的电源部8410b供给的电压、电流或频率变化,以变化的大小或变化的时刻的形式传递控制内容。电源部8410b由于不受电压、电流及频率的多少的变化影响而进行固定的输出,所以通过用超过电源部8410b的稳定化能力的变化、例如将电力供给切断的定时或时间幅度表现信号来传递信号。亮度控制部8410d考虑由电源部8410b进行的变换,获取配电控制部8410f发送的内容,使发光部的亮度变化样式变化。
(编码方式)
图470是说明可视光通信图像的编码方式之一的图。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,具有人不易感到闪变的优点。
(从斜向摄像的情况下也能够受光的编码方式)
图471是说明可视光通信图像的编码方式之一的图。
图像1001a是将白和黑的行用均匀的宽度显示的图像。如果将该图像1001a从斜向摄像,则在通过该摄像得到的图像1001b中,将左方的行较细表示,将右方的行较粗地表示。此外,在将图像1001a投影到曲面上的情况下,在通过该摄像得到的图像1001i中,表示不同粗细的行。
所以,通过以下的编码方式制作可视光通信图像。可视光通信图像1001c从左起,由白行、白行的3倍的粗细的黑行、该黑行的3分之1的粗细的白行构成。这样,将前同步码编码为左邻行的3倍的粗细的行,作为左邻行的3分之1的粗细的行连续的图像。如可视光通信图像1001d、1001e那样,将与左邻行相同粗细的行编码为“0”。如可视光通信图像1001f、1001g那样,将左邻行的2倍的粗细或左邻行的一半的粗细的行编码为“1”。即,在使编码对象行的粗细与左邻行的粗细不同的情况下,将该编码对象行编码为“1”。作为使用该编码方式的例子,将接着前同步码并包含“010110001011”的信号通过可视光通信图像1001h那样的图像表现。另外,这里,将与左邻行相同粗细的行编码为“0”,将与左邻行不同粗细的行编码为“1”,但也可以将与左邻行相同粗细的行编码为“1”,将与左邻行不同粗细的行编码为“0”。此外,并不限于与左邻行的对比,也可以进行与右邻行的对比。即也可以是,在编码对象行的粗细与右邻行的粗细的对比中,根据粗细相同还是不同而编码“1”、“0”。这样,在发送机侧,通过是与编码对象行不同的颜色、并且使邻接的行的粗细与编码对象行的粗细相同从而编码“0”,通过设为不同的粗细而编码“1”。
在接收机侧,将可视光通信图像摄像,在摄像的可视光通信图像中检测白行或黑行的粗细。在是与解码对象的行不同的颜色、并且将与解码对象的行相邻(左邻或右邻)的行的粗细与解码对象的行的粗细比较而粗细相同的情况下,将解码对象行解码为“0”,在粗细不同的情况下将解码对象行解码为“1”。也可以在粗细相同的情况下解码为“1”,在粗细不同的情况下解码为“0”。基于进行解码后的1、0的数据列,最终进行数据的解码。
该编码方式使用局部的行的粗细的关系。如在图像1001b及图像1001i中可看到那样,由于旁边的行的粗细不较大地变化,所以即使是从斜向摄像的情况或投影到曲面上的情况下,也能够将以该编码方式制作的可视光通信图像正确地解码。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,有人不易感到闪变的优点。此外,该编码方式由于没有白黑的分别,所以有即使是正相信号和反相信号的任一方的可视光通信图像也能够以相同的算法解码的优点。
此外,有代码的追加较容易的优点。例如,可视光通信图像1001j是左邻的4倍的粗细的行和左邻的4分之1的行的组合。这样,如“左邻的5倍和5分之1”、“左邻的3倍和3分之2”那样,存在许多唯一的样式,能够定义为具有特别的意义的信号。例如,可以考虑可视光通信图像虽然能够用多张表示一个数据,但作为显示因为发送的数据被变更而到此为止接收到的数据的一部分成为无效这一情况的取消信号,使用可视光通信图像1001j。另外,关于颜色,并不限于白、黑,只要是不同的颜色,是怎样的颜色都可以。例如也可以使用互补色。
(根据距离而信息量不同的编码方式)
图472、图473是说明可视光通信图像的编码方式之一的图。
如图472的(a-1)那样,若通过使被划分为四个的图像中的一个部分为黑、使其余的部分为白来表现2位的信号,则该图像的平均亮度在设白为100%、黑为0%的情况下为75%。如图472的(a-2)那样,若使白和黑的部分相反,则平均亮度成为25%。
图像1003a是将用图471的编码方式制作出的可视光通信图像的白的部分用图472的(a-1)的图像表现、将用图471的编码方式制作出的可视光通信图像的黑的部分用图472的(a-2)的图像表现的可视光通信图像。该可视光通信图像表示用图471的编码方式编码的信号A和用图472的(a-1)及(a-2)编码的信号B。如果近处的接收机1003b将可视光通信图像1003a摄像,则得到精细的图像1003d,能够接收信号A和信号B两者。如果远处的接收机1003c将可视光通信图像1003a摄像,则得到较小的图像1003e。在图像1003e中不能确认详细的部分,由于成为图472的(a-1)的部分变白、图472的(a-2)的部分变黑的图像,所以仅能够接收信号A。由此,可视光通信图像与接收机的距离越近,能够传递越多的信息。作为将信号B编码的方式,也可以使用图472的(b-1)和(b-2)的组合或图472的(c-1)和(c-2)的组合。
通过使用信号A和信号B,能够用信号A表示基本而重要的信息,用信号B表示附加性的信息。此外,在接收机将信号A、B作为ID信息向服务器发送、服务器将与ID信息对应的信息向接收机发送的情况下,能够根据信号B的有无使服务器发送的信息变化。
(将数据分割的编码方式)
图474是说明可视光通信图像的编码方式之一的图。
将发送的信号1005a分割为多个数据片1005b、1005c、1005d。对各数据片附加表示该数据片的位置的地址,还附加前同步码、错误检测/校正码、帧类型记述等,构成帧数据1005e、1005f、1005g。对帧数据进行编码,制作可视光通信图像1005h、1005i、1005j并显示。在显示区域足够大的情况下,显示将多个可视光通信图像连结而得到的可视光通信图像1005k。
(将反相图像插入的效果)
图475和图476是说明可视光通信图像的编码方式之一的图。
如图475的(1006a)那样,发送机向影像与可视光通信图像(正相图像)之间插入黑图像。由接收机对其摄像后的图像成为图475的(1006b)所示的图像那样。对于接收机而言,由于被同时曝光的像素的行是黑一色的部分的搜索较容易,所以能够将可视光通信图像被摄像的位置容易地确定为在其下个定时被曝光的像素的位置。
如图475的(1006a)那样,发送机在将可视光通信图像(正相图像)显示后,显示使白黑反转的反相的可视光通信图像。接收机通过求出正相图像与反相图像的像素值的差,能够得到仅利用正相图像的情况的2倍的SN比。相反,在确保相同的SN比的情况下,能够将白黑的亮度差抑制为一半,能够抑制人看到时的闪变。此外,如图476的(1007a)及(1007b)那样,影像与可视光通信图像的亮度的差的期望值的移动平均在正相图像和反相图像中被消除。由于人的视觉的时间分辨能力是1/60秒左右,所以通过使显示可视光通信图像的时间成为这以下,对于人而言能够感到没有显示可视光通信图像。
如图475的(1006c)所示,发送机可以还向正相图像与反相图像之间插入黑图像。在此情况下,通过接收机的摄像,得到图475的(1006d)所示的图像。在图475的(1006b)所示的图像中,由于正相图像的样式和反相图像的样式相邻,所以在边界部分有像素值被平均化的情况,但在图475的(1006d)所示的图像中不发生这样的问题。
(超解像)
图477是说明可视光通信图像的编码方法之一的图。
如图477的(a)那样,在影像数据和以可视光通信发送的信号数据被分离的情况下,对影像数据进行超解像处理,在得到的超解像图像上叠加可视光通信图像。即,对于可视光通信图像不进行超解像处理。在如图477的(b)那样在影像数据中已经叠加有可视光通信图像的情况下,进行超解像处理,以使得:(1)将可视光通信图像的边缘(通过白黑等颜色的差异表示数据的部分)保持陡峭不变;(2)可视光通信图像的正相图像和反相图像的平均图像成为一样的亮度。这样,通过根据在影像数据中是否叠加有可视光通信图像来变更对于可视光通信图像的处理,能够更适当地进行可视光通信(使错误率降低)。
(对应于可视光通信的显示)
图478是说明发送机的动作之一的图。
发送机8500a将对应于可视光通信的信息叠加到投影的图像中而显示。该显示例如仅在将发送机8500a起动后的规定时间的期间中显示。
发送机8500a将自身对应于可视光通信这一情况向所连接的设备8500c发送。设备8500c显示发送机8500a对应于可视光通信。例如,在设备8500c的显示器上,显示发送机8500a对应于可视光通信。设备8500c在所连接的发送机8500a对应于可视光通信的情况下,将可视光通信用的数据向发送机8500a发送。发送机8500a对应于可视光通信这一情况的显示,既可以在设备8500c被连接到发送机8500a上时显示,也可以在从设备8500c对发送机8500a发送了可视光通信用数据的情况下显示。在从设备8500c发送了可视光通信用数据时显示的情况下,也可以是,发送机8500a从数据中取得表示可视光通信的识别信息,在识别信息表示在数据中包含有可视光通信用数据的情况下,显示发送机8500a对应于可视光通信。
这样,通过在投影画面或设备的显示器上进行发送机(照明、投影机、影像显示设备)对应于可视光通信这一情况或表示是否对应的显示,用户能够容易地掌握发送机是否对应于可视光通信。因而,即使从设备对发送机发送了可视光通信用的数据,也能够防止成为无法进行可视光通信的误动作。
(使用可视光通信信号的信息取得)
图479是说明可视光通信的应用例之一的图。
发送机8501a从设备8501c接收影像数据和信号数据,将可视光通信图像8501b显示。接收机8501d将可视光通信图像8501b摄像,接收包含在可视光通信图像中的信号。接收机8501d根据接收信号中包含的信息(地址或口令等)与设备8501c进行通信,将发送机8501a显示的影像本身及其附带信息(影像ID、URL、口令、SSID、翻译数据、声音数据、散列标签、商品信息、购买信息、优惠券、空席信息等)接收。也可以是,设备8501c将向发送机8501a的发送状况向服务器8501e发送,接收机8501d从服务器8501e得到上述信息。
(数据格式)
图480是说明可视光通信数据的格式之一的图。
图480的(a)所示的数据具有在存储域中表示影像数据的位置的影像地址表、和表示通过可视光通信发送的信号数据的位置的位置地址表。在不对应于可视光通信的影像显示装置中,由于仅参照影像地址表,所以即使在输入中包含信号地址表和信号数据,也不给影像显示带来影响。由此,保持对于不与可视光通信对应的影像显示装置的后方互换性。
在图480的(b)所示的数据的格式中,将表示后续的数据是影像数据的识别码配设在影像数据之前,将表示后续的数据是信号数据的识别码配设在信号数据之前。通过设为识别码,仅在有影像数据或信号数据的情况下向数据插入,所以能够使整体的代码量变小。此外,也可以配设表示是影像数据还是信号数据的识别信息。进而,也可以在节目信息中包含表示是否包含可视光通信用数据的识别信息。通过在节目信息中包含表示是否包含可视光通信用数据的识别信息,用户在节目检索时能够判断是否能够可视光通信。另外,包含在节目信息中的也可以是表示包含可视光通信用数据的识别码。进而,通过按每个数据附加识别码/识别信息,能够进行每个数据的亮度的切换及超解像的切换等处理的切换,能够降低可视光通信时的错误率。
图480的(a)所示的数据的格式适合于从光盘等储存型介质将数据读出的状况,图480的(b)所示的数据的格式适合于电视广播等流型的数据。另外,在信号数据中,包括通过可视光通信发送的信号的值、发送开始时刻、发送结束时刻、显示器或投影面上的发送中利用的场所、可视光通信图像的亮度、可视光通信图像的条码的朝向等信息。
(推测立体形状并接收)
图481和图482是说明可视光通信的应用例之一的图。
如图481所示,例如构成为投影机的发送机8503a除了影像和可视光通信图像以外,还将测距用图像投影。在测距用图像中表示的点样式是任意的点的附近的规定数量的点的位置关系与其他任意的组合的点的位置关系不同的点样式。接收机通过将测距用图像摄像,能够确定局部的点样式,推测投影面8503b的立体形状。接收机根据投影面的立体形状将畸变的可视光通信图像向平面图像复原而接收信号。另外,测距用图像或可视光通信图像也可以用人不能感知的红外线投影。
如图482所示,例如构成为投影机的发送机8504a具备用红外线将测距用图像投影的红外线投影装置8504b。接收机根据测距用图像推测投影面8504c的立体形状,将可视光通信图像的畸变复原而接收信号。另外,发送机8504a也可以将影像用可视光投影,将可视光通信图像用红外线投影。另外,红外线投影装置8504b也可以将可视光通信图像用红外线投影。
(立体投影)
图483和图484是说明可视光通信图像的显示方法之一的图。
在进行立体投影的情况、或在圆筒状的显示面上显示可视光通信图像的情况下,如图483所示,通过显示可视光通信图像8505a~8505f,能够进行从较大的角度的接收。通过显示可视光通信图像8505a、8505b,能够在水平方向上从较大的角度接收。通过将可视光通信图像8505a与8505b组合,即使将接收机倾斜也能够接收。既可以将可视光通信图像8505a和可视光通信图像8505b交替地显示,也可以显示将这些图像合成后的图像即可视光通信图像8505f。进而,通过添加可视光通信图像8505c和可视光通信图像8505d,能够在垂直方向上从较大的角度接收。也可以通过如可视光通信图像8505e那样设置以中间色投影的部分及不投影的部分,来表现可视光通信图像的划分。通过使可视光通信图像8505a~8505f旋转,能够从更大的角度接收。另外,在图483中,在圆筒状的显示面上显示可视光通信图像,但也可以在圆柱的显示面上显示可视光通信图像。
在进行立体投影的情况下、或在球状的显示面上显示可视光通信图像的情况下,如图484所示,通过显示可视光通信图像8506a~8506d,能够进行从较大的角度的接收。在可视光通信图像8506a中,虽然水平方向上的可接收区域较大,但垂直方向上的可接收区域较小,所以与具有相反性质的可视光通信图像8506b组合来显示可视光通信图像8506a。既可以将可视光通信图像8506a和可视光通信图像8506b交替地显示,也可以显示将这些图像合成后的图像即可视光通信图像8506c。如可视光通信图像8506a的上部那样条码集中的部分显示较细,将信号误接收的可能性较高。所以,通过如可视光通信图像8506d那样将该部分用中间色显示或什么都不投影,能够防止接收错误。
(按每个区段(zone)而不同的通信协议)
图485是表示实施方式17的发送机和接收机的动作的一例的图。
接收机8420a从基站8420h获取区段信息,识别自身位于哪个区段,选择接收协议。基站8420h构成为例如便携电话的通信基站、Wi-Fi接入点、IMES发送机、扬声器或无线发送机(Bluetooth(注册商标)、ZigBee、特定小电力无线站等)。另外,接收机8420a也可以基于从GPS等得到的位置信息来确定区段。作为例子,假设决定为在区段A中以9.6kHz的信号频率进行通信,在区段B中顶棚照明以15kHz的信号频率进行通信,标牌以4.8kHz的信号频率进行通信。接收机8420a在位置8420j处,根据基站8420h的信息识别出当前地是区段A,以9.6kHz的信号频率进行接收,将发送机8420b/8420c发送的信号接收。接收机8420a在位置8420l处,根据基站8420i的信息识别出当前地是区段B,进而因为内部照相机被朝向上方所以推测为要接收来自顶棚照明的信号,以15kHz的信号频率进行接收,将发送机8420e/8420f发送的信号接收。接收机8420a在位置8420m处,从基站8420i的上方识别出当前地是区段B,进而根据使外部照相机伸出的运动,推测要接收标牌发送的信号,以4.8kHz的信号频率进行接收,将发送机8420g发送的信号接收。接收机8420a在位置8420k处,接收基站8420h和基站8420i两者的信号,不能判断出当前地是区段A和区段B的哪个,所以以9.6kHz和15kHz两者进行接收处理。另外,也可以是,根据区段而协议不同的部分不仅是频率,还可以使发送信号的调制方式、信号格式、查询ID的服务器也不同。另外,基站8420h/8420i既可以将区段内的协议向接收机发送,也可以仅将表示区段的ID发送,接收机以区段ID为关键字从服务器获得协议信息。
发送机8420b~8420f将基站8420h/8420i发送的区段ID及协议信息接收,决定信号发送协议。能够接收基站8420h和基站8420i两者发送的信号的发送机8420d利用信号强度更强的基站的区段的协议,或交替地利用两者的协议。
(区段的识别和每区段的服务)
图486是表示实施方式17的接收机和发送机的动作的一例的图。
接收机8421a根据接收到的信号,识别自身的位置属于的区段。接收机8421a提供按每个区段设定的服务(优惠券的分发、点数的赋予、道路导引等)。作为一例,接收机8421a接收从发送机8421b的左侧发送的信号,识别出处于区段A中。这里,发送机8421b也可以根据发送方向而发送不同的信号。此外,发送机8421b也可以通过使用2217a那样的发光样式的信号来发送信号,以使得根据到接收机的距离而接收不同的信号。此外,接收机8421a也可以根据发送机8421b的被摄像的方向和大小来识别与发送机8421b的位置关系,识别自身位于的区段。
也可以使表示位于相同区段的信号的一部分共通。例如,使从发送机8421b和发送机8421c发送的表示区段A的ID前半为共通。由此,接收机8421a仅通过接收信号的前半,就能够识别自身位于的区段。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将多个发送对象的信号分别调制,决定多个亮度变化的样式;发送步骤,通过多个发光体分别按照所决定的多个亮度变化的样式中的某1个样式而亮度变化,将与上述某1个样式对应的发送对象的信号发送;在上述发送步骤中,上述多个发光体中的两个以上的发光体分别按照对该发光体预先设定的每个时间单位而以相互不同的频率进行亮度变化,以输出相互亮度不同的两种光中的某一方的光、并且对上述两个以上的发光体分别预先设定的上述时间单位相互不同。
由此,如使用图441说明的动作那样,由于两个以上的发光体(例如构成为照明设备的发送机)分别以相互不同的频率进行亮度变化,所以从这些发光体接收发送对象的信号(例如发光体的ID)的接收机能够容易地将这些发送对象的信号区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别以至少4种频率中的某1个频率进行亮度变化,上述多个发光体中的两个以上的发光体以相同的频率进行亮度变化。例如,在上述发送步骤中,在向用来接收上述多个发送对象的信号的图像传感器的受光面投影上述多个发光体的情况下,上述多个发光体分别亮度变化,以使得在上述受光面上相互相邻的全部的发光体间亮度变化的频率不同。
由此,如使用图442说明的动作那样,如果在亮度变化中使用的频率至少有4种,则即使在以相同的频率亮度变化的发光体有两个以上的情况下,即,即使在频率的种类的数量比多个发光体的数量少的情况下,也能够基于四色问题或四色定理,在图像传感器的受光面上相互相邻的全部的发光体间使亮度变化的频率可靠地不同。结果,接收机能够将从多个发光体发送的发送对象的信号分别容易地区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别通过以由发送对象的信号的散列值确定的频率进行亮度变化,将上述发送对象的信号发送。
由此,如使用图441说明的动作那样,多个发光体分别以由发送对象的信号(例如发光体的ID)的散列值确定的频率进行亮度变化,所以接收机在接收到发送对象的信号时,能够判断根据实际的亮度变化确定的频率与通过散列值确定的频率是否一致。即,接收机能够判断在接收到的信号(例如发光体的ID)中是否有错误。
此外,也可以是,上述信息通信方法还包括:频率计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数,计算与该发送对象的信号对应的频率作为第1频率;频率判断步骤,判断存储在频率存储部中的第2频率与计算出的上述第1频率是否一致;频率错误报告步骤,在判断为上述第1频率与上述第2频率不一致的情况下,报告错误;在判断为上述第1频率与上述第2频率一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式以上述第1频率进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,如使用图448说明的动作那样,判断存储在频率存储部中的频率与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的频率是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,也可以是,上述信息通信方法还包括:检验值计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数计算第1检验值;检验值判断步骤,判断存储在检验值存储部中的第2检验值与计算出的上述第1检验值是否一致;检验值错误报告步骤,在判断为上述第1检验值与上述第2检验值不一致的情况下,报告错误;在判断为上述第1检验值与上述第2检验值一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,如使用图448说明的动作那样,判断存储在检验值存储部中的检验值与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的检验值是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,本实施方式的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而发生与上述图像传感器中包含的多个曝光行对应的多个亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄影,取得包含上述多个亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得信息;频率确定步骤,基于在所取得的上述亮线图像中包含的上述多个亮线的样式,确定上述被摄体的亮度变化的频率。例如,在上述频率确定步骤中,确定在上述多个亮线的样式中包含的、作为为了分别表示头而预先设定的多个样式的多个头样式,将与上述多个头样式间的像素数对应的频率确定为上述被摄体的亮度变化的频率。
由此,如使用图443说明的动作那样,由于被摄体的亮度变化的频率被确定,所以在将亮度变化的频率不同的多个被摄体摄影的情况下,能够将来自这些被摄体的信息容易地区别并取得。
此外,也可以是,在上述图像取得步骤中,通过将分别亮度变化的多个被摄体摄影,取得包含分别由多个亮线表示的多个样式的上述亮线图像;在上述信息取得步骤中,在所取得的上述亮线图像中包含的上述多个样式的各自的一部分重叠的情况下,通过将由从上述多个样式的各自中除了上述一部分以外的部分确定的数据解调,从上述多个样式分别取得信息。
由此,如使用图445说明的动作那样,由于从多个样式(多个亮线样式)重叠的部分不进行数据的解调,所以能够防止取得错误的信息。
此外,也可以是,在上述图像取得步骤中,通过将上述多个被摄体在相互不同的定时摄影多次,取得多个亮线图像;在上述频率确定步骤中,按每个亮线图像,确定与该亮线图像中包含的上述多个样式分别对应的频率;在上述信息取得步骤中,从上述多个亮线图像中,检索被确定了相同的频率的多个样式,将检索出的上述多个样式结合,通过将由结合后的上述多个样式确定的数据解调,来取得信息。
由此,从多个亮线图像中检索被确定了相同的频率的多个样式(多个亮线样式),将检索出的多个样式结合,从结合后的多个样式取得信息,所以即使是多个被摄体移动的情况,也能够将来自这些多个被摄体的信息容易地区别并取得。
此外,也可以是,上述信息通信方法还包括:发送步骤,对于对识别信息分别登记了频率的服务器,发送在上述信息取得步骤中取得的信息中包含的上述被摄体的识别信息、和表示在上述频率确定步骤中确定的频率的确定频率信息;关联信息取得步骤,从上述服务器取得与上述识别信息和由上述确定频率信息表示的频率建立了关联的关联信息。
由此,如使用图447说明的动作那样,取得与基于被摄体(发送机)的亮度变化取得的识别信息(ID)和该亮度变化的频率建立了关联的关联信息。因而,通过将被摄体的亮度变化的频率变更,将登记在服务器中的频率更新为变更后的频率,能够防止在频率的变更前取得了识别信息的接收机从服务器取得关联信息。即,通过匹配于被摄体的亮度变化的频率的变更而将登记在服务器中的频率也变更,能够防止过去取得了被摄体的识别信息的接收机无期限地成为能够从服务器取得关联信息的状态。
此外,也可以是,上述信息通信方法还包括:识别信息取得步骤,通过从在上述信息取得步骤中取得的上述信息中提取一部分,取得上述被摄体的识别信息;设定频率确定步骤,将由在上述信息取得步骤中取得的上述信息中的上述一部分以外的其余的部分表示的数,确定为对于上述被摄体设定的亮度变化的设定频率。
由此,如使用图444说明的动作那样,能够在从多个亮线的样式得到的信息中不相互依存地包含被摄体的识别信息、和对被摄体设定的亮度变化的设定频率,所以能够提高识别信息和设定频率的自由度。
(实施方式18)
在本实施方式中,对使用上述实施方式1~17的智能电话等的接收机和作为LED的闪烁样式发送信息的发送机的各应用例进行说明。
图487是表示实施方式18的发送信号的一例的图。
将发送信号D分割为规定的大小的数据片Dx(例如,Dx=D1、D2、D3),将根据各数据片计算出的错误检测―校正用的帧检验序列FCS和头Hdr向各数据片附加。进而,将根据原数据计算出的错误检测―校正用的帧检验序列FCS2和头Hdr2附加。由Hdr、Dx、FCS构成的数据是用来由图像传感器接收的结构。由于图像传感器适合于在短时间接收连续的数据,所以Hdr、Dx、FCS连续地发送。由Hdr2、Dx、FCS2构成的数据是用来由照度传感器接收的结构。由图像传感器接收的Hdr和FCS越短越好,但比由照度传感器接收的Hdr2和FCS2可以为更长的信号列。通过在Hdr2中使用较长的信号系列,能够提高头检测精度。通过使FCS2变长,能够采用能够将许多的位错误进行检测―校正的代码,能够使错误检测―校正的性能提高。另外,也可以不发送Hdr2和FCS2,而代之由照度传感器接收Hdr或FCS。照度传感器也可以接收Hdr和Hdr2的两者或FCS和FCS2的两者。
图488是表示实施方式18的发送信号的一例的图。
FCS2信号长较长,如果被频繁地插入,则图像传感器中的接收效率变差。所以,减小FCS2的插入频度,代之而插入表示FCS2的场所的信号PoFCS2。作为例子,在信号表现中使用每单位时间具有2位的信息量的4PPM的情况下,如果在FCS2中使用CRC32,则需要16单位的发送时间,但值域为0~3的PoFCS2能够在1单位时间中发送。通过比仅插入FCS2的情况缩短发送时间,能够使图像传感器接收的效率提高。照度传感器将接着发送信号D的PoFCS2接收,根据PoFCS2确定FCS2的发送时刻,接收FCS2。进而,接收接着FCS2的PoFCS2,确定下个FCS2的发送时刻,接收下个FCS2。如果先接收到的FCS2与后接收到的FCS2相同,则推测为接收机接收到相同的信号。
图489A~图489C是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
在图489A所示的摄像图像中,由于拍摄较小,所以亮线的数量较少。因而,从该摄像图像一次仅能接收少量的数据。图489B所示的摄像图像是使用缩放摄像的图像,由于拍摄较大,所以亮线的数量较多。因而,如果使用缩放摄像,则一次能接收大量的数据。此外,能够从远处接收数据,即使是较小的发送机的信号也能够接收。在缩放方法中,使用光学缩放或Ex缩放。光学缩放是通过使透镜的焦点距离变长实现的缩放。Ex缩放是在以比摄像元件的能力低的分辨率摄像的情况下、通过不是使用摄像元件的全部、而是仅使用一部分摄像来将摄像图像的一部分放大的缩放方法。图489C所示的摄像图像是使用电子缩放(图像的放大)摄像的图像。虽然拍摄变大,但在通过电子缩放实现的放大中,亮线变粗,亮线的数量与缩放前没有变化,所以接收特性与缩放前没有变化。
图490A及图490B是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
图490A所示的摄像图像是将焦点对准于被摄体而摄像的图像,图490B所示的摄像图像是将焦点偏离而摄像的图像。在图490B所示的摄像图中,由于模糊地摄像,所以在实际的发送机的周围能够观察到亮线,能够观察到更多的亮线。因而,如果将焦点偏离而摄像,则一次能够接收较多的数据,此外能够从更远处接收数据。通过使用宏模式摄像,也能够将与图490B所示的摄像图像同样的图像摄像。
图491A~图491C是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。
通过将曝光时间设定得比可视光通信模式长、比通常摄像模式短而摄像,能够得到图491A所示那样的图像。将能够得到这样的图像的摄像模式称作亮线检测模式(中间模式)。在图491A所示的图像中,在左中央能够观察到发送机的亮线,在其以外的部分显现较暗的通常的摄像图像。通过将该图像显示到接收机上,用户能够将接收机朝向目标的发送机而容易地摄像。在亮线检测模式中,由于比通常摄像模式更暗地摄像,所以通过以高灵敏度模式摄像,能够将与通常摄像模式接近的、人容易辨识的明亮度的图像摄像。如果将灵敏度设定得过高,则亮线的较暗的部分变得明亮,所以灵敏度设定为能够观察到亮线的程度。接收机转移到可视光通信模式,将在用户以接触图像等的手段指定的部分处摄像的发送机的发送信号接收。接收机也可以在摄像图像中找到了亮线(发送信号)的情况下自动转移到可视光通信模式而接收信号。
接收机根据摄像图像中的亮线找到发送信号,通过将该部分如图491B所示那样强调显示,能够将发送了信号的部分向用户容易理解地提示。亮线不仅是发送信号,有时通过被摄体的图样也能够观察到。所以,也可以不是根据1张图像的亮线判断发送信号的有无,而是在多个图像中亮线的位置变化的情况下判断为有发送信号。
由于以亮线检测模式摄像的图像比以通常摄像模式摄像的图像暗而辨识性较差,所以也可以将通过图像处理提高了辨识性的图像显示。图491C所示的图像是提取边缘而将被摄像物的边界强调的图像的一例。
图492是表示实施方式18的接收机的摄像图像(亮线图像)的一例的图。具体而言,图492是将使信号发送的周期为1/9600秒的发送机用图的下部所示的曝光时间的比摄像的图。在比作为发送周期的1/9600秒短的曝光时间中,摄像图像大致相同,能够摄像鲜明的亮线。如果曝光时间变长,则亮线的轮廓模糊,但在该信号表现的例子中,只要是发送周期的约1.5倍以内的曝光时间,亮线的样式就能够观察,就能够接收信号。此外,在该信号表现的例子中,只要是发送周期的约20倍以内的的曝光时间就能够观察亮线,能够使用该范围的曝光时间作为亮线检测模式的曝光时间。
在何种程度的曝光时间以内能够接收信号,根据信号表现的方法而不同。如果亮线较少、使用亮线间的间隔变长的信号表现规则,则传送效率下降,但通过更长的曝光时间也能够接收信号,此外,通过更长的曝光时间也能够观察亮线。
(中间摄像模式的曝光时间)
根据图492,只要曝光时间是调制周期的3倍左右以内,就能够观察出清晰的亮线。由于调制频率是480Hz左右,所以中间摄像模式(中间模式)的曝光时间优选的是1/160秒以下。
此外,在曝光时间为1/10000秒以下时,在照明光下即使以高灵敏度模式摄像,也难以看到非发光物,所以中间摄像模式的曝光时间优选的是1/10000秒以上。但是,今后通过摄像元件的灵敏度提高,该限制能够缓和。
图493是表示实施方式18的发送信号的一例的图。
接收机由于将接收到的多个数据片合并而接收一系列的信号,所以如果发送信号被突然变更,则变更前后的数据片混杂,不能将信号正确地合并。所以,如图493的(a)那样,发送机在发送信号变更时,作为缓冲带而在规定的时间的期间中进行通常点灯,不发送信号。接收机在比上述规定的时间T1短的规定的时间T2的期间中不能接收信号的情况下,通过将到此为止接收到的数据片丢弃,能够避免变更前后的数据片的混合。或者,如图493的(b)那样,发送机在发送信号变更时,将通知该情况的信号X反复发送。通过反复发送,防止发送信号变更通知X的漏接收。或者,如图493的(c)那样,发送机在发送信号变更时,将前同步码反复发送。接收机在以比在通常的信号中前同步码出现的周期短的周期接收到前同步码的情况下,将到此为止接收到的数据片丢弃。
图494是表示实施方式18的接收机的动作的一例的图。
图494的(a)所示的图像是以合焦(just focus)将发送机摄像的图像。接收机通过将焦点偏离地摄像,能够摄像出图494的(b)那样的图像。如果进一步将焦点偏离,则摄像图像成为图494的(c)所示的图像那样。在图494的(c)中,多个发送机的亮线重叠,接收机不能接收信号。因此,接收机调整焦点以使多个发送机的亮线不重叠,进行摄像。在摄像范围中仅存在一个发送机的情况下,接收机调整焦点,以使的在摄像图像中发送机的大小为最大。
接收机也可以将摄像图像在与亮线平行的方向上压缩,但在与亮线垂直的方向上不进行图像压缩。或者,接收机使垂直的方向的压缩的程度变低。由此,能够防止通过压缩而亮线模糊、发生接收错误的情况。
图495及图496是表示在实施方式18的接收机的屏幕上显示的向用户的指示的一例的图。
接收机通过将多个发送机摄像,能够根据各发送机的位置信息、摄像图像中的各发送机的位置和大小及角度,以三角测量的原理推测接收机的位置。所以,在以仅一个发送机能够接收的形式摄像的情况下,用户通过改变接收机的方向、或者后退而摄像等而使多个发送机摄像,所以接收机通过显示包含箭头等的图像,能够进行摄像方向及移动方向的指示。图495的(a)是将接收机朝向右方而使右侧的发送机摄像的指示的显示例,图495的(b)是后退而使跟前的发送机摄像的指示的显示例。图496是因为对于接收机而言其他发送机的位置是不明的、所以将接收机摆动等而使其他发送机摄像的指示的显示例。优选的是在一张摄像图像中摄影多个发送机,但也可以使用图像处理或9轴传感器的传感器值来推测多张图像中的发送机的位置关系。接收机也可以使用从一个发送机接收到的ID,将周边的发送机的位置信息向服务器询问,向用户进行指示以将最容易摄像的发送机摄像。
接收机根据9轴传感器的传感器值检测用户使接收机移动的情况,在移动结束而经规定的时间后,进行基于最后接收到的信号的画面的显示。由此,能够防止当用户将接收机朝向想要的发送机时、在接收机的移动中接收到其他发送机的信号而进行基于不想要的发送机的发送信号的处理的情况。
接收机也可以在被移动的期间中也继续接收处理,进行基于接收到的信号的处理,例如以接收信号为键字的来自服务器的信息取得等。在此情况下,在该处理后也继续接收处理,将基于最后接收到的信号的处理作为最终的处理。
接收机也可以将接收到规定的次数的信号处理或向用户通知。接收机也可以将在被移动的期间中最多次数能够接收到的信号处理。
接收机也可以具备当信号的接收成功时、或在摄像图像中检测到信号的存在时向用户通知的通知机构。通知机构通过声音、振动或显示器的更新(弹出显示等)等进行通知。由此,用户能够知道发送机的存在。
图497是表示实施方式18的信号发送方法的一例的图。
例如作为显示器构成的多个发送机被相邻地配置。多个发送机在发送相同的信号的情况下,使信号发送的定时同步,如图497的(a)那样,从整面发送信号。通过该结构,在接收机中多个显示器被作为一个大的发送机观察到,所以接收机能够更高速地、此外能够从更远距离接收信号。在多个发送机发送不同的信号的情况下,如图497的(b)那样,多个发送机设置不发送信号的缓冲带(非发送区域)而发送信号。通过该结构,接收机识别出多个发送机是隔开缓冲带的相互不同的发送机,能够接收各自的信号。
图498是表示实施方式18的信号发送方法的一例的图。
如图498的(a)所示,液晶显示器设置背灯灭灯期间,通过在背灯的灭灯中使液晶的状态变化,使状态变化中的图像不可视,能够提高动态分辨率。对于进行了这样的背灯控制的液晶显示器,如图498的(b)所示,匹配于背灯的点灯周期而叠加信号。通过将一连串的数据(Hdr、Data、FCS)连续发送,能够提高接收效率。此外,在背灯的点灯期间的最初和最后,发光部为明亮的状态(Hi)。这是因为,如果发光部较暗的状态(Lo)与背灯灭灯期间连续,则在接收机中不能进行是作为信号而发送了Lo、还是因背灯灭灯期间而处于较暗的状态的判断。
背灯灭灯期间也可以叠加使平均亮度变低的信号。
通过叠加信号,与不叠加的情况相比平均亮度变,所以将背灯点灯期间增减或使背灯点灯时的亮度升降而调整,以使平均亮度成为相等。
图499是表示实施方式18的信号发送方法的一例的图。
液晶显示器通过将背灯控制以按照位置而不同的定时进行,能够使画面整体的亮度变化降低。将其称作背灯扫描。背灯扫描通常如图499的(a)那样以从端部起依次使背灯点灯的方式进行。此时,能得到摄像图像8802a。但是,在摄像图像8802a中,亮线存在的部分被分断,有显示器的画面整体不能推测为一个发送机的情况。所以,如图499的(b)那样,通过在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴显示时,设定背灯扫描的顺序以使发光的(叠加了信号的)部分全部相连,能够得到摄像图像8802b。在摄像图像8802b中,亮线部分全部连结,能够容易地推测出是来自一个发送机的发送信号。此外,由于能够连续接收的亮线的数量增加,所以能够迅速地、从远处接收信号。此外,发送机的大小的推测也变得容易,所以能够根据摄像图像中的发送机的位置、大小、角度高精度地推测接收机的位置。
图500是表示实施方式18的信号发送方法的一例的图。
在时间分割背灯扫描中,在背灯的点灯期间较短、在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴的曲线图上不能将发光的(叠加了信号的)部分相连的情况下,在各自的发光部分中,与图498的情况同样,匹配于背灯的发光定时而叠加信号。此时,通过控制背灯以使其与曲线图上的其他背灯点灯部分的距离成为最大,能够防止相邻部分的亮线混杂。
图501是用来说明实施方式18的使用场景的图。本实施方式的系统由进行可视光通信的照明器具100、具有可视光通信功能的可穿戴设备101、智能电话102及服务器103构成。
本实施方式的目的在于,将用户使用可视光通信在店铺进行购物的情况下的一连串的工夫省去、将购物所花费的时间缩短。以往,在店铺中购买商品时,需要预先检索该店铺的站点而取得优惠券信息。此外,有在店内搜索作为该优惠券对象的商品的情况下花费时间的问题。
如图501所示,照明器具100在店铺(作为例子而设想家电量贩店)之前,定期地使用可视光通信发送本机的照明ID信息。用户的可穿戴设备101如果接收到该照明ID信息,则使用近距离无线通信,向智能电话102发送照明ID信息。智能电话102使用手机网络等向服务器103发送用户的信息和照明ID信息。智能电话102从服务器103获取处于用户的眼前的店铺的点信息或优惠券信息等。用户阅览从服务器103获取的信息用可穿戴设备101或智能电话102。用户能够将显示的店铺的商品信息现场购买、或接受指引直到店铺内的展示场所。以下,使用附图详细地说明。
图502是表示智能电话102向服务器103发送的信息表的图。除了保持在智能电话102中的该店铺的会员号码、店铺的ID信息、发送时刻、位置信息以外,智能电话102还发送储存在发送智能电话102中的用户的兴趣信息及生物体信息、检索履历或行动履历信息。
图503是服务器103的框图。收发部201接收从智能电话102发送的信息。控制部202进行整体的控制。在会员信息DB203中,保存有会员号码、该会员号码的用户的姓名及生年月日、积分信息、购买履历等。在店铺DB204中,保存有店铺ID、在该店铺中销售的商品信息、店铺的陈列信息、店铺的地图信息等店铺内的信息。通知信息生成部205生成遵循用户的兴趣的优惠券信息及推荐商品信息。
图504是表示上述系统的整体的处理的流程图。可穿戴设备102从照明100接收照明ID(S301)。接着,可穿戴设备101将照明ID使用Bluetooth(注册商标)等的近距离无线通信等向智能电话102发送(S302)。接着,智能电话102将图502所示的自身具有的用户的履历信息、会员号码和照明ID向服务器103发送(S303)。服务器103如果接收到数据,则将数据首先向控制部202发送(S304)。接着,控制部202将会员号码与会员DB203对照,取得会员信息(S305)。接着,控制部202将照明ID与店铺DB204对照,取得店铺信息(S306)。在店铺信息中,包括在店铺中有库存的商品信息、作为店铺想要促进销售的商品的信息、优惠券信息及店铺的店内地图信息等。控制部202将会员信息和店铺信息向通知信息生成部发送(S307)。通知信息生成部205根据会员信息和店铺信息,生成适合于用户的广告信息,向控制部202发送(S308)。控制部202将会员信息和广告信息向收发部201发送(S309)。在会员信息中,包括用户的积分信息及有效期限信息等。收发部201将会员信息和广告信息向智能电话102发送(S310)。智能电话102将接收到的信息显示到显示画面上(S311)。
进而,智能电话102将从服务器103接受到的信息向可穿戴设备101转送(S312)。如果可穿戴设备101的通知设定是ON,则可穿戴设备101显示信息(S314)。另外,当可穿戴设备显示信息时,优选的是通过振动等向用户提示注意唤起。这是因为,由于用户不一定进入该店铺,所以有即使发送优惠券信息等、用户也注意不到的情况。
图505是表示服务器103向智能电话102发送的信息表的图。所谓店铺地图DB,是在店内的哪个位置陈列有哪个商品的店内的向导信息。所谓店铺的商品信息,是在该店铺中有库存的商品的信息及商品的价格信息等。所谓用户会员信息,是用户的积分信息及会员卡的有效期限信息等。
图506是表示从用户在店铺前从服务器103获取信息到实际购买商品的在可穿戴设备101上显示的画面流的图。在店铺前,显示有在用户来店的情况下赋予的积分和优惠券信息。如果用户将优惠券信息轻击,则显示从服务器103发送的、遵循用户的兴趣的信息。例如如果用户将电视机轻击,则显示推荐的电视机的信息。这里,如果按下购买按钮,则显示获取方法的选择画面,能够选择向自宅的配送还是店内的获取。在本实施方式中,由于知道用户处于哪个店铺中,所以有能够在店铺中获取的优点。如果在流程403中选择向卖场的引导,则可穿戴设备101向引导模式转移。该模式是使用箭头等将用户向特定的场所引导的模式,能够将用户向实际陈列有所选择的商品的场所引导。如果被导引到商品搁架之前,则可穿戴设备101向询问购买的要否的画面变迁。用户通过实际观看对应的商品,能够在尝试尺寸及颜色、使用方便性等之后进行商品的购买判断。
另外,本发明的可视光通信能够高精度地确定用户的位置。因此,例如在如图507那样用户要进入工厂内的危险地域的情况下还能够给出警告。进而,由于是否发出警告能够在可穿戴设备侧决定,所以能够构建例如向特定的年龄以下的儿童发出警告的自由度较高的警告系统。
(实施方式19)
图508是表示使用已经说明的实施方式所记载的接收方法的服务提供系统的图。
首先,对于管理服务器ex8002的企业A ex8000,其他企业B或个人ex8001委托向便携终端的信息的分发。例如委托对于与标牌可视光通信的便携终端发送详细的广告信息、优惠券信息或地图信息等。管理服务器的企业A ex8000与任意的ID信息对应而管理向便携终端分发的信息。便携终端ex8003通过可视光通信从被摄体ex8004取得ID信息,将所取得的ID信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并将发送了与ID信息对应的信息的次数计数。管理服务器的企业A ex8000将与计数的次数对应的费用对委托的企业B或个人ex8001核款。例如,计数数越大,使核款的金额越大。
图509是表示服务提供的流程的流程图。
在步骤ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在步骤ex8001中,在企业A管理的服务器中,将接受到分发委托的信息与特定的ID信息建立关联。在步骤ex8002中,便携终端通过可视光通信从被摄体接收特定的ID信息,向企业A管理的服务器发送。关于可视光通信方法的详细情况,由于在其他实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的ID信息对应的信息对便携终端发送。在步骤ex8003中,在服务器中,将信息分发的次数计数。最后,在步骤ex8004中,将与信息分发的计数数对应的费用对企业B核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业B核款。
图510是表示另一例的服务提供的流程图。关于与图509重复的步骤省略说明。
在步骤ex8008中,判断是否从信息分发的开始起经过了规定时间。如果判断为规定时间内,则在步骤ex8011中,不进行对企业B的核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8009中,将分发了信息的次数计数。并且,在步骤ex8010中,将与信息分发的计数对应的费用对企业B核款。这样,在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等后接受核款服务。
图511是表示另一例的服务提供的流程图。关于与图510重复的步骤省略说明。
在步骤ex8014中,将分发了信息的次数计数。在步骤ex8015中,在判断为从信息分发开始起没有经过规定期间的情况下,在步骤ex8016中不进行核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8017中进行分发了信息的次数是否为规定值以上的判断。在分发了信息的次数不到规定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到规定值的规定期间,对企业B不进行核款。在步骤ex8017中,如果计数数是规定值以上,则在步骤ex8018中将计数数复位一次,再次再开始计数。在步骤ex8019中,将与计数数对应的费用对企业B核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业B能够以适当的定时接受核款服务。此外,企业A也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业B提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的规定的期间短的期间。通过比初次的规定的期间短,能够使对于企业A的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。
另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在规定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的ID信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时点能够决定费用。
(实施方式20)
(容易接收的调制方式)
图512、图513是表示实施方式20的信号的编码的一例的图。
发送信号由头(H)和主体(Body)构成。在头中包含有唯一的信号样式。接收机从接收信号中找出该唯一的样式,以该位置为基准,识别接收信号的哪个部分表示头、主体,并接收数据。
当将发送信号用(a)的样式调制时,接收机在将头和接着它的主体连续接收到时能够接收数据。接收机能够连续接收信号的时间上的长度由摄像图像中的发送机的大小决定。在发送机较小的情况或将发送机从远处摄像的情况下,接收机能够连续接收信号的时间较短。在接收机能够连续接收信号的时间与头和主体的发送时间相同的情况下,仅在头的发送开始时间与接收开始时间相等的情况下能够接收数据。(a)是接收时间比头和主体的发送时间稍长的情况。箭头线表示接收时间,在以由粗线表示的定时接收到信号的情况下能够接收数据,但在以由细线表示的定时接收到的情况下,由于在接收信号中头和主体不齐全,所以不能接收数据。
通过将发送信号用(b)的样式调制,能够以更宽泛的接收定时进行数据的接收。发送机以“主体-头-主体”为一组,将调制出的信号发送。这里,相同的组的主体是相同的信号。接收机即使不将主体连续接收,也能够通过将头的前后的主体接合而将主体复原,所以只要能够将头连续地接收,就能够接收数据。在图512中,将能够接收数据的接收定时用粗线表示,可知在(b)的情况下,与(a)的情况相比能够以更宽泛的接收定时进行数据的接收。
在(b)的调制方式的情况下,只要主体的信号长度是固定值,接收机就能够将主体复原。或者,只要在头中包含主体的信号长度的信息,接收机就能够将主体复原。或者,即使在主体的信号长度是可变长度的情况下,也能够通过设定调制方式以使相同发送机调制的主体成为相同的信号长度,接收机能够根据两个头间的信号长度推测主体的信号长度而将主体复原。此时,在(b)的调制方式中,必须将两个头和两个主体的信号一次接收,但如果是(c)的调制方式,则仅通过将两个头和一个主体的信号接收,就能够推测主体的信号长度。另外,在(c)中,是以“主体-头-主体-头2”为一组的调制方式,接收机只要能够将头连续地接收,就能够接收数据。
(基于亮线的通信和图像识别的并用)
图514是实施方式20的摄像图像的一例。
接收机能够从摄像图像中的亮线读取信号,并将亮线以外的部分通过图像处理进行解析。由此,作为例子,接收机从例如构成为数字标牌的发送机接收信号,即使在接收到相同的信号的情况下也能够根据此时映照在发送机的画面上的图像而显示不同的广告等。
亮线在图像处理中为噪声,所以也可以从亮线的左右的像素将亮线部分的像素值进行插补后进行图像处理。此外,也可以对除了亮线部分以外的图像进行图像处理。
(适合于可视光信号的接收的摄像元件的利用方法)
图515是实施方式20的接收机的一例。
8910a是接收机的摄像元件。摄像元件由作为将图像摄像的部分的有效像素、用于暗电流等的噪声测量的光学黑和无效区域8910b构成。在光学黑中,还有测量垂直方向的噪声的VOB和测量水平方向的噪声的HOB。由于亮线向8910c的方向发生,所以在对VOB或无效区域8910b曝光的时间中得不到亮线,不能接收信号。因此,在可视光通信时,通过切换为不利用VOB和无效区域8910b或以最小限度利用的摄像模式,能够增加能够接收信号的时间。
此外,在可视光通信时,通过设为纵向的像素数不会因去马赛克或剪裁等的处理而减少那样的摄像模式,能够进一步增加可接收信号的时间。
如果不利用VOB或无效区域8910b,而以不减少纵向的像素的模式摄像,则摄像图像的下端与下一帧的摄像图像的上端的曝光定时在时间上连续,能够将信号连续地接收。此外,即使在不能完全使VOB等无效的情况下,也能够通过以能够纠错的方式调制发送信号来将信号连续地接收。
图515中,由于将水平方向的光电二极管同时曝光,所以出现水平方向的亮线。在可视光通信时,通过将该曝光模式和将垂直方向的光电二极管同时曝光的曝光模式交替地重复,能够得到水平的亮线和垂直的亮线,所以不论发送机是怎样的形状,都能够稳定地接收信号。
(适合于可视光信号的接收的摄像图像尺寸)
图516、图517是实施方式20的接收方法的一例。
在摄像元件的有效像素区域是4:3的情况下,如果以16:9摄像,则上下被剪裁。在亮线在水平方向上出现的情况下,通过该剪裁而亮线丢失,能够接收信号的时间变短。同样,在摄像元件的有效像素区域为16:9的情况下,如果以4:3摄像,则左右被剪裁,在亮线在垂直方向上出现的情况下能够接收信号的时间变短。所以,将不发生剪裁的纵横比设为可视光通信模式下的摄像纵横比,即在图516中将4:3而在图517中将16:9设为可视光通信模式下的摄像纵横比。由此,能够使可接收的时间变长。
(利用缩放的可视光信号的接收)
图518是实施方式20的接收方法的一例。
接收机从摄像图像8913a中找到存在亮线的区域,进行缩放以便产生尽可能多的亮线。如摄像图像8913b那样,在与亮线的方向垂直的方向上亮线区域扩大至达到画面的上端下端,由此能够使亮线的数量成为最大。
此外,接收机也可以找到亮线被清晰显示的区域,如8913c那样进行缩放以使该部分被较大地映照。
另外,在摄像图像中存在多个亮线区域的情况下,也可以对各个亮线区域依次进行上述处理。此外,也可以对用户从摄像图像中指定的亮线区域进行上述处理。
(适合于可视光信号的接收的图像数据尺寸的压缩方法)
图519是实施方式20的接收方法的一例。
当将摄像图像(a)从摄像部向图像处理部传送时、或从摄像终端向服务器发送时,在需要图像数据尺寸的压缩的情况下,如果如(c)那样对亮线在水平的方向上进行缩小或像素间隔剔除,则能够不减少亮线的信息量而将数据尺寸压缩。如果进行(b)或(d)那样的缩小或像素间隔剔除,则亮线的数量减少,或亮线的识别变困难。在图像压缩时,也通过在与亮线垂直的方向上不压缩、或者使垂直方向的压缩率比水平方向的压缩率小,能够防止接收效率的降低。另外,移动平均过滤器在垂直方向和水平方向上都可以使用,对于数据尺寸缩小和噪声降低的两者是有效的。
(接收错误检测精度较高的调制方式)
图520是实施方式20的信号调制方法的一例。
基于校验位的错误检测由于检测1位的接收错误,所以不能检测出“01”和“10”的弄错、和“00”和“11”的弄错。在(a)的调制方式中,“01”和“10”由于L的位置仅有一个不同,所以容易弄错,而在(b)的调制方式中,“01”和“10”、“00”和“11”的L的位置分别有两个不同。通过使用(b)的调制方式,能够以较高的精度检测接收错误。这在图404到图406的调制方式中也是同样的。
(根据状况的差异进行的接收机的动作的变更)
图521是实施方式20的接收机的动作的一例。
接收机8920a根据开始接收的状况而进行不同的动作。例如在日本启动的情况下,接收以60kHz调制后的信号,以接收到的ID为关键字从服务器8920d下载数据。在美国启动的情况下,接收以50kHz调制后的信号,以接收到的ID为关键字从服务器8920e下载数据。在使接收机的动作变更的上述状况下,有存在接收机8920a的场所(国家或建筑物)、与接收机8920a通信的基站或无线接入点(Wi-Fi、Bluetooth、IMES等)、时刻等。
(向人的可视光通信的周知)
图522是实施方式20的发送机的动作的一例。
发送机8921a的发光部反复进行人能够辨识的闪烁和可视光通信。通过进行人能够辨识的闪烁,能向人通知能够可视光通信的情况。用户通过发送机8921a的闪烁,注意到能够可视光通信,将接收机8921b朝向发送机8921a而进行可视光通信,进行发送机8921b的用户登记。
发送机也可以如(b)那样将可视光通信部和闪烁部分别设置。
发送机使用图405、图406的调制方式,如(c)那样动作,由此能够一边进行可视光通信,一边使人看到发光部正在闪烁。例如当在发送机中发生异常等而发送与通常不同的信号时,通过进行(c)的动作,能够不进行可视光通信而向用户提起注意。
(基于散光板的接收范围的拡大)
图523是实施方式20的接收机的一例。
(a)是通常模式的状况,(b)是可视光通信模式的状况。接收机8922a在摄像部之前具备散光板8922b。接收机8922a在可视光通信模式时使散光板8922b移动到摄像部之前,将光源扩散而摄像。此时,调整散光板8922b的位置以使来自多个光源的光不重叠。另外,也可以代替散光板8922b而使用微透镜或缩放透镜。由此,能够接收远处的发送机或较小的发送机的信号。
另外,也可以代替使散光板8922b移动而使摄像部的摄像方向移动。
另外,散光板8922b映照的图像传感器的区域,在通常摄像模式中不利用,仅在可视光通信模式中利用。由此,将散光板8922b和摄像部都不用移动便能够得到上述效果。
(从多个发送机的信号发送的同步方法)
图524和图525是实施方式20的发送系统的一例。
在为了投影映射等而使用多个投影机的情况下,为了避免干扰,需要在一处的投影中只有一个投影机发送信号、或者使多个投影机的信号发送定时同步。图524表示用于发送定时的同步的机制。
对相同的投影面进行投影的投影机A和投影机B如图那样发送信号。接收机将其摄像并接收,计算信号a与信号b的时间差,调整各投影机的信号发送定时。
在动作开始时,由于投影机A和投影机B不同步,所以通过设置从哪一个都不发送信号的时间(全休止时间),来防止信号a和信号b重叠而不能接收。也可以随着投影机的定时调整的进行而使投影机发送的信号变化。例如,通过在动作开始时将全休止时间取较长、随着定时调整的进行而使全休止时间变短,能够高效率地进行定时调整。
为了正确地调整定时,优选的是在1张摄像图像中包含信号a和信号b。接收机的摄像帧速率为60fps到7.5fps的情况较多。通过使信号发送的周期为7.5分之1秒以下,能够将信号a和信号b包含在以7.5fps摄像的图像中。此外,通过使信号发送的周期为60分之1秒以下,能够可靠地将信号a和信号b包含在以30fps摄像的图像中。
图525是将由多个显示器构成的发送机同步的情况。同步的显示器进行摄像以包含于1张图像中,并进行定时调整。
(照度传感器和图像传感器的可视光信号的接收)
图526是实施方式20的接收机的动作的一例。
图像传感器由于与照度传感器相比消耗电力较高,所以接收机8940a在由照度传感器8940c检测到信号时将图像传感器8940b启动而接收信号。接收机8940a将发送机8940d发送的信号用照度传感器8940c接收。然后,接收机8940a将图像传感器8940b启动,用图像传感器将发送机8940d的发送信号接收,此外,识别发送机8940d的位置。此时,图像传感器8940b在接收到信号的一部分的时间点,如果该部分与由照度传感器8940c接收到的信号相同,则临时判断为接收到相同的信号,进行后段的处理、例如当前位置的显示等。在由图像传感器8940b接收完全部的信号的时间点,完成判断。
另外,在临时判断时,也可以显示判断没有完成的情况。例如,使当前位置的显示为半透明,或显示位置的误差。
另外,所谓上述信号的一部分,例如设定为整体的信号长度的20%、或错误检测码部分等。
在(b)那样的状况下,在照度传感器8940c中,虽然信号干扰而不能接收,但能够识别出存在信号。例如在对照度传感器8940c的传感器值进行了傅立叶变换时,在发送信号的调制频率中出现峰值的情况下,可以推测为存在信号。接收机8940a当根据照度传感器8940c的传感器值推测为存在信号时,将图像传感器8940b启动,接收来自发送机8940e、8940f的信号。
(接收开始的触发)
图527是实施方式20的接收机的动作的一例。
如果将图像传感器或照度传感器(以下称作受光传感器)启动,则消耗电力,所以通过在不需要时停止、在需要时启动,能够使消耗电力效率提高。另外,由于照度传感器的消耗电力比图像传感器少,所以以下也可以设为照度传感器总是启动,而仅控制图像传感器。
在(a)中,接收机8941a根据9轴传感器的传感器值检测移动,将受光传感器启动而开始接收。
在(b)中,根据9轴传感器的传感器值检测将接收机放倒的动作,将朝向上方一侧的受光传感器启动,开始接收。
在(c)中,根据9轴传感器的传感器值检测将接收机伸出的动作,将被伸出的方向的受光传感器启动,开始接收。
在(d)中,根据9轴传感器的传感器值检测将接收机朝向上方的动作或摇晃的动作,将朝向上方的一侧的受光传感器启动,开始接收。
(接收开始的手势)
图528是表示本通信方式的开始接收的手势动作的一例的图。
例如构成为智能电话的接收机8942a根据9轴传感器的传感器值,检测将接收机竖起并在横向上滑动的动作、或反复向横向的滑动的动作。然后,接收机8942b开始接收,基于接收到的ID取得发送机的位置。然后,接收机8942b根据多个发送机8942b与自身的相对位置关系,取得自身的位置。接收机8942b通过被滑动,能够稳定地将多个发送机摄像,并通过三角测量的方法能够高精度地推测自己位置。
另外,该动作也可以仅在主画面为前景时进行。由此,能够防止在使用其他应用的过程中违背用户的意图而进行本通信。
(对汽车导航的应用例)
图529和图530是表示实施方式20的发送接收系统的应用例的一例的图。
例如构成为汽车导航的发送机8950b发送蓝牙(Bluetooth)的配对信息、Wi-Fi的SSID和口令、IP地址等用于向发送机8950b无线连接的信息。例如构成为智能电话的接收机8950a基于接收到的信息与发送机8950b建立无线连接,以后的交换经由该无线连接进行。
例如,用户向智能电话8950a输入目的地或要搜索的店铺信息等,智能电话8950a将经由无线连接而输入到汽车导航8950b中的信息传递,汽车导航8950b将路径信息进行显示。此外,例如使智能电话8950a作为汽车导航8950b的控制器动作,对汽车导航8950b要再现的音乐或影像进行控制。此外,例如由汽车导航8950b再现智能电话8950a保持的音乐或影像。此外,例如汽车导航8950b取得周边的店铺信息或道路的混杂信息,使智能电话8950a显示。此外,例如智能电话8950a当有来信时,使用无线连接的汽车导航8950b的麦克风和扬声器进行通话。另外,智能电话8950a也可以在有来信时建立无线连接而进行上述动作。
汽车导航8950b当被设定为无线连接的自动连接模式时,自动与登记的终端无线连接。汽车导航8950b当不是自动连接模式时,使用可视光通信发送连接信息,并等待连接。另外,汽车导航8950b也可以在自动连接模式时也使用可视光通信发送连接信息并等待连接。另外,汽车导航在被手动连接的情况下,既可以将自动连接模式解除,也可以将与自动连接的终端的连接切断。
(对内容保护的应用例)
图531是实施方式20的发送接收系统的应用例的一例。
例如构成为电视机的发送机8951b发送在自身或连接的设备8951c中保持的内容保护信息。例如构成为智能电话的接收机8951a接收上述内容保护信息,然后在规定的时间的期间中进行内容保护,以便能够将8951b或8951c的被内容保护信息保护的内容进行再现。由此,能够将保持在用户拥有的别的设备中的内容用接收机再现。
另外,也可以是,发送机8951b将内容保护信息保持在服务器中,接收机8951a以接收到的8951b的ID为关键字从服务器取得内容保护信息。
另外,接收机8951a也可以将所取得的内容保护信息再向其他设备发送。
(作为电子锁的应用例)
图532是实施方式20的发送接收系统的应用例的一例。
接收机8952a将发送机8952b发送的ID接收,向服务器8952c发送。服务器8952c在从8952a送来8952b的ID的情况下,将门8952d解锁或将自动门打开,将向登记在接收机8952a中的层移动的电梯呼叫到接收机8952a所在的层。由此,接收机8952a起到钥匙的作用,能够在用户到达门8952d之前进行解锁等。
为了防止有恶意的操作,服务器8952c也可以利用8952a的安全元件等的安全保护,确认通信对方是接收机8952a。此外,为了确认接收机8952a确实处于发送机8952b的附近,服务器8952c也可以在接收到发送机8952b的ID时向发送机8952b发出发送不同信号的命令,在从接收机8952a送来上述信号的情况下进行解锁。
(作为来店信息传递的应用例)
图533是实施方式20的发送接收系统的应用例的一例。
接收机8953a将发送机8953b发送的ID向服务器8953c发送。服务器8953c将与接收机8953a建立了关联的订购信息向店员8953d通知。店员8953d基于上述订购信息准备商品等。由此,在用户进入店铺等的时间点订购被准备,所以用户能够迅速地获取商品等。
(与场所对应的订购控制的应用例)
图534是实施方式20的发送接收系统的应用例的一例。
接收机8954a仅在接收到发送机8954b的发送信号时显示能够进行订购的画面。由此,店铺能够避免不在附近的顾客的订购。
或者,接收机8954a将发送机8954b的ID添加到订购信息中而进行订购。由此,店铺能够掌握订购者的位置,掌握将商品送达的位置。或者,店铺能够推测订购者来店为止的时间。另外,接收机8954a也可以将根据移动速度计算出的到店铺的移动时间添加到订购信息中。此外,接收机根据当前位置,判断不自然的购买(例如,从当前位置的车站以外出发的搭乘券的购入)。
(对道路指引的应用例)
图535是实施方式20的发送接收系统的应用例的一例。
接收机8955a接收例如构成为指引板的发送机8955b的发送ID,从服务器取得显示在指引板上的地图的数据并显示。此时,也可以是,服务器发送适合于接收机8955a的用户的广告,接收机8955a将该广告信息也进行显示。接收机8955a显示从当前地点到用户指定的场所的路径。
(对所在地联络的应用例)
图536是实施方式20的发送接收系统的应用例的一例。
接收机8956a接收例如构成为家庭或学校的照明的发送机8956b发送的ID,将以该ID为关键字而取得的位置信息向终端8956c发送。由此,持有终端8956c的保护者能够知道持有接收机8956a的儿童回到家中或到达了学校。此外,持有终端8956c的监督者能够掌握持有接收机8956a的作业者的当前位置。
(对利用日志储存和解析的应用例)
图537是实施方式20的发送接收系统的应用例的一例。
接收机8957a接收例如构成为招牌的发送机8957b发送的ID,从服务器取得优惠券信息并显示。接收机8957a向服务器8957c保存其后的用户的行动,例如将优惠券保存、移动到显示在优惠券上的店铺、或在该店铺进行了购物、没有将优惠券保存而离去等行动。由此,能够将从招牌8957b取得了信息的用户的其后的行动进行解析,能够估计招牌8957b的广告价值。
(对画面共享的应用例)
图538和图539是实施方式20的收发系统的应用例之一。
例如构成为投影机或显示器的发送机8960b发送用于向自身无线连接的信息(SSID、无线连接用口令、IP地址、用来操作发送机的口令)。或者,发送作为用于对这些信息进行访问的关键字的ID。例如构成为智能电话、平板电脑、笔记本电脑或照相机的接收机8960a接收从发送机8960b发送的信号并取得上述信息,建立与发送机8960b的无线连接。该无线连接既可以经由路由器连接,也可以通过Wi-Fi Direct、Bluetooth或WirelessHome Digital Interface等直接连接。接收机8960a发送在发送机8960b上显示的画面。由此,能够轻松地将接收机的图像显示到发送机上。
另外,发送机8960b当与接收机8960a连接时,为了画面显示,除了发送机发送的信息以外,也可以将需要口令之意向接收机8960a传送,在没有送来正确的口令的情况下不显示所发送的画面。此时,接收机8960a显示8960d那样的口令输入画面,供用户输入口令。
图539是经由接收机8960a使发送机8960b显示发送机8961c的画面的情况。例如构成为笔记本电脑的终端8961c发送用于向自身连接的信息或与该信息建立了关联的ID。接收机8960a接收从发送机8960b发送的信号和从发送机8961c发送的信号,建立与各发送机的连接,使得从发送机8961c传送用于显示到发送机8960b上的图像。发送机8960b和发送机8961c既可以直接通信,也可以经由接收机8960a或路由器通信。由此,即使在发送机8961c不能接收发送机8960b发送的信号的情况下也能够轻松地使发送机8960b显示发送机8961c的图像。
另外,接收机8960a也可以仅在接收到发送机8960b发送的信号的时刻与接收到发送机8961c发送的信号的时刻的差是规定的时间以下时进行上述动作。
另外,发送机8961c也可以仅在从接收机8960a接收到正确的口令的情况下将图像向发送机8960b发送。
(利用无线接入点的位置推测的应用例)
图540是实施方式20的收发系统的应用例之一。
例如构成为智能电话的接收机8963a接收发送机8963b发送的ID。接收机8963a以接收到的ID为关键字取得发送机8963b的位置信息,根据摄像图像中的发送机8963b的位置和方向推测自身的位置。此外,接收机8963a接收来自例如构成为Wi-Fi接入点的电波发信机8963c的信号。接收机8963a根据信号中包含的电波发信机8963c的位置信息和电波发信方向信息,推测自身的位置。接收机8963a通过用多个手段推测自己位置,能够高精度地推测自己位置。
对利用无线发信机8963c的信息推测自己位置的方法进行说明。无线发信机8963c从多个天线向不同的方向发送同步的信号。此外,无线发信机8963c将信号发送的方向依次变更。接收机8963a将电波强度最强时的电波发信方向推测为从无线发信机8963c向自身的方向。此外,根据从别的天线发信、并分别穿过了路径8963d、8963e、8963f的电波的到达时间的差计算路径差,根据各电波发信角度差θ12、θ13、θ23计算无线发信机8963c与自身的距离。进而,通过利用周围的电场信息、电波反射物信息,能够更高精度地推测自己位置。
(基于可视光通信和无线通信的位置推测)
图541是表示进行基于可视光通信和无线通信的位置推测的结构的图。即,图541表示使用可视光通信和无线通信进行终端的位置推测的结构。
便携终端通过与发光部进行可视光通信,取得发光部的ID。将所取得的ID向服务器询问,取得发光部的位置信息。由此,能够取得实际距离L1。此外,如已经在其他实施例中说明那样,便携终端的倾斜θ1能够使用陀螺仪传感器等检测,所以能够计算L3。使用L1和L3能够计算便携终端的x1的值。
另一方面,关于y1的值,使用无线通信进行位置推测。在从MIMO接入点朝向便携终端进行波束形成的情况下,波束形成的角度θ2是MIMO接入点设定的角度,为已知的值。因而,通过由便携终端用无线通信等取得波束形成的角度θ2,能够根据x1和θ2计算y1的值。由于MIMO能够形成多个波束,所以通过利用多个波束形成,能够进行精度更高的位置推测。
这样,根据本实施方式,通过使用基于可视光通信的位置推测和基于无线通信的位置推测这两者,能够进一步提高位置推测的精度。
以上,关于有关一个或多个形态的信息通信方法基于实施方式进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。
图542A是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括步骤SK91~SK93。
即,该信息通信方法包括:第1曝光时间设定步骤SK91,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;第1图像取得步骤SK92,上述图像传感器以设定的上述第1曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤SK93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤SK92中,上述多个曝光行各自依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
图542B是有关本发明的一技术方案的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置K90,是从被摄体取得信息的信息通信装置,具备构成要素K91~K93。
即,该信息通信装置K90具备:曝光时间设定部K91,设定上述图像传感器的曝光时间,以使得在由图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;图像取得部K92,以设定的上述曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得部K93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;上述多个曝光行分别依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
在这样的图542A及图542B所示的信息通信方法及信息通信装置K90中,如使用例如图24D等说明的那样,多个曝光行分别在从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光,因此能够容易地识别被摄体的亮度变化。结果,能够适当地从被摄体取得信息。
另外,在上述各实施方式中,也可以通过将各构成要素用专用的硬件构成、或将适合于各构成要素的软件程序执行来实现。各构成要素也可以通过由CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。例如程序使计算机执行图542A的流程图所示的信息通信方法。
另外,有关本发明的一形态的信息通信方法也能够应用到以下的例子中。
图543是表示搭载有光传感器的时钟的图。
如横剖视图所示,在传感器的上表面配置有聚光透镜。在图543中,聚光透镜具有规定的倾斜而配置。聚光透镜的形状并不限定于此,只要是能够聚光的形状,也可以是其他形状。通过这样的结构,光传感器能够通过透镜将来自外界的光源的光聚光而受光。因而,即使是如搭载于时钟的较小的光传感器,也能够进行可视光通信。在图543中构成为,划分为12个区域而搭载12个光传感器,在各光传感器的上表面配置聚光透镜。这样,通过将时钟内部分为多个区域而配置多个光传感器,能够取得来自多个光源的信息。例如,在图543中,能够用第1光传感器接受来自光源1的光,用第2光传感器接受来自光源2的光。此外,作为光传感器,也可以使用太阳能电池。通过作为光传感器而使用太阳能电池,能够用单一的传感器在进行太阳能发电的同时进行可视光通信,所以能够削减成本并且做成紧凑的形状。进而,在配置多个光传感器的情况下,能够同时取得来自多个光源的信息,所以能够提高位置推测精度。在本实施方式中,采用在时钟中设置光传感器的结构,但并不限定于此,只要是便携电话或便携终端等可移动的终端,也可以是其他装置。
工业实用性
本发明能够用于信息通信装置等中,特别是能够用于在智能电话、平板电脑、便携电话、智能手表、头戴显示器等的便携终端与空调、照明设备、电饭锅、电视机、记录机、投影机等的家电设备的通信方法中利用的信息通信装置等中。
标号说明
1101 电视机
1105 智能电话
1106 电灶
1107 空气净化机
1201 智能电话
1301 发送侧装置
1309 发送速度判断部
1401 接收侧装置
1404 图像取得部
1406 闪烁信息取得部
3001a 移动终端
3001b 门禁电话宅内器
3001c 门禁电话宅外器
3001e 住宅配送订购服务器
3001f 住宅配送者移动终端
4040a 电灶表
4040b 便携设备表
4040c 便携设备机种表
4040d 用户声音特性表
4040e 用户关键字声音表
4040f 用户拥有设备位置表
4040h 用户位置表
K90 信息通信装置
K91 曝光时间设定部
K92 图像取得部
K93 信息取得部

Claims (8)

1.一种信息通信方法,从被摄体取得信息,包括:
第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;
第1图像取得步骤,上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及
信息取得步骤,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;
在上述第1图像取得步骤中,上述多个曝光行各自依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
2.如权利要求1所述的信息通信方法,
在上述第1图像取得步骤中,上述多个曝光行各自在与相邻的上述相邻曝光行之间在曝光时间上没有重叠,并且具有规定的空闲时间。
3.如权利要求1或2所述的信息通信方法,
上述信息通信方法还具有:
第2曝光时间设定步骤,设定上述图像传感器的第2曝光时间,以使得将上述图像传感器的各曝光行的曝光依次在不同的时刻开始,并且上述各曝光行的曝光时间在与相邻的上述相邻曝光行之间在局部上具有时间上的重叠;以及
第2图像取得步骤,通过以上述第2曝光时间进行摄影,取得通常图像;
上述第1图像取得步骤通过将上述第1曝光时间设定为比上述第2曝光时间短且1/480秒以下,使图像产生上述多个亮线。
4.如权利要求3所述的信息通信方法,
在上述第1图像取得步骤和上述第2图像取得步骤中,通过相同的读出方法从上述图像传感器读出数据。
5.如权利要求1~4中任一项所述的信息通信方法,
上述曝光行的第1曝光时间比亮度变化的上述被摄体维持规定的亮度值的发光时间中的最短的发光时间短。
6.如权利要求1~5中任一项所述的信息通信方法,
上述曝光行的第1曝光时间比上述被摄体的亮度从最大值变化到最小值的推移时间长。
7.如权利要求1~6中任一项所述的信息通信方法,
上述曝光行的第1曝光时间比上述被摄体的亮度变化中的高频噪声的一周期的时间长。
8.一种信息通信装置,从被摄体取得信息,具备:
曝光时间设定部,设定图像传感器的曝光时间,以使得在由上述图像传感器对上述被摄体进行摄影而得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的多个曝光行对应的多个亮线;
图像取得部,以所设定的上述曝光时间对亮度变化的上述被摄体进行摄影,由此取得包括上述多个亮线的亮线图像;以及
信息取得部,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;
上述多个曝光行各自依次在不同的时刻开始曝光,并且从与该曝光行相邻的相邻曝光行的曝光结束后起经过规定的空闲时间后,开始曝光。
CN201380067423.9A 2012-12-27 2013-11-22 信息通信方法和信息通信装置 Active CN104871454B (zh)

Applications Claiming Priority (45)

Application Number Priority Date Filing Date Title
US201261746315P 2012-12-27 2012-12-27
JP2012-286339 2012-12-27
JP2012286339 2012-12-27
US61/746,315 2012-12-27
US201361805978P 2013-03-28 2013-03-28
JP2013070740 2013-03-28
US61/805,978 2013-03-28
JP2013-070740 2013-03-28
US201361810291P 2013-04-10 2013-04-10
US61/810,291 2013-04-10
JP2013-082546 2013-04-10
JP2013082546 2013-04-10
JPPCT/JP2013/003319 2013-05-24
US13/902,215 2013-05-24
PCT/JP2013/003319 WO2013175804A1 (ja) 2012-05-24 2013-05-24 情報通信方法
US13/902,436 US8823852B2 (en) 2012-05-24 2013-05-24 Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US13/902,436 2013-05-24
PCT/JP2013/003318 WO2013175803A1 (ja) 2012-05-24 2013-05-24 情報通信方法
JPPCT/JP2013/003318 2013-05-24
US13/902,393 US9083543B2 (en) 2012-05-24 2013-05-24 Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US13/902,393 2013-05-24
JP2013110445 2013-05-24
US13/902,215 US9166810B2 (en) 2012-05-24 2013-05-24 Information communication device of obtaining information by demodulating a bright line pattern included in an image
JP2013-110445 2013-05-24
US201361859902P 2013-07-30 2013-07-30
JP2013-158359 2013-07-30
JP2013158359 2013-07-30
US61/859,902 2013-07-30
US201361872028P 2013-08-30 2013-08-30
JP2013180729 2013-08-30
JP2013-180729 2013-08-30
US61/872,028 2013-08-30
US201361895615P 2013-10-25 2013-10-25
US61/895,615 2013-10-25
JP2013222827 2013-10-25
JP2013-222827 2013-10-25
US201361896879P 2013-10-29 2013-10-29
US61/896,879 2013-10-29
JP2013224805 2013-10-29
JP2013-224805 2013-10-29
US201361904611P 2013-11-15 2013-11-15
JP2013237460 2013-11-15
JP2013-237460 2013-11-15
US61/904,611 2013-11-15
PCT/JP2013/006871 WO2014103159A1 (ja) 2012-12-27 2013-11-22 情報通信方法

Publications (2)

Publication Number Publication Date
CN104871454A true CN104871454A (zh) 2015-08-26
CN104871454B CN104871454B (zh) 2018-09-28

Family

ID=51017325

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710933433.6A Active CN107635100B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201380067090.XA Active CN104885381B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201380067423.9A Active CN104871454B (zh) 2012-12-27 2013-11-22 信息通信方法和信息通信装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710933433.6A Active CN107635100B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201380067090.XA Active CN104885381B (zh) 2012-12-27 2013-11-22 信息通信方法

Country Status (9)

Country Link
US (19) US9094120B2 (zh)
EP (2) EP2940896B1 (zh)
JP (8) JP5606655B1 (zh)
CN (3) CN107635100B (zh)
AU (1) AU2013368082B9 (zh)
CL (1) CL2015001828A1 (zh)
MX (3) MX359612B (zh)
SG (3) SG10201502498PA (zh)
WO (2) WO2014103159A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793486A (zh) * 2017-11-16 2019-05-24 卡尔史托斯影像有限公司 改进的声带频闪摄影检查
CN110366831A (zh) * 2017-03-02 2019-10-22 昕诺飞控股有限公司 从与不同光信标相关联的内容项中进行选择
TWI678720B (zh) * 2018-01-15 2019-12-01 日商歐姆龍股份有限公司 無線開關
CN110546896A (zh) * 2017-04-28 2019-12-06 松下电器(美国)知识产权公司 发送装置、发送方法、接收装置、以及接收方法

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5395293B1 (ja) 2012-05-24 2014-01-22 パナソニック株式会社 情報通信方法および情報通信装置
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
WO2014103329A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 可視光通信信号表示方法及び表示装置
SG10201502498PA (en) * 2012-12-27 2015-05-28 Panasonic Ip Corp America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
KR101511442B1 (ko) * 2013-10-28 2015-04-13 서울과학기술대학교 산학협력단 카메라를 통해 led-id/rf 통신을 수행하는 스마트 디바이스와 이를 이용한 위치 기반 서비스 제공 시스템 및 방법
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
US9294666B2 (en) 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
KR102220910B1 (ko) * 2014-01-10 2021-02-25 엘지전자 주식회사 가전제품 및 가전제품 제어방법
JP6375660B2 (ja) * 2014-01-21 2018-08-22 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
KR102180236B1 (ko) * 2014-02-20 2020-11-18 삼성전자 주식회사 전자 장치의 입력 처리 방법 및 장치
US10869805B2 (en) * 2014-03-21 2020-12-22 Fruit Innovations Limited System and method for providing navigation information
US10009099B2 (en) * 2014-03-29 2018-06-26 Intel Corporation Techniques for communication with body-carried devices
TWI556647B (zh) * 2014-08-08 2016-11-01 恆景科技股份有限公司 影像感測器的可調適降低功率消耗的方法
TWI539763B (zh) * 2014-09-26 2016-06-21 財團法人工業技術研究院 光通訊裝置及其控制方法
JP6670996B2 (ja) * 2014-09-26 2020-03-25 パナソニックIpマネジメント株式会社 表示装置及び表示方法
KR20160041147A (ko) * 2014-10-06 2016-04-18 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
JP6551415B2 (ja) * 2014-10-21 2019-07-31 ソニー株式会社 送信装置及び送信方法、受信装置及び受信方法、並びに、プログラム
JP6591262B2 (ja) 2014-11-14 2019-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生方法、再生装置およびプログラム
CN104333498B (zh) 2014-11-28 2018-10-02 小米科技有限责任公司 控制智能家居设备的方法及装置
JP6425173B2 (ja) 2015-03-06 2018-11-21 パナソニックIpマネジメント株式会社 照明装置及び照明システム
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
US9969332B1 (en) * 2015-06-03 2018-05-15 Ambarella, Inc. Reduction of LED headlight flickering in electronic mirror applications
US9698908B2 (en) * 2015-09-30 2017-07-04 Osram Sylvania Inc. Sub-sampling raster lines in rolling shutter mode for light-based communication
WO2017072779A1 (en) * 2015-10-28 2017-05-04 Hewlett-Packard Development Company, L.P. Processing a machine-readable link
WO2017077690A1 (ja) 2015-11-06 2017-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 可視光信号の生成方法、信号生成装置およびプログラム
CN107466477B (zh) 2015-11-12 2021-08-10 松下电器(美国)知识产权公司 显示方法、计算机可读取记录介质以及显示装置
JP6844546B2 (ja) * 2015-12-04 2021-03-17 ソニー株式会社 送信制御装置、送信制御方法、信号伝送システムおよび信号伝送方法
WO2017104166A1 (ja) * 2015-12-17 2017-06-22 三菱電機株式会社 光信号発生装置、光信号受信装置、及び光通信システム
EP3393132B1 (en) 2015-12-17 2022-11-02 Panasonic Intellectual Property Corporation of America Display method and display device
JP6681610B2 (ja) * 2016-03-08 2020-04-15 パナソニックIpマネジメント株式会社 案内表示装置及び案内システム
JP2019114821A (ja) 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
JP6846897B2 (ja) * 2016-03-24 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 位置指示方法、位置指示装置、自走式装置及びプログラム
JP2017208610A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像読取装置及び画像形成装置
US9549153B1 (en) * 2016-05-26 2017-01-17 Logitech Europe, S.A. Method and apparatus for facilitating setup, discovery of capabilites and interaction of electronic devices
US11462097B2 (en) * 2016-07-14 2022-10-04 Signify Holding B.V. Illumination control
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN106209229B (zh) * 2016-08-26 2021-03-16 深圳前海霍曼科技有限公司 基于光线的数据传输装置及方法
US10158425B2 (en) * 2016-09-14 2018-12-18 Qualcomm Incorporated Methods and systems for adjusting an orientation of a light sensor
KR102576159B1 (ko) * 2016-10-25 2023-09-08 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
WO2018089349A1 (en) * 2016-11-08 2018-05-17 Invue Security Products Inc. Systems and methods for acquiring data from articles of merchandise on display
CN110114988B (zh) 2016-11-10 2021-09-07 松下电器(美国)知识产权公司 发送方法、发送装置及记录介质
US10256906B2 (en) * 2016-12-13 2019-04-09 University Of Virginia Patent Foundation Position localization using visible light communication
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
WO2018143939A1 (en) * 2017-01-31 2018-08-09 Hewlett-Packard Development Company, L.P. Temporal light pattern encoding passkey
JP6705411B2 (ja) * 2017-03-28 2020-06-03 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
EP3657342A4 (en) * 2017-07-20 2020-07-29 Panasonic Intellectual Property Corporation of America COMMUNICATION SYSTEM, TERMINAL, CONTROL PROCEDURE AND PROGRAM
US10242390B2 (en) 2017-07-31 2019-03-26 Bank Of America Corporation Digital data processing system for controlling automated exchange zone systems
JP2019036400A (ja) * 2017-08-10 2019-03-07 パナソニックIpマネジメント株式会社 照明システム、操作装置、および、照明システムのマッピング方法
US10819426B2 (en) * 2017-09-13 2020-10-27 Osram Sylvania Inc. Techniques for decoding light-based communication messages
US10438404B2 (en) * 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
US10503391B2 (en) * 2017-11-17 2019-12-10 Motorola Solutions, Inc. Device, system and method for correcting operational device errors
IL255891B2 (en) * 2017-11-23 2023-05-01 Everysight Ltd Selecting a site for displaying information
CN111492596A (zh) * 2017-12-19 2020-08-04 松下电器(美国)知识产权公司 发送方法、接收方法、发送装置、以及接收装置
US11408959B2 (en) 2017-12-22 2022-08-09 University Of Virginia Patent Foundation Positioning through multipath reflection
EP3747186B1 (en) 2018-01-29 2021-06-16 Signify Holding B.V. A device for image based services
CN110471580B (zh) * 2018-05-09 2021-06-15 北京外号信息技术有限公司 基于光标签的信息设备交互方法及系统
US10906646B2 (en) * 2018-05-11 2021-02-02 B/E Aerospace, Inc. Integrated passenger service unit (PSU)
US10822088B2 (en) * 2018-05-11 2020-11-03 B/E Aerospace, Inc. Unified passenger service unit (PSU) control
WO2020031260A1 (ja) * 2018-08-07 2020-02-13 三菱電機株式会社 制御装置、制御システム、報知方法及びプログラム
CN111360810A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 机器人传感器的外参标定方法、装置、机器人及存储介质
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
CN111832766A (zh) * 2019-04-24 2020-10-27 北京嘀嘀无限科技发展有限公司 共享车辆预约订单管理方法、电子设备及存储介质
US11606549B1 (en) * 2019-06-26 2023-03-14 Ball Aerospace & Technologies Corp. Methods and systems for mitigating persistence in photodetectors
WO2021002024A1 (ja) * 2019-07-04 2021-01-07 日本電信電話株式会社 無線通信システム、無線通信方法及び無線端末装置
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
US11038704B2 (en) 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11257388B2 (en) * 2019-10-30 2022-02-22 Honeywell International Inc. Obstruction detection and warning system and method
CN110808785B (zh) * 2019-11-08 2023-02-28 新疆大学 组合光波束的多输入多输出可见光通信发射装置
CN110809309B (zh) * 2019-11-15 2022-02-22 北京三快在线科技有限公司 接入点的识别方法、装置及存储介质
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
CN111563518B (zh) * 2020-03-20 2023-08-11 时时同云科技(成都)有限责任公司 基于边缘计算的菜品图像识别方法及装置
US10965908B1 (en) 2020-03-30 2021-03-30 Logitech Europe S.A. Advanced video conferencing systems and methods
US10951858B1 (en) 2020-03-30 2021-03-16 Logitech Europe S.A. Advanced video conferencing systems and methods
US10972655B1 (en) 2020-03-30 2021-04-06 Logitech Europe S.A. Advanced video conferencing systems and methods
US10904446B1 (en) 2020-03-30 2021-01-26 Logitech Europe S.A. Advanced video conferencing systems and methods
US11511423B2 (en) 2020-03-31 2022-11-29 Uvd Robots Aps Method of plotting ultraviolet (UV) radiation for disinfection
CN111762236B (zh) * 2020-06-29 2022-05-10 交控科技股份有限公司 轨道交通列车定位方法、装置及系统
CN111883036B (zh) * 2020-07-28 2023-05-09 华兴源创(成都)科技有限公司 显示面板的补偿方法和补偿装置
DE102020211069A1 (de) 2020-09-02 2021-11-11 Continental Automotive Gmbh Anordnung und Verfahren zum Betreiben eines Mobilitätsdienstes
JP7325740B2 (ja) * 2021-03-09 2023-08-15 学校法人金沢医科大学 見え方シミュレーション方法及びプログラム
US11522608B1 (en) 2021-06-29 2022-12-06 Cisco Technology, Inc. Geospatial coordinate provisioning using LiFi
EP4165798B1 (en) * 2021-09-03 2023-07-26 Flarm Technology AG Aircraft collision avoidance method and device
JP7520943B2 (ja) 2022-11-18 2024-07-23 Lineヤフー株式会社 アプリケーションプログラム、情報提供方法、および情報提供装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1702984A (zh) * 2004-05-28 2005-11-30 三星电子株式会社 利用摄像机设备来实现可见光短距离通信的无线终端
JP2006121466A (ja) * 2004-10-22 2006-05-11 Nec Corp 撮像素子、撮像モジュール及び携帯端末
JP2012095214A (ja) * 2010-10-28 2012-05-17 Canon Inc 撮像装置
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012244549A (ja) * 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
CN102843186A (zh) * 2011-06-23 2012-12-26 卡西欧计算机株式会社 信息传输系统、信息发送装置、信息接收装置、信息传输方法、信息发送方法和信息接收方法

Family Cites Families (288)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4736397Y1 (zh) 1970-08-24 1972-11-02
JPS4736397U (zh) 1971-05-17 1972-12-22
JPS545695B2 (zh) 1972-06-20 1979-03-20
JPS6038463Y2 (ja) 1976-12-28 1985-11-16 サンリツ工業株式会社 電気カミソリのケ−ス構造
JPS5619639Y2 (zh) 1976-12-29 1981-05-11
US4120171A (en) 1977-01-13 1978-10-17 Societe Nationale Elf Aquitaine (Production) Apparatus and method of connecting a flexible line to a subsea station
JPS5931477B2 (ja) 1977-01-27 1984-08-02 日本電気株式会社 印刷装置
JPS545695U (zh) 1977-06-13 1979-01-16
JPS595896B2 (ja) 1977-06-15 1984-02-07 エプソン株式会社 残像効果型表示装置
US6062481A (en) 1986-04-18 2000-05-16 Cias, Inc. Optimal error-detecting, error-correcting and other coding and processing, particularly for bar codes, and applications therefor such as counterfeit detection
JPH087567B2 (ja) 1986-08-12 1996-01-29 株式会社日立製作所 画像表示装置
US4807031A (en) 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
EP0697157A4 (en) 1993-05-03 1996-05-29 Pinjaroo Pty Limited SUBLIMINAL MESSAGE DISPLAY SYSTEM
US6345104B1 (en) 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
JPH07200428A (ja) 1993-12-28 1995-08-04 Canon Inc 通信装置
CN2187863Y (zh) 1994-02-03 1995-01-18 清华大学 用以观测快速运动物流的跟踪摄象-录象装置
US5484998A (en) 1994-03-16 1996-01-16 Decora Industries, Inc. Bar-coded card with coding and reading system
JP3949679B2 (ja) 1995-05-08 2007-07-25 ディジマーク コーポレイション ステガノグラフィシステム
EP1137251B1 (en) 1995-05-08 2004-03-03 Digimarc Corporation Use of calibration data steganographically embedded in the transform domain to discern image distortion
JP2748263B2 (ja) 1995-09-04 1998-05-06 松下電器産業株式会社 バーコードリーダと、それに用いるイメージセンサ
US5822310A (en) 1995-12-27 1998-10-13 Ericsson Inc. High power short message service using broadcast control channel
US5765176A (en) 1996-09-06 1998-06-09 Xerox Corporation Performing document image management tasks using an iconic image having embedded encoded information
US5974348A (en) 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
US20050169643A1 (en) 1997-01-02 2005-08-04 Franklin Philip G. Method and apparatus for the zonal transmission of data using building lighting fixtures
WO1999044336A1 (fr) 1998-02-26 1999-09-02 Sony Corporation Appareil de traitement de donnees et support lisible par ordinateur
WO2001093473A2 (en) 2000-05-31 2001-12-06 Optinetix (Israel) Ltd. Systems and methods for distributing information through broadcast media
KR100434459B1 (ko) 2000-06-27 2004-06-05 삼성전자주식회사 이동통신 시스템에서 패킷의 전송 제어방법 및 장치
JP2002144984A (ja) 2000-11-17 2002-05-22 Matsushita Electric Ind Co Ltd 車載用電子機器
WO2002061959A2 (en) * 2001-01-30 2002-08-08 University Of South Florida Open-path laser/optical communication systems and methods utilizing wavelengths between atmospheric and gaseous absorption lines
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
US6831643B2 (en) 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US20020171639A1 (en) 2001-04-16 2002-11-21 Gal Ben-David Methods and apparatus for transmitting data over graphic displays
US20030026422A1 (en) 2001-06-19 2003-02-06 Usa Video Interactive Corporation Method and apparatus for digitally fingerprinting videos
JP3861113B2 (ja) 2001-08-30 2006-12-20 株式会社日立プラズマパテントライセンシング 画像表示方法
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP2003115803A (ja) 2001-10-09 2003-04-18 Nec Corp 発光装置及び通信システム
WO2003036829A1 (fr) 2001-10-23 2003-05-01 Sony Corporation Systeme de communication de donnees, emetteur et recepteur de donnees
US8054357B2 (en) 2001-11-06 2011-11-08 Candela Microsystems, Inc. Image sensor with time overlapping image output
US20060164533A1 (en) 2002-08-27 2006-07-27 E-Phocus, Inc Electronic image sensor
US20040137898A1 (en) * 2002-03-18 2004-07-15 Crandall William F. Geospatial lightwave communications system
JP3829743B2 (ja) 2002-03-22 2006-10-04 株式会社デンソーウェーブ 光学的情報記録媒体及び光学的情報読取装置
JP2004064465A (ja) 2002-07-30 2004-02-26 Sony Corp 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4207490B2 (ja) 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP3827082B2 (ja) * 2002-10-24 2006-09-27 株式会社中川研究所 放送システム及び電球、照明装置
EP1860800A1 (en) 2002-10-24 2007-11-28 Nakagawa Laboratories, Inc. Illumination light communication device
US20040101309A1 (en) 2002-11-27 2004-05-27 Beyette Fred R. Optical communication imager
JP4233371B2 (ja) 2003-04-10 2009-03-04 株式会社京三製作所 踏切障害物検知装置
JP4225823B2 (ja) 2003-04-22 2009-02-18 富士フイルム株式会社 データ送信サーバ、携帯端末装置、読み取り装置、データ処理システム、及びデータ送信方法
JP2004334269A (ja) 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2006512866A (ja) 2003-05-08 2006-04-13 シーメンス アクチエンゲゼルシヤフト 対象または人間を検出するための方法および装置
JP2005151015A (ja) 2003-11-13 2005-06-09 Sony Corp 表示装置およびその駆動方法
KR100741024B1 (ko) 2003-11-19 2007-07-19 가부시키가이샤 나나오 액정 표시 장치의 경년 변화 보상 방법, 액정 표시 장치의 경년 변화 보상 장치, 컴퓨터 프로그램 및 액정 표시 장치
JP4082689B2 (ja) 2004-01-23 2008-04-30 株式会社 日立ディスプレイズ 液晶表示装置
KR101110009B1 (ko) 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7720554B2 (en) 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US20050265731A1 (en) 2004-05-28 2005-12-01 Samsung Electronics Co.; Ltd Wireless terminal for carrying out visible light short-range communication using camera device
EP1744475B1 (en) 2004-05-31 2017-07-26 Casio Computer Co., Ltd. Information reception device, information transmission system, and information reception method
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP4740857B2 (ja) 2004-07-28 2011-08-03 パナソニック株式会社 映像表示装置及び映像表示システム
US7715723B2 (en) 2004-08-05 2010-05-11 Japan Science And Technology Agency Information-processing system using free-space optical communication and free-space optical communication system
US20060044741A1 (en) 2004-08-31 2006-03-02 Motorola, Inc. Method and system for providing a dynamic window on a display
DE102004046503B4 (de) 2004-09-23 2009-04-09 Eads Deutschland Gmbh Indirektes optisches Freiraum-Kommunikationssystem zur breitbandigen Übertragung von hochratigen Daten im Passagierraum eines Flugzeugs
JP2006092486A (ja) 2004-09-27 2006-04-06 Nippon Signal Co Ltd:The Led信号灯器
KR101213450B1 (ko) 2004-11-02 2012-12-18 고쿠리츠다이가쿠호징 나라 센탄카가쿠기쥬츠 다이가쿠인 다이가쿠 촬상장치 및 그 신호 읽기 방법
WO2006050570A1 (en) 2004-11-12 2006-05-18 Vfs Technologies Limited Particle detector, system and method
US7787012B2 (en) 2004-12-02 2010-08-31 Science Applications International Corporation System and method for video image registration in a heads up display
US20090274381A1 (en) 2004-12-22 2009-11-05 Koninklijke Philips Electronics, N.V. Scalable coding
US7689130B2 (en) 2005-01-25 2010-03-30 Koninklijke Philips Electronics N.V. Method and apparatus for illumination and communication
KR20060087744A (ko) 2005-01-31 2006-08-03 삼성전자주식회사 이동통신 단말기에서 잔상효과를 이용한 데이터 표시장치및 방법
JP3939327B2 (ja) 2005-02-03 2007-07-04 三菱電機株式会社 データ送信及び受信方法、データ送信及び受信装置
JP4789481B2 (ja) 2005-02-16 2011-10-12 シャープ株式会社 画像表示装置及びデータ伝達システム
JP4506502B2 (ja) 2005-02-23 2010-07-21 パナソニック電工株式会社 照明光伝送システム
JP2006319545A (ja) 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd ディスプレイ装置および可視光送受信システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
JP4660818B2 (ja) 2005-06-03 2011-03-30 清水建設株式会社 照明システム
US20080290988A1 (en) 2005-06-18 2008-11-27 Crawford C S Lee Systems and methods for controlling access within a system of networked and non-networked processor-based systems
JP4676494B2 (ja) 2005-06-30 2011-04-27 パイオニア株式会社 照明光通信装置、照明光通信方法及びコンピュータプログラム
JP2007019936A (ja) 2005-07-08 2007-01-25 Fujifilm Holdings Corp 可視光通信システム、撮像装置、可視光通信準備方法及び可視光通信準備プログラム
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
JP4765027B2 (ja) 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
US7570246B2 (en) 2005-08-01 2009-08-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for communication using pulse-width-modulated visible light
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4643403B2 (ja) 2005-09-13 2011-03-02 株式会社東芝 可視光通信システム及びその方法
JP2007082098A (ja) 2005-09-16 2007-03-29 Nakagawa Kenkyusho:Kk 送信データ割り当て方法および光通信システム
JP4939024B2 (ja) 2005-09-27 2012-05-23 京セラ株式会社 光通信装置、及び光通信方法
JP4325604B2 (ja) 2005-09-30 2009-09-02 日本電気株式会社 可視光制御装置、可視光通信装置、可視光制御方法及びプログラム
JP4739914B2 (ja) 2005-10-28 2011-08-03 京セラ株式会社 通信装置、通信システム及び通信方法
US7429983B2 (en) 2005-11-01 2008-09-30 Cheetah Omni, Llc Packet-based digital display system
JP2007150643A (ja) 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP4371108B2 (ja) 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム,オブジェクトの関連情報の記録方法,テレビジョン受像機及び表示制御方法
JP4868217B2 (ja) 2006-01-25 2012-02-01 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US20060242908A1 (en) 2006-02-15 2006-11-02 Mckinney David R Electromagnetic door actuator system and method
JP2007221570A (ja) 2006-02-17 2007-08-30 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2007228512A (ja) 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置
JP4980633B2 (ja) 2006-03-16 2012-07-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法
JP2007256496A (ja) 2006-03-22 2007-10-04 Fujifilm Corp 液晶表示装置
JP5045980B2 (ja) 2006-03-28 2012-10-10 カシオ計算機株式会社 情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラム
JP4610511B2 (ja) 2006-03-30 2011-01-12 京セラ株式会社 可視光受信装置および可視光受信方法
JP2007274566A (ja) 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
JP4767747B2 (ja) 2006-04-27 2011-09-07 京セラ株式会社 可視光通信のための発光装置およびその制御方法
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
DE102006024421B3 (de) 2006-05-24 2007-10-25 Siemens Ag Verfahren und Anordnung zur Übertragung von Daten mit wenigstens zwei Strahlungsquellen
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5162850B2 (ja) 2006-07-10 2013-03-13 セイコーエプソン株式会社 プロジェクタ及び画像表示システム
JP5256552B2 (ja) 2006-07-10 2013-08-07 Nltテクノロジー株式会社 液晶表示装置、該液晶表示装置に用いられる駆動制御回路及び駆動方法
JP4873623B2 (ja) 2006-07-28 2012-02-08 Kddi株式会社 カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム
EP1887526A1 (en) 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
US8311414B2 (en) 2006-08-21 2012-11-13 Panasonic Corporation Optical space transfer apparatus using image sensor
US7965274B2 (en) 2006-08-23 2011-06-21 Ricoh Company, Ltd. Display apparatus using electrophoretic element
JP4996175B2 (ja) 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
US20100020970A1 (en) 2006-11-13 2010-01-28 Xu Liu System And Method For Camera Imaging Data Channel
JP2008124922A (ja) 2006-11-14 2008-05-29 Matsushita Electric Works Ltd 照明装置、および照明システム
US20080122994A1 (en) 2006-11-28 2008-05-29 Honeywell International Inc. LCD based communicator system
JP5288579B2 (ja) 2006-12-13 2013-09-11 ルネサスエレクトロニクス株式会社 表示装置及び、コントローラドライバ
JP2008187615A (ja) 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP4265662B2 (ja) 2007-02-06 2009-05-20 株式会社デンソー 車両用通信装置
US20080205848A1 (en) 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
JP2008224536A (ja) 2007-03-14 2008-09-25 Toshiba Corp 可視光通信の受信装置及び可視光ナビゲーションシステム
US8144990B2 (en) 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2008252466A (ja) 2007-03-30 2008-10-16 Nakagawa Kenkyusho:Kk 光通信システム、送信装置および受信装置
JP4818189B2 (ja) * 2007-04-19 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法
JP2008269486A (ja) 2007-04-24 2008-11-06 Olympus Corp 撮像機器及びその認証方法
JP4935492B2 (ja) 2007-05-11 2012-05-23 株式会社豊田中央研究所 光通信装置
JP2008292397A (ja) 2007-05-28 2008-12-04 Shimizu Corp 可視光通信を用いた位置情報提供システム
JP4960158B2 (ja) 2007-06-26 2012-06-27 パナソニック株式会社 可視光通信システム
CN101960508B (zh) 2007-07-11 2013-07-31 索尼公司 显示设备、影像信号处理方法
JP2009033338A (ja) 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP2009036571A (ja) 2007-07-31 2009-02-19 Toshiba Corp 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法
JP4867874B2 (ja) 2007-09-12 2012-02-01 富士通株式会社 画像処理プログラム、画像処理装置、および画像処理方法
JP5048440B2 (ja) * 2007-09-27 2012-10-17 株式会社豊田中央研究所 光通信システム
JP2009117892A (ja) 2007-11-01 2009-05-28 Toshiba Corp 可視光通信装置
JP5181633B2 (ja) * 2007-11-16 2013-04-10 カシオ計算機株式会社 情報伝送システム、撮像装置、情報伝送方法、及び、プログラム
JP4998232B2 (ja) 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
US9058764B1 (en) 2007-11-30 2015-06-16 Sprint Communications Company L.P. Markers to implement augmented reality
KR101365348B1 (ko) * 2007-12-18 2014-02-21 삼성전자주식회사 가시광 통신을 이용한 네비게이션 시스템에서 메시지 교환방법
KR101009803B1 (ko) 2008-02-21 2011-01-19 삼성전자주식회사 가시광 통신을 이용한 데이터 송수신 장치 및 방법
JP5285301B2 (ja) 2008-02-26 2013-09-11 パナソニック株式会社 光伝送システム
JP2009212768A (ja) 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
JP5541153B2 (ja) 2008-03-10 2014-07-09 日本電気株式会社 通信システム、送信装置及び受信装置
US8648911B2 (en) 2008-03-10 2014-02-11 Nec Corporation Communication system, control device, and reception device
JP2009232083A (ja) 2008-03-21 2009-10-08 Mitsubishi Electric Engineering Co Ltd 可視光通信システム
US8542906B1 (en) 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
JP5171393B2 (ja) 2008-05-27 2013-03-27 パナソニック株式会社 可視光通信システム
RU2456502C2 (ru) 2008-05-30 2012-07-20 Шарп Кабусики Кайся Устройство освещения, устройство отображения и светопроводящая пластина
US20100107189A1 (en) 2008-06-12 2010-04-29 Ryan Steelberg Barcode advertising
JP5155063B2 (ja) 2008-08-21 2013-02-27 ビーコア株式会社 発光装置及び対象物の追尾方法
US8731301B1 (en) 2008-09-25 2014-05-20 Sprint Communications Company L.P. Display adaptation based on captured image feedback
JP2010102966A (ja) 2008-10-23 2010-05-06 Sumitomo Chemical Co Ltd 照明光通信システム用の送信装置
JP2010103746A (ja) 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2010117871A (ja) 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
WO2010055774A1 (ja) 2008-11-17 2010-05-20 日本電気株式会社 通信システム及び受信装置
JP5176903B2 (ja) 2008-11-21 2013-04-03 日新イオン機器株式会社 イオン注入装置
JP5185087B2 (ja) * 2008-11-25 2013-04-17 三星電子株式会社 可視光通信システム、及び信号伝送方法
KR20100059502A (ko) 2008-11-26 2010-06-04 삼성전자주식회사 가시광 통신 시스템에서 브로드캐스팅 서비스 방법 및 시스템
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
KR101195498B1 (ko) 2008-11-28 2012-10-29 한국전자통신연구원 가시광 무선통신 장치 및 방법
JP2010147527A (ja) 2008-12-16 2010-07-01 Kyocera Corp 通信端末および情報発信源特定プログラム
JP5307527B2 (ja) 2008-12-16 2013-10-02 ルネサスエレクトロニクス株式会社 表示装置、表示パネルドライバ、及びバックライト駆動方法
US8571217B2 (en) 2008-12-18 2013-10-29 Nec Corporation Display system, control apparatus, display method, and program
JP2010152285A (ja) 2008-12-26 2010-07-08 Fujifilm Corp 撮像装置
JP5282899B2 (ja) 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
JP2010232912A (ja) 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 照明光伝送システム
JP5193124B2 (ja) 2009-04-23 2013-05-08 株式会社日立情報制御ソリューションズ 電子透かし埋め込み方法及び装置
JP2010268264A (ja) 2009-05-15 2010-11-25 Panasonic Corp 撮像素子及び撮像装置
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
KR20100133806A (ko) 2009-06-12 2010-12-22 삼성전자주식회사 이미지 디스플레이 방법 및 장치
JP5537841B2 (ja) 2009-06-15 2014-07-02 ビーコア株式会社 発光体及び受光体及び関連する方法
RU2012103598A (ru) * 2009-07-03 2013-08-10 Конинклейке Филипс Электроникс Н.В. Способ и система для асинхронной идентификации лампы
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN101959016B (zh) 2009-07-14 2012-08-22 华晶科技股份有限公司 图像撷取装置的省电方法
JP5414405B2 (ja) 2009-07-21 2014-02-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
JP2011055288A (ja) 2009-09-02 2011-03-17 Toshiba Corp 可視光通信装置及びデータ受信方法
US8774142B2 (en) * 2009-09-16 2014-07-08 Samsung Electronics Co., Ltd. Flexible and integrated frame structure design for supporting multiple topologies with visible light communication
KR101621095B1 (ko) 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
KR101615762B1 (ko) 2009-09-19 2016-04-27 삼성전자주식회사 다중 통신 모드를 제공하는 가시광 통신 시스템에서 가시 프레임을 출력하기 위한 방법 및 장치
JP2011091782A (ja) * 2009-09-25 2011-05-06 Toshiba Lighting & Technology Corp 可視光通信システム
TWI441512B (zh) 2009-10-01 2014-06-11 Sony Corp 影像取得裝置及照相機系統
JP2011097141A (ja) 2009-10-27 2011-05-12 Renesas Electronics Corp 撮像装置、撮像装置の制御方法、及びプログラム
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8831279B2 (en) 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
KR101654934B1 (ko) 2009-10-31 2016-09-23 삼성전자주식회사 가시광 통신 방법 및 장치
JP5246146B2 (ja) 2009-12-01 2013-07-24 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置及び画像読取装置
US8848059B2 (en) 2009-12-02 2014-09-30 Apple Inc. Systems and methods for receiving infrared data with a camera designed to detect images based on visible light
US8798479B2 (en) 2009-12-03 2014-08-05 Samsung Electronics Co., Ltd. Controlling brightness of light sources used for data transmission
CN101710890B (zh) * 2009-12-15 2013-01-02 华东理工大学 脉冲和ofdm双重数据调制方法
WO2011074172A1 (ja) * 2009-12-18 2011-06-23 パナソニック株式会社 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
US8855496B2 (en) 2010-01-05 2014-10-07 Samsung Electronics Co., Ltd. Optical clock rate negotiation for supporting asymmetric clock rates for visible light communication
BR112012017094A8 (pt) 2010-01-15 2017-07-11 Koninklijke Philips Electronics Nv Sistema de deteccção para determinar uma primeira sequência de repetição de n símbolos incluída em um primeiro código, método para determinar uma primeira sequência de repetição de n símbolos incluídos em um primeiro código e programa de computador
CN101814952B (zh) * 2010-02-26 2012-09-12 电子科技大学 一种大气信道中光波传输特性的测试方法
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP5436311B2 (ja) 2010-04-02 2014-03-05 三菱電機株式会社 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置
KR101542756B1 (ko) 2010-05-05 2015-08-12 디지맥 코포레이션 숨겨진 이미지 시그널링
JP5750837B2 (ja) * 2010-05-28 2015-07-22 カシオ計算機株式会社 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
JP2011254317A (ja) 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
US8941686B2 (en) 2010-06-08 2015-01-27 Panasonic Intellectual Property Corporation Of America Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence
JP5635312B2 (ja) 2010-06-28 2014-12-03 株式会社アウトスタンディングテクノロジー 可視光通信送信機
CN102893596B (zh) 2010-08-06 2016-08-03 比兹摩德莱恩有限公司 用于增强现实的装置和方法
KR101329877B1 (ko) * 2010-08-19 2013-11-15 주식회사 팬택 가시광 통신 기반의 이동 단말기 및 이를 이용한 통신 방법
JP5561860B2 (ja) 2010-08-19 2014-07-30 西日本電信電話株式会社 広告配信装置及び方法、ならびに、プログラム
WO2012026039A1 (ja) 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
WO2012035825A1 (ja) 2010-09-14 2012-03-22 富士フイルム株式会社 撮像装置及び撮像方法
US8682245B2 (en) 2010-09-23 2014-03-25 Blackberry Limited Communications system providing personnel access based upon near-field communication and related methods
US8634725B2 (en) 2010-10-07 2014-01-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting data using visible light communication
JP5343995B2 (ja) 2010-11-25 2013-11-13 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP2012113655A (ja) 2010-11-26 2012-06-14 Kyocera Corp 情報提示システム及び情報提示システムの携帯情報端末
TWM404929U (en) 2011-01-03 2011-06-01 Univ Kun Shan LED luminaries with lighting and communication functions
US8553146B2 (en) 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
JP2012169189A (ja) 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
US9571888B2 (en) 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
CN102164436A (zh) * 2011-02-22 2011-08-24 华东理工大学 基于可见光通信接收机的自适应照明系统
CN102654400A (zh) 2011-03-01 2012-09-05 丁梅 应用于数字水准仪条码尺的伪随机条码
CN103415881B (zh) 2011-03-04 2015-08-26 国立大学法人德岛大学 信息提供方法及信息提供装置
JP2012195763A (ja) 2011-03-16 2012-10-11 Seiwa Electric Mfg Co Ltd 電子機器及びデータ収集システム
CN103503338A (zh) 2011-03-16 2014-01-08 西门子公司 用于可见光通信的系统中的通知的方法和设备
JP2012205168A (ja) 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2012209622A (ja) 2011-03-29 2012-10-25 Design Department Store Co Ltd ウェブページの内容を確認する方法
EP2701123B1 (en) 2011-04-20 2018-10-17 NEC Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
US8256673B1 (en) 2011-05-12 2012-09-04 Kim Moon J Time-varying barcode in an active display
JP2013029816A (ja) 2011-06-20 2013-02-07 Canon Inc 表示装置
US8248467B1 (en) 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
US9287976B2 (en) 2011-07-26 2016-03-15 Abl Ip Holding Llc Independent beacon based light position system
JP2013042221A (ja) 2011-08-11 2013-02-28 Panasonic Corp 通信端末、通信方法、マーカ装置及び通信システム
US9337926B2 (en) 2011-10-31 2016-05-10 Nokia Technologies Oy Apparatus and method for providing dynamic fiducial markers for devices
KR101961887B1 (ko) 2011-11-30 2019-03-25 삼성전자주식회사 무선 광통신 시스템 및 이를 이용한 무선 광통신 방법
US20130317916A1 (en) 2011-12-29 2013-11-28 Intel Corporation Location based technology for smart shopping services
US20130169663A1 (en) 2011-12-30 2013-07-04 Samsung Electronics Co., Ltd. Apparatus and method for displaying images and apparatus and method for processing images
WO2013109934A1 (en) 2012-01-20 2013-07-25 Digimarc Corporation Shared secret arrangements and optical data transfer
US20130212453A1 (en) 2012-02-10 2013-08-15 Jonathan Gudai Custom content display application with dynamic three dimensional augmented reality
JP2013197849A (ja) 2012-03-19 2013-09-30 Toshiba Corp 可視光通信送信装置、可視光通信受信装置および可視光通信システム
KR101887548B1 (ko) 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
JP2013210974A (ja) 2012-03-30 2013-10-10 Ntt Comware Corp 検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラム
US8794529B2 (en) 2012-04-02 2014-08-05 Mobeam, Inc. Method and apparatus for communicating information via a display screen using light-simulated bar codes
JP5936902B2 (ja) 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
WO2013166958A1 (zh) 2012-05-07 2013-11-14 深圳光启创新技术有限公司 基于可见光通信的加密、解密及加解密方法和系统
CN102684869B (zh) 2012-05-07 2016-04-27 深圳光启智能光子技术有限公司 基于可见光通信的解密方法和系统
JP5902995B2 (ja) 2012-05-10 2016-04-13 株式会社フジクラ Ledチューブを用いた移動システム、移動方法及びledチューブ
JP5934940B2 (ja) 2012-05-17 2016-06-15 パナソニックIpマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
JP5395293B1 (ja) 2012-05-24 2014-01-22 パナソニック株式会社 情報通信方法および情報通信装置
JP5992729B2 (ja) 2012-05-30 2016-09-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6019442B2 (ja) * 2012-06-22 2016-11-02 株式会社アウトスタンディングテクノロジー 空間光伝送を使用するコンテンツ提供システム
CN102811284A (zh) 2012-06-26 2012-12-05 深圳市金立通信设备有限公司 一种语音输入自动翻译为目标语言的方法
KR101391128B1 (ko) 2012-07-06 2014-05-02 주식회사 아이디로 가시광 통신용 oled 표시 장치
US20140055420A1 (en) 2012-08-23 2014-02-27 Samsung Electronics Co., Ltd. Display identification system and display device
JP5881201B2 (ja) * 2012-09-10 2016-03-09 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光検出システム及び方法
US20140079281A1 (en) 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
US9178615B2 (en) * 2012-09-28 2015-11-03 Intel Corporation Multiphase sampling of modulated light with phase synchronization field
US9590728B2 (en) 2012-09-29 2017-03-07 Intel Corporation Integrated photogrammetric light communications positioning and inertial navigation system positioning
CN104704535A (zh) 2012-10-02 2015-06-10 索尼公司 增强现实系统
US9614615B2 (en) 2012-10-09 2017-04-04 Panasonic Intellectual Property Management Co., Ltd. Luminaire and visible light communication system using same
US9667865B2 (en) * 2012-11-03 2017-05-30 Apple Inc. Optical demodulation using an image sensor
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
SG10201502498PA (en) * 2012-12-27 2015-05-28 Panasonic Ip Corp America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
WO2014103329A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 可視光通信信号表示方法及び表示装置
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
WO2014139818A1 (en) 2013-03-12 2014-09-18 Koninklijke Philips N.V. A communication system, lighting system and method of transmitting information
US9705594B2 (en) 2013-03-15 2017-07-11 Cree, Inc. Optical communication for solid-state light sources
CN203519822U (zh) * 2013-04-09 2014-04-02 北京半导体照明科技促进中心 基于可见光的室内定位装置和系统
US9407367B2 (en) 2013-04-25 2016-08-02 Beijing Guo Cheng Wan Tong Information Co. Ltd Methods and devices for transmitting/obtaining information by visible light signals
US10378897B2 (en) * 2013-06-21 2019-08-13 Qualcomm Incorporated Determination of positioning information of a mobile device using modulated light signals
CN105637783B (zh) 2013-12-27 2018-10-02 松下电器(美国)知识产权公司 信息处理方法、接收方法和信息处理装置
JP2015179392A (ja) 2014-03-19 2015-10-08 カシオ計算機株式会社 コードシンボル表示装置、情報処理装置及びプログラム
US20150280820A1 (en) * 2014-03-25 2015-10-01 Osram Sylvania Inc. Techniques for adaptive light modulation in light-based communication
EP3180872B1 (en) * 2014-08-12 2019-07-31 ABL IP Holding LLC System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
WO2016086276A1 (en) * 2014-12-05 2016-06-09 Monash University Multi-directional optical receiver
WO2016092146A1 (en) * 2014-12-12 2016-06-16 Nokia Technologies Oy Optical positioning
JP6587056B2 (ja) * 2015-09-02 2019-10-09 パナソニックIpマネジメント株式会社 携帯機器、発信装置及び案内システム
US10505630B2 (en) * 2016-11-14 2019-12-10 Current Lighting Solutions, Llc Determining position via multiple cameras and VLC technology
WO2019150489A1 (ja) * 2018-01-31 2019-08-08 ソフトバンク株式会社 光通信を利用した大容量のサプリメンタルダウンリンクを可能とする通信システム、表示制御装置、通信端末及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1702984A (zh) * 2004-05-28 2005-11-30 三星电子株式会社 利用摄像机设备来实现可见光短距离通信的无线终端
JP2006121466A (ja) * 2004-10-22 2006-05-11 Nec Corp 撮像素子、撮像モジュール及び携帯端末
JP2012095214A (ja) * 2010-10-28 2012-05-17 Canon Inc 撮像装置
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012244549A (ja) * 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
CN102843186A (zh) * 2011-06-23 2012-12-26 卡西欧计算机株式会社 信息传输系统、信息发送装置、信息接收装置、信息传输方法、信息发送方法和信息接收方法
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366831A (zh) * 2017-03-02 2019-10-22 昕诺飞控股有限公司 从与不同光信标相关联的内容项中进行选择
CN110366831B (zh) * 2017-03-02 2022-11-08 昕诺飞控股有限公司 从与不同光信标相关联的内容项中进行选择
CN110546896A (zh) * 2017-04-28 2019-12-06 松下电器(美国)知识产权公司 发送装置、发送方法、接收装置、以及接收方法
CN110546896B (zh) * 2017-04-28 2023-04-04 松下电器(美国)知识产权公司 发送装置、发送方法、接收装置、以及接收方法
CN109793486A (zh) * 2017-11-16 2019-05-24 卡尔史托斯影像有限公司 改进的声带频闪摄影检查
CN109793486B (zh) * 2017-11-16 2023-08-04 卡尔史托斯影像有限公司 改进的声带频闪摄影检查
TWI678720B (zh) * 2018-01-15 2019-12-01 日商歐姆龍股份有限公司 無線開關

Also Published As

Publication number Publication date
US20190166296A1 (en) 2019-05-30
US9591232B2 (en) 2017-03-07
CL2015001828A1 (es) 2015-10-23
US10368006B2 (en) 2019-07-30
JP2017143553A (ja) 2017-08-17
JPWO2014103159A1 (ja) 2017-01-12
US20200195829A1 (en) 2020-06-18
US10531009B2 (en) 2020-01-07
JP5603513B1 (ja) 2014-10-08
US11165967B2 (en) 2021-11-02
WO2014103161A1 (ja) 2014-07-03
JP5606655B1 (ja) 2014-10-15
EP2940896A1 (en) 2015-11-04
US10516832B2 (en) 2019-12-24
MX2015008254A (es) 2015-09-07
US20200322520A1 (en) 2020-10-08
US10205887B2 (en) 2019-02-12
US20230082221A1 (en) 2023-03-16
US20190238739A1 (en) 2019-08-01
WO2014103159A1 (ja) 2014-07-03
US20220132015A1 (en) 2022-04-28
EP2940900A4 (en) 2015-12-23
JP6524132B2 (ja) 2019-06-05
US20150244919A1 (en) 2015-08-27
JP2017103802A (ja) 2017-06-08
MX359612B (es) 2018-09-28
JP2015119460A (ja) 2015-06-25
AU2013368082A1 (en) 2015-07-23
JP5603523B1 (ja) 2014-10-08
US10666871B2 (en) 2020-05-26
US10616496B2 (en) 2020-04-07
MX351882B (es) 2017-11-01
JP2015119458A (ja) 2015-06-25
JPWO2014103161A1 (ja) 2017-01-12
US20190166295A1 (en) 2019-05-30
EP2940900A1 (en) 2015-11-04
US20190124249A1 (en) 2019-04-25
EP2940896A4 (en) 2015-12-09
US20230370726A1 (en) 2023-11-16
US20180309921A1 (en) 2018-10-25
US20140186026A1 (en) 2014-07-03
US10742891B2 (en) 2020-08-11
AU2013368082B9 (en) 2018-11-29
US10368005B2 (en) 2019-07-30
US20170111564A1 (en) 2017-04-20
US10455161B2 (en) 2019-10-22
JP6118006B1 (ja) 2017-04-19
US10887528B2 (en) 2021-01-05
JP2015119469A (ja) 2015-06-25
AU2013368082A9 (en) 2018-06-14
EP2940896B1 (en) 2020-04-08
US20190253598A1 (en) 2019-08-15
US20170318213A1 (en) 2017-11-02
BR112015014762A2 (pt) 2017-07-11
CN104885381A (zh) 2015-09-02
US20210136273A1 (en) 2021-05-06
US9756255B2 (en) 2017-09-05
CN104871454B (zh) 2018-09-28
JP5603512B1 (ja) 2014-10-08
US10531010B2 (en) 2020-01-07
CN104885381B (zh) 2017-12-19
US12088923B2 (en) 2024-09-10
US9094120B2 (en) 2015-07-28
MX342734B (es) 2016-10-07
CN107635100B (zh) 2020-05-19
EP2940900B1 (en) 2020-11-04
SG10201502498PA (en) 2015-05-28
JP2015119459A (ja) 2015-06-25
US20190253599A1 (en) 2019-08-15
AU2013368082B2 (en) 2017-08-10
US11659284B2 (en) 2023-05-23
SG11201400469SA (en) 2014-06-27
SG10201609857SA (en) 2017-01-27
JP6081969B2 (ja) 2017-02-15
US20190238740A1 (en) 2019-08-01
US11490025B2 (en) 2022-11-01
US10051194B2 (en) 2018-08-14
US20190253600A1 (en) 2019-08-15
CN107635100A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN104885381B (zh) 信息通信方法
CN104956609B (zh) 信息通信方法和信息通信装置
CN106877927B (zh) 信息通信方法、信息通信装置及记录介质
CN104919727B (zh) 信息通信方法、信息通信装置、以及记录介质
CN107508633B (zh) 可视光通信方法及可视光通信装置
CN104871455B (zh) 信息通信方法
CN104919726B (zh) 信息通信方法
CN104871451B (zh) 信息通信方法
CN104995853B (zh) 信息通信方法
CN104956608B (zh) 信息通信方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant