CN110073612A - 发送方法、发送装置及程序 - Google Patents

发送方法、发送装置及程序 Download PDF

Info

Publication number
CN110073612A
CN110073612A CN201780077441.3A CN201780077441A CN110073612A CN 110073612 A CN110073612 A CN 110073612A CN 201780077441 A CN201780077441 A CN 201780077441A CN 110073612 A CN110073612 A CN 110073612A
Authority
CN
China
Prior art keywords
receiver
image
mentioned
signal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780077441.3A
Other languages
English (en)
Other versions
CN110073612B (zh
Inventor
青山秀纪
大岛光昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority claimed from PCT/JP2017/043726 external-priority patent/WO2018110373A1/ja
Publication of CN110073612A publication Critical patent/CN110073612A/zh
Application granted granted Critical
Publication of CN110073612B publication Critical patent/CN110073612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Optical Communication System (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

发送方法包括:决定步骤(S571),通过对信号进行调制,决定亮度变化的样式;以及发送步骤(S572),通过使由光源表现的红色的亮度根据所决定的样式进行变化来发送可见光信号。可见光信号包含数据、前导码和有效载荷。在数据中,第1亮度值和第2亮度值沿着时间轴上出现,在有效载荷,第1亮度值和第2亮度值沿着时间轴上交替地出现,第1亮度值和第2亮度值各自持续的时间长度大于第1预定值、且按照上述信号和预定方式来决定。

Description

发送方法、发送装置及程序
技术领域
本发明涉及可见光信号的发送方法、发送装置及程序等。
背景技术
在近年来的家庭网络中,除了由Ethernet(注册商标)或无线LAN(Local AreaNetwork)下的IP(Internet Protocol)连接进行的AV家电的协同之外、还通过具有对应于环境问题的电力使用量的管理、或具有来自住宅外的电源ON/OFF这样的功能的家庭能源管理系统(HEMS)而推进多种多样的家电设备连接在网络的家电协同功能的导入。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。
为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中,通过进行使用多个照明光的单色光源的通信,能够在有限的发送装置中有效率地实现设备间的通信的技术。
现有技术文献
专利文献1:日本特开2002-290335号公报
发明内容
然而,所述以往的方式限定于所适用的设备具有照明那样的三色光源的情况。
本发明提供可解决这样问题的、能够进行多种设备间的通信的发送方法等,所述多种设备包含具有三色光源的照明以外的设备。
本发明的一技术方案涉及的发送方法,是通过光源的亮度变化来发送信号的发送方法,包括:受理步骤,接受对所述光源指定的调光度作为指定调光度;以及发送步骤,在所述指定调光度为第1值以下的情况下,一边使所述光源按所述指定调光度发光,一边通过亮度变化来发送以第1模式编码的所述信号,在所述指定调光度大于所述第1值的情况下,一边使所述光源按所述指定调光度发光,一边通过亮度变化来发送以第2模式编码的所述信号,在所述指定调光度大于所述第1值且为第2值以下的情况下用于通过亮度变化来发送以所述第2模式编码的所述信号的所述光源的峰值电流的值,小于在所述指定调光度为所述第1值的情况下用于通过亮度变化来发送以所述第1模式编码的所述信号的所述光源的峰值电流的值。
此外,这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。另外,也可以通过如下技术方案来实现:将执行一个实施方式涉及的方法的计算机程序保存在服务器的记录介质中,并根据终端的请求从服务器发布到终端。
根据本发明,能够实现能够在包含具有三色光源的照明以外的设备这种形态的设备间进行通信的发送方法。
附图说明
图1是表示实施方式1的发光部的亮度的观测方法的一例的图。
图2是表示实施方式1的发光部的亮度的观测方法的一例的图。
图3是表示实施方式1的发光部的亮度的观测方法的一例的图。
图4是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5A是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5B是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5C是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5D是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5E是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5F是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5G是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5H是表示实施方式1的发光部的亮度的观测方法的一例的图。
图6A是表示实施方式1的信息通信方法的流程图。
图6B是表示实施方式1的信息通信装置的框图。
图7是表示实施方式2的接收机的摄影动作的一例的图。
图8是表示实施方式2的接收机的摄影动作的另一例的图。
图9是表示实施方式2的接收机的摄影动作的另一例的图。
图10是表示实施方式2的接收机的显示动作的一例的图。
图11是表示实施方式2的接收机的显示动作的一例的图。
图12是表示实施方式2的接收机的动作的一例的图。
图13是表示实施方式2的接收机的动作的另一例的图。
图14是表示实施方式2的接收机的动作的另一例的图。
图15是表示实施方式2的接收机的动作的另一例的图。
图16是表示实施方式2的接收机的动作的另一例的图。
图17是表示实施方式2的接收机的动作的另一例的图。
图18是表示实施方式2的接收机、发送机和服务器的动作的一例的图。
图19是表示实施方式2的接收机的动作的另一例的图。
图20是表示实施方式2的接收机的动作的另一例的图。
图21是表示实施方式2的接收机的动作的另一例的图。
图22是表示实施方式2的发送机的动作的一例的图。
图23是表示实施方式2的发送机的动作的另一例的图。
图24是表示实施方式2的接收机的应用例的图。
图25是表示实施方式2的接收机的动作的另一例的图。
图26是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
图27是表示实施方式3的发送机及接收机的动作的一例的图。
图28是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
图29是表示实施方式3的发送机及接收机的动作的一例的图。
图30是表示实施方式4的发送机及接收机的动作的一例的图。
图31是表示实施方式4的发送机及接收机的动作的一例的图。
图32是表示实施方式4的发送机及接收机的动作的一例的图。
图33是表示实施方式4的发送机及接收机的动作的一例的图。
图34是表示实施方式4的发送机及接收机的动作的一例的图。
图35是表示实施方式4的发送机及接收机的动作的一例的图。
图36是表示实施方式4的发送机及接收机的动作的一例的图。
图37是用来说明实施方式5的向人的可见光通信的通知的图。
图38是用来说明实施方式5的对道路指引的应用例的图。
图39是表示实施方式5的对利用日志储存和解析的应用例的图。
图40是用来说明实施方式5的对画面共享的应用例的图。
图41是表示实施方式5的信息通信方法的应用例的图。
图42是表示实施方式6的发送机和接收机的应用例的图。
图43是表示实施方式6的发送机及接收机的应用例的图。
图44是表示实施方式7的接收机的一例的图。
图45是表示实施方式7的接收系统的一例的图。
图46是表示实施方式7的信号发送接收系统的一例的图。
图47是表示实施方式7的排除了干涉的接收方法的流程图。
图48是表示实施方式7的发送机的方位的推测方法的流程图。
图49是表示实施方式7的接收的开始方法的流程图。
图50是表示实施方式7的并用其它媒体的信息的ID的生成方法的流程图。
图51是表示实施方式7的基于频率分离的接收方式的选择方法的流程图。
图52是表示实施方式7的曝光时间较长的情况下的信号接收方法的流程图。
图53是表示实施方式7的发送机的调光(调整明亮度)方法的一例的图。
图54是表示构成实施方式7的发送机的调光功能的方法的一例的图。
图55是用来说明EX变焦的图。
图56是表示实施方式9的信号接收方法的一例的图。
图57是表示实施方式9的信号接收方法的一例的图。
图58是表示实施方式9的信号接收方法的一例的图。
图59是表示实施方式9的接收机的画面显示方法的一例的图。
图60是表示实施方式9的信号接收方法的一例的图。
图61是表示实施方式9的信号接收方法的一例的图。
图62是表示实施方式9的信号接收方法的一例的流程图。
图63是表示实施方式9的信号接收方法的一例的图。
图64是表示实施方式9的接收程序的处理的流程图。
图65是实施方式9的接收装置的框图。
图66是表示接收到可见光信号时的接收机的显示的一例的图。
图67是表示接收到可见光信号时的接收机的显示的一例的图。
图68是表示取得数据图像的显示的一例的图。
图69是表示保存或者丢弃取得数据的情况下的操作的一例的图。
图70是表示阅览取得数据时的显示例子的图。
图71是表示实施方式9的发送机的一例的图。
图72是表示实施方式9的接收方法的一例的图。
图73是表示实施方式10的接收方法的一例的流程图。
图74是表示实施方式10的接收方法的一例的流程图。
图75是表示实施方式10的接收方法的一例的流程图。
图76是用来说明实施方式10的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。
图77是用来说明实施方式10的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。
图78是表示实施方式10的对于发送数据的尺寸有效的分割数的图。
图79A是表示实施方式10的设定方法的一例的图。
图79B是表示实施方式10的设定方法的另一例的图。
图80是表示实施方式10的信息处理程序的处理的流程图。
图81是用来说明实施方式10的发送接收系统的应用例的图。
图82是表示实施方式10的发送接收系统的处理动作的流程图。
图83是用来说明实施方式10的发送接收系统的应用例的图。
图84是表示实施方式10的发送接收系统的处理动作的流程图。
图85是用来说明实施方式10的发送接收系统的应用例的图。
图86是表示实施方式10的发送接收系统的处理动作的流程图。
图87是用来说明实施方式10的发送机的应用例的图。
图88是用来说明实施方式11的发送接收系统的应用例的图。
图89是用来说明实施方式11的发送接收系统的应用例的图。
图90是用来说明实施方式11的发送接收系统的应用例的图。
图91是用来说明实施方式11的发送接收系统的应用例的图。
图92是用来说明实施方式11的发送接收系统的应用例的图。
图93是用来说明实施方式11的发送接收系统的应用例的图。
图94是用来说明实施方式11的发送接收系统的应用例的图。
图95是用来说明实施方式11的发送接收系统的应用例的图。
图96是用来说明实施方式11的发送接收系统的应用例的图。
图97是用来说明实施方式11的发送接收系统的应用例的图。
图98是用来说明实施方式11的发送接收系统的应用例的图。
图99是用来说明实施方式11的发送接收系统的应用例的图。
图100是用来说明实施方式11的发送接收系统的应用例的图。
图101是用来说明实施方式11的发送接收系统的应用例的图。
图102是用来说明实施方式12的接收机的动作的图。
图103A是用来说明实施方式12的接收机的另一动作的图。
图103B是表示实施方式12的通过输出部1215显示的指示器的例子的图。
图103C是表示实施方式12的AR的显示例的图。
图104A是用来说明实施方式12的发送机的一例的图。
图104B是用来说明实施方式12的发送机的另一例的图。
图105A是用来说明实施方式12的多个发送机的同步发送的一例的图。
图105B是用来说明实施方式12的多个发送机的同步发送的另一例的图。
图106是用来说明实施方式12的多个发送机的同步发送的另一例的图。
图107是用来说明实施方式12的发送机的信号处理的图。
图108是表示实施方式12的接收方法的一例的流程图。
图109是用来说明实施方式12的接收方法的一例的说明图。
图110是表示实施方式12的接收方法的另一例的流程图。
图111是表示实施方式13的发送信号的一例的图。
图112是表示实施方式13的发送信号的另一例的图。
图113是表示实施方式13的发送信号的另一例的图。
图114A是用来说明实施方式14的发送机的图。
图114B是表示实施方式14的RGB的各自的亮度变化的图。
图115是表示实施方式14的绿色荧光成分以及红色荧光成分的残光特性的图。
图116是用来说明实施方式14的为了抑制条码的读取错误的产生而新产生的课题的图。
图117是用来说明由实施方式14的接收机进行的下采样的图。
图118是表示实施方式14的接收机的处理动作的流程图。
图119是表示实施方式15的接收装置(摄像装置)的处理动作的图。
图120是表示实施方式15的接收装置(摄像装置)的处理动作的图。
图121是表示实施方式15的接收装置(摄像装置)的处理动作的图。
图122是表示实施方式15的接收装置(摄像装置)的处理动作的图。
图123是表示实施方式16的应用的一例的图。
图124是表示实施方式16的应用的一例的图。
图125是表示实施方式16的发送信号的例子和声音同步方法的例子的图。
图126是表示实施方式16的发送信号的例子的图。
图127是表示实施方式16的接收机的处理流程的一例的图。
图128是表示实施方式16的接收机的用户界面的一例的图。
图129是表示实施方式16的接收机的处理流程的一例的图。
图130是表示实施方式16的接收机的处理流程的另一例的图。
图131A是用来说明实施方式16的同步再现的具体方法的图。
图131B是表示实施方式16的进行同步再现的再现装置(接收机)的结构的框图。
图131C是表示实施方式16的进行同步再现的再现装置(接收机)的处理动作的流程图。
图132是用来说明实施方式16的同步再现的事先准备的图。
图133是表示实施方式16的接收机的应用例的图。
图134A是实施方式16的保持于支架的接收机的主视图。
图134B是实施方式16的保持于支架的接收机的后视图。
图135是用来说明实施方式16的保持于支架的接收机的使用场景的图。
图136是表示实施方式16的保持于支架的接收机的处理动作的流程图。
图137是表示实施方式16的通过接收机显示的图像的一例的图。
图138是表示实施方式16的支架的另一例的图。
图139A是示出实施方式17的可见光信号的一例的图。
图139B是示出实施方式17的可见光信号的一例的图。
图139C是示出实施方式17的可见光信号的一例的图。
图139D是示出实施方式17的可见光信号的一例的图。
图140是示出实施方式17的可见光信号的构成的图。
图141是示出实施方式17的通过接收机的摄像得到的亮线图像的一例的图。
图142是示出实施方式17的通过接收机的摄像得到的亮线图像的另一例的图。
图143是示出实施方式17的通过接收机的摄像得到的亮线图像的另一例的图。
图144是用于说明实施方式17的接收机应用于进行HDR合成的摄像头系统的图。
图145是用于说明实施方式17的可见光通信系统的处理动作的图。
图146A是示出实施方式17的使用了可见光的车车间通信的一例的图。
图146B是示出实施方式17的使用了可见光的车车间通信的其它例的图。
图147是示出实施方式17的多个LED的位置决定方法的一例的图。
图148是示出实施方式17的通过对车辆进行摄像而得到的亮线图像的一例的图。
图149是示出实施方式17的接收机和发送机的应用例的图。此外,图149是从后面观察汽车的图。
图150是示出实施方式17的接收机和发送机的处理动作的一例的流程图。
图151是示出实施方式17的接收机和发送机的应用例的图。
图152是示出实施方式17的接收机7007a和发送机7007b的处理动作的一例的流程图。
图153是示出实施方式17的、在电车的车内应用的可见光通信系统的结构的图。
图154是示出实施方式17的、在游乐场等设施应用的可见光通信系统的结构的图。
图155是示出实施方式17的、包括游乐设备和智能手机的可见光通信系统的一例的图。
图156是示出实施方式18的发送信号的一例的图。
图157是示出实施方式18的发送信号的一例的图。
图158是示出实施方式19的发送信号的一例的图。
图159是示出实施方式19的发送信号的一例的图。
图160是示出实施方式19的发送信号的一例的图。
图161是示出实施方式19的发送信号的一例的图。
图162是示出实施方式19的发送信号的一例的图。
图163是示出实施方式19的发送信号的一例的图。
图164是示出实施方式19的发送接收系统的一例的图。
图165是示出实施方式19的发送接收系统的处理的一例的流程图。
图166是示出实施方式19的服务器的动作的流程图。
图167是示出实施方式19的接收机的动作的一例的流程图。
图168是示出实施方式19的简易模式下的进展状况的计算方法的流程图。
图169是示出实施方式19的最大似然推定模式下的进展状况的计算方法的流程图。
图170是示出实施方式19的进展状况不减少的显示方法的流程图。
图171是示出实施方式19的存在多个数据包长度的情况的进展状况的显示方法的流程图。
图172是示出实施方式19的接收机的动作状态的一例的图。
图173是示出实施方式19的发送信号的一例的图。
图174是示出实施方式19的发送信号的一例的图。
图175是示出实施方式19的发送信号的一例的图。
图176是示出实施方式19的发送机的一例的框图。
图177是示出实施方式19的以本发明的光ID调制信号驱动LED显示器的情况的时序图的图。
图178是示出实施方式19的以本发明的光ID调制信号驱动LED显示器的情况的时序图的图。
图179是示出实施方式19的以本发明的光ID调制信号驱动LED显示器的情况的时序图的图。
图180A是示出本发明的一方式的发送方法的流程图。
图180B是示出本发明的一方式的发送装置的功能结构的框图。
图181是示出实施方式19的发送信号的一例的图。
图182是示出实施方式19的发送信号的一例的图。
图183是示出实施方式19的发送信号的一例的图。
图184是示出实施方式19的发送信号的一例的图。
图185是示出实施方式19的发送信号的一例的图。
图186是示出实施方式19的发送信号的一例的图。
图187是示出实施方式20的可见光信号的结构的一例的图。
图188是示出实施方式20的可见光信号的详细结构的一例的图。
图189A是示出实施方式20的可见光信号的另一例的图。
图189B是示出实施方式20的可见光信号的另一例的图。
图189C是示出实施方式20的可见光信号的信号长度的图。
图190是示出实施方式20的可见光信号与标准IEC的可见光信号之间的亮度值的比较结果的图。
图191是示出实施方式20的可见光信号与标准IEC的可见光信号之间的、相对于视角的接收数据包数以及可靠度的比较结果的图。
图192是示出实施方式20的可见光信号与标准IEC的可见光信号之间的、相对于噪声的接收数据包数以及可靠度的比较结果的图。
图193是示出实施方式20的可见光信号与标准IEC的可见光信号之间的、相对于接收侧时钟误差的接收数据包数以及可靠度的比较结果的图。
图194是示出实施方式20的发送对象的信号的结构的图。
图195A是示出实施方式20的可见光信号的接收方法的图。
图195B是示出实施方式20的可见光信号的排序的图。
图196是示出实施方式20的可见光信号的另一例的图。
图197是示出实施方式20的可见光信号的详细结构的另一例的图。
图198是示出实施方式20的可见光信号的详细结构的另一例的图。
图199是示出实施方式20的可见光信号的详细结构的另一例的图。
图200是示出实施方式20的可见光信号的详细结构的另一例的图。
图201是示出实施方式20的可见光信号的详细结构的另一例的图。
图202是示出实施方式20的可见光信号的详细结构的另一例的图。
图203是用于说明决定图197的x1~x4的值的方法的图。
图204是用于说明决定图197的x1~x4的值的方法的图。
图205是用于说明决定图197的x1~x4的值的方法的图。
图206是用于说明决定图197的x1~x4的值的方法的图。
图207是用于说明决定图197的x1~x4的值的方法的图。
图208是用于说明决定图197的x1~x4的值的方法的图。
图209是用于说明决定图197的x1~x4的值的方法的图。
图210是用于说明决定图197的x1~x4的值的方法的图。
图211是用于说明决定图197的x1~x4的值的方法的图。
图212是示出实施方式20的变形例1涉及的可见光信号的详细结构的一例的图。
图213是示出实施方式20的变形例1涉及的可见光信号的另一例的图。
图214是示出实施方式20的变形例1涉及的可见光信号的又一例的图。
图215是示出实施方式20的变形例1涉及的数据包调制的一例的图。
图216是示出实施方式20的变形例1涉及的将元数据分割成1部分的处理的图。
图217是示出实施方式20的变形例1数据的将元数据分割成2部分的处理的图。
图218是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的图。
图219是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的另一例的图。
图220是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的另一例的图。
图221是示出实施方式20的变形例1涉及的将元数据分割成4部分的处理的图。
图222是示出实施方式20的变形例1涉及的将元数据分割成5部分的处理的图。
图223是示出实施方式20的变形例1涉及的将元数据分割成6、7或8部分的处理的图。
图224是示出实施方式20的变形例1涉及的将元数据分割成6、7或8部分的处理的另一例的图。
图225是示出实施方式20的变形例1涉及的将元数据分割成9部分的处理的图。
图226是示出实施方式20的变形例1涉及的将元数据分割成10~16的某一数的部分的处理的图。
图227是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码(纠错码)的关系的一例的图。
图228是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码的关系的另一例的图。
图229是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码的关系的又一例的图。
图230A是示出实施方式20的可见光信号的生成方法的流程图。
图230B是示出实施方式20的信号生成装置的结构的框图。
图231是表示实施方式21的接收高频可见光信号的方法的图。
图232A是表示实施方式21的接收高频可见光信号的另一方法的图。
图232B是表示实施方式21的接收高频可见光信号的另一方法的图。
图233是表示实施方式21的输出高频信号的方法的图。
图234是用于说明实施方式22的自主飞行装置的图。
图235是表示实施方式23的接收机显示AR图像的例子的图。
图236是表示实施方式23的显示系统的一例的图。
图237是表示实施方式23的显示系统的另一例的图。
图238是表示实施方式23的显示系统的另一例的图。
图239是表示实施方式23的接收机的处理动作的一例的流程图。
图240是表示实施方式23的接收机显示AR图像的另一例的图。
图241是表示实施方式23的接收机显示AR图像的另一例的图。
图242是表示实施方式23的接收机显示AR图像的另一例的图。
图243是表示实施方式23的接收机显示AR图像的另一例的图。
图244是表示实施方式23的接收机显示AR图像的另一例的图。
图245是表示实施方式23的接收机显示AR图像的另一例的图。
图246是表示实施方式23的接收机的处理动作的另一例的流程图。
图247是表示实施方式23的接收机显示AR图像的另一例的图。
图248是表示实施方式23的通过接收机的拍摄而取得的拍摄显示图像Ppre以及解码用图像Pdec的图。
图249是表示实施方式23的显示于接收机的拍摄显示图像Ppre的一例的图。
图250是表示实施方式23的接收机的处理动作的另一例的流程图。
图251是表示实施方式23的接收机显示AR图像的另一例的图。
图252是表示实施方式23的接收机显示AR图像的另一例的图。
图253是表示实施方式23的接收机显示AR图像的另一例的图。
图254是表示实施方式23的接收机显示AR图像的另一例的图。
图255是表示实施方式23的识别信息的一例的图。
图256是表示实施方式23的接收机的处理动作的另一例的流程图。
图257是表示实施方式23的接收机识别亮线图案区域的一例的图。
图258是表示实施方式23的接收机的另一例的图。
图259是表示实施方式23的接收机的处理动作的另一例的流程图。
图260是表示实施方式23的包括多个发送机的发送系统的一例的图。
图261是表示实施方式23的包括多个发送机以及接收机的发送系统的一例的图。
图262A是表示实施方式23的接收机的处理动作的一例的流程图。
图262B是表示实施方式23的接收机的处理动作的一例的流程图。
图263A是表示实施方式23的显示方法的流程图。
图263B是表示实施方式23的显示装置的结构的框图。
图264是表示实施方式23的变形例1的接收机显示AR图像的例子的图。
图265是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
图266是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
图267是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
图268是表示实施方式23的变形例1的接收机200的另一例的图。
图269是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
图270是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
图271是表示实施方式23的变形例1的接收机200的处理动作的一例的流程图。
图272是表示实施方式23或其变形例1的在接收机中显示所设想的AR图像时的问题的一例的图。
图273是表示实施方式23的变形例2的接收机显示AR图像的例子的图。
图274是表示实施方式23的变形例2的接收机的处理动作的一例的流程图。
图275是表示实施方式23的变形例2的接收机显示AR图像的另一例的图。
图276是表示实施方式23的变形例2的接收机的处理动作的另一例的流程图。
图277是表示实施方式23的变形例2的接收机显示AR图像的另一例的图。
图278是表示实施方式23的变形例2的接收机显示AR图像的另一例的图。
图279是表示实施方式23的变形例2的接收机显示AR图像的另一例的图。
图280是表示实施方式23的变形例2的接收机显示AR图像的另一例的图。
图281A是表示本发明的一个技术方案涉及的显示方法的流程图。
图281B是表示本发明的一个技术方案涉及的显示装置的结构的框图。
图282是表示实施方式23的变形例3的AR图像的放大以及移动的一例的图。
图283是表示实施方式23的变形例3的AR图像的放大的一例的图。
图284是表示实施方式23的变形例3的由接收机进行的与AR图像的放大以及移动有关的处理动作的一例的流程图。
图285是表示实施方式23的变形例3的AR图像的重叠的一例的图。
图286是表示实施方式23的变形例3的AR图像的重叠的一例的图。
图287是表示实施方式23的变形例3的AR图像的重叠的一例的图。
图288是表示实施方式23的变形例3的AR图像的重叠的一例的图。
图289A是表示实施方式23的变形例3的通过接收机的拍摄而得到的拍摄显示图像的一例的图。
图289B是表示实施方式23的变形例3的显示于接收机的显示器的菜单画面的一例的图。
图290是表示实施方式23的变形例3的接收机和服务器的处理动作的一例的流程图。
图291是用于说明实施方式23的变形例3的由接收机再现的声音的音量的图。
图292是表示实施方式23的变形例3的从接收机到发送机的距离与音量的关系的图。
图293是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图294是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图295是用于说明实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的图。
图296是用于说明实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的图。
图297是表示实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的流程图。
图298是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图299是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图300是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图301是表示实施方式23的变形例3的根据接收机的姿势取得的解码用图像的一例的图。
图302是表示实施方式23的变形例3的根据接收机的姿势取得的解码用图像的另一例的图。
图303是表示实施方式23的变形例3的接收机的处理动作的一例的流程图。
图304是表示实施方式23的变形例3的由接收机进行的摄像头镜头的切换处理的一例的图。
图305是表示实施方式23的变形例3的由接收机进行的摄像头的切换处理的一例的图。
图306是表示实施方式23的变形例3的接收机和服务器的处理动作的一例的流程图。
图307是表示实施方式23的变形例3的由接收机进行的AR图像的重叠的一例的图。
图308是表示实施方式23的变形例3的包括接收机、微波炉、中继服务器以及电子结算用服务器的系统的处理动作的时序图。
图309是表示实施方式23的变形例3的包括POS终端、服务器、接收机200以及微波炉的系统的处理动作的时序图。
图310是表示实施方式23的变形例3的在室内的利用的一例的图。
图311是表示实施方式23的变形例3的扩展现实对象的显示的一例的图。
图312是表示实施方式23的变形例4的显示系统的结构的图。
图313是表示实施方式23的变形例4的显示系统的处理动作的流程图。
图314是表示本发明的一技术方案涉及的识别方法的流程图。
图315是表示实施方式24的可见光信号的工作模式的一例的图。
图316是表示实施方式24的数据包PWM的模式1下的PPDU格式的一例的图。
图317是表示实施方式24的数据包PWM的模式2下的PPDU格式的一例的图。
图318是表示实施方式24的数据包PWM的模式3下的PPDU格式的一例的图。
图319是表示实施方式24的数据包PWM的模式1~模式3各模式的SHR的脉冲宽度的样式(pattern,模式)的一例的图。
图320是表示实施方式24的数据包PPM的模式1下的PPDU格式的一例的图。
图321是表示实施方式24的数据包PPM的模式2下的PPDU格式的一例的图。
图322是表示实施方式24的数据包PPM的模式3下的PPDU格式的一例的图。
图323是表示实施方式24的数据包PPM的模式1~模式3各模式的SHR的间隔的样式的一例的图。
图324是表示实施方式24的PHY有效载荷所含的12位的数据的一例的图。
图325是表示实施方式24的将PHY帧收纳在1个数据包中的处理的图。
图326是表示实施方式24的将PHY帧分割成2个数据包的处理的图。
图327是表示实施方式24的将PHY帧分割成3个数据包的处理的图。
图328是表示实施方式24的将PHY帧分割成4个数据包的处理的图。
图329是表示实施方式24的将PHY帧分割成5个数据包的处理的图。
图330是表示实施方式24的将PHY帧分割成N(N=6、7或8)个数据包的处理的图。
图331是表示实施方式24的将PHY帧分割成9个数据包的处理的图。
图332是表示实施方式24的将PHY帧分割成N(N=10~16)个数据包的处理的图。
图333A是表示实施方式24的可见光信号的生成方法的流程图。
图333B是表示实施方式24的信号生成装置的结构的框图。
图334是表示实施方式25的MPM的MAC帧的格式的图。
图335是表示实施方式25的生成MPM的MAC帧的编码装置的处理动作的流程图。
图336是表示实施方式25的对MPM的MAC帧进行解码的解码装置的处理动作的流程图。
图337是表示实施方式25的MAC的PIB的属性的图。
图338是用于说明实施方式25的MPM的调光方法的图。
图339是表示实施方式25的PHY的PIB的属性的图。
图340是用于说明实施方式25的MPM的图。
图341是表示实施方式25的PLCP报头子字段的图。
图342是表示实施方式25的PLCP中间子字段的图。
图343是表示实施方式25的PLCP报尾子字段的图。
图344是表示实施方式25的MPM中的PHY的PWM模式的波形的图。
图345是表示实施方式25的MPM中的PHY的PPM模式的波形的图。
图346是表示实施方式25的解码方法的一例的流程图。
图347是表示实施方式25的编码方法的一例的流程图。
图348是表示实施方式26的接收机显示AR图像的例子的图。
图349是表示实施方式26的叠加有AR图像的拍摄显示图像的例子的图。
图350是表示实施方式26的接收机显示AR图像的另一例的图。
图351是表示实施方式26的接收机的动作的流程图。
图352是用于说明实施方式26的发送机的动作的图。
图353是用于说明实施方式26的发送机的另一动作的图。
图354是用于说明实施方式26的发送机的另一动作的图。
图355是表示用于说明实施方式26的光ID的接收容易度的比较例的图。
图356A是表示实施方式26的发送机的动作的流程图。
图356B是表示实施方式26的发送机的结构的框图。
图357是表示实施方式26的接收机显示AR图像的另一例的图。
图358是用于说明实施方式27的发送机的动作的图。
图359A是表示实施方式27的发送方法的流程图。
图359B是表示实施方式27的发送机的结构的框图。
图360是表示实施方式27的可见光信号的详细结构的一例的图。
图361是表示实施方式27的可见光信号的详细结构的另一例的图。
图362是表示实施方式27的可见光信号的详细结构的另一例的图。
图363是表示实施方式27的可见光信号的详细结构的另一例的图。
图364是表示实施方式27的变量y0~y3的总和与全部时间长度及有效时间长度的关系的图。
图365A是表示实施方式27的发送方法的流程图。
图365B是表示实施方式27的发送机的结构的框图。
标号的说明
100 发送装置
551 受理部
552 发送部
具体实施方式
本发明的一技术方案涉及的发送方法,是通过发光体的亮度变化来发送可见光信号的发送方法,包括:决定步骤,通过对信号进行调制,决定亮度变化的样式;以及发送步骤,通过使由所述发光体包含的光源表现的红色的亮度根据所决定的所述样式进行变化来发送所述可见光信号,所述可见光信号包含数据、前导码和有效载荷,在所述数据中,第1亮度值和比所述第1亮度值小的第2亮度值沿着时间轴上出现,所述第1亮度值和所述第2亮度值中的至少一方持续的时间长度为第1预定值以下,在所述前导码,所述第1亮度值和所述第2亮度值分别沿着时间轴上交替地出现,在所述有效载荷,所述第1亮度值和所述第2亮度值沿着时间轴上交替地出现,所述第1亮度值和所述第2亮度值各自持续的时间长度大于所述第1预定值,并且按照所述信号和预定方式来决定。
由此,如图363所示那样,可见光信号包含1个根据被调制的信号来决定的波形的有效载荷(即,L数据部或R数据部),不包含2个有效载荷。因此,能够缩短可见光信号即可见光信号的数据包。也即是,能够以较短时间发送可见光信号,能够以较短时间进行多种设备间的通信。其结果,例如即使由发光体包含的光源表现的红色光的发光期间较短,也能够在该发光期间内发送可见光信号的数据包。
此外,也可以是,在所述有效载荷,按第1时间长度的所述第1亮度值、第2时间长度的所述第2亮度值、第3时间长度的所述第1亮度值、第4时间长度的所述第2亮度值的顺序,各个亮度值出现,在所述发送步骤中,在所述第1时间长度与所述第3时间长度之和小于第2预定值的情况下,使流过所述光源的电流值比所述第1时间长度与所述第3时间长度之和大于所述第2预定值的情况下的该电流值大,所述第2预定值大于所述第1预定值。
由此,如图362及图363所示那样,在第1时间长度与第3时间长度之和较小的情况下,光源的电流值增大,在第1时间长度与第3时间长度之和较大的情况下,光源的电流值减小。因此,能够使由数据、前导码及有效载荷构成的数据包的平均亮度与信号无关而保持一定。
此外,也可以是,在所述有效载荷,按第1时间长度D0的所述第1亮度值、第2时间长度D1的所述第2亮度值、第3时间长度D2的所述第1亮度值、第4时间长度D3的所述第2亮度值的顺序,各个亮度值出现,在从所述信号得到的4个参数yk(k=0、1、2、3)的总和为第3预定值以下的情况下,所述第1~第4时间长度D0~D3分别根据Dk=W0+W1×yk(W0及W1分别为0以上的整数)来决定。
由此,如图363的(b)所示那样,能够使第1~第4时间长度D0~D3均为W0以上,并且能够根据信号生成较短波形的有效载荷。
此外,也可以是,在所述4个参数yk(k=0、1、2、3)的总和为所述第3预定值以下的情况下,在所述发送步骤中,将所述数据、所述前导码及所述有效载荷按所述数据、所述前导码、所述有效载荷的顺序发送。
由此,如图363的(b)所示那样,能够将包含数据(即无效数据)的可见光信号的数据包不包含L数据部这一情况通过该数据通知给接收该数据包的接收装置。
此外,也可以是,在所述4个参数yk(k=0、1、2、3)的总和大于所述第3预定值的情况下,所述第1~第4时间长度D0~D3分别根据D0=W0+W1×(A-y0)、D1=W0+W1×(B-y1)、D2=W0+W1×(A-y2)、以及D3=W0+W1×(B-y3)(A及B分别为0以上的整数)来决定。
由此,如图363的(a)所示那样,使第1~第4时间长度D0~D3(即,第1~第4时间长度D’0~D’3)均为W0以上,并且即使上述的总和较大,也能够根据信号生成较短波形的有效载荷。
此外,也可以是,在所述4个参数yk(k=0、1、2、3)的总和大于所述第3预定值的情况下,在所述发送步骤中,将所述数据、所述前导码及所述有效载荷按所述有效载荷、所述前导码、所述数据的顺序发送。
由此,如图363的(a)所示那样,能够将包含数据(即无效数据)的可见光信号的数据包不包含R数据部这一情况通过该数据通知给接收该数据包的接收装置。
此外,也可以是,所述发光体具有包含红色光源、蓝色光源及绿色光源的多个光源,在所述发送步骤中,仅使用所述多个光源中的所述红色光源发送所述可见光信号。
由此,发光体能够使用红色光源、蓝色光源及绿色光源来显示影像,并且能够发送容易被接收装置接收到的波长的可见光信号。
此外,这些总括性的或者具体的方式可以由装置、系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现,也可以由装置、系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。
以下,一边参照附图一边对实施方式具体地进行说明。
此外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
以下,对实施方式1进行说明。
(发光部的亮度的观测)
提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图1是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光线,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将正在闪烁的光源摄像到摄像元件的整面上而摄像的情况下,如图2那样,在摄像图像上产生沿着曝光线的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低可以是光源不发光的状态,也可以是与高相比较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光线有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光线有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图2表示一个曝光线的曝光完成后开始下个曝光线的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光线数为l时,如果根据各曝光线是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光线的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图3那样,如果能够将由发光部的发光带来的各曝光线的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光线的曝光时间短的单位的时间来控制,能够传送更多的信息。
在能够以Elv个阶段识别曝光状态的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光线的曝光的时刻稍稍错开的时刻使发光部发光,能够识别发信的基本周期。
图4表示在一个曝光线的曝光完成之前开始下个曝光线的曝光的情况。即,为相邻的曝光线的曝光时间具有部分的时间上重叠的结构。通过这样的结构,(1)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被拍摄对象的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使各曝光线的曝光时间变长,所以即使在被拍摄对象较暗的情况下,也能够取得更明亮的图像。即,能够使S/N比提高。此外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,也可以是一部分的曝光线不具有部分的时间上的重叠的结构。通过做成一部分的曝光线不具有部分的时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光线的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在通过亮度是否是阈值以上的2值判别各曝光线的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
图5A表示在各曝光线的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来摄像相同的明亮度的图像的摄像感光度降低,能够得到噪声较少的图像,所以通信错误被抑制。
图5B表示在曝光时间相等的情况下、因各曝光线的曝光开始时刻的差异带来的影响。7501a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7501b是比前个曝光线的曝光结束更早地开始下个曝光线的曝光的情况。通过如7501b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光线的曝光量的差来识别比曝光时间短的光源的闪烁。
另外,在上述的样本数少的情况下,也即是当样本间隔(图5B所示的时间差tD)长时,无法准确地检测光源亮度的变化的可能性变高。该情况下,通过缩短曝光时间,能够抑制该可能性。也即是,能够准确地检测光源亮度的变化。另外,希望曝光时间满足曝光时间>(样本间隔-脉冲宽度)。脉冲宽度是光源的亮度为High的期间即光的脉冲宽度。由此,能够适当地检测High的亮度。
如在图5A、图5B中说明那样,在以使相邻的曝光线的曝光时间具有部分的时间上的重叠的方式将各曝光线依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的消隐(blanking)最大为1帧的一半的大小。即,由于消隐时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以至少需要曝光时间比1/(2f×4)短。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
图5C表示在各曝光线的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,设定为在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,如7502f那样,能够检测更适当的亮线样式。如7502d那样设置预定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光线的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光线的曝光时间具有部分的时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生预定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生预定的不曝光的时间来实现。此外,通过如7502g那样使各曝光线的曝光开始时刻的间隔tD变大,也能够采用在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够摄像明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光线变少,所以如7502h那样具有样本数变少的缺点,所以希望根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠,也可以是一部分的曝光线不具有部分的时间上的重叠。此外,不需要在全部的曝光线中、在一个曝光线的曝光结束后到下个曝光线的曝光开始之前设置预定的不曝光的空闲时间(预定的等待时间),也可以是一部分的曝光线具有部分的时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可见光通信的1/480秒以下的曝光时间进行摄影的可见光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可见光通信模式使用分别不同的电路,能够使电路规模变小。
图5D表示光源亮度的最小变化时间tS、曝光时间tE、各曝光线的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,一个以上的曝光线从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。
图5E表示光源亮度的变迁时间tT和各曝光线的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,成为中间色的曝光线越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光线为连续的2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图5F表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比,tE越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当tE为tHT的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tHT是20微秒以下,所以通过使tE成为20微秒以上,能够容易地进行光源亮度的推测。
图5G是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。考虑tHT根据光源而有偏差,根据曲线图,tE是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,tE优选的是较大,但如上述那样,还具有在tE越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时tE优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE优选的是设定为74微秒以上。
图5H表示曝光时间tE与识别成功率的关系。曝光时间tE相对于光源的亮度为一定的时间,具有相对性的意义,所以取将光源亮度变化的周期tS除以曝光时间tE的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1kHz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而摄像明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为中间模式优选的是使用这些曝光时间。
图6A是本实施方式的信息通信方法的流程图。
本实施方式的信息通信方法是从被拍摄对象取得信息的信息通信方法,包含步骤SK91~SK93。
即,该信息通信方法包括:第1曝光时间设定步骤SK91,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;第1图像取得步骤SK92,上述图像传感器以设定的上述第1曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤SK93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤SK92中,上述多个曝光线各自依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。
图6B是本实施方式的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置K90,是从被拍摄对象取得信息的信息通信装置,具备构成要素K91~K93。
即,该信息通信装置K90具备:曝光时间设定部K91,设定上述图像传感器的曝光时间,以使得在由图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得部K92,以设定的上述曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得部K93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;上述多个曝光线分别依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。
在这样的图6A及图6B所示的信息通信方法及信息通信装置K90中,如使用例如图5C等说明的那样,多个曝光线分别在从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光,因此能够容易地识别被拍摄对象的亮度变化。结果,能够适当地从被拍摄对象取得信息。
另外,在上述实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
(实施方式2)
在本实施方式中,说明使用作为上述实施方式1的信息通信装置K90的智能电话等的接收机和作为LED和/或有机EL等光源的闪烁样式而发送信息的发送机的各应用例。
另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可见光通信模式或可见光通信模式下的摄影称作可见光摄影(可见光通信)。此外,也可以代替通常摄影及可见光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。
图7是表示本实施方式的接收机的摄影动作的一例的图。
接收机8000将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可见光通信图像合成,生成鲜明地映照出亮线图样、被拍摄对象及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可见光通信图像的亮线图样而生成的图像。此外,由该合成图像映照出的亮线图样、被拍摄对象及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过显示这样的合成图像,用户能够更明确地知道从哪里或哪个位置发送了信号。
图8是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000具备摄像头Ca1及摄像头Ca2。在这样的接收机8000中,摄像头Ca1进行通常摄影,摄像头Ca2进行可见光摄影。由此,摄像头Ca1取得上述那样的通常摄影图像,摄像头Ca2取得上述那样的可见光通信图像。并且,接收机8000通过将通常摄影图像及可见光通信图像合成,生成上述合成图像,显示到显示器上。
图9表示本实施方式的接收机的摄影动作的另一例的图。
在具有两个摄像头的上述接收机8000中,摄像头Ca1将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。另一方面,摄像头Ca2持续进行通常摄影。并且,当由摄像头Ca1和摄像头Ca2同时进行通常摄影时,接收机8000根据由这些摄像头取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被拍摄对象的距离(以下称作被拍摄对象距离)。通过使用这样推测出的被拍摄对象距离,接收机8000能够将可见光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。
图10是表示本实施方式的接收机的显示动作的一例的图。
接收机8000如上述那样,将摄影模式如可见光通信、通常摄影、可见光通信、…那样切换。这里,接收机8000在最初进行可见光通信时将应用程序起动。并且,接收机8000基于通过可见光通信接收到的信号,推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示AR(AugmentedReality)信息。该AR信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息的显示位置移动。由此,能够使AR信息追随于通常摄影图像的被拍摄对象像。
此外,接收机8000如果将摄影模式从通常摄影切换为可见光通信,则在该可见光通信时,将AR信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了AR信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息及通常摄影图像移动。由此,在可见光通信时,也与通常摄影时同样,能够与接收机8000的移动等相应地使AR信息追随于通常摄影图像的被拍摄对象像。此外,能够与接收机8000的移动等相应地将该通常图像放大及缩小。
图11是表示本实施方式的接收机的显示动作的一例的图。
例如,接收机8000也可以如如图11的(a)所示那样显示映照出亮线图样的上述合成图像。此外,接收机8000也可以如图11的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有预定颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。
此外,接收机8000也可以如图11的(c)所示那样,显示发送了信号的部位用点线的框和识别码(例如,ID:101、ID:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图11的(d)所示,通过代替亮线图样而将作为用来通知发送了特定种类的信号的具有预定颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,在从发送机输出的信号是优惠券的情况下叠加绿色的信号识别对象。
图12是表示本实施方式的接收机的动作的一例的图。
例如,接收机8000也可以在通过可见光通信接收到信号的情况下,显示通常摄影图像,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。
图13是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像中映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的从被拍摄对象发送的信号来生成信息通知图像,并显示该信息通知图像。该信息通知图像例如表示店铺的优惠券或场所等。另外,亮线图样也可以是图11所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样也是同样的。
图14是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像上映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的被拍摄对象发送的信号来生成信息通知图像,显示该信息通知图像。该信息通知图像例如用地图等表示接收机8000的当前地。
图15是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000显示与图11的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。
此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示优惠券的图像)。
图16是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000以追随于划动操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被拍摄对象距离与箭头一起向用户容易理解地表示的图像。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。
图17是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000将表示多个店铺的作为标识板的发送机作为被拍摄对象摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将映照在通常摄影图像中的被拍摄对象中包含的1个店铺的标识板的图像轻击,则接收机8000基于从该店铺的标识板发送的信号生成信息通知图像,显示该信息通知图像8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。
图18是表示本实施方式的接收机、发送机和服务器的动作的一例的图。
首先,构成为电视机的发送机8012通过亮度变化向接收机8011发送信号。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可见光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的SIM(Subscriber Identity Module)卡中包含的信息、用户ID、终端ID、信用卡信息、用于核款的信息、口令及发送机ID中的至少1个向服务器8013发送。服务器8013按照每个用户将用户ID和支付信息建立联系而管理。并且,服务器8013基于从接收机8011发送的信息确定用户ID,确认与该用户ID建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则向接收机8011发送许可信息。接收机8011如果接收到许可信息,则向发送机8012发送该许可信息。接收到许可信息的发送机8012例如经由网络取得并再现该内容。
此外,发送机8012也可以通过亮度变化将包含发送机8012的ID的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012视听例如电视机节目,能够进行电视机节目的视听率调查。
此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。
进而,通过由发送机8012发送上述那样的信息,服务器8013能够对基于收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013可以对接收机8011显示广告,或显示向发送机8012显示的电视机节目的详细信息,或显示表示该详细信息的站点的URL。进而,服务器8013通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款,即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对由该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。
图19是表示本实施方式的接收机的动作的另一例的图。
接收机8030例如构成为具备摄像头的头戴显示器。当开始按钮被按下时,该接收机8030开始基于可见光通信模式的摄影、即可见光通信。并且,在通过可见光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可见光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在接收机8030所具备的9轴传感器得到的值的变化幅度超过预定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可见光通信。
图20是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样围起的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图21是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上抵按在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图22是表示本实施方式的发送机的动作的一例的图。
发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1的发送和信号2的发送分别通过可见光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。
图23是表示本实施方式的发送机的动作的另一例的图。
发送机如上述那样,将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列来变更该信号列中包含的块的配置。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的消隐期间的接收机仅取得相同的块。
图24是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7510a用后摄像头(外置摄像头)7510c将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的摄像方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机7510a自身的位置和朝向。接收机7510a用前摄像头(面部摄像头、内置摄像头)7510f对用户7510e进行摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后摄像头7510c的摄像和通过前摄像头7510f的摄像既可以同时进行,也可以交替地进行。
图25是表示本实施方式的接收机的动作的另一例的图。
接收机通过上述那样的合成图像或中间图像等来显示亮线图样。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学变焦,显示该亮线图样的部位被放大的合成图像或中间图像。通过进行这样的光学变焦,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学变焦,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学变焦,也能够进行较快的接收。
(本实施方式的总结)
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别出现上述亮线的部位的空间位置的方式,显示映照出上述被拍摄对象和该被拍摄对象的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。
例如,将图7、图8及图11所示那样的合成图像或中间图像作为显示用图像显示。此外,在映照出被拍摄对象和该被拍摄对象的周围的显示用图像中,将出现亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化来发送信号的被拍摄对象。
此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被拍摄对象和该被拍摄对象的周围以上述较长的曝光时间进行摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中出现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。
例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图7、图8及图11所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化来发送信号的被拍摄对象。
此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得映照出上述被拍摄对象的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。
例如,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可见光通信图像并合成等的处理,能够实现处理的简略化。
此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过由上述第2图像传感器与上述第1图像传感器的摄影同时地进行摄影,取得上述亮线图像。
例如,如图8所示,将通常摄影图像和作为亮线图像的可见光通信图像通过各自的摄像头取得。因而,与用1个摄像头取得通常摄影图像和可见光通信图像的情况相比,能够更快地取得这些图像,能够使处理高速化。
此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的出现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续预定的时间以上抵按在上述部位上的操作,持续预定的时间以上使视线朝向上述部位的状态的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖抵按在上述部位上的操作,或通过触碰接触传感器而将显示在上述显示用图像上的指针对准于上述部位的操作。
例如,如图13~图17、图20以及图21所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。
此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影仪显示上述显示用图像。
由此,例如如图19~图21所示,能够简单地向用户提示信息。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中对多个上述被拍摄对象进行摄影,取得包含多个出现上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照每个上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被拍摄对象各自的位置;上述信息通信方法还包括基于所取得的多个上述被拍摄对象各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。
由此,根据多个照明体等的被拍摄对象的亮度变化,能够正确地推测包括图像传感器的接收机的位置。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,提示所取得的上述信息;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。
由此,能够根据用户是否进行被提示的手势来进行对于该用户的认证等,能够提高方便性。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被拍摄对象分别对应的亮线,通过按照上述被拍摄对象将由与该被拍摄对象对应的亮线的样式确定的数据解调,来取得信息。
由此,即使是多个照明体等的被拍摄对象分别亮度变化的情况,也能够从被拍摄对象分别取得适当的信息。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被拍摄对象的位置的位置推测步骤。
由此,能够基于亮度分布推测适当的被拍摄对象的位置。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:第1决定步骤,通过对发送对象的第1信号进行调制来决定亮度变化的第1样式;第2决定步骤,通过对发送对象的第2信号进行调制来决定亮度变化的第2样式;发送步骤,通过由发光体交替地进行按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化,来发送上述第1及第2信号。
由此,例如如图22所示,能够将第1信号和第2信号分别没有延迟地发送。
此外,也可以是,在上述发送步骤中,当使亮度变化在按照上述第1样式的亮度变化和按照上述第2样式的亮度变化之间切换时,隔开缓冲时间来切换。
由此,能够抑制第1信号和第2信号的串扰。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1数据对应的前导码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前导码和与上述第2数据对应的检验信号。
由此,不论是需要消隐期间的接收机、还是不需要消隐期间的接收机,都能够适当地取得数据。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过由多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,发送频率或协议相互不同的信号。
由此,能够抑制来自多个发送机的信号的串扰。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过有多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号串扰的方式发送其它信号。
由此,能够抑制来自多个发送机的信号的串扰。
(实施方式3)
在本实施方式中,对使用上述实施方式1或2的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各应用例进行说明。
图26是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
例如构成为智能电话的接收机8142取得表示自己的位置的位置信息,将该位置信息向服务器8141发送。另外,接收机8142例如利用GPS等,在接收到其它信号时取得其位置信息。服务器8141将与由该位置信息表示的位置建立了对应的ID列表向接收机8142发送。在ID列表中,按照“abcd”等的ID,包括该ID和与该ID建立了对应的信息。
接收机8142例如从构成为照明设备的发送机8143接收信号。此时,接收机8142有只能接收ID的一部分(例如“b”)作为上述信号的情况。在此情况下,接收机8142从ID列表中检索包括该ID的一部分的ID。在找不到唯一的ID的情况下,接收机8142还从发送机8143接收包括该ID的其它部分的信号。由此,接收机8142取得该ID中的更多的部分(例如“bc”)。并且,接收机8142从ID列表再次检索包含该ID的一部分(例如“bc”)的ID。通过进行这样的检索,接收机8142即使仅能够取得ID的一部分,也能够确定ID的全部。另外,接收机8142当从发送机8143接收信号时,不仅是ID的一部分,还接收CRC(Cyclic Redundancy Check)等的检验部分等。
图27是表示实施方式3的发送机及接收机的动作的一例的图。
例如构成为电视机的发送机8165从控制部8166取得图像和与该图像建立了对应的ID(ID 1000)。并且,发送机8165将该图像显示,并通过亮度变化,将该ID(ID 1000)向接收机8167发送。接收机8167通过摄像来接收该ID(ID 1000),并显示与该ID(ID 1000)建立了对应的信息。这里,控制部8166将向发送机8165输出的图像变更为其它图像。此时,控制部8166将向发送机8165输出的ID也变更。即,控制部8166与其它图像一起,将与其它图像建立了对应的其它ID(ID 1001)也向发送机8165输出。由此,发送机8165将其它图像显示,并通过亮度变化将其它ID(ID 1001)向接收机8167发送。接收机8167通过摄像而将其它ID(ID1001)接收,并显示与其它ID(ID 1001)建立了对应的信息。
图28是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
例如构成为智能电话的发送机8185通过使显示器8185a中的除了条码部分8185b以外的部分亮度变化,即通过可见光通信,将例如表示“优惠券减去100日元”的信息发送。此外,发送机8185不使条码部分8185b亮度变化,而使该条码部分8185b显示条码。该条码表示与通过上述可见光通信发送的信息相同的信息。进而,发送机8185在显示器8185a中的除了条码部分8185b以外的部分上,显示表示通过可见光通信发送的信息的字符或图画,例如字符“优惠券减去100日元”。通过将这样的字符或图画显示,发送机8185的用户能够容易地掌握发送了怎样的信息。
接收机8186通过摄像,取得通过可见光通信发送的信息和由条码表示的信息,将这些信息向服务器8187发送。服务器8187判断这些信息是否一致或关联,在判断为一致或关联时,执行按照这些信息的处理。或者,服务器8187将该判断结果向接收机8186发送,使接收机8186执行遵循这些信息的处理。
另外,发送机8185也可以将由条码表示的信息中的一部分通过可见光通信发送。此外,也可以在条码中表示服务器8187的URL。此外,发送机8185也可以作为接收机而取得ID,通过将该ID向服务器8187发送,取得与该ID建立了对应的信息。与该ID建立了对应的信息与通过上述可见光通信发送的信息、或由条码表示的信息相同。此外,服务器8187也可以经由接收机8186将与从发送机8185发送的信息(可见光通信的信息或条码的信息)建立了对应的ID向发送机8185发送。
图29是表示实施方式3的发送机及接收机的动作的一例的图。
例如,接收机8183将包括多个人物8197及路灯8195的被拍摄对象摄像。路灯8195具备通过亮度变化发送信息的发送机8195a。通过该摄像,接收机8183取得将发送机8195a的像表示为上述亮线图样的图像。进而,接收机8183例如从服务器等取得与由该亮线图样表示的ID建立了关联的AR对象8196a。并且,接收机8183将该AR对象8196a叠加到通过通常摄影得到的通常摄影图像8196上,将叠加了该AR对象8196a的通常摄影图像8196显示。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述亮度变化的样式是在预先设定的时间宽度中的任意的各位置出现相互不同的两个亮度值中的一方的样式;在上述决定步骤中,对于发送对象的相互不同的信号的每一个,以使上述时间宽度中的作为亮度的上升位置或下降位置的亮度变化位置相互不同的方式,决定上述亮度变化的样式、并且上述时间宽度中的上述发光体的亮度的积分值成为与预先设定的明亮度对应的相同的值。
例如,对于发送对象的相互不同的信号“00”、“01”、“10”及“11”,分别决定亮度变化的样式,以使亮度的上升位置(亮度变化位置)相互不同、并且预先决定的时间宽度(单位时间宽度)中的发光体的亮度的积分值成为与预先决定的明亮度(例如99%或1%等)对应的相同的值。由此,能够对于发送对象的信号分别将发光体的明亮度保持为一定,能够抑制闪变,并且将该发光体摄像的接收机能够基于亮度变化位置将该亮度变化的样式适当地解调。此外,亮度变化的样式由于是在单位时间宽度中的任意的各位置出现相互不同的两个亮度值(亮度H(High)或亮度L(Low))中的一方的样式,所以能够使发光体的明亮度连续地变化。
此外,也可以是,上述信息通信方法还包括将多个图像的分别依次切换而显示的图像显示步骤;在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与显示的图像对应的识别信息调制为上述发送对象的信号,决定与上述识别信息对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,来发送上述识别信息。
由此,例如如图27所示,每当显示图像,就发送与所显示的图像对应的识别信息,所以用户能够基于显示的图像容易地选择使接收机接收的识别信息。
此外,也可以是,在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体还按照对与过去显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,将上述识别信息发送。
由此,即使是因显示的图像切换而接收机不能接收到在切换前发送的识别信号的情况,由于与当前显示的图像对应的识别信息一起将与过去显示的图像对应的识别信息也发送,所以能够将在切换前发送的识别信息重新由接收机适当地接收。
此外,也可以是,在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与所显示的图像对应的识别信息和上述图像被显示的时刻调制为上述发送对象的信号,决定与上述识别信息及上述时刻对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送,还通过上述发光体按照对与过去显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送。
由此,由于每当显示图像时,就将多个ID时刻信息(由识别信息及时刻构成的信息)发送,所以接收机能够从接收到的多个ID时刻信息中,基于在该ID时刻信息的各自中包含的时刻而容易地选择在过去被发送而未能接收到的识别信号。
此外,也可以是,上述发光体具有分别发光的多个区域,上述多个区域中彼此相邻的区域的光相互干涉;在上述多个区域中的仅1个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,仅上述多个区域中的配置在端部的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,由于仅配置在端部的区域(发光部)亮度变化,所以与仅配置在端部以外的区域亮度变化的情况相比,能够抑制由来自其它区域的光带来的向其亮度变化的影响。结果,接收机能够通过摄影适当地捕捉其亮度变化的样式。
此外,也可以是,在仅上述多个区域中的两个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,上述多个区域中的配置在端部的区域和与上述配置在端部的区域相邻的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,由于配置在端部的区域(发光部)和与该配置在端部的区域相邻的区域(发光部)亮度变化,所以与相互离开的区域亮度变化的情况相比,能够将在空间上连续而进行亮度变化的范围的面积保持得较大。结果,接收机能够通过摄影适当地捕捉该亮度变化的样式。
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:信息发送步骤,发送表示在上述被拍摄对象的摄影中使用的图像传感器的位置的位置信息;列表接收步骤,接收与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;检索步骤,从上述ID列表中检索包含所取得的上述信息的识别信息。
由此,例如如图26所示,由于预先接收了ID列表,所以即使所取得的信息“bc”仅为识别信息的一部分,也能够基于ID列表确定适当的识别信息“abcd”。
此外,也可以是,在上述检索步骤中没有唯一确定包含所取得的上述信息的识别信息的情况下,通过反复进行上述图像取得步骤及上述信息取得步骤,取得新的信息;上述信息通信方法还包括从上述ID列表中检索包含所取得的上述信息和上述新的信息的识别信息的再检索步骤。
由此,例如如图26所示,即使是所取得的信息“b”仅为识别信息的一部分、仅通过该信息不能唯一确定识别信息的情况,由于取得新的信息“c”,所以能够基于该新的信息和ID列表确定适当的识别信息“abcd”。
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;发送步骤,将所取得的上述识别信息和表示上述图像传感器的位置的位置信息发送;错误接收步骤,在与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表中没有所取得的上述识别信息的情况下,接收用来通知错误的错误通知信息。
由此,由于在ID列表中没有所取得的识别信息的情况下接收错误通知信息,所以接收到该错误通知信息的接收机的用户能够容易地掌握不能得到与该取得的识别信息建立了关联的信息的情况。
(实施方式4)
在本实施方式中,对使用了上述实施方式1~4的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的适用例进行说明。
图30是表示实施方式4的发送机及接收机的动作的一例的图。
发送机具备ID存储部8361、随机数生成部8362、加法部8363,加密部8364及发送部8365。ID存储部8361存储有发送机的ID。随机数生成部8362每一定时间生成不同的随机数。加法部8363将由随机数生成部8362生成的最新的随机数对存储在ID存储部8361中的ID进行组合,将其结果作为编辑ID输出。加密部8364通过对该编辑ID进行加密而生成加密编辑ID。发送部8365通过亮度变化而将该加密编辑ID向接收机发送。
接收机具备接收部8366、解码部8367及ID取得部8368。接收部8366通过将发送机摄像(可见光摄影),从发送机接收加密编辑ID。解码部8367通过将该接收到的加密编辑ID解码,将编辑ID复原。ID取得部8368通过从复原后的编辑ID中提取ID,取得该ID。
例如,ID存储部8361存储有ID“100”,随机数生成部8362生成最新的随机数“817”(例1)。在此情况下,加法部8363通过将随机数“817”对ID“100”组合,生成编辑ID“100817”并输出。加密部8364通过对该编辑ID“100817”进行加密,生成加密编辑ID“abced”。接收机的解码部8367通过将该加密编辑ID“abced”解码,将编辑ID“100817”复原。并且,ID取得部8368从复原后的编辑ID“100817”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
接着,随机数生成部8362生成新的随机数“619”(例2)。在此情况下,加法部8363通过将随机数“619”对ID“100”组合,生成编辑ID“100619”并输出。加密部8364通过对该编辑ID“100619”进行加密,生成加密编辑ID“difia”。发送机的解码部8367通过将该加密编辑ID“difia”解码,将编辑ID“100619”复原。并且,ID取得部8368从复原后的编辑ID“100619”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
这样,发送机不是将ID单纯地加密,而是将组合了按每一定时间被变更的随机数而得到的值进行加密,所以能够防止根据从发送部8365发送的信号简单地解读ID。即,在将单纯被加密的ID从发送机向接收机多次发送的情况下,即使该ID被加密,由于只要该ID相同,从发送机向接收机发送的信号也相同,所以也有可能将该ID解读。但是,在图30所示的例子中,将按每一定时间被变更的随机数与ID组合,将组合了该随机数的ID加密。因而,即使是将相同的ID向接收机多次发送的情况,只要这些ID的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止ID被容易地解读。
另外,也可以是,图30所示的接收机如果取得加密编辑ID,则将该加密编辑ID向服务器发送,从该服务器取得ID。
(车站中的导引)
图31是表示电车的站台中的本发明的利用形态的一例的图。用户使便携终端面向电子公告板或照明,通过可见光通信,取得显示在电子公告板上的信息、或者设置有电子公告板的车站的电车信息/车站的站内信息等。这里,既可以将显示在电子公告板上的信息自身通过可见光通信向便携终端发送,也可以将与电子公告板对应的ID信息向便携终端发送,便携终端通过将所取得的ID信息向服务器查询,取得显示在电子公告板上的信息。服务器在从便携终端发送来ID信息的情况下,基于ID信息,将显示在电子公告板上的内容向便携终端发送。将保存在便携终端的存储器中的电车的车票信息与显示在电子公告板上的信息对比,在与用户的车票对应的车票信息显示在电子公告板上的情况下,在便携终端的显示器上,显示表示向用户计划乘坐的电车到达的站台的前往地的箭头。也可以在下车时显示到出口或距换乘路径较近的车辆的路径。在座席指定的情况下,也可以显示到该座席的路径。当显示箭头时,通过使用与地图或电车导引信息中的电车的路线的颜色相同的颜色来显示箭头,能够更容易理解地显示。此外,也可以与箭头的显示一起而显示用户的预约信息(站台号码、车辆号码、发车时刻、座席号码)。通过将用户的预约信息一起显示,能够防止误识别。在车票信息保存在服务器中的情况下,通过从便携终端向服务器查询而取得车票信息并对比、或者在服务器侧将车票信息与显示在电子公告板上的信息对比,能够取得与车票信息关联的信息。也可以是,根据用户进行了换乘检索的履历推测目标路线并显示路径。此外,也可以不仅取得显示在电子公告板上的内容,还取得设置有电子公告板的车站的电车信息/站内信息并进行对比。对于显示器上的电子公告板的显示,也可以将与用户关联的信息强调显示,也可以改写显示。在用户的乘车计划不明的情况下,也可以显示向各路线的乘车处的导引的箭头。在取得了车站的站内信息的情况下,也可以将向小卖店/洗手间等进行导引的箭头显示在显示器上。也可以构成为,将用户的行动特性预先用服务器管理,在用户在车站站内顺便到小卖店/洗手间的情况较多的情况下,将向小卖店/洗手间等进行导引的箭头显示到显示器上。由于仅对具有顺便到小卖店/洗手间的行动特性的用户显示向小卖店/洗手间等导引的箭头,对于其它用户不进行显示,所以能够减少处理量。也可以将向小卖店/洗手间等导引的箭头的颜色设为与对向站台的前往地进行导引的箭头不同的颜色。当将两者的箭头同时显示时,通过设为不同的颜色,能够防止误识别。另外,在图31中表示了电车的例子,但如果是飞机或汽车等,也能够以同样的结构进行显示。
(优惠券的弹出)
图32是表示如果用户接近店铺则显示通过可见光通信取得的优惠券信息、或者在便携终端的显示器上显示弹出消息的一例的图。用户使用便携终端,通过可见光通信从电子公告板等取得店铺的优惠券信息。接着,如果用户进入距店铺为预定距离的范围内,则显示店铺的优惠券信息或弹出消息。用户是否进入距店铺为预定距离的范围内,使用便携终端的GPS信息和优惠券信息中包含的店铺信息来判断。并不限于优惠券信息,也可以是票券信息。由于如果能够利用优惠券或票券的店铺等接近则自动地报信,所以用户能够将优惠券或票券适当地利用。
(操作用应用的起动)
图33是表示用户使用便携终端通过可见光通信从家电取得信息的一例的图。在通过可见光通信从家电取得了ID信息或关于该家电的信息的情况下,用来操作该家电的应用自动地启动。在图33中,表示使用电视机的例子。通过这样的结构,仅通过使便携终端面向家电,就能够将用来操作家电的应用起动。
(数据库)
图34是表示管理发送机发送的ID的服务器所保持的数据库的结构的一例的图。
数据库具有保持对以ID为关键字的查询提供的数据的ID-数据表、和保存以ID为关键字的查询记录的访问日志表。ID-数据表具有发送机发送的ID、对以ID为关键字的查询提供的数据、提供数据的条件、存在以ID为关键字的访问的次数、将条件取消而提供了数据的次数。在提供数据的条件中,有日期时间、访问次数、访问成功次数、查询源的终端的信息(终端的机种、进行了查询的应用、终端的当前位置等)、以及查询源的用户信息(年龄、性别、职业、国籍、使用语言、信教等)。通过以访问成功次数为条件,能够实现“每访问1次1日元,但以100日元为上限,在这以后不返回数据”的服务的方法。日志表当存在以ID为关键字的访问时,记录该ID、请求的用户的ID、时刻、其它附带信息、是否将条件取消而提供了数据、以及提供的数据的内容。
(按每个区段(zone)而不同的通信协议)
图35是表示实施方式4的发送机和接收机的动作的一例的图。
接收机8420a从基站8420h获取区段信息,识别自身位于哪个区段,选择接收协议。基站8420h构成为例如便携电话的通信基站、Wi-Fi接入点、IMES发送机、扬声器或无线发送机(Bluetooth(注册商标)、ZigBee、特定小电力无线站等)。另外,接收机8420a也可以基于从GPS等得到的位置信息来确定区段。作为例子,假设决定为在区段A中以9.6kHz的信号频率进行通信,在区段B中顶棚照明以15kHz的信号频率进行通信,标牌以4.8kHz的信号频率进行通信。接收机8420a在位置8420j处,根据基站8420h的信息识别出当前地是区段A,以9.6kHz的信号频率进行接收,将发送机8420b/8420c发送的信号接收。接收机8420a在位置8420l处,根据基站8420i的信息识别出当前地是区段B,进而因为内部摄像头被朝向上方所以推测为要接收来自顶棚照明的信号,以15kHz的信号频率进行接收,将发送机8420e/8420f发送的信号接收。接收机8420a在位置8420m处,从基站8420i的上方识别出当前地是区段B,进而根据使外部摄像头伸出的运动,推测要接收标牌发送的信号,以4.8kHz的信号频率进行接收,将发送机8420g发送的信号接收。接收机8420a在位置8420k处,接收基站8420h和基站8420i两者的信号,不能判断出当前地是区段A和区段B的哪个,所以以9.6kHz和15kHz两者进行接收处理。另外,也可以是,根据区段而协议不同的部分不仅是频率,还可以使发送信号的调制方式、信号格式、查询ID的服务器也不同。另外,基站8420h/8420i既可以将区段内的协议向接收机发送,也可以仅将表示区段的ID发送,接收机以区段ID为关键字从服务器获得协议信息。
发送机8420b~8420f将基站8420h/8420i发送的区段ID及协议信息接收,决定信号发送协议。能够接收基站8420h和基站8420i两者发送的信号的发送机8420d利用信号强度更强的基站的区段的协议,或交替地利用两者的协议。
(区段的识别和每区段的服务)
图36是表示实施方式4的接收机和发送机的动作的一例的图。
接收机8421a根据接收到的信号,识别自身的位置属于的区段。接收机8421a提供按每个区段设定的服务(优惠券的分发、点数的赋予、道路导引等)。作为一例,接收机8421a接收从发送机8421b的左侧发送的信号,识别出处于区段A中。这里,发送机8421b也可以根据发送方向而发送不同的信号。此外,发送机8421b也可以通过使用2217a那样的发光样式的信号来发送信号,以使得根据到接收机的距离而接收不同的信号。此外,接收机8421a也可以根据发送机8421b的被摄像的方向和大小来识别与发送机8421b的位置关系,识别自身位于的区段。
也可以使表示位于相同区段的信号的一部分共通。例如,使从发送机8421b和发送机8421c发送的表示区段A的ID前半为共通。由此,接收机8421a仅通过接收信号的前半,就能够识别自身位于的区段。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过将多个发送对象的信号分别调制,决定多个亮度变化的样式;发送步骤,通过多个发光体分别按照所决定的多个亮度变化的样式中的某1个样式而亮度变化,将与上述某1个样式对应的发送对象的信号发送;在上述发送步骤中,上述多个发光体中的两个以上的发光体分别按照对该发光体预先设定的每个时间单位而以相互不同的频率进行亮度变化,以输出相互亮度不同的两种光中的某一方的光、并且对上述两个以上的发光体分别预先设定的上述时间单位相互不同。
由此,由于两个以上的发光体(例如构成为照明设备的发送机)分别以相互不同的频率进行亮度变化,所以从这些发光体接收发送对象的信号(例如发光体的ID)的接收机能够容易地将这些发送对象的信号区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别以至少4种频率中的某1个频率进行亮度变化,上述多个发光体中的两个以上的发光体以相同的频率进行亮度变化。例如,在上述发送步骤中,在向用来接收上述多个发送对象的信号的图像传感器的受光面投影上述多个发光体的情况下,上述多个发光体分别亮度变化,以使得在上述受光面上相互相邻的全部的发光体间亮度变化的频率不同。
由此,如果在亮度变化中使用的频率至少有4种,则即使在以相同的频率亮度变化的发光体有两个以上的情况下,即,即使在频率的种类的数量比多个发光体的数量少的情况下,也能够基于四色问题或四色定理,在图像传感器的受光面上相互相邻的全部的发光体间使亮度变化的频率可靠地不同。结果,接收机能够将从多个发光体发送的发送对象的信号分别容易地区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别通过以由发送对象的信号的散列值确定的频率进行亮度变化,发送上述发送对象的信号。
由此,多个发光体分别以由发送对象的信号(例如发光体的ID)的散列值确定的频率进行亮度变化,所以接收机在接收到发送对象的信号时,能够判断根据实际的亮度变化确定的频率与通过散列值确定的频率是否一致。即,接收机能够判断在接收到的信号(例如发光体的ID)中是否有错误。
此外,也可以是,上述信息通信方法还包括:频率计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数,计算与该发送对象的信号对应的频率作为第1频率;频率判断步骤,判断存储在频率存储部中的第2频率与计算出的上述第1频率是否一致;频率错误报告步骤,在判断为上述第1频率与上述第2频率不一致的情况下,报告错误;在判断为上述第1频率与上述第2频率一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式以上述第1频率进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,判断存储在频率存储部中的频率与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的频率是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,也可以是,上述信息通信方法还包括:检验值计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数计算第1检验值;检验值判断步骤,判断存储在检验值存储部中的第2检验值与计算出的上述第1检验值是否一致;检验值错误报告步骤,在判断为上述第1检验值与上述第2检验值不一致的情况下,报告错误;在判断为上述第1检验值与上述第2检验值一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,判断存储在检验值存储部中的检验值与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的检验值是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象在设定的上述曝光时间中摄影,取得包含上述多个亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得信息;频率确定步骤,基于在所取得的上述亮线图像中包含的上述多个亮线的样式,确定上述被拍摄对象的亮度变化的频率。例如,在上述频率确定步骤中,确定在上述多个亮线的样式中包含的、作为为了分别表示头而预先设定的多个样式的多个头样式,将与上述多个头样式间的像素数对应的频率确定为上述被拍摄对象的亮度变化的频率。
由此,由于被拍摄对象的亮度变化的频率被确定,所以在将亮度变化的频率不同的多个被拍摄对象摄影的情况下,能够将来自这些被拍摄对象的信息容易地区别并取得。
此外,也可以是,在上述图像取得步骤中,通过将分别亮度变化的多个被拍摄对象摄影,取得包含分别由多个亮线表示的多个样式的上述亮线图像;在上述信息取得步骤中,在所取得的上述亮线图像中包含的上述多个样式的各自的一部分重叠的情况下,通过将由从上述多个样式的各自中除了上述一部分以外的部分确定的数据解调,从上述多个样式分别取得信息。
由此,由于从多个样式(多个亮线样式)重叠的部分不进行数据的解调,所以能够防止取得错误的信息。
此外,也可以是,在上述图像取得步骤中,通过将上述多个被拍摄对象在相互不同的定时摄影多次,取得多个亮线图像;在上述频率确定步骤中,按每个亮线图像,确定与该亮线图像中包含的上述多个样式分别对应的频率;在上述信息取得步骤中,从上述多个亮线图像中,检索被确定了相同的频率的多个样式,将检索出的上述多个样式结合,通过将由结合后的上述多个样式确定的数据解调,来取得信息。
由此,从多个亮线图像中检索被确定了相同的频率的多个样式(多个亮线样式),将检索出的多个样式结合,从结合后的多个样式取得信息,所以即使是多个被拍摄对象移动的情况,也能够将来自这些多个被拍摄对象的信息容易地区别并取得。
此外,也可以是,上述信息通信方法还包括:发送步骤,对于对识别信息分别登记了频率的服务器,发送在上述信息取得步骤中取得的信息中包含的上述被拍摄对象的识别信息、和表示在上述频率确定步骤中确定的频率的确定频率信息;关联信息取得步骤,从上述服务器取得与上述识别信息和由上述确定频率信息表示的频率建立了关联的关联信息。
由此,取得与基于被拍摄对象(发送机)的亮度变化取得的识别信息(ID)和该亮度变化的频率建立了关联的关联信息。因而,通过将被拍摄对象的亮度变化的频率变更,将登记在服务器中的频率更新为变更后的频率,能够防止在频率的变更前取得了识别信息的接收机从服务器取得关联信息。即,通过匹配于被拍摄对象的亮度变化的频率的变更而将登记在服务器中的频率也变更,能够防止过去取得了被拍摄对象的识别信息的接收机无期限地成为能够从服务器取得关联信息的状态。
此外,也可以是,上述信息通信方法还包括:识别信息取得步骤,通过从在上述信息取得步骤中取得的上述信息中提取一部分,取得上述被拍摄对象的识别信息;设定频率确定步骤,将由在上述信息取得步骤中取得的上述信息中的上述一部分以外的其余的部分表示的数,确定为对于上述被拍摄对象设定的亮度变化的设定频率。
由此,能够在从多个亮线的样式得到的信息中不相互依存地包含被拍摄对象的识别信息、和对被拍摄对象设定的亮度变化的设定频率,所以能够提高识别信息和设定频率的自由度。
(实施方式5)
在本实施方式中,对使用了作为上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
(向人通知可见光通信)
图37是表示实施方式5的发送机的动作的一例的图。
发送机8921a的发光部如图37的(a)所示,反复进行人能够辨识的闪烁(即亮灭)和可见光通信。通过进行人能够辨识的闪烁,能向人通知能够可见光通信的情况。用户通过发送机8921a的闪烁,注意到能够可见光通信,将接收机8921b朝向发送机8921a而进行可见光通信,进行发送机8921b的用户登记。
即,本实施方式的发送机交替地反复进行发光体通过亮度变化来发送信号的步骤、和进行闪烁以使发光体能够被人的眼睛辨识的步骤。
发送机也可以如图37的(b)那样将可见光通信部和闪烁部分别设置。
发送机如图37的(c)那样动作,由此能够一边进行可见光通信,一边使人看到发光部正在闪烁。即,发送机交替地反复进行例如明亮度75%的高亮度可见光通信和明亮度1%的低亮度可见光通信。例如当在发送机中发生异常等而发送与通常不同的信号时,通过进行图37的(c)的动作,能够不停止可见光通信而向用户提起注意。
(对道路指引的应用例)
图38是表示实施方式5的发送接收系统的应用例的一例的图。
接收机8955a接收例如构成为指引板的发送机8955b的发送ID,从服务器取得显示在指引板上的地图的数据并显示。此时,也可以是,服务器发送适合于接收机8955a的用户的广告,接收机8955a将该广告信息也进行显示。接收机8955a显示从当前地点到用户指定的场所的路径。
(对利用日志储存和解析的应用例)
图39是表示实施方式5的发送接收系统的应用例的一例的图。
接收机8957a接收例如构成为招牌的发送机8957b发送的ID,从服务器取得优惠券信息并显示。接收机8957a向服务器8957c保存其后的用户的行动,例如将优惠券保存、移动到显示在优惠券上的店铺、或在该店铺进行了购物、没有将优惠券保存而离去等行动。由此,能够将从招牌8957b取得了信息的用户的其后的行动进行解析,能够估计招牌8957b的广告价值。
(对画面共享的应用例)
图40是表示实施方式5的收发系统的应用例的一例的图。
例如构成为投影仪或显示器的发送机8960b发送用于向自身无线连接的信息(SSID、无线连接用口令、IP地址、用来操作发送机的口令)。或者,发送作为用于对这些信息进行访问的关键字的ID。例如构成为智能电话、平板电脑、笔记本电脑或摄像头的接收机8960a接收从发送机8960b发送的信号并取得上述信息,建立与发送机8960b的无线连接。该无线连接既可以经由路由器连接,也可以通过Wi-FiDirect、Bluetooth或Wireless HomeDigital Interface等直接连接。接收机8960a发送在发送机8960b上显示的画面。由此,能够轻松地将接收机的图像显示到发送机上。
另外,发送机8960b当与接收机8960a连接时,为了画面显示,除了发送机发送的信息以外,也可以将需要口令之意向接收机8960a传送,在没有送来正确的口令的情况下不显示所发送的画面。此时,接收机8960a显示8960d那样的口令输入画面,供用户输入口令。
以上,基于实施方式对一个或者多个方式的信息通信方法进行了说明,但本发明不限定于该实施方式。只要不脱离本发明的主旨,本领域技术人员可以想到的各种变形施加于本实施方式而得到的技术和/或将不同的实施方式的构成要素组合而构筑的形态也可以包含于一个或者多个方式的范围内。
此外,如图41所示那样,也可以应用本发明的一方式的信息通信方法。
图41是表示实施方式5的发送接收系统的应用例的一例的图。
作为可见光通信的接收机而构成的摄像头以通常摄像模式进行摄像(步骤1)。通过该摄像,摄像头取得由例如EXIF(Exchangeable image file format)等格式构成的图像文件。接着,摄像头以可见光通信摄像模式进行摄像(步骤2)。摄像头基于通过该摄像而得到的图像中的亮线的样式,从作为被拍摄对象的发送机取得通过可见光通信而发送的信号(可见光通信信息)(步骤3)。然后,摄像头通过将该信号(接收信息)作为关键字而访问服务器,来从服务器取得与该关键字对应的信息(步骤4)。然后,摄像头将从被拍摄对象通过可见光通信而发送的信号(可见光接收数据)、从服务器取得的信息、表示由图像文件所示的图像中的作为被拍摄对象的发送机所显示的位置的数据以及表示接收到通过可见光通信而发送的信号的时刻(动画中的时刻)的数据等分别作为上述的图像文件中的元数据而保存。此外,摄像头在通过摄像而得到的图像(图像文件)中多个发送机作为被拍摄对象而显示的情况下,按每个发送机,将与该发送机对应的一些元数据保存于该图像文件。
作为可见光通信的发送机而构成的显示器或者投影仪在显示由上述图像文件所示的图像时,通过可见光通信来发送与该图像文件所包含的元数据相应的信号。例如,显示器或者投影仪可以通过可见光通信来发送元数据自身,也可以将与在图像中显示的发送机相关联的信号作为关键字而发送。
作为可见光通信的接收机而构成的便携终端(智能电话)通过对显示器或者投影仪的图像进行拍摄,来接收从显示器或者投影仪通过可见光通信而发送的信号。便携终端在该接收到的信号是上述关键字时,使用该关键字,从显示器、投影仪或者服务器取得与该关键字相关联的发送机的元数据。此外,便携终端在该接收到的信号是从实际的发送机通过可见光通信而发送的信号(可见光接收数据或者可见光通信信息)时,从显示器、投影仪或者服务器取得与该可见光受光数据或者可见光通信信息对应的信息。
(本实施方式等的总结)
本实施方式的信息通信方法,是从被拍摄对象取得信息的方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象进行摄影而得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各个曝光线对应的多个亮线;第1亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤,通过对由所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第1发送信息;以及门控制步骤,在取得了上述第1发送信息后,通过发送控制信号,使门的开闭驱动设备打开上述门。
由此,能够如门钥匙那样使用具有图像传感器的接收机,能够不需要特殊的电子锁。结果,能够在包括运算力较少的设备的多种多样的设备间进行通信。
此外,上述信息通信方法也可以包括:第2亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的第2被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像;第2信息取得步骤,通过对由所取得的上述第2亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第2发送信息;以及接近判定步骤,基于所取得的上述第1及第2发送信息,判定具备上述图像传感器的接收装置是否接近了上述门,在上述门控制步骤中,当判定为上述接收装置接近了上述门时,发送上述控制信号。
由此,能够仅在接收装置(接收机)靠近了门时,即,仅在适当的定时打开该门。
此外,上述信息通信方法也可以包括:第2曝光时间设定步骤,设定比上述第1曝光时间长的第2曝光时间;以及通常图像取得步骤,通过上述图像传感器以所设定的上述第2曝光时间对第3被拍摄对象进行摄影,取得显示了上述第3被拍摄对象的通常图像,在上述通常图像取得步骤中,针对上述图像传感器的处于包含光学黑的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过预定的时间后,进行电荷的读出;在上述第1亮线图像取得步骤中,不将上述光学黑用于电荷的读出,而是针对上述图像传感器中的处于上述光学黑以外的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过比上述预定的时间长的时间后,进行电荷的读出。
由此,在取得了第1亮线图像时,由于不进行针对光学黑的电荷的读出(曝光),所以能够使针对图像传感器中的除了光学黑以外的区域即有效像素区域的电荷的读出(曝光)所花费的时间变长。结果,能够使在该有效像素区域中接收信号的时间变长,能够取得较多的信号。
此外,上述信息通信方法也可以还包括:长度判定步骤,判定上述第1亮线图像中包含的上述多个亮线的样式的、与该多个亮线分别垂直的方向的长度是否小于预先决定的长度;帧速率变更步骤,在判定为上述样式的长度小于上述预先决定的长度的情况下,将上述图像传感器的帧速率变更为比取得了上述第1亮线图像时的第1帧速率慢的第2帧速率;第3亮线图像取得步骤,通过上述图像传感器以上述第2帧速率且以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含多个亮线的图像的第3亮线图像;以及第3信息取得步骤,通过对由所取得的上述第3亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得上述第1发送信息。
由此,由第1亮线图像中包含的亮线的样式(亮线区域)表示的信号长度小于所发送的信号的例如1个宏块的量的情况下,帧速率降低,亮线图像改为取得第3亮线图像。结果,能够使第3亮线图像中包含的亮线的样式的长度变长,能够取得一个宏块的量的所发送的信号。
此外,上述信息通信方法也可以还包括设定由上述图像传感器得到的图像的纵宽与横宽的比率的比率设定步骤;上述第1亮线图像取得步骤包括:裁剪判定步骤,判定是否根据所设定的上述比率裁剪上述图像中的与上述各曝光线垂直的方向的端部;比率变更步骤,当判定为上述端部被裁剪时,将在上述比率设定步骤中设定的上述比率变更为作为上述端部不被裁剪的比率的非裁剪比率;以及取得步骤,通过上述图像传感器对亮度变化的上述第1被拍摄对象进行摄影,取得上述非裁剪比率的上述第1亮线图像。
由此,在例如图像传感器的有效像素区域的横宽与纵宽的比率是4:3,图像的横宽与纵宽的比率设定为16:9,且呈现出亮线沿着水平方向的情况下,即,曝光线沿着水平方向的情况下,判定为上述图像的上端以及下端要被裁剪。即,判定为第1亮线图像的端部缺失。这种情况下,将该图像的比率变更为不被裁剪的比率即例如4:3。结果,能够防止第1亮线图像的端部的缺失,能够从第1亮线图像取得更多的信息。
此外,上述信息通信方法也可以还包括:压缩步骤,通过在与上述第1亮线图像中包含的上述多个亮线分别平行的方向上对上述第1亮线图像进行压缩,生成压缩图像;以及压缩图像发送步骤,发送上述压缩图像。
由此,能够适当压缩第1亮线图像,而不会缺失由多个亮线表示的信息。
此外,上述信息通信方法也可以还包括:手势判定步骤,判定具备上述图像传感器的接收装置是否被以预先决定的方式移动了;以及启动步骤,当判定为被以上述预先决定的方式移动了时,启动上述图像传感器。
由此,能够仅在需要时简单地启动图像传感器,能够提高耗电效率。
(实施方式6)
在本实施方式中,对使用上述各实施方式的智能电话等的接收机、和作为LED或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图42是表示实施方式6的发送机和接收机的应用例的图。
机器人8970例如具有作为自行式的清扫机的功能和作为上述各实施方式的接收机的功能。照明设备8971a、8971b具有分别作为上述各实施方式的发送机的功能。
例如,机器人8970一边在室内移动一边进行清扫,并将照明其室内的照明设备8971a进行摄影。该照明设备8971a通过亮度变化而发送照明设备8971a的ID。结果,机器人8970与上述各实施方式同样,从照明设备8971a接收该ID,基于该ID推测自己的位置(自己位置)。即,机器人8970基于9轴传感器的检测结果、在通过摄影得到的图像中摄入的照明设备8971a的相对位置和通过ID确定的照明设备8971a的绝对位置,一边移动一边推测自己位置。
进而,机器人8970如果由于移动而从照明设备8971a离开,则对照明设备8971a发送命令灭灯的信号(灭灯命令)。例如,机器人8970如果从照明设备8971a离开了预先设定的距离则发送灭灯命令。或者,机器人8970当在通过摄影得到的图像中没有摄入该照明设备8971a时,或者如果其它照明设备摄入在该图像中,将灭灯命令向照明设备8971a发送。照明设备8971a如果从机器人8970接收到灭灯命令,则根据该灭灯命令而灭灯。
接着,机器人8970在移动而进行清扫的中途,基于推测出的自己位置,检测接近于照明设备8971b的情况。即,机器人8970保持表示照明设备8971b的位置的信息,当自己位置与该照明设备8971b的位置之间的距离成为预先设定的距离以下时,检测出接近于照明设备8971b的情况。并且,机器人8970对该照明设备8971b发送命令点灯的信号(点灯命令)。照明设备8971b如果接受到点灯命令,则根据该点灯命令而点灯。
由此,机器人8970一边移动一边仅使自己的周围变亮,能够容易地进行清扫。
图43是表示实施方式6的发送机及接收机的应用例的图。
照明设备8974具有作为上述各实施方式的发送机的功能。该照明设备8974一边进行亮度变化一边对例如处于火车站中的路线公告板8975进行照明。由用户朝向了该路线公告板8975的接收机8973对该路线公告板8975进行摄影。由此,接收机8973取得该路线公告板8975的ID,取得作为与该ID建立了关联的信息、且关于记载在该路线公告板8975中的各路线的详细的信息。并且,接收机8973显示表示该详细的信息的导引图像8973a。例如,导引图像8973a表示到记载在路线公告板8975中的路线的距离、朝向该路线的方向、和在该路线中下一电车到达的时刻。
这里,接收机8973如果被用户接触该导引图像8973a,则显示补充导引图像8973b。该补充导引图像8973b例如是用来将铁路的时刻表、关于与由导引图像8973a表示的路线不同的别的路线的信息、以及关于该车站的详细的信息中的某个根据用户的选择操作而显示的图像。
(实施方式7)
在本实施方式中,对使用上述各实施方式的智能电话等的接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
(多个受光部的从多个方向的信号的接收)
图44是表示实施方式7的接收机的一例的图。
例如构成为手表的接收机9020a具备多个接收部。例如,接收机9020a如图44所示,具备在支承手表的长针和短针的旋转轴的上端部配置的受光部9020b和在手表的周缘部的表示12点钟的文字附近配置的受光部9020c。受光部9020b接受沿着上述的旋转轴的方向朝向受光部9020b的光,受光部9020c接受沿着将该旋转轴和表示12点钟的文字连结的方向朝向受光部9020c的光。由此,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020b能够接受来自上方向的光。结果,接收机9020a能够接收来自顶棚照明的信号。进而,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020c能够接受来自正面方向的光。结果,接收机9020a能够接收来自处于正面的标牌等的信号。
通过这些受光部9020b和9020c具有指向性,即使在较近的位置有多个发送机的情况下也能够不串扰地接收信号。
(手表型显示器的道路指引)
图45是表示实施方式7的接收系统的一例的图。
例如构成为手表的接收机9023b经由Bluetooth(注册商标)等的无线通信与智能电话9023a连接。接收机9023b的字符盘由液晶等的显示器构成,能够显示时刻以外的信息。智能电话9022a根据接收机9023b接收到的信号识别当前地,将到目的地的路径及距离显示到接收机9023b的显示面上。
图46是示出实施方式7的信号发送接收系统的一例的图。
信号发送接收系统具备作为多功能便携电话的智能电话(智能手机)、作为照明设备的LED发光机、冰箱等家电设备以及服务器。LED发光机进行使用BTLE(Bluetooth(注册商标)Low Energy)的通信,并且进行使用LED(Light Emitting Diode)的可见光通信。例如,LED发光机通过BTLE控制冰箱,与空调进行通信。此外,LED发光机通过可见光通信来控制电灶、空气清洁剂或者电视机(TV)等的电源。
电视机例如具备太阳能发电元件,将该太阳能发电元件作为光传感器加以利用。即,在LED发光机通过亮度变化来发送信号时,电视机根据由太阳能发电元件发出的电力的变化,来检测该LED发光机的亮度变化。然后,电视机通过对由该检测出的亮度变化表示的信号进行解调,来取得从LED发光机发送的信号。电视机在该信号为表示电源ON的命令的情况下,将自己的主电源切换为ON,在该信号为表示电源OFF的命令的情况下,将自己的主电源切换为OFF。
此外,服务器经由路由器和特定小功率无线站(特小)与空调进行通信。并且,空调能够经由BTLE与LED发光机进行通信,所以服务器能够与LED发光机进行通信。因此,服务器能够经由LED发光机将TV的电源切换为ON和OFF。此外,智能电话通过与服务器经由例如Wi-Fi(Wireless Fidelity)等进行通信,能够经由服务器控制TV的电源。
如图46所示,本实施方式中的信息通信方法包括:无线通信步骤,便携终端(智能电话)通过与可见光通信不同的无线通信(BTLE或者Wi-Fi等)将控制信号(发送数据列或者用户指令)发送到照明设备(发光机);可见光通信步骤,照明设备通过根据该控制信号而发生亮度变化,进行可见光通信;以及执行步骤,控制对象设备(电灶等)检测该照明设备的亮度变化,通过对由检测到的亮度变化而确定的信号进行解调来取得控制信号,执行与该控制信号相应的处理。由此,便携终端即使不能进行用于可见光通信的亮度变化,也能够通过无线通信,取代便携终端而使照明设备发生亮度变化,能够适当地控制控制对象设备。此外,便携终端也可以不是智能电话而是手表。
(排除了干涉的接收)
图47是表示实施方式7的排除了干涉的接收方法的流程图。
首先,在步骤9001a中开始,在步骤9001b中确认在受光的光的强度中是否存在周期性变化,在“是”的情况下进入步骤9001c。在“否”的情况下进入步骤9001d,使受光部的透镜成为广角而接受大范围的光,返回步骤9001b。在步骤9001c中确认是否能够接收信号,在“是”的情况下进入步骤9001e,接收信号,在步骤9001g中结束。在“否”的情况下进入步骤9001f,使受光部的透镜成为望远,接受小范围的光,返回步骤9001c。
通过该方法,既能排除来自多个发送机的信号的干涉,又能接收来自处于较广的方向的发送机的信号。
(发送机的方位的推测)
图48是表示实施方式7中的发送机的方位的推测方法的流程图。
首先,在步骤9002a中开始,在步骤9002b中使受光部的透镜成为最大望远,在步骤9002c中确认接受的光的强度是否存在周期性变化,在“是”的情况下进入步骤9002d。在“否”的情况下进入步骤9002e,使受光部的透镜成为广角而接受大范围的光,返回步骤9002c。在步骤9002d中接收信号,在步骤9002f中使受光部的透镜成为最大望远,使受光方向以沿着受光范围的边界的方式变化,检测受光强度为最大的方向,推测为发送机处于该方向,在步骤9002d中结束。
通过该方法,能够推测发送机存在的方向。此外,也可以最初设为最大广角,逐渐设为望远。
(接收的开始)
图49是示出实施方式7的接收的开始方法的流程图。
首先,在步骤9003a中开始,在步骤9003b中确认是否接收到来自Wi-Fi、Bluetooth(注册商标)或IMES等基站的信号,在“是”的情况下,进入步骤9003c。在“否”的情况下返回步骤9003b。在步骤9003c中确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9003d,开始信号的接收,在步骤9003e中结束。在“否”的情况下返回步骤9003b。
通过该方法,即使用户不进行接收开始的操作也能够开始接收。此外,与总是进行接收相比能够抑制消耗电力。
(并用其它媒体的信息的ID的生成)
图50是表示实施方式7的并用其它媒体的信息的ID的生成方法的流程图。
首先,在步骤9004a中开始,在步骤9004b中,将连接的载波通信网、Wi-Fi或Bluetooth(注册商标)等的ID或从上述ID得到的位置信息或从GPS等得到的位置信息向高位位ID索引服务器发送。在步骤9004c中,从高位位ID索引服务器接收可见光ID的高位位,在步骤9004d中,接收来自发送机的信号作为可见光ID的低位位。在步骤9004e中,将可见光ID的高位位和低位位加在一起而向ID解决服务器发送,在步骤9004f中结束。
通过该方法,能够得到在接收机的附近的场所共通地使用的高位位,能够使发送机发送的数据量变少。此外,能够提高接收机接收的速度。
另外,发送机也可以发送高位位和低位位双方。在该情况下,使用该方法的接收机能够在接收到低位位的时刻将ID合成,不使用该方法的接收机从发送机接收ID整体而得到ID。
(基于频率分离的接收方式的选择)
图51是表示实施方式7的基于频率分离的接收方式的选择方法的流程图。
首先,在步骤9005a中开始,在步骤9005b中,将接收到的光信号施加给频率滤波电路,或进行离散傅立叶级数展开而进行频率分解。在步骤9005c中确认是否存在低频率成分,在“是”的情况下进入步骤9005d,将用频率调制等的低频率区域表现的信号解码,进入步骤9005e。在“否”的情况下进入步骤9005e。在步骤9005e中,确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9005f,将用脉冲位置调制等的高频率区域表现的信号解码,进入步骤9005g。在“否”的情况下进入步骤9005g。在步骤9005g中开始信号的接收,在步骤9005h中结束。
通过该方法,能够接收用多个调制方式调制成的信号。
(曝光时间较长的情况下的信号接收)
图52是表示实施方式7的曝光时间较长的情况下的信号接收方法的流程图。
首先,在步骤9030a中开始,在步骤9030b中,在能够设定感光度的情况下将感光度设定为最高。在步骤9030c中,在能够设定曝光时间的情况下设定为比通常摄影模式短的时间。在步骤9030d中,对两张图像进行拍摄,求出亮度的差分。在对两张图像进行拍摄的期间中摄像部的位置或方向变化了的情况下,将该变化消除,生成如同从相同的位置方向摄像那样的图像,求出差分。在步骤9030e中,求出将差分图像或与摄像图像的曝光线平行的方向的亮度值平均后的值。在步骤9030f中,将上述平均后的值在与曝光线垂直的方向上排列而进行离散傅立叶变换,在步骤9030g中识别在预定的频率的附近是否有峰值,在步骤9030h中结束。
通过该方法,在不能设定曝光时间的情况或对通常图像同时进行拍摄的情况下等曝光时间较长的情况下,也能够接收信号。
在使曝光时间为自动设定的情况下,如果将摄像头朝向构成为照明的发送机,则通过自动曝光修正功能将曝光时间设定为60分之1秒到480分之1秒左右。在不能进行曝光时间的设定的情况下,以该条件接收信号。在实验中,在使照明周期性地闪烁的情况下,只要1周期的时间是曝光时间的约16分之1以上,就能够在与曝光线垂直的方向上辨识条纹,能够通过图像处理识别闪烁的周期。此时,由于拍摄有照明的部分亮度过高而难以确认条纹,所以优选的是根据照明光反射的部分求出信号的周期。
在使用如频率偏移调制方式或频率多路复用调制方式那样使发光部周期性地点亮、灭灯的方式的情况下,与使用脉冲位置调制方式的情况相比,即使是相同的调制频率,对人而言也不易辨识到闪变,此外,在由摄像机摄影的运动图像中也不易出现闪变。因此,能够将较低的频率作为调制频率使用。人的视觉的时间分辨能力是60Hz左右,所以可以使用该频率以上的频率作为调制频率。
另外,当调制频率为接收机的摄像帧速率的整数倍时,由于两张图像的相同位置的像素在发送机的光样式相同的相位的时刻进行摄像,所以在差分图像中不会出现亮线,难以进行接收。接收机的摄像帧速率通常是30fps,所以如果调制频率设定为30Hz的整数倍以外则容易进行接收。此外,由于接收机的摄像帧速率存在各种各样的值,所以通过将互质的两个调制频率分配给相同的信号,发送机将这两个调制频率交替使用来进行发送,接收机通过接收至少一个信号就能够容易地将信号复原。
图53是表示发送机的调光(调整明亮度)方法的一例的图。
通过调整亮度高的区间和亮度低的区间的比例,平均亮度变化,能够调整明亮度。此时,通过将使亮度的高低反复的周期T1保持为一定,能够将频率峰值保持为一定。例如,图53的(a)、(b)、(c)均为,变得比平均亮度亮的第1亮度变化与第2亮度变化之间的时间T1保持一定,同时在将发送机调光为暗时,缩短比平均亮度亮地照明的时间。另一方面,在将发送机调光为亮时,加长比平均亮度亮地照明的时间。图53的(b)、(c)被调光成比(a)暗,图53的(c)被调光成最暗。由此,能够一边发送具有同一意义的信号一边进行调光。
也可以通过使亮度高的区间的亮度或者亮度低的区间的亮度或者其双方的亮度的值变化,来使平均亮度变化。
图54是表示构成发送机的调光功能的方法的一例的图。
由于构成零件的精度存在极限,所以即使进行了相同调光设定,与其它的发送机相比明亮度也稍微地不同。但是,在将发送机排列地配置的情况下,若相邻的发送机的明亮度不同,则会感到不自然。于是,用户通过操作调光修正操作部,来调整发送机的明亮度。调光修正部保持修正值,调光控制部按照修正值控制发光部的明亮度。在用户操作调光操作部从而调光的程度变化了的情况下,调光控制部以变化后的调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。此外,调光控制部通过连动调光部向其它发送机传递调光设定值。在从其它设备通过连动调光部而传递了调光设定值的情况下,调光控制部以该调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。
根据本发明的一实施方式,也可以是控制通过使发光体亮度变化来发送信号的信息通信装置的控制方法,包括:决定步骤,通过使信息通信装置的计算机调制包含多个不同信号的发送对象的信号,来按不同的信号决定不同的频率的亮度变化的样式;和发送步骤,以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式,使发光体亮度变化,由此来发送发送对象的信号。
例如,在与单一频率相符的时间包含调制了多个信号的亮度变化的样式的情况下,随着时间经过,亮度变化的波形变得复杂,难以适当地接收。但是,通过以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式进行控制,能够在接收时更适当地进行接收。
根据本发明的一实施方式,也可以决定步骤中,在预定的时间内,以使得发送多个不同的信号中的一个信号的发送次数与发送其它信号的发送次数不同的方式决定发送次数。
通过使发送一个信号的发送次数与发送其它信号的发送次数不同,能够防止发送时的闪变。
根据本发明的一个实施方式,也可以在决定步骤中,在预定的时间内,使与高频率相符的信号的发送次数比其它信号的发送次数多。
在接收侧进行频率变换时,与高频率相符的信号虽然亮度变小,但通过使发送次数增多,能够加大进行频率变换时的亮度值。
根据本发明的一个实施方式,亮度变化的样式也可以是,随着时间经过的亮度变化的波形成为矩形波、三角波、锯齿波的任一个的样式。
通过设为矩形波等,能够更适当地进行接收。
根据本发明的一个实施方式,也可以在加大发光体的平均亮度的值的情况下,在与单一频率相符的时间内,将发光体的亮度成为比预定的值大的时间设为比使所述发光体的平均亮度的值变小的情况长。
通过在与单一频率相符的时间内,调整发光体的亮度变得比预定的值大的时间,能够发送信号且调整发光体的平均亮度。例如,在使用发光体作为照明的情况下,能够一边将整体的明亮度设为暗或者设为亮,一边发送信号。
接收机通过利用设定曝光时间的API(应用程序编程接口的省略,指用于利用OS的功能的手段),能够将曝光时间设定为预定的值,能够稳定地接收可见光信号。此外,接收机通过利用设定感光度的API,能够将感光度设定为预定的值,即使在发送信号的明亮度暗的情况或亮的情况下也能够稳定地接收可见光信号。
(实施方式8)
在本实施方式中,对于使用上述各实施方式中的智能电话等接收机和作为LED和/或有机EL的闪烁样式发送信息的发送机的各应用例进行说明。
此处,对于EX变焦进行说明。
图55是用来说明EX变焦的图。
变焦、即得到大的像的方法中,存在调整透镜的焦点距离来使映在摄像元件的像的大小变化的光学变焦、以数字处理插补映在摄像元件的像来得到大的像的数字变焦、以及通过变更使用于摄像的多个摄像元件来得到大的像的EX变焦。EX变焦能够利用于与摄像图像的分辨率相比包含于图像传感器的摄像元件的数量多的情况。
例如,在图55所示的图像传感器10080a中,32×24个摄像元件排列成矩阵状。即,摄像元件配置成横32个、纵24个。通过该图像传感器10080a的摄像,在得到横16×纵12的分辨率的图像的情况下,如图55的(a)所示,图像传感器10080a所包含的32×24个的摄像元件中,只有在图像传感器10080a中整体均匀地分散配置的16×12个摄像元件(例如,图55的(a)中的图像传感器1080a中由黑色方形表示的摄像元件)用于摄像。即,在纵方向和横方向分别排列的多个摄像元件中仅第奇数个或者第偶数个的摄像元件用于摄像。由此,可得到期望的分辨率的图像10080b。另外,在图55中,图像传感器1008a中显示了被拍摄对象,但这是为了使得各摄像元件和通过摄像而得到的图像的对应关系容易理解。
具备该图像传感器10080a的接收机在通过拍摄大的范围来探索发送机或者接收来自多个发送机的信息的情况下,仅使用图像传感器10080a中整体均匀地分散配置的一部分的摄像元件来进行摄像。
此外,接收机在进行EX变焦时,如图55的(b)所示,仅将在图像传感器10080a中局部紧密地配置的一部分的摄像元件(例如,图55的(b)中的图像传感器1080a中由黑色方形表示的16×12个的摄像元件)用于摄像。由此,图像10080b中与该一部分的摄像元件对应的部分被进行变焦,来得到图像10080d。通过这样的EX变焦,将发送机拍摄得较大,由此变得能够长时间接收可见光信号,接收速度提高,此外能够从远处接收可见光信号。
在数字变焦中,不能增加接受可见光信号的曝光线的数量,可见光信号的接收时间也不会增加,所以尽可能使用其它变焦比较好。光学变焦需要透镜和/或图像传感器的物理性的移动时间,而EX变焦仅进行电子设定变更,所以具有变焦所花费的时间短这一优点。从该观点来看,各变焦的优先顺序是(1)EX变焦、(2)光学变焦、(3)数字变焦。接收机也可以根据该优先顺序和变焦倍率的必要性,来选择并使用某一个或者多个变焦。此外,在图55的(a)和(b)所示的摄像方法中,通过使用没有使用的摄像元件,能够抑制图像噪声。
(实施方式9)
在本实施方式中,对于使用上述各实施方式中的智能电话等的接收机和作为LED和/或有机EL的闪烁样式发送信息的发送机的各应用例进行说明。
在本实施方式中,按每个曝光线或者每个摄像元件来设定曝光时间。
图56、图57、图58是表示实施方式9的信号接收方法的一例的图。
如图56所示,在作为接收机所具备的摄像部的图像传感器10010a中,按每个曝光线设定曝光时间。即,对预定的曝光线(图56中白色的曝光线)设定通常摄像用的长的曝光时间,对其它曝光线(图56中黑色的曝光线),设定可见光摄像用的短的曝光时间。例如,针对在垂直方向排列的各曝光线,交替设定长的曝光时间和短的曝光时间。由此,在通过亮度变化来拍摄发送可见光信号的发送机时,能够几乎同时进行通常摄像和可见光摄像(可见光通信)。另外,两个曝光时间可以按每1行交替地设定,也可以按每数行进行设定,还可以在图像传感器10010a的上部与下部分别设定曝光时间。通过这样使用2个曝光时间,分别汇集通过被设定成相同曝光时间的多个曝光线的摄像而得到的数据,可得到通常摄像图像10010b和表示多个亮线的样式的亮线图像即可见光摄像图像10010c。通常,在摄像图像10010b中,因为缺少没有以长的曝光时间摄像的部分(即,与被设定为短的曝光时间的多个曝光线对应的图像),所以通过插补该部分,能够显示预览图像10010d。此处,能够在预览图像10010d中叠加根据可见光通信而得到的信息。该信息是与通过对可见光摄像图像10010c所包含的多个亮线的样式进行解码而得到的可见光信号相关联的信息。另外,接收机也可以将通常摄像图像10010b或者对该通常摄像图像10010b进行了插补的图像保存为摄像图像,将接收到的可见光信号或者与该可见光信号相关联的信息作为附加信息,附加于保存的摄像图像。
如图57所示,也可以取代图像传感器10010a而使用图像传感器10011a。在图像传感器1011a中,不是按每个曝光线,而是按每个包括沿着与曝光线垂直的方向排列的多个摄像元件的列(以下,称作垂直行),设定曝光时间。即,对预定的垂直行(图57中白色的垂直行)设定通常摄像用的长的曝光时间,对其它垂直行(图57中黑色的垂直行)设定可见光摄像用的短的曝光时间。在该情况下,在图像传感器10011a中,与图像传感器10010a同样,在按每个曝光线而彼此不同的定时开始曝光,但在各曝光线中,该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10011a的摄像,来得到通常摄像图像10011b和可见光摄像图像10011c。进而,接收机基于该通常摄像图像10011b和与从可见光摄像图像10011c得到的可见光信号相关联的信息,生成并显示预览图像10011d。
在该图像传感器10011a中,与图像传感器10010a不同,能够对可见光摄像使用所有曝光线。结果,在通过图像传感器10011a得到的可见光摄像图像10011c中,包含比可见光摄像图像10010c多的亮线,所以能够提高可见光信号的接收精度。
此外,如图58所示,也可以取代图像传感器10010a而使用图像传感器10012a。在图像传感器10012a中,以沿水平方向和垂直方向对各摄像元件不连续设定相同曝光时间的方式,按每个摄像元件设定曝光时间。即,以设定长的曝光时间的多个摄像元件和设定短的曝光时间的多个摄像元件分布为格子状或者相间方格图案那样的方式,对各摄像元件设定曝光时间。在该情况下,也与图像传感器10010a同样,在按每个曝光线彼此不同的定时开始曝光,但在各曝光线中该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10012a的摄像,来得到通常摄像图像10012b和可见光摄像图像10012c。进而,接收机基于该通常摄像图像10012b和与从可见光摄像图像10012c得到的可见光信号相关联的信息,生成并显示预览图像10012d。
通过图像传感器10012a而得到的通常摄像图像10012b持有配置成格子状或者均匀配置的多个摄像元件的数据,所以能够与通常摄像图像10010b和通常摄像图像10011b相比更准确地进行插补和/或调节。此外,可见光摄像图像10012c通过使用图像传感器10012a的所有曝光线的摄像而生成。即,在该图像传感器10012a中,与图像传感器10010a不同,能够在可见光摄像中使用所有曝光线。结果,通过图像传感器10012a而得到的可见光摄像图像10012c中,与可见光摄像图像10011c同样地,与可见光摄像图像10010c相比包含更多亮线,所以能够高精度地进行可见光信号的接收。
此处,对预览图像的交叉显示进行说明。
图59是表示实施方式9的接收机的画面显示方法的一例的图。
具备上述的图56所示的图像传感器10010a的接收机每隔预定的时间将对第奇数个曝光线(以下,称作奇数行)设定的曝光时间与对第偶数个曝光线(以下,称作偶数行)设定的曝光时间调换。例如,如图59所示,接收机在时刻t1,对奇数行的各摄像元件设定长的曝光时间,对偶数行的各摄像元件设定短的曝光时间,进行使用这些设定的曝光时间的摄像。进而,接收机在时刻t2,对奇数行的各摄像元件设定短的曝光时间,对偶数行的各摄像元件设定长的曝光时间,进行使用这些设定的曝光时间的摄像。然后,接收机在时刻t3,进行使用与时刻t1时同样地设定的各曝光时间的摄像,在时刻t4,进行使用与时刻t2时同样地被设定的各曝光时间的摄像。
此外,接收机在时刻t1,取得包含通过摄像而从多个奇数行分别得到的图像(以下,称作奇数行像)和通过摄像而从多个偶数行分别得到的图像(以下,称作偶数行像)的Image1。此时,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机通过对多个奇数行像进行像素值的插补,生成多个插补行像。然后,接收机取代多个偶数行像而显示包含多个插补行像的预览图像。即,预览图像中,交替排列有奇数行像和插补行像。
接收机在时刻t2,取得包含通过摄像而得到的多个奇数行像和偶数行像的Image2。此时,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image2的奇数行像,而显示包含Image1的奇数行像的预览图像。即,预览图像中,交替排列有Image1的奇数行像和Image2的偶数行像。
进而,接收机在时刻t3,通过摄像取得包含多个奇数行像和偶数行像的Image3。此时,与时刻t1时同样,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image3的偶数行像,而显示包含Image2的偶数行像的预览图像。即,预览图像中,交替排列有Image2的偶数行像和Image3的奇数行像。然后,接收机在时刻t4,通过摄像取得包含多个奇数行像和偶数行像的Image4。此时,与时刻t2时同样,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image4的奇数行像,而显示包含Image3的奇数行像的预览图像。即,预览图像中交替排列有Image3的奇数行像和Image4的偶数行像。
这样,接收机进行显示包含所取得的定时互不相同的偶数行像和奇数行像的Image的所谓的交叉显示。
这样的接收机能够一边进行可见光摄像一边显示精细的预览图像。此外,设定相同曝光时间的多个摄像元件可以是图像传感器10010a那样沿着与曝光线水平的方向排列的多个摄像元件,也可以是图像传感器10011a那样沿着与曝光线垂直的方向排列的多个摄像元件,还可以是图像传感器10012a那样呈相间方格图案排列的多个摄像元件。此外,接收机也可以将预览图像保存为摄像数据。
接着,对通常摄像和可见光摄像的空间比率进行说明。
图60是表示实施方式9的信号接收方法的一例的图。
在接收机所具备的图像传感器10014b中,与上述的图像传感器10010a同样,按每个曝光线设定长的曝光时间或者短的曝光时间。在该图像传感器10014b中,设定长的曝光时间的摄像元件的数量和设定短的曝光时间的摄像元件的数量的比是1:1。另外,该比是通常摄像与可见光摄像的比,以下,称作空间比率。
但是,在本实施方式中,其空间比率不需要是1:1。例如,接收机也可以具备图像传感器10014a。在该图像传感器10014a中,短的曝光时间的摄像元件比长的曝光时间的摄像元件多,空间比率是1:N(N>1)。此外,接收机也可以具备图像传感器10014c。在该图像传感器10014c中,短的曝光时间的摄像元件比长的曝光时间的摄像元件少,空间比率是N(N>1):1。此外,接收机也可以取代图像传感器10014a~10014c,而具备按上述的垂直行设定曝光时间,分别具有1:N、1:1或者N:1的空间比率的图像传感器10015a~10015c中的任一个。
在这样的图像传感器10014a、10015a中,短的曝光时间的摄像元件多,所以能够提高可见光信号的接收精度或者接收速度。另一方面,在图像传感器10014c、10015c中,长的曝光时间的摄像元件多,所以能够显示精细的预览图像。
此外,接收机也可以使用图像传感器10014a、10014c、10015a、10015c,如图59所示,进行交叉显示。
接着,对通常摄像和可见光摄像的时间比率进行说明。
图61是表示实施方式9的信号接收方法的一例的图。
接收机也可以如图61的(a)所示,按每个帧将摄像模式切换为通常摄像模式和可见光摄像模式。通常摄像模式是对接收机的图像传感器的所有摄像元件设定通常摄像用的长的曝光时间的摄像模式。可见光摄像模式是对接收机的图像传感器的所有摄像元件设定可见光摄像用的短的曝光时间的摄像模式。这样,通过切换曝光时间的长/短,既能通过短的曝光时间的摄像接收可见光信号,又能通过长的曝光时间的摄像来显示预览图像。
另外,接收机也可以在通过自动曝光决定长的曝光时间的情况下,无视通过短的曝光时间的摄像而得到的图像,仅以通过长的曝光时间的摄像而得到的图像的明亮度为基准而进行自动曝光。由此,能够将长的曝光时间决定为适当的时间。
此外,接收机也可以如图61的(b)所示,按每个具有多帧的组将摄像模式切换为通常摄像模式和可见光摄像模式。在曝光时间的切换花费时间的情况和/或到曝光时间稳定为止花费时间的情况下,如图61的(b)所示,通过按每个具有多帧的组使曝光时间变化,能够使可见光摄像(可见光信号的接收)和通常摄像同时成立。此外,组所包含的帧的数量越多,则曝光时间的切换的次数越少,所以能够抑制接收机的电力消耗和发热。
此处,通过以通常摄像模式下的长的曝光时间的摄像而连续生成的至少1个帧的数量和通过以可见光摄像模式下的短的曝光时间的摄像而连续生成的至少1个帧的数量的比(以下,称作时间比率)也可以不是1:1。即,在图61的(a)和(b)所示的情况下,时间比率是1:1,但其时间比率也可以不是1:1。
例如,接收机也可以如图61的(c)所示,将可见光摄像模式的帧设为比通常摄像模式的帧多。由此,能够使可见光信号的接收速度变快。若预览图像的帧速率为预定的速率以上,则由帧速率引起的预览图像的不同不会被人的眼识别。在摄像的帧速率充分高的情况,例如其帧速率为120fps的情况下,接收机对连续的3帧设定可见光摄像模式,对接下来的1帧设定可见光摄像模式。由此,接收机能够一边以比上述的预定的速率足够高的30fps的帧速率显示预览图像,一边高速地接收可见光信号。此外,因为切换的次数变少,所以还可得到图61的(b)所说明的效果。
此外,接收机也可以如图61的(d)所示,将通常摄像模式的帧设为比可见光摄像模式的帧多。这样,通过使通常摄像模式的帧即通过以长的曝光时间的摄像而得到的帧变多,能够平顺地显示预览图像。此外,因为进行可见光信号的接收处理的次数减少,所以具有省电力效果。此外,因为切换的次数变少,所以还可得到图61的(b)所说明的效果。
此外,接收机如图61的(e)所示,首先与图61的(a)所示的情况同样,按每个帧切换摄像模式,接着,当可见光信号的接收完成时,也可以与图61的(d)所示的情况同样,使通常摄像模式的帧变多。由此,在可见光信号的接收完成后,既能平顺地显示预览图像,又能继续是否存在新的可见光信号的探索。此外,因为切换的次数少,所以还可得到图61的(b)所说明的效果。
图62是表示实施方式9的信号接收方法的一例的流程图。
接收机开始接收可见光信号的处理即可见光接收(步骤S10017a),将曝光时间长短设定比设定为用户所指定的值(步骤S10017b)。曝光时间长短设定比是上述的空间比率与时间比率中的至少一个。用户可以仅指定空间比率、仅指定时间比率或者指定该空间比率和时间比率的双方的值,接收机也可以与用户的指定无关地自动设定。
接着,接收机判定接收性能是否为预定的值以下(步骤S10017c)。若判定为预定的值以下(步骤S10017c的“是”),则接收机将短的曝光时间的比率设定得高(步骤S10017d)。由此,能够提高接收性能。此外,短的曝光时间的比率在空间比率的情况下是设定短的曝光时间的摄像元件的数量相对于设定长的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以可见光摄像模式连续生成的帧的数量相对于以通常摄像模式连续生成的帧的数量的比率。
接着,接收机接收可见光信号的至少一部分,判定是否对该接收到的可见光信号的至少一部分(以下,称作接收信号)设定了优先度(步骤S10017e)。另外,在设定有优先度的情况下,表示优先度的识别码包含于接收信号。接收机在判定为设定有优先度时(步骤S10017e的“是”),按照该优先度设定曝光时间长短比(步骤S10017f)。即,优先度越高,接收机将短的曝光时间的比率设定得越高。例如,通过构成为发送机的紧急灯发生亮度变化,来发出表示高的优先度的识别码。在该情况下,接收机通过提高短的曝光时间的比率来提升接收速度,能够快速地显示避难路径等。
接着,接收机判定可见光信号的所有接收是否已完成(步骤S10017g)。这里,在判定为没有完成时(步骤S10017g的“否”),接收机反复执行来自步骤S10017c的处理。另一方面,在判定为已完成时(步骤S10017g的“是”),接收机将长的曝光时间的比率设定得高,转移至省电力模式(步骤S10017h)。此外,长的曝光时间的比率在空间比率的情况下,是被设定长的曝光时间的摄像元件的数量相对于被设定短的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以通常摄像模式连续生成的帧的数量相对于以可见光摄像模式连续生成的帧的数量的比率。由此,能够不进行不必要的可见光接收,而平顺地显示预览图像。
接着,接收机判定是否发现了其它可见光信号(步骤S10017i)。此处,在判定为发现了时(步骤S10017i的“是”),接收机反复执行自步骤S10017b起的处理。
接着,对可见光摄像和通常摄像的同时执行进行说明。
图63是表示实施方式9的信号接收方法的一例的图。
接收机也可以对图像传感器设定2个以上的曝光时间。即,如图63的(a)所示,图像传感器所包含的曝光线的各个以所设定的2个以上的曝光时间中最长的曝光时间连续曝光。接收机按每个曝光线,在上述的所设定的2个以上的曝光时间分别经过了的时刻,读出通过该曝光线的曝光而得到的摄像数据。这里,接收机在经过最长的曝光时间之前,不重置所读出的摄像数据。因此,接收机能够通过预先记录所读出的摄像数据的累积值,仅以最长的曝光时间的曝光得到多个曝光时间下的摄像数据。另外,图像传感器可以进行摄像数据的累积值的记录,也可以不进行。在图像传感器不进行的情况下,从图像传感器读出数据的接收机的构成要素进行累积的计算,即摄像数据的累积值的记录。
例如,在设定了2个曝光时间的情况下,如图63的(a)所示,接收机读出通过短的曝光时间的曝光而生成的包含可见光信号的可见光摄像数据,接着读出通过长的曝光时间的曝光而生成的通常摄像数据。
由此,能够同时进行用于接收可见光信号的摄像即可见光摄像和通常摄像,能够一边接收可见光信号一边进行通常的摄像。此外,通过使用多个曝光时间的数据,能够识别采用定理以上的信号频率,能够进行高频信号和/或高密度调制信号的接收。
进而,接收机在输出摄像数据时,如图63(b)所示,输出包含该摄像数据作为摄像数据主体的数据列。即,接收机通过将包含表示摄像模式(可见光摄像或者通常摄像)的摄像模式识别码、用于确定摄像元件或者摄像元件所属的曝光线的摄像元件识别码、表示摄像数据主体是第几个曝光时间的摄像数据的摄像数据号码以及表示摄像数据主体的大小的摄像数据长在内的附加信息附加于摄像数据主体,来生成并输出上述的数据列。在使用图63的(a)来说明的摄像数据的读出方法中,各个摄像数据不限于按曝光线的顺序输出。于是,通过附加图63的(b)所示的附加信息,能够确定摄像数据是哪个曝光线的摄像数据。
图64是表示实施方式9的接收程序的处理的流程图。
该接收程序是使接收机所具备的计算机执行例如图56~图63所示的处理执行的程序。
即,该接收程序是用于从发生亮度变化的发光体接收信息的接收程序。具体而言,该接收程序使计算机执行步骤SA31、步骤SA32和步骤SA33。在步骤SA31中,对图像传感器所包含的K个(K为4以上的整数)摄像元件中的一部分的多个摄像元件设定第1曝光时间,对K个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。在步骤SA32中,通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。在步骤SA33中,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。
由此,因为通过被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件来进行摄像,所以能够在图像传感器的1次摄像中,取得通常图像和亮线图像。即,能够同时进行通常图像的摄像和可见光通信的信息的取得。
此外,在曝光时间设定步骤SA31中,可以对图像传感器所包含的L个(L为4以上的整数)摄像元件列中一部分的多个摄像元件列设定第1曝光时间,对L个摄像元件列中剩余的多个摄像元件列设定第2曝光时间。这里,L个摄像元件列分别包括图像传感器所包含的排列成一列的多个摄像元件。
由此,能够不对作为小单位的摄像元件分别单独设定曝光时间,而按每个作为大单位的摄像元件列设定曝光时间,减轻处理负担。
例如,L个摄像元件列分别如图56所示,是图像传感器所包含的曝光线。或者,L个摄像元件列分别如图57所示,包括沿着与图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。
此外,如图59所示,在曝光时间设定步骤SA31中,可以对图像传感器所包含的L个摄像元件列中处于第奇数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方面,对L个摄像元件列中处于第偶数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方。然后,在反复进行曝光时间设定步骤SA31、图像取得步骤SA32和信息取得步骤SA33的情况下,在反复进行的曝光时间设定步骤SA31中,将在前一曝光时间设定步骤SA31中对第奇数列的摄像元件列分别设定的曝光时间与对第偶数列的摄像元件列分别设定的曝光时间调换。
由此,每当进行通常图像的取得时,能够将用于该取得的多个摄像元件列切换成第奇数列的多个摄像元件列和第偶数列的多个摄像元件列。结果,能够通过交叉来分别显示依次取得的通常图像。此外,通过相互补充连续取得的2个通常图像,能够生成包含第奇数列的多个摄像元件列的图像和第偶数列的多个摄像元件列的图像的新的通常图像。
此外,如图60所示,在曝光时间设定步骤SA31中,也可以将设定模式切换为通常优先模式和可见光优先模式,在被切换为通常优先模式的情况下,使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量多。此外,在被切换为可见光优先模式的情况下,可以使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量少。
由此,在设定模式被切换为通常优先模式的情况下,能够提高通常图像的画质,在被切换为可见光优先模式的情况下,能够提高来自发光体的信息的接收效率。
此外,也可以如图58所示那样,在曝光时间设定步骤SA31中,以被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分布为相间方格图案(Checkeredpattern)那样的方式按图像传感器所包含的每个摄像元件设定该摄像元件的曝光时间。
由此,因为被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分别均匀地分布,所以能够取得在水平方向和垂直方向上无画质的偏倚的通常图像和亮线图像。
图65是实施方式9的接收装置的框图。
该接收装置A30是执行例如图56~图63所示的处理的上述的接收机。
即,该接收装置A30是从发生亮度变化的发光体接收信息的接收装置,具备多个曝光时间设定部A31、摄像部A32以及解码部A33。多个曝光时间设定部A31对图像传感器所包含的K个(K为4以上的整数)摄像元件中一部分的多个摄像元件设定第1曝光时间,对K个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。摄像部A32通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,来取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。解码部A33通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。在这样的接收装置A30中,能够起到与上述的接收程序同样的效果。
接着,对与所接收到的可见光信号相关的内容的显示进行说明。
图66和图67是示出接收到可见光信号时的接收机的显示的一例的图。
如图66的(a)所示,接收机在拍摄发送机10020d时,显示映出了该发送机10020d的图像10020a。进而,接收机通过对图像10020a叠加对象10020e,来生成并显示图像10020b。对象10020e是表示存在该发送机10020d的像的场所和接收到来自该发送机10020d的可见光信号的图像。对象10020e也可以是根据可见光信号的接收状态(接收中的状态、探索发送机的状态、进行接收的程度、接收速度或者错误率等)而不同的图像。例如,接收机使对象1020e的颜色、线的粗细、线的种类(单线、双重线或者虚线等)或者虚线的间隔等变化。由此,能够使用户识别接收状态。接着,接收机通过将表示取得数据的内容的图像作为取得数据图像10020f而叠加于图像10020a,来生成并显示图像10020c。取得数据是接收到的可见光信号或者与由接收到的可见光信号所表示的ID相关联的数据。
接收机在显示该取得数据图像10020f时,如图66的(a)所示那样,如来自发送机10020d的对白框那样显示取得数据图像10020f,或者在发送机10020d的附近显示取得数据图像10020f。此外,接收机也可以如图66的(b)所示那样,以取得数据图像10020f从发送机10020d逐渐向接收机侧靠近的方式显示该取得数据图像10020f。由此,能够使用户识别出取得数据图像10020f是基于从哪个发送机接收到的可见光信号的图像。此外,接收机也可以如图67所示,以取得数据图像10020f从接收机的显示器的端部逐渐出现的方式,显示该取得数据图像10020f。由此,能够使用户容易地认识到在此时取得了可见光信号。
接着,对AR(Augmented Reality)进行说明。
图68是表示取得数据图像10020f的显示的一例的图。
接收机在显示器内发送机的像移动了的情况下,使取得数据图像10020f与发送机的像的移动相应地移动。由此,能够使用户认识到取得数据图像10020f与该发送机相对应。此外,接收机也可以使取得数据图像10020f不与该发送机的像而是与其它东西相关联地显示。由此,能够进行AR显示。
接着,对取得数据的保存和丢弃进行说明。
图69是表示保存或者丢弃取得数据的情况下的操作的一例的图。
例如,接收机在如图69的(a)所示那样,由用户对取得数据图像10020f进行向下侧的滑动时,保存由该取得数据图像10020f表示的取得数据。接收机将保存的表示取得数据的取得数据图像10020f配置在其它已经保存的1个或者多个表示取得数据的取得数据图像的顶端或末端。由此,能够使用户识别由取得数据图像10020f表示的取得数据是最后保存的取得数据。例如,接收机如图69的(a)所示那样,将取得数据图像10020f配置成在多个取得数据图像中最靠跟前。
此外,接收机在如图69的(b)所示那样,由用户对取得数据图像10020f进行向右侧的滑动时,丢弃由该取得数据图像10020f表示的取得数据。或者,接收机也可以在通过用户移动接收机来使发送机的像从显示器退出(frame out)时,丢弃由取得数据图像10020f表示的取得数据。另外,滑动的方向是上下左右的哪一个都可以得到与上述同样的效果。接收机也可以显示与保存或者丢弃对应的滑动的方向。由此,能够使用户认识到能够通过该操作来进行保存或者丢弃。
接着,对取得数据的阅览进行说明。
图70是表示阅览取得数据时的显示例子的图。
接收机如图70的(a)所示,将所保存的多个取得数据的取得数据图像在显示器的下端重叠地较小地显示。此时,若用户点击显示的取得数据图像的一部分,则接收机如图70的(b)所示,将多个取得数据图像分别较大地显示。由此,仅在需要各取得数据的阅览时,将这些取得数据图像较大地显示,在非必要时,能够将显示器有效利用于其它显示。
若在图70的(b)所示的状态下,用户点击想要显示的取得数据图像,则接收机如图70的(c)所示那样,将该点击的取得数据图像更大地显示,在该取得数据图像中显示较多的信息。此外,若用户点击背面显示按钮10024a,则接收机显示取得数据图像的背面,显示与该取得数据相关联的其它的数据。
接着,对使事故位置推测时的手抖动修正关闭进行说明。
接收机通过使手抖动修正无效(关闭)或者与手抖动修正的修正方向和修正量对应地变换摄像图像,能够取得准确的摄像方向,准确地进行自身位置推测。另外,摄像图像是通过接收机的摄像部的摄像而得到的图像。此外,自身位置推测是接收机推测自身的位置。在自身位置推测中,具体而言,接收机基于所接收到的可见光信号来确定发送机的位置,基于映在摄像图像的发送机的大小、位置或者形状等,来确定接收机与发送机之间的相对的位置关系。然后,接收机基于发送机的位置、接收机与发送机之间的相对的位置关系,来推测接收机的位置。
此外,在图56等所示的仅使用一部分的曝光线来进行摄像的部分读出时,即进行图56等所示的摄像时,因接收机的稍稍的抖动,发送机就会退出。这样的情况下,接收机通过将手抖动修正设为有效,能够持续接收信号。
接着,对使用非对称形的发光部的自身位置推测进行说明。
图71是表示实施方式9的发送机的一例的图。
上述的发送机具备发光部,通过使该发光部发生亮度变化来发送可见光信号。在上述的自身位置推测中,接收机基于摄像图像中的发送机(具体而言发光部)的形状,作为接收机与发送机之间的相对的位置关系,求出接收机与发送机之间的相对角度。这里,例如在如图71所示那样,发送机具备旋转对称的形状的发光部10090a的情况下,不能如上述那样基于摄像图像中的发送机的形状,准确地求出发送机与接收机之间的相对角度。于是,优选发送机具备非旋转对称的形状的发光部。由此,接收机能够准确地求出上述的相对角度。即,由于在用于取得角度的方位传感器中计测结果的误差大,所以接收机通过使用由上述的方法求出的相对角度,能够进行准确的自身位置推测。
这里,发送机也可以如图71所示那样,具备非完全的旋转对称的形状的发光部10090b。该发光部10090b的形状虽然相对于90°的旋转是对称形状,但并非完全的旋转对称。在该情况下,接收机利用方位传感器求出大致的角度,进而通过使用摄像图像中的发送机的形状,能够唯一地限定接收机与发送机之间的相对角度,能够进行准确的自身位置推测。
此外,发送机也可以具备图71所示的发光部10090c。该发光部10090c的形状基本上是旋转对称的形状。但是,通过在该发光部10090c的一部分设置导光板等,使得发光部10090c的形状成为非旋转对称的形状。
此外,发送机也可以具备图71所示的发光部10090d。该发光部10090d具备分别旋转对称的形状的照明。但是,通过将它们组合配置而构成的发光部10090d的整体形状不是旋转对称的形状。因此,接收机能够通过拍摄该发送机,来进行准确的自身位置推测。此外,并非发光部10090d所包含的所有照明需要是为了发送可见光信号而发生亮度变化的可见光通信用的照明,也可以仅一部分的照明是可见光通信用的照明。
此外,发送机也可以具备图71所示的发光部10090e和物体10090f。这里,物体10090f是构成为与发光部10090e之间的位置关系不变化的物体(例如,火灾报知机和/或配管等)。因为发光部10090e与物体10090f的组合的形状不是旋转对称的形状,所以接收机能够通过拍摄发光部10090e和物体10090f,来准确地进行自身位置推测。
接着,对自身位置推测的时序处理进行说明。
接收机在每当摄像时,能够根据摄像图像中的发送机的位置和形状,进行自身位置推测。结果,接收机能够推测摄像中的接收机的移动方向和距离。此外,接收机通过进行使用多个帧或者图像的三角测量,能够进行更准确的自身位置推测。通过综合使用多个图像的推测结果和/或使用不同组合的多个图像的推测结果,接收机能够更准确地进行自身位置推测。此时,接收机通过将根据最近的摄像图像推测的结果比较看重地进行综合,能够更准确地进行自身位置推测。
接着,对光学黑体的跳过进行说明。
图72是表示实施方式9的接收方法的一例的图。另外,图72所示的表的横轴表示时刻,纵轴表示图像传感器内的各曝光线的位置。进而,该曲线图的实线箭头表示开始图像传感器内的各曝光线的曝光的时刻(曝光定时)。
接收机在通常摄像时,如图72的(a)所示那样,读出图像传感器的水平光学黑体的信号,但也可以如图72的(b)所示那样,跳过水平光学黑体的信号。由此,能够接收连续的可见光信号。
水平光学黑体是与曝光线水平方向的光学黑体。此外,垂直光学黑体是光学黑体中的水平光学黑体以外的部分。
接收机通过从光学黑体读出的信号来进行黑水平的调整,所以能够在可见光摄像开始时与通常摄像时同样地使用光学黑体,来调整黑水平。在能够利用垂直光学黑体的情况下,接收机通过仅使用垂直光学黑体来进行黑水平调整,能够进行连续接收和黑水平调整。在可见光摄像继续时,接收机也可以每隔预定的时间使用水平光学黑体来调整黑水平。接收机在交替进行通常摄像和可见光摄像的情况下,在连续进行可见光摄像时,跳过水平光学黑体的信号,在其以外时,读出水平光学黑体的信号。然后,接收机通过基于该读出的信号来进行黑水平的调整,能够连续地接收可见光信号,同时进行黑水平的调整。接收机也可以将可见光摄像图像的最暗的部分作为黑来进行黑水平的调整。
这样,通过将读出信号的光学黑体仅设为垂直光学黑体,能够进行连续的可见光信号的接收。此外,通过具备跳过水平光学黑体的信号的模式,能够在通常摄像时进行黑水平调整,在可见光摄像时根据需要进行连续通信。此外,通过跳过水平光学黑体的信号,开始曝光线间的曝光的定时的差变大,所以还能够接收来自仅被拍摄得较小的发送机的可见光信号。
接着,对表示发送机的种类的识别码进行说明。
发送机也可以将表示发送机的种类的发送机识别码附加于可见光信号而进行发送。在该情况下,接收机能够在接收到发送机识别码的时刻,进行与该发送机的种类相应的接收动作。例如,在发送机识别码表示数字标牌的情况下,发送机除了用于进行发送机的个体识别的发送机ID之外,还将表示当前正在显示哪个内容的内容ID作为可见光信号发送。接收机通过基于发送机识别码将这些ID分开处理,能够显示与发送机当前显示的内容相符的信息。此外,例如,在发送机识别码表示数字标牌和/或紧急灯的情况下,接收机能够提高感光度而摄像,由此减低接收错误。
(实施方式10)
在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
此处,对比较相同地址的数据部的接收方法进行说明。
图73是表示本实施方式的接收方法的一例的流程图。
接收机接收数据包(步骤S10101),进行错误订正(步骤S10102)。然后,接收机判定是否已经接收到与所接收的数据包的地址相同地址的数据包(步骤S10103)。这里,在判定为接收到了的情况下(步骤10103的“是”),接收机对这些数据进行比较。即,接收机判常数据部是否相等(步骤S10104)。这里,在判定为不相等的情况下(步骤S10104的“否”),接收机进一步判定多个数据部的差异是否为预定的数量以上,具体而言不同的位的数量或者亮度状态不同的时隙的数量是否为预定的数量以上(步骤S10105)。这里,若判定为预定的数量以上(步骤S10105的“否”),则接收机丢弃已经接收到的数据包(步骤S10106)。由此,在开始从其它发送机接收数据包时,能够避免与从以前的发送机接收到的数据包的串扰。另一方面,若判定为不是预定的数量以上(步骤S10105的“否”),则接收机将具有相等数据部的数据包最多的数据部的数据设为该地址的数据(步骤S10107)。或者,接收机将相等的位最多的位设为该地址的该位的值。或者,接收机将相等的亮度状态最多的亮度状态设为该地址的该时隙的亮度状态,对该地址的数据进行解调。
这样,在本实施方式中,接收机首先由多个亮线的样式,取得包含数据部以及地址部的第1数据包。接下来,接收机判定在第1数据包之前已经取得的至少1个数据包中是否存在至少1个作为包含与该第1数据包的地址部相同的地址部的数据包的第2数据包。接下来,接收机在判定为存在该至少1个第2数据包的情况下,判定该至少1个第2数据包与第1数据包的各自的数据部是否完全相等。在判定为各自的数据部不完全相等的情况下,接收机在该至少1个第2数据包的各个中,判定第2数据包的数据部所含的各部分中,与第1数据包的数据部所含的各部分不同的部分的数量是否存在预定的数量以上。这里,在该至少1个第2数据包中,存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机丢弃该至少1个第2数据包。另一方面,在该至少1个第2数据包中,不存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机确定第1数据包以及至少1个第2数据包中的、具有相同数据部的数据包的数量最多的多个数据包。并且,接收机通过对该多个数据包的各个所含的数据部进行解码来作为与第1数据包所含的地址部对应的数据部,从而取得可见光识别码(ID)的至少一部分。
由此,在接收到具有同一地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。即,具有从同一发送机发送的同一地址部的多个数据包,基本上具有同一数据部。但是,在接收机切换成为数据包的发送源的发送机的情况下,接收机有时会接收即便具有同一地址部也具有相互不同的数据部的多个数据包。在这样的情况下,在本实施方式中,如图73的步骤S10106所示,能够丢弃已经接收到的数据包(第2数据包),并解码最新的数据包(第1数据包)的数据部来作为与该地址部对应的正确的数据部。进而,即便在不存在上述那样的发送机的切换的情况下,与可见光信号的发送接收状况相应地,有时具有同一地址部的多个数据包的数据部略微不同。在这样的情况下,在本实施方式中,如图73的步骤S10107那样,能够通过所谓的多数决,对适当的数据部进行解码。
这里,对于从多个数据包解调数据部的数据的接收方法进行说明。
图74是表示本实施方式的接收方法的一例的流程图。
首先,接收机接收数据包(步骤S10111),进行地址部的错误订正(步骤S10112)。此时,接收机不进行数据部的解调,原样保持通过摄像得到的像素值。然后,接收机判定在已经接收到的多个数据包中,是否存在预定数量以上的相同地址的数据包(步骤S10113)。这里,若判定为存在(步骤S10113的“是”),则接收机与相当于具有相同地址的多个数据包的数据部的部分的像素值相匹配地进行解调处理(步骤S10114)。
这样,在本实施方式的接收方法中,根据多个亮线的样式,取得包含数据部以及地址部的第1数据包。并且,判定在第1数据包之前已经取得的至少1个数据包中是否存在预定数量以上的作为包含与第1数据包的地址部相同的地址部的数据包的第2数据包。在判定为存在该预定的数量以上的第2数据包的情况下,将与该预定数量以上的第2数据包的各个的数据部对应的亮线图像的一部分的区域的像素值和与第1数据包的数据部对应的亮线图像的一部分的区域的像素值相加。即,对像素值进行求和。通过该求和,算出合成像素值,通过对包含该合成像素值的数据部进行解码,取得可见光识别码(ID)的至少一部分。
接收到多个数据包的定时分别不同,所以数据部的像素值成为反映了各自稍微不同的时刻的发送机的亮度的值。因此,如上述那样进行解调处理的部分会包含比单一数据包的数据部多的数据量(样本数)。由此,能够更准确地解调数据部。此外,通过样本数的增加,能够解调以更高的调制频率调制的信号。
数据部和其错误订正码部以比头部、地址部和地址部的错误订正码部更高的频率被调制。通过上述的解调方法,即使数据部以后以高的调制频率被调制也能够进行解调,所以根据该结构,能够缩短数据包整体的发送时间,即使从更远处,从更小的光源,也能够更快速地接收可见光信号。
接着,对接收可变长地址的数据的接收方法进行说明。
图75是表示本实施方式的接收方法的一例的流程图。
接收机接收数据包(步骤S10121),判定是否接收到数据部所有的位成为0的数据包(以下,称作0末端数据包)(步骤S10122)。这里,若判定为接收到了,即判定为存在0末端数据包(步骤S10122的“是”),则接收机判定该0末端数据包的地址以下的地址的数据包是否全部聚齐,即判定是否接收到了该0末端数据包的地址以下的所有的地址的数据包(步骤S10123)。另外,对于地址而言,针对通过对所发送的数据进行分割而生成的数据包的各个,按照这些数据包的发送顺序而被设为变大的值。接收机在判定为全部聚齐时(步骤S10123的“是”),判断为0末端数据包的地址是从发送机发送的数据包的最后的地址。然后,接收机通过将到0末端数据包为止的各地址的数据包的数据相关联,来复原数据(步骤S10124)。然后,接收机进行复原了的数据的错误检验(步骤S10125)。由此,在不知道被发送的数据被分割成几部分的情况下,即,地址不是固定长而是可变长的情况下,也能够发送接收可变长地址的数据,能够以高的效率发送接收比固定长地址的数据多的ID。
这样,在本实施方式中,接收机根据多个亮线的样式,取得各自包含数据部以及地址部的多个数据包。并且,接收机判定所取得的多个数据包中,是否存在数据部所含的所有位(bit)表示0的数据包即0终端数据包。在判定为存在0终端数据包的情况下,接收机判定多个数据包中的、作为包含与该0终端数据包的地址部相关联的地址部的数据包的N个(N为1以上的整数)关联数据包是否全部存在。接着,接收机在判定为N个关联数据包全部存在的情况下,通过将N个关联数据包的各自的数据部排列并解码,来取得可见光识别码(ID)。这里,与0终端数据包的地址部相关联的地址部,是表示比0终端数据包的地址部所示的地址小且0以上的地址的地址部。
接着,对使用比调制频率的周期长的曝光时间的接收方法进行说明。
图76和图77是用于对本实施方式的接收机使用比调制频率的周期(调制周期)长的曝光时间的接收方法进行说明的图。
例如如图76的(a)所示那样,若曝光时间被设定为与调制周期相等的时间,则有时不能正确地接收可见光信号。另外,调制周期是上述的1个时隙的时间。即,在这样的情况下,反映某时隙的亮度的状态的曝光线(图76中以黑表示的曝光线)少。结果,在这些曝光线的像素值偶然包含较多噪声的情况下,难以推测发送机的亮度。
另一方面,例如如图76的(b)所示那样,若曝光时间被设定为比调制周期长的时间,则能够正确地接收可见光信号。即,在这样的情况下,反映某时隙的亮度的曝光线多,所以能够根据较多的曝光线的像素值推测发送机的亮度,耐噪声强。
此外,若曝光时间过长,则反而不能正确地接收可见光信号。
例如,如图77的(a)所示那样,在曝光时间与调制周期相等的情况下,由接收机接收的亮度变化(即,各曝光线的像素值的变化)跟随用于发送信号的亮度变化。但是,如图77的(b)所示那样,在曝光时间为调制周期的3倍的情况下,由接收机接收的亮度变化不能充分地跟随用于发送信号的亮度变化。此外,如图77的(c)所示那样,在曝光时间为调制周期的10倍的情况下,由接收机接收的亮度变化完全不能跟随用于发送信号的亮度变化。即,曝光时间较长时能够根据较多的曝光线推测亮度,所以噪声耐性变高,但若曝光时间变长,则识别余裕下降,或者识别余裕变小,由此噪声耐性变低。通过他们的平衡,将曝光时间设为调制周期的2~5倍左右,能够使噪声耐性最高。
接着,对数据包的分割数量进行说明。
图78是表示相对于发送数据的大小的有效的分割数量的图。
在发送机通过亮度变化发送数据的情况下,若将所发送的所有数据(发送数据)包含于1个数据包,则该数据包的数据大小较大。但是,若将该发送数据分割成多个部分数据,将这些部分数据包含于各数据包,则各个数据包的数据大小较小。这里,接收机通过摄像来接收该数据包。但是,数据包的数据大小越大,则接收机越难以通过一次摄像接收该数据包,需要反复进行摄像。
因此,发送机优选如图78的(a)和(b)所示那样,发送数据的数据大小越大则使该发送数据的分割数量越多。但是,若分割数过多,则若不全部接收这些部分数据则不能复原发送数据,所以反而接收效率下降。
因此,如图78的(a)所示那样,若在地址的数据大小(地址大小)可变、发送数据的数据大小为2-16位、16-24位、24-64位、66-78位、78-128位、128位以上的情况下,将发送数据分别分割成1-2个、2-4个、4个、4-6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。此外,如图78的(b)所示那样,在地址的数据大小(地址大小)固定为4位、发送数据的数据大小为2-8位、8-16位、16-30位、30-64位、66-80位、80-96位、96-132位、132位以上的情况下,将发送数据分别分割成1-2个、2-3个、2-4个、4-5个、4-7个、6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。
此外,发送机依次进行基于包含多个部分数据的各个的各数据包的亮度变化。例如,发送机按照各数据包的地址顺序,进行基于该数据包的亮度变化。进而,发送机也可以以与地址顺序不同的顺序,再次进行基于该多个部分数据的亮度变化。由此,能够使接收机可靠地接收各部分数据。
接着,对接收机的通知动作的设定方法进行说明。
图79A是表示本实施方式的设定方法的一例的图。
首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10131)。此处,通知动作是在包含多个部分数据的各个的各数据包通过亮度变化被发送而被接收机接收到时,向接收机的用户通知接收到这些数据包的接收机的动作。例如,该动作是声音的鸣动、振动或者画面显示等。
接着,接收机接收包含数据包化了的可见光信号、即多个部分数据的各个的各数据包(步骤S10132)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10133)。
然后,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10134)。另外,预先设定于接收机的通知动作识别码例如通过用户的操作而设定。
然后,接收机选择预先设定的通知动作识别码和在步骤S10131和步骤S10133中分别取得的通知动作识别码中优先度最高的识别码(步骤S10135)。接着,接收机通过重新自身设定所选择的通知动作识别码,来进行通过所选择的通知动作识别码表示的动作,向用户通知可见光信号的接收(步骤S10136)。
另外,接收机也可以不进行步骤S10131和步骤S10133的任另一方面,而从2个通知动作识别码中选择优先度高的通知动作识别码。
另外,也可以将从设置于剧场或者美术馆等的服务器发送的通知动作识别码的优先度或者在这些设施内发送的可见光信号所包含的通知动作识别码的优先度设定得高。由此,能够与用户的设定无关,在该设施内,不使用于接收通知的声音鸣响。此外,在其它设施中,通过使通知动作识别码的优先度低,由此接收机能够通过与用户的设定相应的动作来通知接收。
图79B是表示本实施方式的设定方法的另一例的图。
首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10141)。接着,接收机接收包含数据包化了的可见光信号,即多个部分数据的各个的各数据包(步骤S10142)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10143)。
进而,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10144)。
然后,接收机判定在预先设定的通知动作识别码和在步骤S10141和步骤S10143中分别取得的通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码(步骤S10145)。这里,若判定为包含(步骤S10145的“是”),则接收机鸣响用于通知接收完成的通知音(步骤S10146)。另一方面,若判定为不包含(步骤S10145的“否”),则接收机通过例如振动等,通知用户接收完成(步骤S10147)。
另外,接收机也可以不进行步骤S10141和步骤S10143的任另一方面,而判定在2个通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码。
此外,接收机也可以基于通过摄像而得到的图像来进行自身位置推测,通过与推测出的位置或者处于该位置的设施相关联的动作,通知用户接收。
图80是表示实施方式10的信息处理程序的处理的流程图。
该信息处理程序是用于使上述的发送机的发光体按照图78所示的分割数而发生亮度变化的程序。
即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行以下步骤:编码步骤SA41,通过将发送对象的信息编码而生成编码信号;分割步骤SA42,在所生成的编码信号的位数处于24~64位的范围的情况下将编码信号分割为4个部分信号;以及输出步骤SA43,依次输出4个部分信号。另外,这些部分信号作为数据包而输出。此外,信息处理程序也可以使计算机确定编码信号的位数,基于该确定出的位数,决定部分信号的数量。在该情况下,信息处理程序使计算机通过将编码信号分割,来生成该决定出的数量的部分信号。
由此,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割成4个部分信号而输出。结果,若按照所输出的4个部分信号而发光体发生亮度变化,则该4个部分信号分别作为可见光信号而发送并被接收机接收。这里,所输出的信号的位数越多,则接收机越难以通过摄像适当地接收该信号,接收效率下降。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有小的信号,则不能接收原来的信号,所以接收效率下降。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此能够以最高的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。
此外,在输出步骤SA43中,也可以按照第1顺序输出4个部分信号,然后按照与第1顺序不同的第2顺序再次输出4个部分信号。
由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过该变其顺序,能够抑制产生那样的情况。
此外,也可以如图79A和图79B所示那样,在输出步骤SA43中,还使通知动作识别码附随于4个部分信号而输出。通知动作识别码是用于识别在4个部分信号通过亮度变化被发送而被接收机接收时通知接收机的用户接收到4个部分信号的接收机的动作的识别码。
由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。
此外,也可以如图79A和图79B所示那样,在输出步骤SA43中,还使用于识别通知动作识别码的优先度的优先度识别码附随于4个部分信号而输出。
由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。
本发明的一技术方案所涉及的信息处理程序是为了通过亮度变化来发送发送对象的信息,而使计算机处理所述发送对象的信息的信息处理程序,该信息处理程序使所述计算机执行如下步骤:编码步骤,通过对所述发送对象的信息进行编码而生成编码信号;分割步骤,在所生成的所述编码信号的位数处于24~64位的范围的情况下,将所述编码信号分割为4个部分信号;以及输出步骤,依次输出所述4个部分信号。
由此,如图77~图80所示,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割为4个部分信号并被输出。其结果,当发光体按照输出的4个部分信号发生亮度变化时,该4个部分信号分别作为可见光信号被发送并被接收机接收。这里,所输出的信号的位数越多,则接收机会越难以通过摄像适当地接收该信号,接收效率会降低。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有的小的信号,则不能接收原来的信号,所以接收效率会降低。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此,能够以最佳的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。
另外,在所述输出步骤中,也可以按照第1顺序输出所述4个部分信号,然后,按照与所述第1顺序不同的第2顺序再次输出所述4个部分信号。
由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过改变其顺序,能够抑制产生那样的情况。
另外,也可以是,在所述输出步骤中,还使通知动作识别码附随于所述4个部分信号而输出,所述通知动作识别码用于识别在所述4个部分信号通过亮度变化被发送而被接收机接收时通知所述接收机的用户接收到所述4个部分信号的所述接收机的动作的识别码。
由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。
另外,也可以是,在所述输出步骤中,还使用于识别所述通知动作识别码的优先度的优先度识别码附随于所述4个部分信号而输出。
由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。
接着,对电子设备的网络连接的登录进行说明。
图81是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备构成为例如洗衣机等电子设备的发送机10131b、构成为例如智能电话的接收机10131a以及构成为无线接入点或者路由器的通信装置10131c。
图82是表示本实施方式的发送接收系统的处理动作的流程图。
发送机10131b在按下开始按钮时(步骤S10165),将SSID、口令、IP地址、MAC地址或者加密密钥等用于与自身连接的信息经由Wi-Fi、Bluetooth(注册商标)或者以太网(注册商标)等而发送(步骤S10166),等候连接。发送机10131b可以直接发送这些信息,也可以间接发送这些信息。在间接发送的情况下,发送机10131b发送与这些信息相关联的ID。接收到该ID的接收机10131a例如从服务器等下载与该ID相关联的信息。
接收机10131a接收该信息(步骤S10151),向发送机10131b连接,将用于向构成为无线接入点和/或路由器的通信装置10131c连接的信息(SSID、口令、IP地址、MAC地址或者加密密钥等)向发送机10131b发送(步骤S10152)。接收机10131a将发送机10131b用于向通信装置10131c连接的信息(MAC地址、IP地址或者加密密钥等)向通信装置10131c登记,使通信装置10131c等候连接。然后,接收机10131a通知发送机10131b从发送机10131b向通信装置10131c的连接准备完成(步骤S10153)。
发送机10131b切断与接收机10131a的连接(步骤S10168),向通信装置10131c连接(步骤S10169)。若连接成功(步骤S10170的“是”),则发送机10131b经由通信装置10131c通知接收机10131a连接成功,通过画面显示、LED的状态、声音等通知用户连接成功(步骤S10171)。若连接失败(步骤S10170的“否”),则发送机10131b通过可见光通信通知接收机10131a连接失败,与成功时同样地通知用户(步骤S10172)。此外,也可以通过可见光通信通知连接成功。
接收机10131a与通信装置10131c连接(步骤S10154),若无连接成功或失败的通知(步骤S10155的“否”,且步骤S10156的“否”),则确认是否能够经由通信装置10131c来访问发送机10131b(步骤S10157)。若不能(步骤S10157的“否”),则接收机10131a使用从发送机10131b接收到的信息来判定是否向发送机10131b进行了预定次数以上的连接(步骤S10158)。这里,若判定为没有进行预定次数以上(步骤S10158的“否”),则接收机10131a反复进行自步骤S10152起的处理。另一方面,若判定为进行了预定次数以上(步骤S10158的“是”),则接收机10131a通知用户处理失败(步骤S10159)。此外,接收机10131a若在步骤S10156中判定为产生了连接成功的通知(步骤S10156的“是”),则通知用户处理成功(步骤S10160)。即,接收机10131a通过画面显示、声音等通知用户发送机10131b是否成功地与通信装置10131c连接。由此,即使用户不进行复杂的输入,也能够使发送机10131b向通信装置10131c连接。
接着,对电子设备的网络连接的登录(经由其它电子设备来连接的情况)进行说明。
图83是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备:空调10133b、构成为与空调10133b连接的无线适配器等电子设备的发送机10133c、构成为例如智能电话的接收机10133a、构成为无线接入点或者路由器的通信装置10133d以及构成为例如无线适配器、无线无线接入点或者路由器等的其它电子设备10133e。
图84是表示本实施方式的发送接收系统的处理动作的流程图。另外,以下,将空调10133b或者发送机10133c称作电子设备A,将电子设备10133e称作电子设备B。
首先,电子设备A在按下开始按钮时(步骤S10188),发送用于与自身连接的信息(个体ID、口令、IP地址、MAC地址或者加密密钥等)(步骤S10189),等候连接(步骤S10190)。电子设备A可以将这些信息与上述同样地直接发送,也可以间接发送。
接收机10133a从电子设备A接收该信息(步骤S10181),向电子设备B发送该信息(步骤S10182)。电子设备B在接收到该信息时(步骤S10196),按照该接收到的信息向电子设备A连接(步骤S10197)。然后,电子设备B判定与电子设备A的连接是否成立(步骤S10198),将该是否成立通知给接收机10133a(步骤S10199或者步骤S101200)。
电子设备A若在预定的时间的期间内与电子设备B连接(步骤S10191的“是”),则经由电子设备B通知接收机10133a连接成功(步骤S10192),若没有连接(步骤S10191的“否”),则通过可见光通信通知接收机10133a连接失败(步骤S10193)。另外,电子设备A通过画面显示、发光状态、声音等,通知用户连接是否成功。由此,即使用户不进行复杂的输入,也能够使电子设备A(发送机10133c)向电子设备B(电子设备10133e)连接。此外,图83所示的空调10133b和发送机10133c可以一体构成,同样通信装置10133d和电子设备10133e也可以一体构成。
接着,对适当的摄像信息的发送进行说明。
图85是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备构成为例如数字静态摄像头和/或数字摄影机的接收机10135a和构成为例如照明的发送机10135b。
图86是表示本实施方式的发送接收系统的处理动作的流程图。
首先,接收机10135a向发送机10135b发送摄像信息发送命令(步骤S10211)。接着,发送机10135b在接收到摄像信息发送命令的情况下、按下了摄像信息发送按钮的情况下、摄像信息发送开关接通的情况下、接入了电源的情况下(步骤S10221的“是”),发送摄像信息(步骤S10222)。摄像信息发送命令是用于发送摄像信息的命令,摄像信息表示例如照明的色温度、光谱分布、照度或者配光。发送机10135b与上述同样,可以直接发送摄像信息,也可以间接发送摄像信息。在间接发送的情况下,发送机10135b发送与摄像信息相关联的ID。接收到该ID的接收机10135a例如从服务器等下载与该ID相关联的摄像信息。此时,发送机10135b也可以发送用于向自身发送发送停止命令的方法(传送发送停止命令的电波、红外线或者音波的频率或者用于向自身连接的SSID、口令或IP地址等)。
接收机10135a在接收到摄像信息时(步骤S10212),将发送停止命令向发送机10135b发送(步骤S10213)。这里,发送机10135b在从接收机10135a接收到发送停止命令时(步骤S10223的),停止摄像信息的发送,均匀地发光(步骤S10224)。
进而,接收机10135a按照在步骤S10212中接收到的摄像信息设定摄像参数(步骤S10214),或者,通知用户摄像信息。摄像参数例如是白平衡、曝光时间、焦点距离、感光度或者场景模式。由此,能够与照明相应地以最佳的设定进行摄像。接着,接收机10135a在停止来自发送机10135b的摄像信息的发送之后(步骤S10215的“是”),进行摄像(步骤S10216)。由此,能够消除由信号发送引起的被拍摄对象的明亮度的变化而进行摄像。另外,接收机10135a也可以在步骤S10216后,将促进开始发送摄像信息的发送开始命令向发送机10135b发送(步骤S10217)。
接着,对充电状态的显示进行说明。
图87是用来说明本实施方式的发送机的应用例的图。
构成为例如充电器的发送机10137b具备发光部,将表示蓄电池的充电状态的可见光信号从发光部发送。由此,即使不具备高价的显示装置,也能够通知蓄电池的充电状态。另外,在作为发光部使用了小的LED的情况下,若不从附近拍摄该LED,则不能接收可见光信号。此外,在该LED的附近存在突起部的发送机10137c中,突起部成为妨碍而难以近拍LED。因此,与来自发送机10137c的可见光信号相比,来自在LED的附近无突起部的发送机10137b的可见光信号能够更容易接收。
(实施方式11)
在本实施方式中,对使用上述各实施方式的智能电话等接收机和LED和/或作为有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
首先,对演示模式时和故障时的发送进行说明。
图88是说明本实施方式的发送机的动作的一例的图。
发送机在产生了错误的情况下,能够通过发送表示产生了错误的信号或者与错误码对应的信号,来传递接收机产生了错误和/或错误内容。接收机能够通过与错误内容相应地表示适当的对应,来修复错误或者向服务中心适当地报告错误内容。
发送机在成为演示模式的情况下,发送演示码。由此,在例如店面处进行作为商品的发送机的演示的情况下,来店者能够接收演示码,取得与演示码相关联的商品说明。是否处于演示模式的判断能够根据发送机的动作设定成为了演示模式、插入了店面用CAS卡、没有插入CAS卡、没有插入记录用媒体这些点来判断。
接着,对来自遥控器的信号发送进行说明。
图89是说明本实施方式的发送机的动作的一例的图。
在例如构成为空调的遥控器的发送机接收了本体信息时,通过发送机发送本体信息,接收机能够从位于附近的发送机接收远处的本体的信息。接收机也能够从越过网络等而存在于不能进行可见光通信的场所的本体接收信息。
接着,对仅在处于亮的场所时发送的处理进行说明。
图90是说明本实施方式的发送机的动作的一例的图。
发送机在周围的明亮度为一定以上时进行发送,在成为一定以下时停止发送。由此,构成为例如电车的广告的发送机能够在车辆入库时自动停止动作,能够抑制电池的消耗。
接着,对与发送机的显示相符的内容分发(相关联的变更/调度)进行说明。
图91是说明本实施方式的发送机的动作的一例的图。
发送机与显示的内容的显示定时相匹配,将想要使接收机取得的内容与发送ID相关联。每当变更显示内容时,将相关联的变更向服务器登记。
发送机在显示内容的显示定时为已知的情况下,以与显示内容的变化定时相匹配而将其它内容交付给接收机的方式设定服务器。服务器在接收机请求与发送ID相关联的内容时,将与所设定的计划相符的内容向接收机发送。
由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
接着,对与发送机的显示相符的内容分发(时刻的同步)进行说明。
图92是说明本实施方式的发送机的动作的一例的图。
对于与预定的ID相关联的内容取得的请求,以根据时刻而交付不同内容的方式,预先向服务器登记。
发送机与服务器同步时刻,以在预定的时刻显示预定的部分的方式调整定时而显示内容。
由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
接着,对与发送机的显示相符的内容分发(显示时刻的发送)进行说明。
图93是说明本实施方式的发送机和接收机的动作的一例的图。
发送机除了发送机的ID之外,还发送显示中的内容的显示时刻。内容显示时刻是能够确定当前显示的内容的信息,例如能够表现为自内容的开始时间点起的经过时刻等。
接收机从服务器取得与所接收到的ID相关联的内容,与所接收到的显示时刻相符地显示内容。由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
此外,接收机随着时间的经过,变更显示的内容。由此,即使在发送机的显示内容变化时不再次接收信号,也可显示与显示内容相符的内容。
接着,对与用户的许诺状况相符的数据的上传进行说明。
图94是说明本实施方式的接收机的动作的一例的图。
接收机在用户进行了账户登录的情况下,将账户登录时等用户进行了访问许可的信息(接收机的位置、电话号码、ID、安装的应用、用户的年龄、性别、职业、喜好等)与接收到的ID相匹配地向服务器发送。
在没有进行账户登录的情况下,若用户允许上述那样的信息的上传,则同样向服务器发送,在没有许可的情况下,仅将所接收到的ID向服务器发送。
由此,用户能够接收与接收时的状况和/或自身的个性相符的内容,此外,服务器能够通过得到用户的信息而有助于数据解析。
接着,对内容再现应用的起动进行说明。
图95是说明本实施方式的接收机的动作的一例的图。
接收机从服务器取得与所接收到的ID相关联的内容。在起动中的应用能够处理取得内容(能够显示或者再现)的情况下,通过起动中的应用来显示/再现取得内容。在不能处理的情况下,确认可处理的应用是否安装于接收机,在安装有可处理的应用的情况下,起动该应用而进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。
由此,能够适当地处理取得内容(进行显示/再现等)。
接着,对指定应用的起动进行说明。
图96是说明本实施方式的接收机的动作的一例的图。
接收机从服务器取得与所接收到的ID相关联的内容和指定要起动的应用的信息(应用ID)。在起动中的应用为指定应用的情况下,显示/再现所取得的内容。在指定应用安装于接收机的情况下,起动指定应用来进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。
接收机也可以从服务器仅取得应用ID,起动指定应用。
接收机也可以进行所指定的设定。接收机也可以设定所指定的参数,起动所指定的应用。
接着,对流播放接收和通常接收的选择进行说明。
图97是说明本实施方式的接收机的动作的一例的图。
接收机在所接收到的数据的预定的地址的值是预定的值的情况和/或所接收到的数据包含预定的识别码的情况下,判断为信号被流播放分发,以流播放数据的接收方法进行接收。在不是这样的情况下,以通常的接收方法来接收。
由此,以流播放分发和通常分发的任一方法发送信号都能够进行接收。
接着,对私人数据进行说明。
图98是说明本实施方式的接收机的动作的一例的图。
接收机在所接收到的ID的值处于预定的范围内的情况和/或包含预定的识别码的情况下,在应用内参照表格,若接收ID存在于表格,则取得由该表格指定的内容。在不是这样的情况下,从服务器取得被设为了接收ID的内容。
由此,即使不向服务器进行登录也能够接收内容。此外,因为不进行与服务器的通信,所以可得到迅速的回应。
接着,对与频率相符的曝光时间的设定进行说明。
图99是说明本实施方式的接收机的动作的一例的图。
接收机检测信号,识别信号的调制频率。接收机与调制频率的周期(调制周期)相应地设定曝光时间。例如,通过设为与调制周期同程度的曝光时间,能够容易地接收信号。此外,例如,通过将曝光时间设定成调制周期的整数倍或者与其接近的值(大致±30%左右),能够通过卷积解码容易地接收信号。
接着,对发送机的最佳参数设定进行说明。
图100是说明本实施方式的接收机的动作的一例的图。
除了从发送机接收的数据之外,接收机还将与当前位置信息和/或用户关联的信息(住所、性别、年龄、喜好等)向服务器发送。服务器与所接收的信息相应地,将用于使发送机最佳地动作的参数向接收机发送。接收机在能够对发送机设定所接收到的参数的情况下进行设定。在不能设定的情况下,显示参数,促使用户对发送机设定该参数。
由此,例如,能够与使用发送机的地域的水的性质最适化地使洗衣机动作,或者以最适合于用户所使用的米的种类的方法来煮饭的方式使电饭锅动作。
接着,对表示数据的结构的识别码进行说明。
图101是说明本实施方式的发送数据的结构的一例的图。
发送的信息包含识别码,接收机能够根据其值来得知后续的部分的结构。例如,能够确常数据的长度、错误订正码的种类和/或长度、数据的分割点等。
由此,发送机能够根据发送机和/或通信路的性质来变更数据本体和/或错误订正码的种类和/或长度。此外,发送机通过除了发送机的ID之外,还发送内容ID,能够使接收机取得与内容ID相应的ID。
(实施方式12)在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图102是用来说明本实施方式的接收机的动作的图。
本实施方式中的接收机1210a,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210a基于通过该摄影而得到的帧,将针对该帧的处理切换为条码识别处理和可见光识别处理。这里,条码识别处理是指对通过低速的快门速度得到的帧所映现的条码进行解码的处理。可见光识别处理是指对通过高速的快门速度得到的帧所映现的上述的亮线的样式进行解码的处理。
这样的接收机1210a具备:影像输入部1211、条码/可见光识别部1212、条码识别部1212a、可见光识别部1212b和输出部1213。
影像输入部1211具备图像传感器,切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像可以作为帧而获得。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像可以作为帧而获得。
条码/可见光识别部1212通过判别由影像输入部1211得到的图像上是否显现有条码、或是否显现有亮线,来切换针对该图像的处理。例如,如果通过低速的快门速度的摄影得到的帧上显现有条码,则条码/可见光识别部1212使条码识别部1212a执行针对该图像的处理。另一方面,如果通过高速的快门速度的摄影得到的图像上显现有亮线,则条码/可见光识别部1212使可见光识别部1212b执行针对该图像的处理。
条码识别部1212a对通过低速的快门速度的摄影得到的帧上显现的条码进行解码。条码识别部1212a通过该解码取得条码的数据(例如条码识别码),并将该条码识别码向输出部1213输出。此外,条码既可以是一维码,也可以是二维码(例如,QR码(注册商标))。
可见光识别部1212b对通过高速的快门速度的摄影得到的帧上显现的亮线的样式进行解码。可见光识别部1212b通过该解码取得可见光的数据(例如可见光识别码),并将该可见光识别码向输出部1213输出。此外,可见光的数据是上述可见光信号。
输出部1213仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是条码的情况下,输出部1213显示条码。另外,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。并且,在取得了条码识别码的情况下,输出部1213从例如服务器等取得与该条码识别码相对应的信息,并显示该信息。另外,在取得了可见光识别码的情况下,输出部1213从例如服务器等取得与该可见光识别码相对应的信息,并显示该信息。
即,作为终端装置的接收机1210a具备图像传感器,一边将图像传感器的快门速度交替地切换为第1速度和比第1速度高速的第2速度,一边进行图像传感器的连续的摄影。并且,(a)在基于图像传感器的摄影的被拍摄对象是条码的情况下,接收机1210a利用快门速度为第1速度时的摄影,取得映现有条码的图像,并对该图像所映现的条码进行解码,由此,取得条码识别码。另外,(b)在基于图像传感器的摄影的被拍摄对象是光源(例如数字标牌等)的情况下,接收机1210a利用在快门速度是第2速度时的摄影,取得包含与图像传感器所含的多个曝光线的各个对应的亮线的图像即亮线图像。并且,接收机1210a通过对所取得的亮线图像所含的多个亮线的样式进行解码,取得可见光信号来作为可见光识别码。进而,该接收机1210a显示通过当快门速度是第1速度时的摄影得到的图像。
在这样的本实施方式的接收机1210a中,通过切换地进行条码识别处理和可见光识别处理,能够进行条码的解码,并且能够接收可见光信号。进而,通过切换,能够抑制消耗电力(功耗)。
本实施方式的接收机也可以与可见光处理同时地进行图像识别处理,而取代同时地进行条码识别处理。
图103A是用来说明本实施方式的接收机的另一动作的图。
本实施方式的接收机1210b,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210b针对通过该摄影得到的图像(帧),同时执行图像识别处理和上述可见光识别处理。图像识别处理是对通过低速的快门速度得到的帧所映现的被拍摄对象进行识别的处理。
这样的接收机1210b具备:影像输入部1211、图像识别部1212c、可见光识别部1212b和输出部1215。
影像输入部1211具备图像传感器,并且切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像作为帧而得到。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像作为帧而得到。
图像识别部1212c对通过低速的快门速度的摄影得到的帧所映现的被拍摄对象进行识别,并且确定该被拍摄对象在帧内的位置。图像识别部1212c,作为识别的结果,判断该被拍摄对象是否被作为AR(Augmented Reality;增强现实)的对象(以下,称为AR对象物)。并且,在判断为被拍摄对象是AR对象物时,图像识别部1212c生成用于显示与该被拍摄对象相关的信息的数据(例如,被拍摄对象的位置以及AR标记等)即图像识别数据,并将该AR标记向输出部1215输出。
输出部1215与上述输出部1213同样,仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。进而,当从图像识别部1212c取得图像识别数据时,输出部1215基于由图像识别数据表示的帧内的被拍摄对象的位置,将包围该被拍摄对象的白框状的指示器(indicator)重叠于该帧。
图103B是示出由输出部1215显示的指示器的例子的图。
输出部1215例如将包围构成为数字标牌的被拍摄对象的像1215a的白框状的指示器1215b重叠于帧。即,输出部1215显示表示被图像识别出的被拍摄对象的指示器1215b。进而,当从可见光识别部1212b取得可见光识别码时,输出部1215将该指示器1215b的颜色例如从白色变更为红色。
图103C是示出AR的显示例的图。
输出部1215还从例如服务器等取得与该可见光识别码相对应的、与被拍摄对象相关的信息作为关联信息。输出部1215对由图像识别数据表示的AR标记1215c记载关联信息,将记载有关联信息的AR标记1215c与帧内的被拍摄对象的像1215a相关联地显示。
在这样的本实施方式的接收机1210b中,通过同时地进行图像识别处理和可见光识别处理,能够实现利用了可见光通信的AR。此外,图103A所示的接收机1210a也可以与接收机1210b同样,显示图103B所示的指示器1215b。该情况下,当在通过低速的快门速度的摄影得到的帧中识别到条码时,接收机1210a显示包围该条码的白框状的指示器1215b。并且,若该条码被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。同样地,当在通过高速的快门速度的摄影得到的帧中识别到亮线的样式时,接收机1210a确定与存在该亮线的样式的部位对应的低速帧内的部位。例如,在数字标牌发送可见光信号的情况下,确定低速帧内的数字标牌的像。此外,低速帧是指通过低速的快门速度的摄影得到的帧。并且,接收机1210a将包围低速帧内确定出的部位(例如,上述数字标牌的像)的白框状的指示器1215b重叠于低速帧并进行显示。并且,若该亮线的样式被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。
图104A是用来说明本实施方式的发送机的一例的图。
本实施方式中的发送机1220a与发送机1230同步地发送可见光信号。即,发送机1220a在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。此外,发送机1230具备发光部1231,该发光部1231通过发生亮度变化来发送可见光信号。
这样的发送机1220a具备:受光部1221、信号解析部1222、发送时钟调整部1223a和发光部1224。发光部1224通过亮度变化发送与从发送机1230发送的可见光信号相同的可见光信号。受光部1221通过接受来自发送机1230的可见光,来从发送机1230接收可见光信号。信号解析部1222对通过受光部1221接收到的可见光信号进行解析,并将该解析结果向发送时钟调整部1223a发送。发送时钟调整部1223a基于该解析结果,来调整从发光部1224发送的可见光信号的定时。即,发送时钟调整部1223a调整发光部1224的亮度变化的定时,以使得从发送机1230的发光部1231发送可见光信号的定时与从发光部1224发送可见光信号的定时一致。
由此,能够使由发送机1220a发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上一致。
图104B是用来说明本实施方式的发送机的另一例的图。
本实施方式的发送机1220b与发送机1220a同样,与发送机1230同步地发送可见光信号。即,发送机1200b在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。
这样的发送机1220b具备:第1受光部1221a、第2受光部1221b、比较部1225、发送时钟调整部1223b以及发光部1224。
第1受光部1221a与受光部1221同样地,通过接受来自发送机1230的可见光,从该发送机1230接收可见光信号。第2受光部1221b接受来自发光部1224的可见光。比较部1225对通过第1受光部1221a接收到可见光的第1定时和通过第2受光部1221b接收到可见光的第2定时进行比较。并且,比较部1225将该第1定时与第2定时的差(即延迟时间)向发送时钟调整部1223b输出。发送时钟调整部1223b对从发光部1224发送的可见光信号的定时进行调整,以使得该延迟时间缩短。
由此,能够使由发送机1220b发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上更准确地一致。
此外,在图104A以及图104B所示的例子中,两个发送机发送相同可见光信号,但也可以发送不同的可见光信号。即,两个发送机当发送相同可见光信号时,如上述那样取得同步并发送。并且,两个发送机当发送不同的可见光信号时,仅两个发送机中的一方的发送机发送可见光信号,在此期间,另一方的发送机一样地点亮或熄灭。之后,一方的发送机一样地点亮或熄灭,在此期间,仅另一方的发送机发送可见光信号。此外,两个发送机也可以同时地发送相互不同的可见光信号。
图105A是用来说明本实施方式的多个发送机的同步发送的一例的图。
如图105A所示那样,本实施方式的多个发送机1220例如排列成一列。此外,这些发送机1220具有与图104A所示的发送机1220a或图104B所示的发送机1220b相同的结构。这样的多个发送机1220的每一个与左右相邻的发送机1220中的一方的发送机1220同步地发送可见光信号。
由此,许多发送机能够将可见光信号同步地发送。
图105B是用来说明本实施方式的多个发送机的同步发送的一例的图。
本实施方式中的多个发送机1220中的一个发送机1220成为用于取得可见光信号的同步的基准,其余的多个发送机1220按照该基准发送可见光信号。
由此,许多发送机能够将可见光信号更准确地同步地发送。
图106是用来说明本实施方式的多个发送机的同步发送的另一例的图。
本实施方式的多个发送机1240的每一个接收同步信号,与该同步信号相应地发送可见光信号。由此,从多个发送机1240的每一个同步地发送可见光信号。
具体而言,多个发送机1240的每一个具备:控制部1241、同步控制部1242、光耦合器1243、LED驱动电路1244、LED1245和光电二极管1246。
控制部1241接收同步信号,并将该同步信号向同步控制部1242输出。
LED1245是发出可见光的光源,根据LED驱动电路1244的控制而进行亮灭(即亮度变化)。由此,可见光信号从LED1245被发送至发送机1240之外。
光耦合器1243将同步控制部1242与LED驱动电路1244之间进行电绝缘,并且在其间传递信号。具体而言,光耦合器1243将从同步控制部1242发送的下述的发送开始信号向LED驱动电路1244传递。
LED驱动电路1244若从同步控制部1242经由光耦合器1243接收到发送开始信号,则在接收到该发送开始信号的定时,使LED1245开始可见光信号的发送。
光电二极管1246检测从LED1245发出的可见光,并将表示检测到可见光的检测信号向同步控制部1242输出。
同步控制部1242若从控制部1241接收到同步信号,则将发送开始信号经由光耦合器1243向LED驱动电路1244发送。通过发送该发送开始信号,而开始可见光信号的发送。另外,同步控制部1242若通过该可见光信号的发送而从光电二极管1246接收到检测信号,则算出作为接收到该检测信号的定时与从控制部1241接收到同步信号的定时之差的延迟时间。同步控制部1242若从控制部1241接收到下一个同步信号,则基于该算出的延迟时间,来调整发送下一个发送开始信号的定时。即,同步控制部1242对发送下一个发送开始信号的定时进行调整,以使得针对下一个同步信号的延迟时间成为预先决定的设定延迟时间。由此,同步控制部1242在该调整后的定时,发送下一个发送开始信号。
图107是用来说明发送机1240的信号处理的图。
同步控制部1242当接收到同步信号时,生成在预定的定时产生延迟时间设定脉冲的延迟时间设定信号。此外,具体而言,接收同步信号是指接收同步脉冲。即,同步控制部1242生成延迟时间设定信号以使得:在从同步脉冲的下降开始经过了上述设定延迟时间的定时,延迟时间设定脉冲上升。
并且,同步控制部1242在从同步脉冲的下降开始延迟了上次得到的补正值N的定时将发送开始信号经由光耦合器1243向LED驱动电路1244发送。结果,通过LED驱动电路1244从LED1245发送可见光信号。这里,同步控制部1242在从同步脉冲的下降开始延迟了固有延迟时间和补正值N的和的定时,从光电二极管1246接收检测信号。即,从该定时开始可见光信号的发送。以下,将该定时称为发送开始定时。此外,上述固有延迟时间是起因于光耦合器1243等的电路的延迟时间,是即便同步控制部1242接收到同步信号就马上发送发送开始信号也会产生的延迟时间。
同步控制部1242确定从发送开始定时到延迟时间设定脉冲的上升为止的时间差来作为修正补正值N。并且,同步控制部1242利用补正值(N+1)=补正值N+修正补正值N算出补正值(N+1)并加以保持。由此,同步控制部1242在接收到下一个同步信号(同步脉冲)时,在从该同步脉冲的下降开始延迟了补正值(N+1)的定时将发送开始信号向LED驱动电路1244发送。此外,修正补正值N不仅可以是正值,也可以成为负值。
由此,多个发送机1240的每一个,在从接收同步信号(同步脉冲)开始经过设定延迟时间后发送可见光信号,因此,能够正确地同步地发送可见光信号。即,在多个发送机1240的每一个中,即便起因于光耦合器1243等的电路的固有延迟时间存在偏差,也能够不受该偏差的影响地,正确地使来自多个发送机1240的每一个的可见光信号的发送同步。
此外,LED驱动电路是消耗大功率的电路,要使用光耦合器等与处理同步信号的控制电路电绝缘。因此,在使用这样的光耦合器的情况下,由于上述的固有延迟时间的偏差,难以使来自多个发送机的可见光信号的发送同步。但是,在本实施方式的多个发送机1240中,利用光电二极管1246检测LED1245的发光定时,利用同步控制部1242检测来自同步信号的延迟时间,将该延迟时间调整为成为预先设定的延迟时间(上述设定延迟时间)。由此,即便各个例如构成为LED照明的多个发送机所具备的光耦合器存在个体偏差,也能够以高精度地同步的状态从多个LED照明发送可见光信号(例如可见光ID)。
此外,对于可见光信号发送期间以外,既可以使LED照明点亮,也可以使其熄灭。在所述可见光信号发送期间以外使之点亮的情况下,检测可见光信号的最初的下降沿即可。在所述可见光信号发送期间以外使之熄灭的情况下,检测可见光信号的最初的上升沿即可。
此外,在上述的例子中,发送机1240每当接收同步信号时就发送可见光信号,但是,即便未接收同步信号,也可以发送可见光信号。即,发送机1240如果与同步信号的接收相应地发送一次可见光信号,则即便未接收到同步信号也可以依次发送可见光信号。具体而言,发送机1240可以针对同步信号的一次接收,依次进行2次~几千次的可见光信号的发送。另外,发送机1240也可以以每100m秒1次的比例或每数秒1次的比例进行与同步信号相应的可见光信号的发送。
另外,当反复进行与同步信号对应的可见光信号的发送时,存在由于上述的设定延迟时间而使LED1245的发光连续性丧失的可能性。即存在产生稍长的消隐期间的可能性。其结果,存在产生LED1245的闪烁会被人视觉辨认的所谓的闪光(flicker)的可能性。于是,发送机1240也可以以60Hz以上的周期进行与同步信号相应的可见光信号的发送。由此,闪烁会高速地进行,该闪烁会难以被人视觉辨认。其结果,能够抑制闪光的产生。或者,发送机1240也可以以例如每几分钟1次的周期等足够长的周期,进行与同步信号对应的可见光信号的发送。由此,闪烁虽然会被人视觉辨认,但是能够防止闪烁反复连续地被视觉辨认,能够减轻闪光带给人的不舒适感。
(接收方法的前处理)
图108是示出本实施方式的接收方法的一例的流程图。另外,图109是用来说明本实施方式的接收方法的一例的说明图。
首先,接收机计算排列在与曝光线平行的方向上的多个像素的各自的像素值的平均值(步骤S1211)。根据中心极限定理,当对N个像素的像素值进行平均时,则噪声量的期待值成为N的-1/2次幂,SN比得以改善。
接着,接收机仅留存在所有颜色的每一种颜色中像素值在垂直方向上发生相同变化的部分,在发生不同变化的部分中,去除像素值的变化(步骤S1212)。在利用发送机所具备的发光部的亮度表现发送信号(可见光信号)的情况下,作为发送机的照明和/或显示器的背光源的亮度变化。此时,如图109的(b)的部分所示,在所有颜色的各个中像素值向相同方向变化。图109的(a)以及(c)的部分中,在各颜色中像素值发生不同的变化。在这些部分中,由于接收噪声或者显示器或标牌的画面,像素值发生变动,因此,通过去除这些变动,能够改善SN比。
接着,接收机求取亮度值(步骤S1213)。亮度难以受到基于颜色的变化,因此,能够排除显示器或标牌的画面的影响,能够改善SN比。
接着,接收机对亮度值施加低通滤波(步骤S1214)。在本实施方式的接收方法中,施加基于曝光时间的长度的移动平均滤波,因此,在高频区域几乎不含有信号,噪声处于支配地位。因此,通过使用将高频区域去除的低通滤波,能够改善SN比。在直至曝光时间的倒数为止的之前的频率,信号成分多,因此,通过切断这以上的频率,能够提高SN比的改善效果。在信号所含的频率成分有限的情况下,通过切断比该频率高的频率,能够改善SN比。不含频率振动成分的滤波(巴特沃斯滤波等)适于低通滤波。
(基于卷积最大似然解码的接收方法)
图110是示出本实施方式的接收方法的另一例的流程图。以下,使用该图,针对曝光时间比发送周期长的情况下的接收方法进行说明。
在曝光时间是发送周期的整数倍的情况下,能够进行精度最佳的接收。即便在不是整数倍的情况下,只要是(N±0.33)倍(N为整数)程度的范围,则能够进行接收。
首先,接收机将发送接收偏移量设定为0(步骤S1221)。发送接收偏移量是指用于修正发送定时与接收定时的偏差的值。由于该偏差是不明确的,因此,接收机一点点地使成为该发送接收偏移量的候选的值变化,并将最合理的值采用为发送接收偏移量。
接着,接收机判定发送接收偏移量是否小于发送周期(步骤S1222)。这里,由于接收的周期和发送周期不同步,因此,不一定得到与发送周期相匹配的接收值。因此,接收机若在步骤S1222中判定为小于发送周期(步骤S1222的“是”),则使用其邻近的接收值,按每个发送周期,通过插补来计算与发送周期相匹配的接收值(例如像素值)(步骤S1223)。插补方法可以使用线性插补、最邻近值或样条插补等。然后,接收机求出按每个发送周期求出的接收值的差分(步骤S1224)。
接收机在发送接收偏移量上加上预定值(步骤S1226),重复执行从步骤S1222开始的处理。另外,接收机若在步骤S1222中判定为不是小于发送周期(步骤S1222的“否”),则确定针对各发送接收偏移量计算出的接收信号的似然度中的最高似然度。并且,接收机判定该最高似然度是否为预定值以上(步骤S1227)。若判定为预定值以上(步骤S1227的“是”),则接收机将似然度最高的接收信号作为最终的推测结果来使用。或者,接收机将具有从最高的似然度减去预定值而得的值以上的似然度的接收信号用作接收信号候选(步骤S1228)。另一方面,在步骤S1227中,若判定为最高似然度为小于预定值(步骤S1227的“否”),则接收机丢弃推测结果(步骤S1229)。
在噪声过多的情况下,多会无法适当地进行接收信号的推测,同时,似然度会变低。因此,在似然度低的情况下,通过丢弃推测结果,能够使接收信号的可靠性提高。另外,在输入图像中不含有效的信号的情况下,最大似然解码存在会输出有效的信号来作为推测结果这一问题。但是,在该情况下,由于似然度会变低,因此,在似然度低的情况下,通过丢弃推测结果,也能够回避该问题。
(实施方式13)
在本实施方式中,对可见光通信的协议发送方式进行说明。
(多值振幅脉冲信号)
图111、图112以及图113是示出本实施方式的发送信号的一例的图。
通过使脉冲的振幅具有含义,能够在每单位时间表现更多的信息。例如,若将振幅分类为3等级,则如图111所示,能够在平均亮度保持为50%不变的情况下,以2个时隙的发送时间表现3个值。但是,当连续发送图111的(c)时,没有亮度变化,因此,难以知道信号的存在。另外,在数字处理中,3个值有些难以处理。
于是,通过使用图112的(a)至(d)的4种码元,能够在平均亮度保持为50%不变的情况下,以平均3个时隙的发送时间表现4个值。虽然由于码元不同而发送时间不同,但是,通过将码元的最后状态设为亮度低的状态,能够识别码元的结束时间点。即便将亮度高的状态和亮度低的状态调换,也能得到同样的效果。图112的(e)难以与发送2次的(a)相区别,因此不适合。图112的(f)和(g)的中间亮度连续,因此,虽然稍难以识别,但是能够利用。
考虑将图391的(a)、(b)的样式作为头来利用。由于这些样式在频率解析中显著地具有特定频率成分,因此,通过将这些样式作为头,能够通过频率解析进行信号检测。
如图113的(c)所示,使用(a)、(b)的样式构成发送数据包。通过将特定长度的样式作为数据包整体的头,将不同的长度的样式作为分隔使用,能够划分数据。另外,通过在中途的部位包含该样式,能够使信号容易检测。由此,即便在1数据包比1帧的图像的摄像时间长的情况下,接收机能够将数据接合在一起来解码。另外,由此,通过调整分隔的数量,能够将数据包的长度设为可变。也可以利用数据包头的样式的长度来表现数据包整体的长度。另外,通过将分隔作为数据包头,将分隔的长度作为数据的地址,接收机能够对部分地接收到的数据进行合成。
发送机反复发送这样构成的数据包。图113的(c)的数据包1~4的内容既可以完全相同,也可以作为不同的数据在接收侧进行合成。
(实施方式14)
在本实施方式中,对使用了上述各实施方式中的智能电话等接收机和作为LED、有机EL的闪烁样式来发送信息的发送机的各应用例进行说明。
图114A是用来说明本实施方式的发送机的图。
本实施方式的发送机例如构成为液晶显示器的背光源,具备蓝色LED2303和包括绿色荧光成分2304和红色荧光成分2305的荧光体2310。
蓝色LED2303发出蓝色(B)的光。荧光体2310在接受从蓝色LED2303发出的蓝色的光作为激发光时呈黄色(Y)地发光。即,荧光体2310发出黄色的光。详细而言,荧光体2130由于包括绿色荧光成分2304和红色荧光成分2305,所以通过这些荧光成分的发光而发出黄色的光。这2个荧光成分中的绿色荧光成分2304在接受从蓝色LED2303发出的蓝色的光作为激发光时,呈绿色地发光。即,绿色荧光成分2304发出绿色(G)的光。上述2个荧光成分中的红色荧光成分2305在接受从蓝色LED2303发出的蓝色的光作为激发光时,呈红色地发光。即,红色荧光成分2305发出红色(R)的光。由此,发出RGB或者Y(RG)B的各个光,所以发送机输出白色光作为背光源。
该发送机通过使蓝色LED2303与上述各实施方式同样地发生亮度变化,来发送白色光的可见光信号。此时,通过白色光的亮度发生变化,来输出具有预定的输送频率的可见光信号。
这里,条码阅读器向条码照射红色激光,基于从条码反射的红色激光的亮度变化,来读取该条码。该红色激光的条码的读取频率有时与从当前实用化的一般的发送机输出的可见光信号的输送频率一致或者近似。因此,在这样的情况下,条码阅读器有时在想要读取被来自该一般的发送机的可见光信号即白色光照射的条码时,有时因该白色光所包含的红色的光的亮度变化,该读取失败。即,因可见光信号(尤其是红色的光)的输送频率与条码的读取频率的干涉,产生条码的读取错误。
于是,本实施方式的红色荧光成分2305中,使用残光的持续时间比绿色荧光成分2304长的荧光材料。即,本实施方式的红色荧光成分2305以比蓝色LED2303和绿色荧光成分2304的亮度变化的频率足够低的频率发生亮度变化。换言之,红色荧光成分2305比可见光信号所包含的红色的亮度变化的频率慢。
图114B是表示RGB各自的亮度变化的图。
来自蓝色LED2303的蓝色的光如图114B的(a)所示那样,包含于可见光信号而被输出。绿色荧光成分2304如图114B的(b)所示那样,在接受来自蓝色LED2303的蓝色的光时,发出绿色光。该绿色荧光成分2304的残光的持续时间短。因此,在该蓝色LED2303发生亮度变化时,绿色荧光成分2304发出以与该蓝色LED2303的亮度变化的频率(即可见光信号的输送频率)大致相同的频率进行亮度变化的绿色的光。
红色荧光成分2305如图114B的(c)所示那样,在接受来自蓝色LED2303的蓝色的光时,发出红色光。该红色荧光成分2305的残光的持续时间长。因此,在该蓝色LED2303发生亮度变化时,红色荧光成分2305发出以比该蓝色LED2303的亮度变化的频率(即可见光信号的输送频率)低的频率进行亮度变化的红色的光。
图115是表示本实施方式的绿色荧光成分2304和红色荧光成分2305的残光特性的图。
绿色荧光成分2304在例如蓝色LED2303不发生亮度变化地点亮的情况下,不发生亮度变化地发出强度I=I0的绿色的光(即亮度变化的频率f=0的光)。此外,即使蓝色LED2303以低频率发生亮度变化,绿色荧光成分2304也发出以与该低频率大致相同频率f发生亮度变化的强度I=I0的绿色的光。但是,在蓝色LED2303以高频率发生亮度变化时,以与该高频率大致相同频率f发生亮度变化的从绿色荧光成分230发出的绿色的光的强度I因绿色荧光成分2304的残光的影响,而变得比强度I0小。结果,从绿色荧光成分2304发出的绿色的光的强度I如图115的虚线所示那样,在该光的亮度变化的频率f不足阈值fb的情况下,保持为I=I0,但在频率f超过阈值fb而变高时,逐渐变小。
此外,本实施方式的红色荧光成分2305的残光的持续时间比绿色荧光成分2304的残光的持续时间长。因此,从红色荧光成分2305发出的红色的光的强度I如图115的实线所示那样,该光的亮度变化的频率f在不足比上述阈值fb低的阈值fa时,保持I=I0,但在频率f超过阈值fb而变高时,逐渐变小。换言之,从红色荧光成分2305发出的红色的光不存在于从绿色荧光成分2304发出的绿色的光的频带中的高频区域,而是仅存在于低频区域。
更具体而言,本实施方式的红色荧光成分2305中,使用以与可见光信号的输送频率f1相同的频率f发出的红色的光的强度I成为I=I1的荧光材料。输送频率f1是发送机所具备的蓝色LED2303的亮度变化的输送频率。此外,上述的强度I1是强度I0的1/3的强度或者强度I0的-10dB的强度。例如,输送频率f1是10kHz或者5~100kHz。
即,本实施方式的发送机是发送可见光信号的发送机,具备:蓝色LED,其将发生亮度变化的蓝色的光作为上述可见光信号所包含的光而发出;绿色荧光成分,其通过接受上述蓝色的光而将绿色的光作为上述可见光信号所包含的光发出;以及红色荧光成分,其通过接受上述蓝色的光而将红色的光作为上述可见光信号所包含的光而发出。并且,上述红色荧光成分的残光的持续时间比绿色荧光成分的残光的持续时间长。另外,上述绿色荧光成分和上述红色荧光成分也可以包含于通过接受上述蓝色的光而将黄色的光作为上述可见光信号所包含的光而发出的单一荧光体。或者,也可以是,上述绿色荧光成分包含于绿色荧光体,且上述红色荧光成分包含于与上述绿色荧光体相独立的红色荧光体。
由此,红色荧光成分的残光的持续时间长,所以能够使红色的光以比蓝色和绿色的光的亮度变化的频率低的频率发生亮度变化。因此,即使白色光的可见光信号所包含的蓝色和绿色的光的亮度变化的频率与红色激光的条码的读取频率相同或者近似,也能够使白色光的可见光信号所包含的红色的光的频率与条码的读取频率大不相同。结果,能够抑制条码的读取错误的产生。
这里,上述红色荧光成分也可以发出以比从蓝色LED发出的光的亮度变化的频率低的频率发生亮度变化的红色的光。
此外,上述红色荧光成分也可以具备通过接受蓝色的光而发出红色的光的红色荧光材料和仅使预定的频带的光透射的低频滤光器。例如,上述低频滤光器仅使从上述蓝色LED发出的蓝色的光中的低域的频带的光透射而抵达上述红色荧光材料。另外,上述红色荧光材料也可以具有与上述绿色荧光成分相同的残光特性。或者,上述低频滤光器仅使通过从所述蓝色LED发出的蓝色的光抵达上述红色荧光材料而从上述红色荧光材料发出的红色的光中的低域的频带的光透射。在使用这样的低频滤光器的情况下,也能够与上述同样,抑制条码的读取错误的产生。
此外,上述红色荧光成分也可以包括具有预先确定的残光特性的荧光材料。例如,预先确定的残光特性是如下特性,在(a)将从上述红色荧光成分发出的红色的光的亮度变化的频率f为0的情况下的上述红色的光的强度设为I0,(b)将从上述蓝色LED发出的光的亮度变化的输送频率设为f1的情况下,在上述红色的光的频率f成为f=f1时,上述红色的光的强度成为上述I0的1/3以下或者-10dB以下。
由此,能够使可见光信号所包含的红色的光的频率与条码的读取频率切实地大不相同。结果,能够切实地抑制条码的读取错误的产生。
此外,所述输送频率f1也可以是大致10kHz。
由此,因为当前实用化的可见光信号的发送所使用的输送频率为9.6kHz,所以在该实用化的可见光信号的发送中,能够有效地抑制条码的读取错误的产生。
此外,所述输送频率f1也可以是大致5~100kHz。
因接收可见光信号的接收机的图像传感器(摄像元件)的进步,在今后的可见光通信中,设想会使用20kHz、40kHz、80kHz或者100kHz等的输送频率。因此,通过将上述的输送频率f1设为大致5~100kHz,在今后的可见光通信中,也能够有效地抑制条码的读取错误的产生。
此外,在本实施方式中,不管是绿色荧光成分和红色荧光成分包含于单一荧光体,还是这2个荧光成分分别包含于独立的荧光体,都能够起到上述各效果。即,即使在使用单一荧光体的情况下,从该荧光体发出的红色的光和绿色的光各自的残光特性、即频率特性也是不同的。因此,通过使用红色的光的残光特性或者频率特性差、绿色的光的残光特性或者频率特性优的单一荧光体,也能够起到上述各效果。另外,残光特性或者频率特性差是指残光的持续时间长或者高频带下的光的强度弱,残光特性或者频率特性优,是指残光的持续时间短或者高频带下的光的强度强。
这里,在图114A~图115所示的例子中,通过使可见光信号所包含的红色的亮度变化的频率慢,抑制了条码的读取错误的产生,但也可以通过提高可见光信号的输送频率,来抑制该读取错误的产生。
图116是用来说明为了抑制条码的读取错误的产生而新产生的课题的图。
如图116所示那样,在可见光信号的输送频率fc为约10kHz的情况下,条码的读取所使用的红色激光的读取频率也为约10~20kHz,所以彼此的频率会干涉,产生条码的读取错误。
于是,通过将可见光信号的输送频率fc从约10kHz提高到例如40kHz,能够抑制条码的读取错误的产生。
但是,若可见光信号的输送频率fc为约40kHz,则用于接收机通过摄影而对可见光信号进行采样的采样频率fs需要是80kHz以上。
即,因为在接收机中所需的采样频率fs高,所以产生接收机的处理负担增大这一新的课题。于是,为了解决该新的课题,本实施方式的接收机进行下采样(down sampling)。
图117是用来说明由本实施方式的接收机进行的下采样的图。
本实施方式的发送机2301构成为例如液晶显示器、数字标牌或者照明设备。并且,发送机2301输出频率调制后的可见光信号。此时,发送机2301将该可见光信号的输送频率fc切换成例如40kHz和45kHz。
本实施方式的接收机2302以例如30fps的帧速率摄影该发送机2301。此时,接收机2302与上述各实施方式的接收机同样地,以在通过摄影而得到的各图像(具体而言各帧)中产生亮线的方式,以短的曝光时间进行摄影。此外,接收机2302的摄影所使用的图像传感器中存在例如1000个曝光线。因此,在1帧的摄影中,通过1000个曝光线分别在不同的定时开始曝光,对可见光信号进行采样。结果,在1秒内,进行30fps×1000个=30000次的采样(30ks/秒)。换言之,可见光信号的采样频率fs成为30kHz。
按照一般的采样定理,在采样频率fs=30kHz下,仅能调解15kHz以下的输送频率的可见光信号。
但是,本实施方式的接收机2302在采样频率fs=30kHz下对输送频率fc=40kHz或者45kHz的可见光信号进行下采样。通过该下采样,虽然帧中产生混叠(alias),但本实施方式的接收机2302通过观察和分析该混叠,来推测可见光信号的输送频率fc。
图118是表示本实施方式的接收机2302的处理动作的流程图。
首先,接收机2302通过对被拍摄对象进行摄影,来对输送频率fc=40kHz或者45kHz的可见光信号,进行采样频率fs=30kHz的下采样(步骤S2310)。
接着,接收机2302观察和分析通过该下采样而得到的帧中产生的混叠(步骤S2311)。由此,接收机2302将该混叠的频率确定为例如5.1kHz或者5.5kHz。
然后,接收机2302基于该确定出的混叠的频率,来推测可见光信号的输送频率fc(步骤S2311)。即,接收机2302从混叠复原原来的频率。由此,接收机2302将可见光信号的输送频率fc推测为例如40kHz或者45kHz。
这样,本实施方式的接收机2302通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。例如,即使采样频率为fs=30kHz,接收机2302也能够接收30kHz~60kHz的输送频率的可见光信号。因此,能够将可见光信号的输送频率从当前实用化的频率(约10kHz)提高到30kHz~60kHz。结果,能够使可见光信号的输送频率与条码的读取频率(10~20kHz)大不相同,抑制彼此的频率的干涉。结果,能够抑制条码的读取错误的产生。
这样的本实施方式的接收方法是从被拍摄对象取得信息的接收方法,包括:曝光时间设定步骤,以在图像传感器对上述被拍摄对象的摄影而得到的帧中与上述被拍摄对象的亮度变化相应地产生与上述图像传感器所包含的多个曝光线对应的多个亮线的方式,设定上述图像传感器的曝光时间;摄影步骤,通过上述图像传感器所包含的上述多个曝光线分别反复依次在不同的时刻开始曝光,上述图像传感器以预定的帧速率且以所设定的上述曝光时间对发生亮度变化的上述被拍摄对象进行摄影;以及信息取得步骤,在通过上述摄影而得到的每个帧,通过对根据该帧所包含的上述多个亮线的样式而确定的数据进行解调,来取得信息。并且,在上述摄影步骤中,通过上述多个曝光线分别反复依次在不同的时刻开始曝光,以比通过上述被拍摄对象的亮度变化而发送的可见光信号的输送频率低的采样频率,对上述可见光信号进行下采样,在上述信息取得步骤中,在通过上述摄影而得到的每个帧,对根据该帧所包含的上述多个亮线的样式而确定的混叠的频率进行确定,根据确定出的上述混叠的频率来推测上述可见光信号的频率,通过对推测出的上述可见光信号的频率进行解调来取得上述信息。
在这样的接收方法中,通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。
此外,在上述下采样中,也可以对比30kHz高的输送频率的可见光信号进行下采样。由此,能够避免可见光信号的输送频率与条码的读取频率(10~20kHz)的干涉,能够更有效地抑制条码的读取错误。
(实施方式15)
图119是表示接收装置(摄像装置)的处理动作的图。具体而言,图119是用来对接收可见光通信的情况下通常摄像模式和微距(macro)摄像模式的切换处理的一例进行说明的图。
这里,接收装置1610接收由多个光源(在图119中,4个光源)构成的发送装置所发出的可见光。
首先,接收装置1610在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部(S1601)。另外,接收装置1610在转变为了进行可见光通信的模式的情况下,将摄像光源的框1611显示于画面。
在预定时间之后,接收装置1610将摄像部的摄像模式切换成微距摄像模式(S1602)。此外,从步骤S1601向步骤S1602切换的定时也可以不是步骤S1601后的预定时间,而是在判定为接收装置1610以光源处于框1611内的方式进行了摄像时。若这样切换成微距摄像模式,则用户只要在通过微距摄像模式而图像模糊前的通常摄像模式下的清楚的图像中使光源处于框1611内即可,因此能够容易地使光源处于框1611内。
接着,接收装置1610判定是否接收到了来自光源的信号(S1603)。若判定为接收到了来自光源的信号(在S1603中的“是”),则返回步骤S1601的通常摄像模式,若判定为没有接收到来自光源的信号(在S1603中的“否”),则持续步骤1602的微距摄像模式。另外,在步骤S1603中为“是”的情况下,也可以进行基于接收到的信号的处理(例如,显示所接收到的信号所表示的图像的处理)。
根据该接收装置1610,通过用户用手指触摸智能电话的光源1611的显示部来从通常摄像模式切换成微距摄像模式,由此能够在模糊的状态下拍摄多个光源。因而,在以微距摄像模式拍摄的图像中,包含大量比以通常摄像模式摄像的情况下的图像亮的区域。尤其是,在多个光源中相邻的2个光源之间,来自2个光源的光重叠,所以如图119的(a)的左图所示那样条纹状的影像离开,所以能够将不能作为连续信号接收这一课题作为用于成为右图那样连续的条纹的连续接收信号而进行解调。因为能够一次接收较长的码,所以具有响应时间变短这一效果。如图119的(b)所示,若首先以通常快门和通常焦点来对摄影图像进行摄影,则可得到美丽的通常的图像。但是,若如文字那样光源离开,则即使使快门高速化也不能得到连续数据,所以不能解调。接着,若使快门高速化并且将透镜的焦点用驱动部设为近距离(微距),则光源会模糊而扩开,所以4个光源相连,能够接收数据。接着若返回焦点,使快门速度返回通常,则可得到原来的美丽的图像。如(c)那样,在显示部中,将美丽的图像记录于存储器并进行显示,具有在显示部仅显示美丽的图像这一效果。与以通常摄像模式拍摄的图像相比,以微距摄像模式拍摄的图像中能够包括更多比预定的明亮度亮的区域。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成亮线的曝光线的数量。
图120是表示接收装置(摄像装置)的处理动作的图。具体而言,图120是用来对接收可见光通信的情况下的通常摄像模式和微距摄像模式的切换处理的另一例进行说明的图。
这里,接收装置1620接收从由多个光源(在图120中,4个光源)构成的发送装置所发出的可见光。
首先,接收装置1620在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部,摄像比接收装置1620的画面所显示的图像1622广的范围的图像1623。然后,将表示所拍摄的图像1623的图像数据和拍摄该图像1623时的接收装置1620的由陀螺仪传感器、地磁传感器以及加速度传感器检测到的表示接收装置1620的姿势的姿势信息保持于存储器(S1611)。另外,拍摄到的图像1623是以接收装置1620的画面所显示的图像1622为基准而在上下方向以及左右方向上大出预定的宽度的范围的图像。此外,接收装置1620在转变为了进行可见光通信的模式的情况下,将摄像光源的框1621显示于画面。
在预定时间之后,接收装置1620将摄像部的摄像模式切换为微距摄像模式(S1612)。另外,从步骤S1611向步骤S1612切换的定时可以不是步骤S1611后的预定时间,而是摄像图像1623并判断为表示所拍摄的图像1623的图像数据保持于存储器时。此时,接收装置1620基于保持于存储器的图像数据来显示图像1623中与接收装置1620的画面尺寸对应的尺寸的图像1624。
另外,此时接收装置1620所显示的图像1624是图像1623中一部分的图像,是根据由在步骤S1611中取得的姿势信息表示的接收装置1620的姿势(由空心虚线表示的位置)与当前的接收装置1620的姿势的差量而预测为当前的由接收装置1620摄像的区域的图像。即,图像1624是图像1623中一部分的图像,是与实际以微距摄像模式拍摄的图像1625的摄像对象对应的区域的图像。即,在步骤S1612中,取得从步骤S1611的时刻起变化了的姿势(摄像方向),根据取得的当前的姿势(摄像方向)来确定被推测为当前拍摄着的摄像对象,根据预先拍摄的图像1623来确定与当前的姿势(摄像方向)相应的图像1624,进行显示图像1624的处理。因而,接收装置1620如图120的图像1623所示,在接收装置1620从以空心虚线表示的位置向空心箭头的方向移动了的情况下,能够根据该移动量决定从图像1623裁出的图像1624的区域,显示所决定的区域的图像1623即图像1624。
由此,接收装置1620即使在以微距摄像模式摄像的情况下,也能够不显示以微距摄像模式拍摄的图像1625,而显示从更清楚的以通常摄像模式拍摄的图像1623中根据当前的接收装置1620的姿势而裁出的图像1624。在从焦点模糊了的图像离开距离的多个光源得到连续的可见光信息的同时、使显示部显示所存储的通常面像的本发明的方式中,预想到会产生如下课题,在用户使用智能电话来摄影时,会产生手抖动,实际的摄影图像与从存储器显示的静止图像的方向会偏离,用户难以将方向对准作为目标的光源。在该情况下,变得不能接收来自光源的数据,所以需要采取对策。但是,根据改良后的本发明,即使手抖动,通过图像摆动检测单元和/或每个振动陀螺仪的摆动检测单元,来检测手抖动,静止图像中的目标图像被向预定的方向位移,而用户会知道与摄像头的方向的偏离。通过该显示,用户变得能够将摄像头朝向作为目标的光源,所以能够将一边显示通常图像一边分割的多个光源光学连结地进行摄影,能够连续地接收信号。由此,能够在使通常图像显示之后接收分割成多个的光源。在该情况下,能够容易地以多个光源与框1621相对的方式调整接收装置1620的姿势。另外,在使焦点模糊的情况下,光源被分散,所以等价地亮度下降,通过提升摄像头的ISO等的感光度,具有能够更可靠地接收可见光数据这一效果。
接着,接收装置1620判定是否接收到了来自光源的信号(S1613)。若判定为接收到了来自光源的信号(在S1613中的“是”),则返回步骤S1611的通常摄像模式,若判定为没有接收到来自光源的信号(在S1613中的“否”),则持续步骤1612的微距摄像模式。此外,也可以在步骤S1613中为“是”的情况下,进行基于所接收到的信号的处理(例如,显示由所接收的信号表示的图像的处理)。
在该接收装置1620中也与接收装置1610同样,在微距摄像模式中能够拍摄包含更亮的区域的图像。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成的亮线的曝光线的数量。
图121是表示接收装置(摄像装置)的处理动作的图。
此处,发送装置1630例如是电视机等显示装置,以预定时间间隔Δ1630通过可见光通信来发送不同的发送ID。具体而言,在时刻t1631、t1632、t1633、t1634,分别发送作为与所显示的图像1631、1632、1633、1634对应的数据分别相关联的发送ID的ID1631、ID1632、ID1633、ID1634。即,从发送装置1630,以预定时间间隔Δt1630依次发送ID1631~ID1634。
接收装置1640基于通过可见光通信而接收到的发送ID向服务器1650请求与各发送ID相关联的数据,从服务器接收数据,显示与该数据对应的图像。具体而言,分别在时刻t1631、t1632、t1633、t1634显示与ID1631、ID1632、ID1633、ID1634分别对应的图像1641、1642、1643、1644。
接收装置1640也可以在取得了在时刻t1631接收到的ID1631的情况下,从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送ID的ID信息。在该情况下,接收装置1640通过使用所取得的ID信息,即使不每次都从发送装置1630接收发送ID,也能够向服务器1650请求与在时刻t1632~t1634的ID1632~ID1634相关联的数据,在各时刻t1632~t1634显示所接收到的数据。
此外,接收装置1640即使不从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送ID的信息,若在时刻t1631请求与ID1631对应的数据,则从服务器1650接收与在其后的时刻t1632~t1634对应的发送ID相关联的数据,在各时刻t1632~t1634显示所接收到的数据。即,服务器1650在从接收装置1640接收到了与在时刻t1631发送的ID1631相关联的数据的请求的情况下,即使不存在来自接收装置1640的请求,也在各时刻t1632~t1634对接收装置1640发送与对应于其后的时刻t1632~t1634的发送ID相关联的数据。即,在该情况下,服务器1650保持将各时刻t1631~1634和与对应于各时刻t1631~1634的发送ID相关联的数据建立了关联的相关联信息,基于相关联信息,在预定的时刻发送与该预定的时刻相关联的预定的数据。
这样,接收装置1640若能够在时刻t1631通过可见光通信取得发送ID1631,则在其后的时刻t1632~t1634,即使不进行可见光通信,也能够从服务器1650接收与各时刻t1632~t1634对应的数据。因而,用户不需要为了通过可见光通信来取得发送ID而将接收装置1640持续地朝向发送装置1630,能够容易地使接收装置1640显示从服务器1650取得的数据。在该情况下,接收装置1640在每次从服务器取得与ID对应的数据时,会产生来自服务器的时间延迟而响应时间变长。因此,为了使响应加快,从服务器等预先将与ID对应的数据存储于接收机的存储部,通过显示存储部中的与ID对应的数据,能够使响应时间加快。在该方式中,若对来自可见光发送机的发送信号预先加入输出下一ID的时间信息,则接收机侧即使不连续地接收可见光信号,在到了该时间时,也能够知晓下一ID的发送时间,所以具有无需将接收装置一直朝向光源的方向这一效果。该方式具有如下效果:在接收到可见光时,仅通过将发送机侧的时间信息(时钟)与接收机侧的时间信息(时钟)同步,即使在同步后不接收发送机的数据,也能够连续地显示与发送机同步了的画面。
此外,在上述的例子中,接收装置1640在时刻t1631、t1632、t1633以及t1634,分别显示与作为发送ID的ID1631、ID1632、ID1633以及ID1634的各个对应的图像1641、1642、1643、1644。此处,接收装置1640也可以如图122所示那样,在上述各时刻并非仅提示图像,还提示其他信息。即,接收装置1640在时刻t1631,显示与ID1631对应的图像1641,并且输出与该ID1631对应的音或者声音。此时,接收装置1640也可以显示在该图像显示的例如商品的购入网站。这样的音的输出和购入网站的显示在时刻t1631以外的时刻t1632、t1633以及t1634的各个也同样地进行。
接着,在如图119的(b)所示那样搭载了用于立体的左右2个摄像头的智能电话的情况下,在左眼用摄像头中以通常的快门速度、通常的焦点来显示通常的画质的图像。同时在右眼用摄像头中,以比左眼高速的快门,并且/或者短的距离的焦点和/或设定成微距,得到本发明的条纹状的亮线,对数据进行解调。由此,可得到如下效果:在显示部显示通常的画质的图像,并且能够通过右眼摄像头来接收距离上被分割了的多个光源的光通信数据。
(实施方式16)
在此,以下针对声音同步再现的应用例进行说明。
图123是示出实施方式16的应用的一例的图。
例如作为智能电话构成的接收机1800a接收从例如作为街头数字标牌构成的发送机1800b发送的信号(可见光信号)。即,接收机1800a接收发送机1800b的图像再现的定时。接收机1800a在与该图像再现相同的定时,使声音再现。换言之,接收机1800a进行该声音的同步再现,以使得通过发送机1800b再现的图像和声音同步。此外,接收机1800a也可以使与通过发送机1800b再现的图像(再现图像)相同的图像或与该再现图像相关联的关联图像和声音一起再现。另外,接收机1800a也可以使与接收机1800a连接的设备再现声音等。另外,接收机1800a也可以在接收到可见光信号后,从服务器下载与该可见光信号相对应的声音或关联图像等内容。接收机1800a在该下载后进行同步再现。
由此,即便在听不到来自发送机1800b的声音的情况下、和/或由于街头声音再现被禁止而来自发送机1800b的声音未被再现的情况下,用户也能够听到与发送机1800b的显示相匹配的声音。另外,在存在在声音到达前要花费时间那样的距离的情况下,也能够听到与显示相匹配的声音。
这里,以下对基于声音同步再现的多语言对应进行说明。
图124是示出实施方式16的应用的一例的图。
接收机1800a以及接收机1800c分别从服务器取得设定于该接收机的语言的、与发送机1800d所显示的例如电影等影像对应的声音,并且再现。具体而言,发送机1800d将表示用于识别所显示的影像的ID的可见光信号向接收机发送。接收机当接收该可见光信号时,将包含该可见光信号所表示的ID和自己设定的语言的请求信号向服务器发送。接收机从服务器取得与该请求信号对应的声音并进行再现。由此,用户能够以自己设定的语言享受发送机1800d所显示的作品。
这里,以下对声音同步方法进行说明。
图125以及图126是表示实施方式16的发送信号的例子和声音同步方法的例子的图。
各自不同的数据(例如图125所示的数据:1~6等)与每一定时间(N秒)的时刻相关联。这些数据例如既可以是用于识别时间的ID,也可以是时间,还可以是声音数据(例如64Kbps的数据)。以下,以数据是ID为前提进行说明。各自不同的ID也可以是附随于ID的附加信息部分不同的ID。
优选构成ID的数据包不同。因此,优选ID不连续。或者,在将ID数据包化时优选构成非连续的部分作为一个数据包的数据包化方法。即便是连续的ID,错误订正信号的成为不同的样式的倾向也较高,因此,也可以构成为不将错误订正信号汇集于一个数据包,而使其分散于多个数据包。
发送机1800d例如与显示的图像的再现时刻相匹配地发送ID。接收机通过检测ID变更后的定时,能够识别发送机1800d的图像的再现时刻(同步时刻)。
在(a)的情况下,接收到ID:1和ID:2的变化时间点,因此,能够正确地识别同步时刻。
在发送ID的时间N长的情况下,这样的机会少,有时能够如(b)那样接收ID。在该情况下,也能够通过以下的方法来识别同步时刻。
(b1)将ID变化了的接收区间的中点设想为ID变化点。另外,将从过去推测到的ID变化点经过时间N的整数倍后的时刻也推测为ID变化点,将多个ID变化点的中点推测为更正确的ID变化点。通过这样的推测的算法,能够逐渐地推测正确的ID变化点。
(b2)除了上述之外,通过将ID未变化的接收区间及其时间N的整数倍后的时刻推测为不包含ID变化点,有可能是ID变化点的区间逐渐地减少,能够推测正确的ID变化点。
通过将N设定为0.5秒以下,能够正确地进行同步。
通过将N设定为2秒以下,能够以不使用户感觉到延迟的方式进行同步。
通过将N设定为10秒以下,能够以抑制ID的浪费的方式进行同步。
图126是表示实施方式16的发送信号的例的图。
在图126中,通过利用时间数据包进行同步,能够避免ID的浪费。时间数据包是保持有进行了发送的时刻的数据包。在需要表现长的时间的情况下,分割为表示精细的时间的时间数据包1和表示粗略的时间的时间数据包2来构成时间数据包。例如,时间数据包2表示时刻中的时以及分,时间数据包1仅表示时刻中的秒。也可以将表示时刻的数据包分割为3个以上的时间数据包。由于粗略的时间的必要性少,因此,通过与粗略的时间数据包相比较多地发送精细的时间数据包,接收机能够快速且正确地识别同步时刻。
即,在本实施方式中,通过可见光信号包含表示时刻中的时以及分的第2信息(时间数据包2)和表示时刻中的秒的第1信息(时间数据包1),表示可见光信号被从发送机1800d发送的时刻。并且,接收机1800a接收第2信息,并且接收比接收该第2信息的次数多的次数的第1信息。
这里,以下对同步时刻调整进行说明。
图127是表示实施方式16的接收机1800a的处理流程的一例的图。
由于从信号被发送到由接收机1800a处理并再现声音或动态图像为止,需要花费某程度的时间,因此,通过进行估计该处理时间而再现声音或动态图像的处理,能够正确地进行同步再现。
首先,对接收机1800a指定处理延迟时间(步骤S1801)。该步骤既可以保持于处理程序中,也可以由用户指定。通过用户进行修正,会能够实现与接收机个体相匹配的更正确的同步。通过按接收机的各个型号,使该处理延迟时间根据接收机的温度和/或CPU使用比例来变化,能够更正确地进行同步。
接收机1800a判定是否接收到时间数据包或接收到作为声音同步用而所关联的ID(步骤S1802)。这里,接收机1800a在判定为接收到时(步骤S1802的“是”),进一步判定是否存在待处理图像(步骤S1804)。在判定为存在待处理图像时(步骤S1804的“是”),接收机1800a废弃该待处理图像或将待处理图像的处理延后,进行从所取得的最新图像开始的接收处理(步骤S1805)。由此能够回避由待处理量导致的无法预测的延迟。
接收机1800a计测可见光信号(具体而言的亮线)位于图像中的哪个位置(步骤S1806)。即,通过计测信号出现在从图像传感器的最初曝光线开始的与曝光线垂直的方向的哪个位置,能够计算从图像取得开始时刻到信号接收时刻为止的时间差(图像内延迟时间)。
接收机1800a通过在识别到的同步时刻,再现加上了处理延迟时间和图像内延迟时间的时刻的声音或动态图像,能够正确地进行同步再现(步骤S1807)。
另一方面,在步骤S1802中,接收机1800a当判定为未接收到时间数据包或声音同步用ID时,从通过摄像而得的图像中接收信号(步骤S1803)。
图128是示出实施方式16的接收机1800a的用户界面的一例的图。
如图128的(a)所示,用户通过按压接收机1800a所显示的按钮Bt1~Bt4的某一个,能够调整上述的处理延迟时间。另外,也可以是,如图128的(b)所示,能够通过滑动动作来设定处理延迟时间。由此,能够基于用户的感觉更正确地进行同步再现。
这里,以下对耳机限定再现(限定用耳机进行再现)进行说明。
图129是示出实施方式16的接收机1800a的处理流程的一例的图。
通过由该处理流程示出的耳机限定再现,能够不给周围带来麻烦地进行声音再现。
接收机1800a确认是否正进行耳机限定(限定为耳机)的设定(步骤S1811)。在正进行耳机限定的设定的情况下,例如在接收机1800a中进行耳机限定的设定。或者,在接收到的信号(可见光信号)中进行作为耳机限定的设定。或者,耳机限定这一状况与所接收的信号相关联地记录于服务器或接收机1800a。
接收机1800a在确认进行了耳机限定时(步骤S1811的“是”),判定耳机是否与接收机1800a连接(步骤S1813)。
接收机1800a当确认未进行耳机限定时(步骤S1811的“否”),或,当判定为连接着耳机时(步骤S1813的“是”),将声音再现(步骤S1812)。当将声音再现时,接收机1800a将音量调整为该音量处于设定范围内。该设定范围与耳机限定的设定同样地被设定。
接收机1800a当判定为耳机未连接时(步骤S1813的“否”),进行向用户催促连接耳机的通知(步骤S1814)。该通知例如通过画面显示、声音输出或振动来进行。
另外,接收机1800a在未设定禁止强制性地进行声音再现的情况下,准备用于强制再现的界面,判定用户是否进行了强制再现的操作(步骤S1815)。这里,当判定为进行了强制再现的操作时(步骤S1815的“是”),接收机1800a在未连接有耳机的情况下也将声音再现(步骤S1812)。
另一方面,当判定为未进行强制再现的操作时(步骤S1815的“否”),接收机1800a通过保持预先接收到的声音数据以及解析出的同步时刻,在连接了耳机时,快速地进行声音的同步再现。
图130是示出实施方式16的接收机1800a的处理流程的另一例的图。
接收机1800a首先从发送机1800d接收ID(步骤S1821)。即,接收机1800a接收表示发送机1800d的ID或发送机1800d所显示的内容的ID的可见光信号。
接着,接收机1800a从服务器下载与该接收到的ID相关联的信息(内容)(步骤S1822)。或者,接收机1800a从位于接收机1800a的内部的数据保持部读出该信息。以下,将该信息称为关联信息。
接着,接收机1800a判定该关联信息所含的同步再现标志是否表示ON(激活)(步骤S1823)。这里,当判定为同步再现标志不表示ON时(步骤S1823的“否”),接收机1800a输出由该关联信息表示的内容(步骤S1824)。即,在该内容为图像的情况下,接收机1800a显示图像,在该内容是声音的情况下,接收机1800a输出声音。
另一方面,接收机1800a当判定为同步再现标志表示ON时(步骤S1823的“是”),进一步,判定该关联信息所含的时刻匹配模式是被设定为发送机基准模式,还是被设定为绝对时刻模式(步骤S1825)。当判定为被设定为绝对时刻模式时,接收机1800a判定最后的时刻匹配是否在从当前时刻起的一定时间以内被进行(步骤S1826)。此时的时刻匹配是通过预定的方法得到时刻信息并使用该时刻信息使接收机1800a所具备的时钟的时刻匹配于基准时钟的绝对时刻的处理。预定的方法例如是使用了GPS(Global Positioning System:全球定位系统)电波或NTP(Network Time Protocol:网络时间协议)电波的方法。此外,上述的当前时刻也可以是作为终端装置的接收机1800a接收到可见光信号的时刻。
接收机1800a当判定为最后的时刻匹配在一定时间以内进行了时(步骤S1826的“是”),基于接收机1800a的时钟的时刻输出关联信息,由此使发送机1800d所显示的内容与关联信息同步(步骤S1827)。在通过关联信息表示的内容例如为动态图像的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,显示该动态图像。在通过关联信息表示的内容例如为声音的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,输出该声音。例如,在关联信息表示声音的情况下,关联信息包含构成声音的各帧,在这些帧上附有时间戳。接收机1800a通过将附有与自身的时钟的时刻相符的时间戳的帧再现,输出与发送机1800d的内容同步的声音。
接收机1800a当判定为最后的时刻匹配未在一定时间以内进行时(步骤S1826的“否”),以预定的方法尝试时刻信息的取得,并判定是否能够取得该时刻信息(步骤S1828)。这里,当判定为能够取得时刻信息时(步骤S1828的“是”),接收机1800a使用该时刻信息,来更新接收机1800a的时钟的时刻(步骤S1829)。并且,接收机1800a执行上述的步骤S1827的处理。
另外,在步骤S1825中,当判定为时刻匹配模式是发送机基准模式时,或在步骤S1828中,判定为无法取得时刻信息时(步骤S1828的“否”),接收机1800a从发送机1800d取得时刻信息(步骤S1830)。即,接收机1800a利用可见光通信从发送机1800d取得作为同步信号的时刻信息。例如,同步信号是图126所示的时间数据包1以及时间数据包2。或,接收机1800a利用Bluetooth(注册商标)或Wi-Fi等的电波从发送机1800d取得时刻信息。并且,接收机1800a执行上述的步骤S1829以及S1827的处理。
在本实施方式中,如步骤S1829、S1830那样,在进行了用于通过GPS电波或NTP电波在作为接收机1800a的终端装置的时钟和基准时钟之间取得同步的处理(时刻匹配)的时刻为从终端装置接收到可见光信号的时刻起往前的预定时间之前的情况下,利用从发送机1800d发送的可见光信号表示的时刻,在终端装置的时钟和发送机的时钟之间取得同步。由此,终端装置能够在与发送机1800d所再现的发送机侧内容同步的定时,对内容(动态图像或声音)进行再现。
图131A是用来说明实施方式16中的同步再现的具体方法的图。同步再现的方法包括图131A所示的方法a~e。
(方法a)
在方法a中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化,来输出表示内容ID以及内容再现中时刻的可见光信号。内容再现中时刻是当内容ID从发送机1800d被发送了时由发送机1800d再现的、作为内容的一部分的数据的再现时刻。如果内容是动态图像,则数据是构成该动态图像的图像或场景等,如果内容是声音,则数据是构成该声音的帧等。再现时刻例如将从内容的开头开始的再现时间表示为时刻。如果内容是动态图像,则再现时刻作为PTS(Presentation Time Stamp:呈现时间戳)包含于内容中。即,内容按构成该内容的各个数据,包含有该数据的再现时刻(显示时刻)。
接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容ID的请求信号向服务器1800f发送。服务器1800f接收该请求信号,将与请求信号所含的内容ID相对应的内容向接收机1800a发送。
接收机1800a若接收到该内容,则从(内容再现中时刻+从ID接收开始的经过时间)的时间点开始再现该内容。从ID接收开始的经过时间是从内容ID被接收机1800a接收到时开始的经过时间。
(方法b)
在方法b中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示内容ID以及内容再现中时刻的可见光信号。接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容ID以及内容再现中时刻的请求信号向服务器1800f发送。服务器1800f接收该请求信号,在与请求信号所含的内容ID相对应的内容中,仅将内容再现中时刻以后的一部分内容向接收机1800a发送。
接收机1800a若接收到该一部分的内容,则从(从ID接收开始的经过时间)的时间点开始再现该一部分的内容。
(方法c)
在方法c中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机ID以及内容再现中时刻的可见光信号。发送机ID是用于识别发送机的信息。
接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机ID的请求信号向服务器1800f发送。
服务器1800f按各发送机ID,保持有作为由该发送机ID的发送机再现的内容的时间表的再现预定表。服务器1800f还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机ID和服务器1800f的时钟的时刻(服务器时刻)相对应的内容,作为再现中的内容。并且,服务器1800f将该内容向接收机1800a发送。
接收机1800a在接收到该内容时,从(内容再现中时刻+从ID接收开始的经过时间)的时间点开始再现该内容。
(方法d)
在方法d中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机ID以及发送机时刻的可见光信号。发送机时刻是由发送机1800d所具备的时钟表示的时刻。
接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机ID以及发送机时刻的请求信号向服务器1800f发送。
服务器1800f保持有上述的再现预定表。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机ID和发送机时刻相对应的内容,作为再现中的内容。进一步,服务器1800f根据发送机时刻确定内容再现中时刻。即,服务器1800f根据再现预定表找到所确定的内容的再现开始时刻,将发送机时刻和再现开始时刻之间的时间确定为内容再现中时刻。并且,服务器1800f将该内容以及内容再现中时刻向接收机1800a发送。
接收机1800a在接收到该内容以及内容再现中时刻时,从(内容再现中时刻+从ID接收开始的经过时间)的时间点开始再现该内容。
这样,在本实施方式中,可见光信号表示该可见光信号从发送机1800d发送的时刻。因此,作为终端装置的接收机1800a能够接收与可见光信号从发送机1800d发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻是5时43分,则能够接收在5时43分再现的内容。
另外,在本实施方式中,服务器1800f具有与各个时刻相关联的多个内容。但是,有时在服务器1800f中不存在与可见光信号所示的时刻相关联的内容。在这样的情况下,作为终端装置的接收机1800a也可以接收该多个内容中的、与可见光信号所示的时刻最接近且与可见光信号所示的时刻之后的时刻相关联的内容。由此,即便在服务器1800f中不存在与可见光信号所示的时刻相关联的内容,也能够从存在于该服务器1800f中的多个内容中接收适当的内容。
另外,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收内容;以及将内容再现的再现步骤。可见光信号表示发送机ID和发送机时刻。发送机ID是ID信息。另外,发送机时刻是由发送机1800d的时钟表示的时刻,是该可见光信号被从发送机1800d发送的时刻。并且,在内容接收步骤中,接收机1800a接收与由可见光信号示出的发送机ID以及发送机时刻相对应的内容。由此,接收机1800a能够针对发送机ID以及发送机时刻将适当的内容进行再现。
(方法e)
在方法e中,发送机1800d与上述各实施方式同样地,通过使显示器亮度变化来输出表示发送机ID的可见光信号。
接收机1800a通过与上述各实施方式同样地,对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机ID的请求信号向服务器1800f发送。
服务器1800f保持上述再现预定表,还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所包含的发送机ID和服务器时刻相对应的内容,作为再现中的内容。此外,服务器时刻是由服务器1800f的时钟表示的时刻。进一步,服务器1800f还根据再现预定表找到所确定的内容的再现开始时刻。并且,服务器1800f将该内容以及内容再现开始时刻向接收机1800a发送。
接收机1800a在接收到该内容以及内容再现开始时刻时,从(接收机时刻-内容再现开始时刻)的时间点再现该内容。此外,接收机时刻是由接收机1800a所具备的时钟表示的时刻。
这样,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收包含各时刻和在各时刻再现的数据的内容;以及再现步骤,将该内容中的与接收机1800a所具备的时钟的时刻相符合的数据进行再现。因此,接收机1800a不会在错误的时刻再现该内容中的数据,而能够在与该内容所示的正确的时刻,适当地再现该内容中的数据。另外,如果在发送机1800d中也正在再现与该内容关联的内容(发送机侧内容),则接收机1800a能够使内容与该发送机侧内容适当地同步并再现。
此外,上述方法c~e也可以如方法b那样,服务器1800f仅将内容中的内容再现中时刻以后的一部分的内容向接收机1800a发送。
另外,在上述方法a~e中,接收机1800a向服务器1800f发送请求信号,从服务器1800f接收必要的数据,但也可以是不进行这样的发送接收,而预先保持处于服务器1800f中的某数据。
图131B是示出通过上述的方法e进行同步再现的再现装置的结构的框图。
再现装置B10是通过上述的方法e进行同步再现的接收机1800a或终端装置,具备:传感器B11、请求信号发送部B12、内容接收部B13、时钟B14和再现部B15。
传感器B11例如是图像传感器,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。请求信号发送部B12将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。内容接收部B13从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。再现部B15将该内容中的与时钟B14的时刻相符的数据再现。
图131C是示出通过上述的方法e进行同步再现的终端装置的处理动作的流程图。
再现装置B10是通过上述的方法e进行同步再现的接收机1800a或终端装置,执行步骤SB11~SB14的各处理。
在步骤SB11中,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。在步骤SB12中,将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。在步骤SB13中,从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。在步骤SB14中,将该内容中的与时钟B14的时刻相符的数据再现。
这样,在本实施方式的再现装置B10以及再现方法中,不会在错误的时刻将内容中的数据再现,能够在该内容所示的正确的时刻适当地将内容中的数据再现。
此外,在本实施方式中,各构成要素可以由专用的硬件构成,或者通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。这里,实现本实施方式的再现装置B10等的软件是使计算机执行图131C所示的流程图所含的各步骤的程序。
图132是用来说明实施方式16的同步再现的事先准备的图。
接收机1800a为了进行同步再现,进行使接收机1800a所具备的时钟的时刻与基准时钟的时刻相匹配的时刻匹配。为了该时刻匹配,接收机1800a进行以下的(1)~(5)的处理。
(1)接收机1800a接收信号。该信号既可以是通过发送机1800d的显示器的亮度变化而发送的可见光信号,也可以是基于来自无线设备的Wi-Fi或Bluetooth(注册商标)的电波信号。或者,接收机1800a取代接收这样的信号,而例如通过GPS等取得表示接收机1800a的位置的位置信息。并且,接收机1800a通过该位置信息,识别接收机1800a进入到预先决定的场所或建筑物。
(2)接收机1800a在接收到上述信号时,或识别到进入到预先决定的场所时,将请求与该信号或场所等相关联的数据(关联信息)的请求信号向服务器(可见光ID解决服务器)1800f发送。
(3)服务器1800f将上述的数据和用于使接收机1800a进行时刻匹配的时刻匹配请求向接收机1800a发送。
(4)接收机1800a在接收到数据和时刻匹配请求时,将时刻匹配请求向GPS时间服务器、NTP服务器或电信运营商(carrier)的基站发送。
(5)上述服务器或基站在接收到该时刻匹配请求时,将表示当前时刻(基准时钟的时刻或绝对时刻)的时刻数据(时刻信息)向接收机1800a发送。接收机1800a通过使自身所具备的时钟的时刻与该时刻数据所示的现在时刻相匹配,来进行时刻匹配。
这样在本实施方式中,在接收机1800a(终端装置)所具备的时钟和基准时钟之间,通过GPS(Global Positioning System)电波或NTP(Network Time Protocol)电波来取得同步。因此,接收机1800a能够在根据基准时钟的适当时刻,将与该时刻相符合的数据再现。
图133是示出实施方式16的接收机1800a的应用例的图。
接收机1800a如上述那样构成为智能电话,例如被保持于由具有透光性的树脂或玻璃等构件构成的支架1810而被利用。该支架1810具有:背板部1810a和立设于背板部1810a的卡止部1810b。接收机1800a在背板部1810a与卡止部1810b之间,以沿着该背板部1810a的方式被插入。
图134A是实施方式16的被保持于支架1810的接收机1800a的主视图。
接收机1800a在如上述那样被插入的状态下被支架1810所保持。此时,卡止部1810b与接收机1800a的下部卡定,与背板部1810a夹持其下部。另外,接收机1800a的背面与背板部1810a相对,接收机1800a的显示器1801成为露出的状态。
图134B是实施方式16的被保持于支架1810的接收机1800a的后视图。
另外,在背板部1810a形成有通孔1811,在该通孔1811的附近安装有可变滤光器1812。当接收机1800a被支架1810保持时,接收机1800a的摄像头1802从背板部1810a经由通孔1811而露出。另外,接收机1800a的闪光灯1803与可变滤光器1812相对。
可变滤光器1812例如形成为圆盘状,具有分别为扇状且具有相同尺寸的3个彩色滤光器(红色滤光器、黄色滤光器以及绿色滤光器)。另外,可变滤光器1812以可变滤光器1812的中心为轴旋转自如地安装于背板部1810a。另外,红色滤光器是对红色具有透光性的滤光器,黄色滤光器是对黄色具有透光性的滤光器,绿色滤光器是对绿色具有透光性的滤光器。
因此,可变滤光器1812被旋转,例如,红色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射红色滤光器,由此,作为红色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈红色地发光。
同样地,可变滤光器1812被旋转,例如,黄色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射黄色滤光器,由此,作为黄色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈黄色地发光。
同样地,可变滤光器1812被旋转,例如,绿色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射绿色滤光器,由此,作为绿色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈绿色地发光。
即,支架1810如笔灯那样,点亮为红色、黄色或绿色。
图135是用来说明实施方式16的保持于支架1810的接收机1800a的使用场景的图。
例如,作为被支架1810保持的接收机1800a的带支架接收机,在游乐场等被利用。即,在游乐场朝向移动的彩饰花车的多个带支架接收机,按照从该彩饰花车流出的音乐,同步地闪烁。即,彩饰花车构成为上述各实施方式的发送机,根据安装于彩饰花车的光源的亮度变化来发送可见光信号。例如,彩饰花车发送表示彩饰花车的ID的可见光信号。并且,带支架接收机与上述各实施方式同样地,通过接收机1800a的摄像头1802的摄影来接收该可见光信号、即ID。接收到ID的接收机1800a例如从服务器取得与该ID相关联的程序。该程序包括在预定的各时刻使接收机1800a的闪光灯1803点亮的命令。该预定的各时刻与从彩饰花车流出的音乐相匹配地(同步地)设定。并且,接收机1800a根据该程序使闪光灯1803a闪烁。
由此,接收到该ID的各接收机1800a的支架1810按照从该ID的彩饰花车流出的音乐反复在相同定时点亮。
这里,各接收机1800a根据设定的彩色滤光器(以下,称为设定滤光器)进行闪光灯1803的闪烁。设定滤光器是与接收机1800a的闪光灯1803相对的彩色滤光器。另外,各接收机1800a基于用户的操作,识别现在的设定滤光器。或,各接收机1800a基于通过摄像头1802的摄影得到的图像的颜色等,识别现在的设定滤光器。
即,接收到ID的多个接收机1800a中,在预定的时刻,仅是识别出设定滤光器是红色滤光器的多个接收机1800a的支架1810同时点亮。在下一时刻,仅是识别出设定滤光器是绿色滤光器的多个接收机1800a的支架1810同时点亮。在又下一时刻,仅是识别出设定滤光器是黄色滤光器的多个接收机1800a的支架1810同时点亮。
这样,支架1810所保持的接收机1800a与上述的图123~图129所示的同步再现同样地,与彩饰花车的音乐和其他的支架1810所保持的接收机1800a同步地使闪光灯1803、即支架1810闪烁。
图136是表示实施方式16的被支架1810保持的接收机1800a的处理动作的流程图。
接收机1800a接收由来自彩饰花车的可见光信号表示的彩饰花车的ID(步骤S1831)。接着,接收机1800a从服务器取得与该ID相关联的程序(步骤S1832)。接着,接收机1800a通过执行该程序,在对应于设定滤光器的预定的各时刻使闪光灯1803点亮(步骤S1833)。
这里,接收机1800a也可以使对应于所接收的ID或所取得的程序的图像在显示器1801上显示。
图137是示出实施方式16的由接收机1800a显示的图像的一例的图。
接收机1800a当例如从圣诞老人的彩饰花车接收ID时,如图137的(a)所示,使圣诞老人的图像显示。进而,接收机1800a也可以如图137的(b)所示,在与闪光灯1803点亮的同时,使该圣诞老人的图像的背景色变更为设定滤光器的颜色。例如,在设定滤光器的颜色是红色的情况下,与通过闪光灯1803的点亮使支架1810点亮为红色同时,具有红色的背景色的圣诞老人的图像被显示在显示器1801。即,支架1810的闪烁和显示器1801的显示同步。
图138是示出实施方式16的支架的另一例的图。
支架1820构成为与上述的支架1810同样,但是,没有通孔1811以及可变滤光器1812。这样的支架1820以接收机1800a的显示器1801朝向背板部1820a的状态,保持该接收机1800a。该情况下,接收机1800a取代闪光灯1803,使显示器1801发光。由此,来自显示器1801的光向支架1820的大致整体扩散。因此,当接收机1800a根据上述的程序以红色的光使显示器1801发光时,支架1820点亮为红色。同样地,当接收机1800a根据上述的程序,以黄色的光使显示器1801发光时,支架1820点亮为黄色。当接收机1800a根据上述的程序,以绿色的光使显示器1801发光时,支架1820点亮为绿色。如果使用这样的支架1820,则能够省略可变滤光器1812的设定。
(实施方式17)
(可见光信号)
图139A~图139D是示出实施方式17的可见光信号的一例的图。
与上述同样,例如如图139A所示,发送机生成4PPM的可见光信号,根据该可见光信号进行亮度变化。具体而言,发送机将4时隙分配为一个信号单位,生成包括多个信号单位的可见光信号。信号单位按时隙表示High(H)或Low(L)。并且,发送机在H的时隙明亮地发光,在L的时隙暗淡地发光或熄灭。例如,1时隙是相当于1/9600秒的时间的期间。
另外,例如如图139B所示,发送机也可以生成分量配为一个信号单位的时隙数可变的可见光信号。该情况下,信号单位中包含在1个以上连续的时隙中表示H的信号和接着该H信号的1个时隙中表示L的信号。由于H的时隙数为可变,因此,信号单位整体的时隙数为可变。例如如图139B所示,发送机生成按3时隙的信号单位、4时隙的信号单位、6时隙的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在H的时隙明亮地发光,在L的时隙暗淡地发光或熄灭。
另外,例如如图139C所示,发送机也可以不将多个时隙分配为一个信号单位,而将任意的期间(信号单位期间)分配为一个信号单位。该信号单位期间包含H期间和接着该H期间的L期间。H期间根据调制前的信号被调整。L期间可以是固定的与上述时隙相当的期间。另外,H期间以及L期间分别例如是100μs以上的期间。例如如图139C所示,发送机发送按信号单位期间为210μs的信号单位、信号单位期间为220μs的信号单位、信号单位期间为230μs的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在H期间明亮地发光,在L期间暗淡地发光或熄灭。
另外,例如如图139D所示,发送机也可以将交替地表示L和H的信号作为可见光信号而生成。该情况下,可见光信号中,L期间和H期间分别根据调制前的信号被调整。例如如图139D所示,发送机发送下述可见光信号:在100μs的期间表示H,接着,在120μs的期间表示L,接着,在110μs的期间表示H,进一步,在200μs的期间表示L。并且,发送机在该情况下也在H期间明亮地发光,在L期间暗淡地发光或熄灭。
图140是示出实施方式17的可见光信号的构成的图。
可见光信号例如包含信号1、与该信号1对应的明亮度调整信号、信号2、以及与该信号2对应的明亮度调整信号。发送机当通过对调制前的信号进行调制而生成信号1以及信号2时,生成针对这些信号的明亮度调整信号,生成上述的可见光信号。
与信号1对应的明亮度调整信号是补偿因根据信号1的亮度变化而产生的明亮度的增减的信号。与信号2对应的明亮度调整信号是补偿因根据信号2的亮度变化而产生的明亮度的增减的信号。在此,通过根据信号1和该信号1的明亮度调整信号的亮度变化来表现明亮度B1,通过根据信号2和该信号2的明亮度调整信号的亮度变化来表现明亮度B2。本实施方式中的发送机,将信号1以及信号2的各自的明亮度调整信号作为可见光信号的一部分而生成,以使得该明亮度B1和明亮度B2相等。由此,明亮度被保持为一定,能够抑制闪烁。
另外,发送机在生成上述信号1时,生成包含数据1、接着该数据1的前导码(头)和接着该前导码的数据1的信号1。在此,前导码是与配置在其前后的数据1对应的信号。例如,该前导码是成为用于读出数据1的识别码的信号。这样,由于由2个数据1和配置在它们之间的前导码构成信号1,因此,接收机即便从位于前面的数据1的中途读出可见光信号,也能够正确地对该数据1(即信号1)进行解调。
(亮线图像)
图141是示出实施方式17的通过接收机的摄像而得到的亮线图像的一例的图。
如上所述,接收机通过对亮度变化的发送机进行摄像,取得包含从该发送机发送的可见光信号作为亮线样式的亮线图像。通过这样的摄像,可见光信号被接收机接收。
例如如图141所示,接收机使用图像传感器所包含的N个曝光线,在时刻t1进行摄像,据此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。
在此,接收机根据区域a以及区域b的亮线样式对可见光信号进行解调。但是,接收机在判定为仅解调后的可见光信号不充分时,使用该N个曝光线中的、仅属于区域a的M(M<N)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域a的亮线图像。接收机,在时刻t3~t5也反复实施这样的摄像。结果,能够高速地接收来自与区域a对应的被拍摄对象的充足的数据量的可见光信号。进而,接收机仅使用该N个曝光线中的属于区域b的L(L<N)个连续的曝光线,在时刻t6进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域b的亮线图像。接收机,在时刻t7~t9也反复实施这样的摄像。结果,能够高速地接收来自与区域b对应的被拍摄对象的充足的数据量的可见光信号。
另外,接收机也可以通过在时刻t10以及t11,进行与时刻t2~t5同样的摄像,来取得仅包含区域a的亮线图像。进而,接收机也可以通过在时刻t12以及t13,进行与时刻t6~t9同样的摄像,来取得仅包含区域b的亮线图像。
另外,在上述的例子中,接收机在判定为可见光信号不充分时,在时刻t2~t5进行了仅包含区域a的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。同样地,接收机在判定为可见光信号不充分时,在时刻t6~t9进行了仅包含区域b的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。另外,接收机也可以交替地进行仅包含区域a的亮线图像的取得和仅包含区域b的亮线图像的取得。
此外,属于上述区域a的M个连续的曝光线,是有助于区域a的生成的曝光线,属于上述区域b的L个连续的曝光线是有助于区域b的生成的曝光线。
图142是示出实施方式17的通过接收机的摄像得到的亮线图像的其它例的图。
例如如图142所示,接收机使用图像传感器所含的N个曝光线,在时刻t1进行摄像,由此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。与上述同样地,区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。另外,区域a以及区域b各自具有沿着亮线或曝光线的方向相互重叠的区域(以下,称为重叠区域)。
在此,接收机在判定为根据该区域a以及区域b的亮线样式解调出的可见光信号不充分时,仅使用该N个曝光线中的、属于重叠区域的P(P<N)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b的各个重叠区域的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够大致同时且高速地接收来自与区域a以及区域b的各个区域对应的被拍摄对象的充足的数据量的可见光信号。
图143是示出实施方式17的通过接收机的摄像得到的亮线图像的其它例的图。
例如如图143所示,接收机使用图像传感器所含的N个曝光线,在时刻t1进行摄像,由此,取得包含由亮线样式不清晰地显现的部分a和亮线样式清晰地显现的部分b构成的区域的亮线图像。与上述同样地,该区域是通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。
在这样的情况下,接收机当判定为根据上述区域的亮线样式解调后的可见光信号不充分时,使用该N个曝光线中的仅属于部分b的Q(Q<N)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得包含上述区域中的仅部分b的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够高速地接收来自与上述区域对应的被拍摄对象的充足的数据量的可见光信号。
另外,也可以是,接收机在进行了仅包含部分b的亮线图像的连拍后,进一步进行仅包含部分a的亮线图像的连拍。
如上所述,在亮线图像中包含多个显现亮线样式的区域(或部分)的情况下,接收机使各个区域具有顺序,根据该顺序,进行仅包含该区域的亮线图像的连拍。该情况下,该顺序既可以是根据信号的大小(区域或部分的面积)的顺序,也可以是根据亮线的清晰度的顺序。另外,该顺序也可以是根据来自与这些区域对应的被拍摄对象的光的颜色的顺序。例如,最初的连拍针对与红色的光对应的区域进行,下一连拍针对与白色的光对应的区域进行。另外,也可以仅进行与红色的光对应的区域的连拍。
(HDR合成)
图144是用于说明实施方式17的接收机应用于进行HDR合成的摄像头系统的图。
为防止碰撞等,在车辆搭载有摄像头系统。该摄像头系统使用通过摄像头的摄像而得到的图像,进行HDR(High Dynamic Range;高动态范围)合成。通过该HDR合成,得到亮度的动态范围宽的图像。摄像头系统基于该宽动态范围的图像,进行周边的车辆、障碍物或人等的识别。
例如,作为设定模式,摄像头系统具有通常设定模式以及通信设定模式。在设定模式是通常设定模式的情况下,例如如图144所示,摄像头系统在时刻t1~t4,分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行4次摄像。摄像头系统使用通过该4次摄像而得到的4张图像来进行HDR合成。
另一方面,在设定模式是通信设定模式的情况下,例如如图144所示,摄像头系统在时刻t5~t7分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行3次摄像。进一步,摄像头系统在时刻t8以1/10000秒的快门速度、并且以最大感光度(例如ISO=1600)进行摄像。摄像头系统使用该4次摄像中的最初3次摄像所获得的3张图像来进行HDR合成。进一步,摄像头系统通过上述4次摄像中的最后的摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。
另外,在设定模式是通信设定模式的情况下,摄像头系统也可以不进行HDR合成。例如如图144所示,摄像头系统在时刻t9以1/100秒的快门速度、且以低感光度(例如,ISO=200)进行摄像。进一步,摄像头系统在时刻t10~t12以1/10000秒的快门速度且以相互不同的感光度进行3次摄像。摄像头系统根据通过该4次摄像中的最初的1次摄像得到的图像,进行周边的车辆、障碍物或人等的识别。进一步,摄像头系统通过上述4次摄像中的最后的3次摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。
此外,在图144所示的例子中,在时刻t10~t12的各时刻,以相互不同的感光度进行摄像,但是,也可以以相同感光度进行摄像。
在这样的摄像头系统中,能够进行HDR合成,并且也能够进行可见光信号的接收。
(安全)
图145是用于说明实施方式17的可见光通信系统的处理动作的图。
该可见光通信系统包括:配置于例如收银机的发送机、作为接收机的智能手机和服务器。此外,智能手机与服务器之间的通信、发送机与服务器之间的通信分别经由安全的通信线路来进行。另外,发送机与智能手机之间的通信通过可见光通信来进行。本实施方式的可见光通信系统,通过判定来自发送机的可见光信号是否正确地被智能手机接收,来确保安全性。
具体而言,发送机通过时刻t1的亮度变化,将表示例如值“100”的可见光信号向智能手机发送。智能手机当在时刻t2接收该可见光信号时,将表示该值“100”的电波信号向服务器发送。服务器在时刻t3从智能手机接收该电波信号。此时,服务器进行用于判定由该电波信号表示的值“100”是否是从发送机发送并被智能手机接收的可见光信号的值的处理。即,服务器将表示例如值“200”的电波信号向发送机发送。接收到该电波信号的发送机通过时刻t4的亮度变化,将表示该值“200”的可见光信号向智能手机发送。智能手机当在时刻t5接收该可见光信号时,将表示该值“200”的电波信号向服务器发送。服务器在时刻t6从智能手机接收该电波信号。服务器判别该接收到的电波信号所示的值是否与在时刻t3发送的电波信号所示的值相同。如果相同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”是从发送机发送给智能手机并被接收的可见光信号的值。另一方面,如果不同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”作为从发送机发送给智能手机并被接收的可见光信号的值是可疑的。
由此,服务器能够判定智能手机是否可靠地从发送机接收到可见光信号。也即是,能够防止即便智能手机未从发送机接收到可见光信号,也伪装成接收到该可见光信号的样子而将信号向服务器发送。
此外,在上述的例子中,在智能手机、服务器和发送机之间,进行使用了电波信号的通信,但是,也可以进行基于可见光信号以外的光信号的通信或基于电力信号的通信。另外,从发送机发送至智能手机的可见光信号例如表示收费的值、优惠券的值、怪物的值或宾果(bingo)的值等。
(车辆联系)
图146A是示出实施方式17的使用了可见光的车车间通信的一例的图。
例如,最前面的车辆利用搭载于该车辆的传感器(摄像头等),来识别行进方向上存在事故。当这样识别到事故时,最前面的车辆通过使后照灯发生亮度变化,来发送可见光信号。例如,最前面的车辆针对后续车辆发送催促减速的可见光信号。后续车辆当利用搭载于该车辆的摄像头的摄像,接收到该可见光信号时,根据该可见光信号进行减速,并且进一步针对后续的车辆发送催促减速的可见光信号。
这样,催促减速的可见光信号从排成一列行驶的多个车辆的最前面车辆开始依次被发送,接收到该可见光信号的车辆进行减速。由于向各车辆的可见光信号的发送被快速地进行,因此,这些多个车辆能够大致同时同样地进行减速。因此,能够缓解因事故造成的堵塞。
图146B是示出实施方式17的使用了可见光的车车间通信的其它例的图。
例如,也可以是,前面的车辆通过使后照灯发生亮度变化,来发送表示针对后面的车辆的消息(例如“谢谢”)的可见光信号。该消息例如通过用户对智能手机的操作而生成。并且,智能手机将表示该消息的信号向上述前面的车辆发送。结果,前面的车辆能够将表示该消息的可见光信号向后面的车辆发送。
图147是示出实施方式17的多个LED的位置决定方法的一例的图。
例如,车辆的前照灯具有多个LED(Light Emitting Diode)。该车辆的发送机通过使前照灯的多个LED的每一个独立地进行亮度变化,而从各个LED发送可见光信号。其它的车辆的接收机通过对具有该前照灯的车辆进行摄像,来接收来自这些多个LED的可见光信号。
此时,接收机为了识别所接收的可见光信号是从哪个LED发送的信号,而根据通过该摄像得到的图像来决定多个LED的各自的位置。具体而言,接收机利用安装于与该接收机相同车辆的加速度传感器,以由该加速度传感器表示的重力的方向(例如图147中的朝下箭头)为基准,决定多个LED的各自的位置。
此外,在上述的例子中,作为亮度发生变化的发光体的一例,例举了LED,但也可以是LED以外的发光体。
图148是示出实施方式17的、通过对车辆进行摄像而得到的亮线图像的一例的图。
例如,搭载于行驶的车辆的接收机通过对后面的车辆(后续车辆)进行摄像,来取得图148所示的亮线图像。搭载于后续车辆的发送机通过使车辆的2个前照灯发生亮度变化,来将可见光信号向前面的车辆发送。在前面的车辆的后部或后视镜等,安装有对后方进行摄像的摄像头。接收机通过将后续车辆作为被拍摄对象的该摄像头的摄像,取得亮线图像,并对该亮线图像所含的亮线样式(可见光信号)进行解调。由此,从后续车辆的发送机发送的可见光信号被前面的车辆的接收机接收。
在此,接收机从由2个前照灯发送并解调后的可见光信号的各信号中,取得具有该前照灯的车辆的ID、该车辆的速度、该车辆的车型。如果2个可见光信号的各自的ID相同,则接收机判断为该2个可见光信号是从相同车辆发送的信号。并且,接收机根据该车辆的车型,确定该车辆具有的2个前照灯之间的长度(灯间距离)。进而,接收机计测亮线图像所含的、显现亮线样式的2个区域之间的距离L1。并且,接收机利用使用了该距离L1和灯间距离的三角测量,算出从搭载该接收机的车辆到后续车辆为止的距离(车间距离)。接收机基于该车间距离和从可见光信号取得的车辆的速度,判断碰撞的危险性,将根据该判断结果的警告向车辆的驾驶者报知。由此,能够避免车辆的碰撞。
此外,在上述的例子中,接收机根据可见光信号所含的车型来确定灯间距离,但是,也可以根据车型以外的信息来确定灯间距离。另外,在上述的例子中,接收机当判断为存在碰撞的危险性时发出警告,但是,也可以将用于使车辆执行避免该危险性的动作的控制信号向车辆输出。例如,该控制信号是用于使车辆加速的信号或者用于使车辆变更车道的信号。
另外,在上述的例子中,摄像头对后续车辆摄像,但也可以对相对向车辆摄像。另外,也可以是,接收机在根据通过摄像头的摄像得到的图像判断为接收机(也即是具备接收机的车辆)周边被雾笼罩时,成为接收上述那样的可见光信号的模式。由此,即便周边被雾笼罩,车辆的接收机通过接收从相对向车辆的前照灯发送的可见光信号,能够确定该相对向车辆的位置以及速度。
图149是示出实施方式17的接收机和发送机的应用例的图。此外,图149是从后面观察汽车的图。
例如车的具有2个后照灯(发光部或灯)的发送机(车)7006a,将发送机7006a的识别信息(ID)向构成为例如智能手机的接收机发送。接收机当接收该ID时,从服务器取得与该ID相对应的信息。例如,该信息是表示该车或发送机的ID、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的牌照、前方的样子或危险的有无的信息。另外,接收机也可以从发送机7006a直接取得这些信息。
图150是示出实施方式17的接收机和发送机7006a的处理动作的一例的流程图。
将发送机7006a的ID和交付给接收到ID的接收机的信息相关联地存储于服务器(7106a)。交付给接收机的信息中也可以包含:成为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号、由接收机难以观察的场所的样子和/或危险的有无等信息。
发送机7006a发送ID(7106b)。发送内容中也可以包含所述服务器的URL和/或使所述服务器存储的信息。
接收机接收被发送的ID等信息(7106c)。接收机从服务器取得与接收到的ID相关联的信息(7106d)。接收机显示接收到的信息和/或从服务器取得的信息(7106e)。
接收机根据发光部的大小信息和摄像到的发光部的看上去的大小、或者发光部间的距离信息和摄像到的发光部间的距离,以三角测量的方法,计算接收机和发光部的距离(7106f)。接收机基于由接收机难以观察的场所的样子和/或危险的有无等信息,进行危险的警告等(7106g)。
图151是示出实施方式17的接收机和发送机的应用例的图。
例如车的具有2个后照灯(发光部或灯)的发送机(车)7007b,将发送机7007b的信息向例如构成为停车场的发送接收装置的接收机7007a发送。发送机7007b的信息表示发送机7007b的识别信息(ID)、车的牌照、车的大小、车的形状、或车的重量。接收机7007a当接收到该信息时,发送可否停车、收费信息或停车位置。此外,接收机7007a也可以接收ID,并从服务器取得ID以外的信息。
图152是示出实施方式17的接收机7007a和发送机7007b的处理动作的一例的流程图。此外,由于发送机7007b不是仅进行发送、而是还进行接收,因此,具备车载发送机和车载接收机。
将发送机7007b的ID和交付给接收到ID的接收机7007a的信息相关联地存储于服务器(停车场管理服务器)(7107a)。交付给接收机7007a的信息也可以包含将发送机7007b作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号和/或发送机7007b的用户的识别编号和/或用于支付的信息。
发送机7007b(车载发送机)发送ID(7107b)。发送内容中也可以包含所述服务器的URL和/或使所述服务器存储的信息。停车场的接收机7007a(停车场的发送接收装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的ID作为关键词(key),取得与ID相关联的信息(7107d)。停车场管理服务器对停车场的空置状况进行调查(7107e)。
停车场的接收机7007a(停车场的发送接收装置)发送可否停车、停车位置信息或者保持这些信息的服务器的地址(7107f)。或者,停车场管理服务器将这些信息向另外的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从另外的服务器取得这些信息。
停车场管理服务器进行停车场的控制,以使得容易进行停车(7107h)。例如,进行立体停车场的控制。停车场的发送接收装置发送ID(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的ID,向停车场管理服务器进行询问(7107j)。
停车场管理服务器根据停车时间等来进行收费(7107k)。停车场管理服务器进行停车场的控制,以使得容易找到停车的车辆(7107m)。例如,进行立体停车场的控制。车载接收机(发送机7007b)显示去停车位置的地图,进行从当前地开始的导航(7107n)。
(电车内)
图153是示出实施方式17的、在电车的车内应用的可见光通信系统的构成的图。
可见光通信系统例如具备:配置在电车内的多个照明装置1905、用户所保持的智能手机1906、服务器1904、配置在电车内的摄像头1903。
多个照明装置1905的各个构成为上述的发送机,通过照射光线并且使亮度变化来发送可见光信号。该可见光信号表示发送该可见光信号的照明装置1905的ID。
智能手机1906构成为上述的接收机,通过对照明装置1905进行摄像,来接收从该照明装置1905发送的可见光信号。例如,用户在电车内被卷入纠纷(例如流氓或争吵等)的情况下,使智能手机1906接收该可见光信号。智能手机1906在接收可见光信号时,将由该可见光信号表示的ID通知给服务器1904。
服务器1904当接受到该ID的通知时,确定将由该ID识别的照明装置1905所照亮的范围作为摄像范围的摄像头1903。并且,服务器1904使该确定的摄像头1903对由照明装置1905照亮的范围进行摄像。
摄像头1903根据来自服务器1904的指示进行摄像,并将通过该摄像得到的图像向服务器1904发送。
由此,能够取得显示电车内的纠纷的状况的图像。该图像能够作为纠纷的证据而利用。
另外,用户也可以通过操作智能手机1906,将通过摄像头1903的摄像得到的图像从服务器1904向智能手机1906发送。
另外,也可以是,智能手机1906在画面上显示摄像按钮,当该摄像按钮被用户触碰时,将催促摄像的信号向服务器1904发送。由此,用户能够自己决定摄像的定时。
图154是示出实施方式17的应用于游乐场等的设施的可见光通信系统的构成的图。
可见光通信系统例如具备配置于设施的多个摄像头1903和装带于人身上的装饰品1907。
装饰品1907例如是具有安装有多个LED的丝带的发圈等。另外,该装饰品1907构成为上述的发送机,通过使多个LED发生亮度变化,来发送可见光信号。
多个摄像头1903的各摄像头构成为上述的接收机,具有可见光通信模式和通常摄像模式。另外,这些多个摄像头1903的各摄像头配置在设施内的通道中的相互不同的部位。
具体而言,摄像头1903当被设定为可见光通信模式时,若装饰品1907作为被拍摄对象被摄像,则从该装饰品1907接收可见光信号。摄像头1903当接收到该可见光信号时,将所设定的模式从可见光通信模式切换为通常摄像模式。结果,摄像头1903将把装饰品1907戴在身上的人作为被拍摄对象来进行摄像。
因此,当配戴装饰品1907的人在设施内的通道中行走时,位于该人的附近的摄像头1903会接连地对该人进行摄像。由此,能够自动地取得并保存反映该人在设施中享受的样子的图像。
此外,摄像头1903也可以并不是接收到可见光信号就马上进行通常摄像模式的摄像,而是例如当从智能手机接受到摄像开始的指示时,进行通常摄像模式的摄像。由此,用户能够在碰触智能手机的画面所显示的摄像开始按钮的定时,使摄像头1903对自己进行摄像。
图155是示出实施方式17的、包括游乐设备和智能手机的可见光通信系统的一例的图。
游乐设备1901例如构成为具备多个LED的上述发送机。也即是,游乐设备1901通过使该多个LED发生亮度变化,来发送可见光信号。
智能手机1902通过对该游乐设备1901进行摄像,来接收从该游乐设备1901发送的可见光信号。并且,如图155的(a)所示,智能手机1902在第1次接收到该可见光信号时,例如从服务器等下载与该可见光信号和第1次相对应的动态图像1并进行再现。另一方面,智能手机1902在第2次接收到该可见光信号时,如图155的(b)所示,例如从服务器等下载与该可见光信号和第2次相对应的动态图像2并进行再现。
也即是,智能手机1902即便接收相同可见光信号,也会根据接收到该可见光信号的次数,来切换再现的动态图像。接收到可见光信号的次数,既可以由智能手机1902计数,也可以由服务器计数。或者,智能手机1902即便多次接收同一可见光信号,也不会连续地再现相同动态图像。或者,智能手机1902也可以使与同一可见光信号相关联的多个动态图像中的、已经再现过的动态图像的出现概率降低,而优先地下载出现概率高的动态图像并进行再现。
另外,智能手机1902也可以接收从具有多个店铺的设施的问讯处所具备的触控面板发送的可见光信号,而显示与该可见光信号相应的图像。例如,触控面板当正显示表示设施的概要的初始画面时,根据亮度变化发送表示该设施的概要的可见光信号。因此,智能手机当通过对显示该初始画面的触控面板进行摄像,而接收该可见光信号时,能够将表示设施的概要的图像在自己的显示器上显示。在此,当由用户操作触控面板时,触控面板例如显示表示特定的店铺的信息的店铺图像。此时,触控面板发送表示该特定的店铺的信息的可见光信号。因此,智能手机当通过对显示该店铺图像的触控面板进行摄像,来接收该可见光信号时,能够显示表示特定的店铺的信息的店铺图像。这样,智能手机能够显示与触控面板同步的图像。
(上述实施方式的总结)
本发明的一方式的再现方法包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化来发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收包含各时刻和在所述各时刻再现的数据的内容;以及再现步骤,对所述内容中的、与所述终端装置所具备的时钟的时刻相符合的数据进行再现。
由此,如图131C所示,包含各时刻和在该各时刻再现的数据的内容被终端装置接收,而再现与终端装置的时钟的时刻相符合的数据。因此,终端装置不会在错误的时刻再现该内容中的数据,能够在该内容所示的正确的时刻,适当地再现该内容中的数据。具体而言,如图131A的方法e所示,作为终端装置的接收机从(接收机时刻-内容再现开始时刻)的时间点开始再现内容。与上述终端装置的时钟的时刻相符合的数据是内容中的处于(接收机时刻-内容再现开始时刻)的时间点的数据。另外,如果在发送机中也再现与该内容相关联的内容(发送机侧内容),则终端装置能够使内容与该发送机侧内容适当地同步并再现。此外,内容是声音或图像。
另外,在所述终端装置所具备的时钟和基准时钟之间,也可以通过GPS(GlobalPositioning System)电波或者NTP(Network Time Protocol)电波来取得同步。
由此,如图130以及图132所示,由于在终端装置(接收机)的时钟和基准时钟之间取得了同步,因此,能够在根据基准时钟的适当的时刻,再现与该时刻相符合的数据。
另外,所述可见光信号也可以表示从所述发送机发送所述可见光信号的时刻。
由此,如图131A的方法d所示,终端装置(接收机)能够接收与可见光信号从发送机被发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻为5时43分,则能够接收在5时43分再现的内容。
另外,在所述再现方法中,进一步也可以是,在进行了用于利用所述GPS电波或所述NTP电波在所述终端装置的时钟与所述基准时钟之间取得同步的处理的时刻为从所述终端装置接收到所述可见光信号的时刻起往前的预定时间之前的情况下,通过从所述发送机发送的所述可见光信号所示的时刻,在所述终端装置的时钟和所述发送机的时钟之间取得同步。
例如,如果从进行用于在终端装置的时钟和基准时钟之间取得同步的处理起经过预定时间,则会存在该同步无法适当地保持的情况。在这样的情况下,存在终端装置在与由发送机再现的发送机侧内容同步的时刻,无法将内容再现的可能性。于是,在上述本发明一方式的再现方法中,如图130的步骤S1829、S1830所示,当经过了预定时间时,在终端装置(接收机)的时钟与发送机的时钟之间取得同步。因此,终端装置能够在与由发送机再现的发送机侧内容同步的时刻,将内容进行再现。
另外,也可以是,所述服务器具有与各个时刻相关联的多个内容,在所述内容接收步骤中,在与所述可见光信号所示的时刻相关联的内容不存在于所述服务器的情况下,接收所述多个内容中的与所述可见光信号所示的时刻最接近且与所述可见光信号所示的时刻之后的时刻相关联的内容。
由此,如图131A的方法d所示,即便与可见光信号所示的时刻相关联的内容不存在于服务器,也能够从位于该服务器的多个内容中接收适当的内容。
另外,也可以是,包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收内容;以及再现步骤,对所述内容进行再现,所述可见光信号表示ID信息和所述可见光信号从所述发送机被发送的时刻,在所述内容接收步骤中,接收与由所述可见光信号示出的ID信息以及时刻相关联的所述内容。
由此,如图131A的方法d所示,从与ID信息(发送机ID)相关联的多个内容中,接收与可见光信号被从发送机发送的时刻(发送机时刻)相关联的内容并进行再现。因此,能够针对该发送机ID以及发送机时刻,将适当的内容进行再现。
另外,也可以是,所述可见光信号通过包含表示时刻中的时和分的第2信息和表示时刻中的秒的第1信息,来表示所述可见光信号被从所述发送机发送的时刻,在所述信号接收步骤中,接收所述第2信息,并且接收次数比接收所述第2信息的次数多的所述第1信息。
由此,例如在以秒为单位向终端装置通知可见光信号所含的各数据包被发送的时刻的情况下,能够减轻每经过1秒向终端装置发送表示使用时、分以及秒全部表现的当前时间点的时刻的数据包的工夫。即,如图126所示,如果数据包被发送的时刻中的时以及分未从之前发送的数据包所示的时以及分更新,而仅发送作为仅表示秒的数据包(时间数据包1)的第1信息即可。因此,使作为表示时以及分的数据包(时间数据包2)的第2信息少于由发送机发送的作为表示秒的数据包(时间数据包1)的第1信息,由此,能够抑制包含冗长的内容的数据包的发送。
另外,也可以是,所述终端装置的传感器是图像传感器,在所述信号接收步骤中,一边将所述图像传感器的快门速度交替地切换为第1速度和比所述第1速度高速的第2速度,一边进行利用所述图像传感器的连续的撮影,(a)在利用所述图像传感器的撮影的被拍摄对象是条码的情况下,通过所述快门速度是所述第1速度时的撮影,取得条码所映现的图像,通过对在所述图像映现的条码进行解码,来取得条码识别码,(b)在利用所述图像传感器的撮影的被拍摄对象是所述光源的情况下,通过所述快门速度是所述第2速度时的撮影,取得作为包含与所述图像传感器所含的多个曝光线的各个对应的亮线的图像的亮线图像,通过对所取得的亮线图像所含的多个亮线的样式进行解码,来取得所述可见光信号作为可见光识别码,在所述再现方法中,显示通过所述快门速度是所述第1速度时的撮影得到的图像。
由此,如图102所示,无论根据条码还是根据可见光信号,都能够适当地取得与它们相对应的识别码,并且能够显示成为被拍摄对象的条码或光源所映出的图像。
另外,也可以是,在所述可见光识别码的取得中,根据所述多个亮线的样式,取得包含数据部以及地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的第2数据包是否存在预定数量以上,在判定为所述第2数据包存在所述预定数量以上的情况下,通过将与所述预定数量以上的所述第2数据包的各自的数据部对应的所述亮线图像的一部分区域的像素值和与所述第1数据包的数据部对应的所述亮线图像的一部分区域的像素值相加,来算出合成像素值,通过对包含所述合成像素值的数据部进行解码,来取得所述可见光识别码的至少一部分。
由此,如图74所示,即便在包含相同的地址部的多个数据包的各个中,数据部稍有不同,也能够通过将这些数据包的数据部的像素值相加,来对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。
另外,也可以是,所述第1数据包还包含:针对所述数据部的第1错误订正码和针对所述地址部的第2错误订正码,在所述信号接收步骤中,从所述发送机接收通过根据第2频率的亮度变化发送的所述地址部和所述第2错误订正码,并且接收通过根据比所述第2频率高的第1频率的亮度变化发送的所述数据部和所述第1错误订正码。
由此,能够抑制错误地接收地址部,并且能够迅速地取得数据量多的数据部。
另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得包含数据部和地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的至少1个第2数据包是否存在,在判定为所述至少1个第2数据包存在的情况下,判定所述至少1个第2数据包与所述第1数据包的各自的数据部是否完全相等,在判定为各个所述数据部不完全相等的情况下,判定在所述至少1个第2数据包的各个中,该第2数据包的数据部所含的各部分中的与所述第1数据包的数据部所含的各部分不同的部分的数量是否存在预定数量以上,在所述至少1个第2数据包中,存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,丢弃所述至少1个第2数据包,在所述至少1个第2数据包中,不存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,确定所述第1数据包以及所述至少1个第2数据包中的具有相同的数据部的数据包的数量最多的多个数据包,通过对该多个数据包的各个所含的数据部进行解码而作为与所述第1数据包所含的地址部对应的数据部,来取得所述可见光识别码的至少一部分。
由此,如图73所示,在接收到具有相同的地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。也即是,从同一发送机发送的具有相同的地址部的多个数据包基本上具有同一数据部。但是,在终端装置切换成为数据包的发送源的发送机的情况下,终端装置有时会接收即便具有相同的地址部也具有相互不同的数据部的多个数据包。在这样的情况下,上述本发明的一方式的再现方法中,如图73的步骤S10106所示,能够丢弃已经接收的数据包(第2数据包),并将最新的数据包(第1数据包)的数据部作为与该地址部对应的正确的数据部来进行解码。进一步,即便在不存在上述那样的发送机的切换的情况下,有时根据可见光信号的发送接收状况,具有相同的地址部的多个数据包的数据部会稍有不同。在这样的情况下,在上述本发明的一方式的再现方法中,如图73的步骤S10107所示,通过所谓的多数决,能够对适当的数据部进行解码。
另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得分别包含数据部和地址部的多个数据包,判定所取得的所述多个数据包中,是否存在作为所述数据部所含的所有的位表示0的数据包的0终端数据包,在判定为存在所述0终端数据包的情况下,判定所述多个数据包中,是否存在作为包含与所述0终端数据包的地址部相关联的地址部的数据包的全部N个(N为1以上的整数)相关联数据包,在判定为所述N个相关联数据包全部存在的情况下,通过排列所述N个相关联数据包的各自的数据部并进行解码,来取得所述可见光识别码。例如,与所述0终端数据包的地址部相关联的所述地址部,是比所述0终端数据包的地址部所示的地址小且表示0以上的地址的地址部。
具体而言,如图75所示,判定具有0终端数据包的地址以下的地址的数据包作为相关联数据包是否全部齐全,在判定为齐全的情况下,对这些相关联数据包的各自的数据部进行解码。由此,即便终端装置事先不知道为了取得可见光识别码而需要几个相关联数据包,进一步,即便事先不知道这些相关联数据包的地址,也能够在取得了0终端数据包的时间点,容易地获知。结果,终端装置能够通过排列N个相关联数据包的各自的数据部并解码,来取得适当的可见光识别码。
(实施方式18)
以下,对于可变长度、可变分割数对应协议进行说明。
图156是示出本实施方式的发送信号的一例的图。
发送数据包由前导码、类型(TYPE)、有效载荷以及校验部构成。数据包既可以连续地被发送,也可以断续地被发送。通过设置不发送数据包的期间,能够在背光灯熄灭时使液晶的状态变化,并提高液晶显示器的动态清晰感。通过使数据包发送间隔随机,能够避免串扰。
前导码使用未出现于4PPM的样式。通过使用短的基本样式,能够简单地进行接收处理。
通过利用前导码的种类表现数据的分割数,能够不使用多余的发送时隙就使数据分割数可变。
通过利用类型(TYPE)的值使有效载荷长度变化,能够使发送数据为可变长度。在TYPE中,既可以表现有效载荷长度,又可以表现分割前的数据长度。通过利用TYPE的值表现数据包的地址,接收机能够正确地排列接收到的数据包。另外,也可以根据前导码的种类或分割数,使TYPE的值表现的有效载荷长度(数据长度)变化。
通过根据有效载荷长度使校验部的长度变化,能够进行有效的错误订正(检测)。通过使校验部的最短的长度为2比特,能够有效地变换为4PPM。另外,通过根据有效载荷长度使错误订正(检测)码的种类变化,能够有效地进行错误订正(检测)。也可以根据前导码的种类或类型的值使校验部的长度或错误订正(检测)码的种类变化。
通过有效载荷和分割数的不同的组合,而存在成为相同数据长度的组合。在这样的情况下,即便是相同的数据值,也具有按各组合不同的意思,因而能够表现更多的值。
以下,对于高速发送、亮度调制协议进行说明。
图157是示出本实施方式的发送信号的一例的图。
发送数据包由前导码部、主体部、亮度调整部构成。主体中包含地址部、数据部、错误订正(检测)码部。通过允许断续的发送,可以得到与上述同样的效果。
(实施方式19)
(单帧发送(Single frame transmission)的帧构成)
图158是示出本实施方式的发送信号的一例的图。
发送帧由前导码(PRE)、帧长度(FLEN)、ID类型(IDTYPE)、内容(ID/DATA)以及校验码(CRC)构成,也可以包含内容类型(CONTENTTYPE)。各区域的比特数是一个例子。
通过以FLEN指定ID/DATA的长度,能够发送可变长度的内容。
CRC是订正或者检测PRE以外的部分的错误的检查码。通过根据检查区域的长度来使CRC长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的校验码,能够提高每CRC长度的检查能力。
(多帧发送(Multiple frame transmission)的帧构成)
图159是示出本实施方式的发送信号的一例的图。
发送帧由前导码(PRE)、地址(ADDR)和分割后的部分数据(DATAPART)构成,也可以分别包含分割数(PARTNUM)和地址标志位(ADDRFRAG)。各区域的比特数是一个例子。
通过将内容分割为多个部分来发送,能够进行远距离通信。
通过使分割的大小为等分,能够减小最大帧长度,能够稳定地进行通信。
在无法等分割的情况下,通过使一部分的分割部分比其它的分割部分小,能够发送尺寸恰好的数据。
通过使分割的大小为不同的大小,使分割尺寸的组合具有含义,能够发送更多的信息。例如,即便是32比特的相同值的数据,通过在发送4次的8比特的情况、发送2次的16比特的情况、发送1次的15比特并发送1次的17比特的情况下,作为不同的信息来处理,能够表现更多的信息量。
通过以PARTNUM表示分割数,接收机能够立刻得知分割数,能够正确地显示接收的进展。
通过设为在ADDRFRAG为0的情况下不是最后的地址,在为1的情况下是最后的地址,可以不需要表示分割数的区域,能够以更短的时间进行发送。
与上述同样地,CRC是订正或者检测PRE以外的部分的错误的校验码。通过该检查,在接收到来自多个发送源的发送帧时,能够检测串扰。通过使CRC长度为DATAPART长度的整数倍,能够效率最佳地检测串扰。
也可以在分割后的帧(由图159的(a)、(b)或(c)表示的帧)的末尾,增加检查各帧的PRE以外的部分的检查码。
与图158的(a)~(d)同样地,由图159的(d)表示的IDTYPE可以设为4比特或5比特等固定长度,也可以根据ID/DATA长度使IDTYPE长度变化。由此,可以得到与上述同样的效果。
(ID/DATA长度的指定)
图160是示出本实施方式的发送信号的一例的图。
在图158的(a)~(d)的情况下,通过分别设定为图160所示的表(a)以及(b),在128比特时,能够表示泛在识别码(ucode)。
(CRC长度和生成多项式)
图161是示出本实施方式的发送信号的一例的图。
通过这样设定CRC长度,能够不依赖检查对象的长度地保持检查能力。
生成多项式是一个例子,也可以使用另外的生成多项式。另外,也可以使用CRC以外的检查码。据此,能够提高检查能力。
(基于前导码的种类的DATAPART长度的指定和最后的地址的指定)
图162是示出本实施方式的发送信号的一例的图。
通过用前导码的种类表示DATAPART长度,不需要表示DATAPART长度的区域,能够以更短的发送时间发送信息。另外,通过表示是否是最后的地址,不需要表示分割的个数的区域,能够以更短的发送时间发送信息。另外,在图162的(b)的情况下,当为最后的地址时,由于不知道DATAPART长度,因此,通过推定为与在该帧接收的紧邻的之前或之后接收到的不是最后的地址的帧的DATAPART长度相同来进行接收处理,能够正常地进行接收。
也可以为地址长度根据前导码的种类而不同。由此,能够使发送信息的长度的组合变多或者能够以短时间进行发送。
在图162的(c)的情况下,用前导码规定分割数,增加表示DATAPART长度的区域。
(地址的指定)
图163是示出本实施方式的发送信号的一例的图。
通过用ADDR的值表示该帧的地址,接收机能够重构被正确地发送后的信息。
通过用PARTNUM的值表示分割数,接收机在接收到最初的帧的时间点,一定能够获知分割数,能够正确地显示接收的进展。
(基于分割数的差异实现的串扰的防止)
图164和图165是示出本实施方式的发送接收系统的一例的图和流程图。
在将发送信息等分地分割发送的情况下,来自图164的发送机A和发送机B的信号由于前导码不同,因此,即便在同时地接收到这些信号的情况下,接收机也能够不将发送源混同而重构发送信息。
发送机A、B具备分割数设定部,由此,用户能够设定为接近地设置的发送机的分割数不同,能够防止串扰。
接收机通过将接收到的信号的分割数登记在服务器中,服务器能够得知发送机所设定的分割数,其它的接收机通过从服务器取得该信息,能够正确地显示接收的进展状况。
接收机从服务器或者从接收机的存储部取得来自附近的或者对应的发送机的信号是否是等长分割。在所述取得的信息是等长分割的情况下,仅从相同DATAPART长度的帧对信号进行复原。在不是是等长分割的情况下或在相同DATAPART长度的帧中所有的地址不全的状况持续了预定时间以上的情况下,按照不同的DATAPART长度的帧来将信号复原。
(基于分割数的差异实现的串扰的防止)
图166是示出本实施方式的服务器的动作的流程图。
服务器从接收机接受接收机所接收的ID和分割构成(以怎样的DATAPART长度的组合接收到信号)。在所述ID不是基于分割构成的扩充的对象的情况下,将对分割构成的样式进行了数值化后的结果作为辅助ID,将所述ID和所述辅助ID和在一起后的扩充ID作为关键词而相关联的信息交付给接收机。
在不是基于分割构成的扩充的对象的情况下,确认与ID相关联的分割构成是否在存储部中存在,确认是否与接收到的分割构成相同。在不同的情况下,向接收机发送再确认命令。由此,能够防止提示因接收机的接收错误而搞错的信息。
发送再确认命令后,在预定时间以内接收到相同ID、相同分割构成的情况下,判断为分割构成已被变更,更新与ID相关联的分割构成。由此,能够应对作为图164的说明而记述那样的分割构成被变更了的情况。
在未存储有分割构成的情况、在接收到的分割构成与所存储的分割构成不一致的情况、或者更新分割构成的情况下,把将ID作为关键词而相关联的信息交付给接收机,将分割构成与ID以相关联的方式向存储部存储。
(接收的进展状况的显示)
图167~图172是示出本实施方式的接收机的动作的一例的流程图和图。
接收机从服务器或接收机的存储区域取得接收机对应的发送机、或者位于接收机的附近的发送机的分割数的种类和比例。另外,在已经接收到一部分的分割数据的情况下,取得正发送与该一部分一致的信息的发送机的分割数的种类和比例。
接收机接收分割后的帧。
在已经接收到最后的地址的情况、所述取得的分割数仅为1种的情况、或者执行中的接收应用程序所支持的分割数仅为1种的情况下,由于分割数是已知的,因此,以该分割数为基准来显示进展状况。
在否则、且可利用的处理资源少或为节能模式的情况下,接收机以简易模式计算进展状况来进行显示。另一方面,在可利用的处理资源多或不为节能模式的情况下,以最大似然推定模式计算进展状况来进行显示。
图168是示出简易模式下的进展状况的计算方法的流程图。
首先,接收机从服务器取得标准分割数Ns。或者,接收机从自身的内部的数据保持部读出标准分割数Ns。此外,标准分割数是(a)以该分割数发送的发送机数的最频值或期待值、(b)按数据包长度决定的分割数、(c)按应用程序决定的分割数、或者(d)按存在接收机的场所能够识别的范围决定的分割数。
接着,接收机判定是否接收到表示是最终地址的数据包。在判定为接收到时,将最终数据包的地址设为N。另一方面,在判定为未接收到时,将在已接收的最大地址Amax上加上1或2以上的数后的数设为Ne。在此,接收机判定是否Ne>Ns。在判定为是Ne>Ns时,接收机设为N=Ne。另一方面,在判定为不是Ne>Ns时,接收机设为N=Ns。
并且,接收机设为接收中的信号的分割数为N,计算信号整体的接收所需的数据包中的接收完数据包数的比例。
在这种简易模式下,与最大似然推定模式相比,能够以简单的计算来计算进展状况,在处理时间或能耗上是有利的。
图169是示出最大似然推定模式下的进展状况的计算方法的流程图。
首先,接收机从服务器取得分割数的事先分布。或者,接收机从自身的内部的数据保持部读出事先分布。此外,对于事先分布,(a)作为以该分割数发送的发送机数的分布来决定,(b)按数据包长度来决定,(c)按应用程序来决定,或者(d)按存在接收机的场所且能够识别的范围来决定。
接着,接收机接收数据包x,计算在分割数为y时接收数据包x的概率P(x|y)。并且,接收机对于在接收到数据包x的情况下发送信号的分割数为y的概率P(y|x),作为P(x|y)×P(y)÷A来求取(此外,A是归一化乘数)。进而,接收机设为P(y)=P(y|x)。
在此,接收机判定分割数推定模式是最大似然模式、还是似然度平均模式。在为最大似然模式的情况下,接收机将P(y)成为最大的y作为分割数来算出接收完的数据包数的比例。另一方面,在为似然度平均模式的情况下,接收机将y×P(y)的总和作为分割数来计算接收完的数据包数的比例。
在这种最大似然推定模式下,与简易模式相比,能够计算更准确的进展程度。
另外,在分割数推定模式为最大似然模式的情况下,根据至此接收到的地址计算最后的地址为几号的似然度,将具有最大似然的推定为是分割数来显示接收的进展。该显示方法能够显示与实际的进展状况最接近的进展状况。
图170是示出进展状况不减少的显示方法的流程图。
首先,接收机计算信号整体的接收所需要的数据包中的、接收完数据包数的比例。并且,接收机判定计算出的比例是否比显示中的比例小。当判定为比显示中的比例小时,接收机进一步判定显示中的比例是否为预定时间以上前的计算结果。在判定为是预定时间以上前的计算结果时,接收机显示计算出的比例。另一方面,在判定为不是预定时间以上前的计算结果时,接收机继续显示显示中的比例。
另外,接收机当判定为计算出的比例是显示中的比例以上时,将在接收完的最大地址Amax上加上1或2以上的数后的数设为Ne。并且,接收机显示其计算出的比例。
在接收到最终数据包时等,进展状况的计算结果到那时进一步变小、也即是显示的进展状况(进展程度)降低将会是不自然的。但是,在上述的显示方法中,能够抑制这样的不自然的显示。
图171是示出存在多个数据包长度的情况的进展状况的显示方法的流程图。
首先,接收机按数据包长度计算接收完数据包数的比例P。在此,接收机判定显示模式是最大模式、全显示模式以及最新模式中的哪个。在判定为是最大模式时,接收机显示多个数据包长度的各自的比例P中的最大的比例。在判定为是全显示模式时,接收机显示全部的比例P。在判定为是最新模式时,接收机显示最后接收到的数据包的数据包长度的比例P。
图172中,(a)是作为所述简易模式计算出的进展状况,(b)是作为所述最大似然模式计算出的进展状况,(c)是将所取得的分割数中的最小的分割数作为分割数计算出的情况下的进展状况。按(a)(b)(c)的顺序,进展状况变大,因此,这样,通过重叠显示(a)(b)(c),能够同时地显示所有的进展状况。
(基于共同开关和像素开关的发光控制)
在本实施方式的发送方法中,例如,通过根据共同开关以及像素开关的开关(switching),使影像显示用的LED显示器所含的各LED进行亮度变化,从而发送可见光信号(也称为可见光通信信号)。
LED显示器例如构成为配设在屋外的大型显示器。另外,LED显示器具备排列为矩阵状的多个LED,根据影像信号,使这些LED明暗,由此显示影像。这种LED显示器包括多条共同线(COM线),并且包括多条像素线(SEG线)。各共同线包括沿水平方向排列成一列的多个LED,各像素线包括沿垂直方向排列成一列的多个LED。另外,多条共同线分别连接于与该共同线对应的共同开关。共同开关例如是晶体管。多条像素线分别连接于与该像素线对应的像素开关。与多条像素线对应的多个像素开关例如设于LED驱动电路(恒流电路)。此外,该LED驱动电路构成为使多个像素开关进行开关的像素开关控制部。
更具体而言,共同线所含的各LED的阳极以及阴极中的一方连接于与该共同线对应的晶体管的集电极等端子。另外,像素线所含的各LED的阳极以及阴极中的另一方连接于上述LED驱动电路中的、与该像素线对应的端子(像素开关)。
在这样的LED显示器显示影像时,控制多个共同开关的共同开关控制部,以时分方式使这些共同开关导通(on,关闭)。例如,共同开关控制部在第1期间中仅使多个共同开关中的第1共同开关导通,在接下来的第2期间中,仅使多个共同开关中的第2共同开关导通。并且,LED驱动电路在某共同开关成为导通的期间,根据影像信号使各像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的LED点亮。通过该点亮的期间,表现影像中的像素的亮度。也即是,影像的像素的亮度被进行PWM控制。
本实施方式的发送方法中,利用这样的LED显示器、共同开关以及像素开关、共同开关控制部以及像素开关控制部,来发送可见光信号。另外,利用这样的发送方法发送可见光信号的本实施方式中的发送装置(也称为发送机),具备该共同开关控制部以及像素开关控制部。
图173是示出本实施方式的发送信号的一例的图。
发送机根据预先决定的码元周期,发送可见光信号所含的各码元。例如,发送机在利用4PPM发送码元“00”时,在由4时隙构成的码元周期中,根据该码元(“00”的亮度变化样式)来使共同开关进行开关。并且,发送机根据由影像信号等表示的平均亮度来使像素开关进行开关。
更具体而言,在使码元周期中的平均亮度为75%的情况下(图173的(a)),发送机在第1时隙的期间中,使共同开关为截止(off,断开),在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙的期间中,使像素开关为截止,在第2时隙~第4时隙的期间中,使像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的LED点亮。也即是,LED在4时隙的各个中,以LO(Low)、HI(High)、HI、HI的亮度点亮,由此,亮度变化。结果,码元“00”被发送。
另外,在码元周期中的平均亮度为25%的情况下(图173的(e)),发送机在第1时隙的期间中,使共同开关为截止,在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙、第3时隙以及第4时隙的期间中,使像素开关截止,在第2时隙的期间中,使像素开关导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的LED点亮。也即是,LED,在4时隙的各个中,如LO(Low)、HI(High)、LO、LO那样点亮,由此亮度变化。结果,码元“00”被发送。此外,本实施方式中的发送机发送接近上述的V4PPM(可变的(variable)4PPM)的可见光信号,因此,即便在发送相同码元的情况下,也能够使平均亮度为可变。也即是,当以相互不同的平均亮度发送相同码元(例如“00”)时,发送机如图173的(a)~(e)所示,与平均亮度无关地使该码元中固有的亮度的上升位置(定时)一定。由此,接收机不需认识到亮度就能够接收可见光信号。
此外,共同开关通过上述的共同开关控制部被进行开关,像素开关通过上述的像素开关控制部被进行开关。
这样,本实施方式的发送方法是根据亮度变化发送可见光信号的发送方法,包括:决定步骤、共同开关控制步骤、第1像素开关控制步骤。在决定步骤中,通过对可见光信号进行调制,来决定亮度变化样式。在共同开关控制步骤中,根据该亮度变化样式来使共同开关进行开关,所述共同开关用于使显示器所具备的光源组(共同线)所含的、用于分别表示影像中的像素的多个光源(LED)共同地点亮。在第1像素开关控制步骤中,使用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关为导通,由此,仅在共同开关为导通、并且第1像素开关为导通的期间,使第1光源点亮,据此来发送可见光信号。
由此,能够从具备多个LED等作为光源的显示器适当地发送可见光信号。因此,使得包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及第1像素开关的控制来显示影像的显示器的情况下,利用该共同开关以及第1像素开关,能够发送可见光信号。因此,能够不对用于在显示器显示影像的构成大幅地进行变更,而简单地发送可见光信号。
另外,通过使像素开关的控制定时与发送码元(与4PPM的1次相应)一致而如图173所示那样进行控制,能够不闪烁地从LED显示器发送可见光信号。图像信号(即影像信号)通常以1/30秒或1/60秒为周期变化,但是,通过按照码元发送周期(码元周期)来使图像信号变化,能够不对电路施加变更地加以实现。
这样,在本实施方式的发送方法的上述决定步骤中,按码元周期决定亮度变化样式。另外,在上述第1像素开关控制步骤中,与码元周期同步地使像素开关进行开关。由此,即便码元周期例如是1/2400秒,也能够根据该码元周期来适当地发送可见光信号。
在信号(码元)为“10”、平均亮度为50%附近时,亮度变化样式会接近0101,亮度的上升部位为2个部位。但是,在该情况下,通过使后面的上升部位优先,接收机能够正确地接收信号。即,后面的上升部位是能得到码元“10”所固有的亮度的上升的定时。
平均亮度越高,越能够输出接近以4PPM调制后的信号的信号。因此,在画面整体或者共用电源线的部分的亮度低的情况下,通过减小电流来降低亮度的瞬时值,能够延长HI区间,能够降低错误。该情况下,画面的最高亮度降低,但是,在根据屋内的用途等而原本不需要高的亮度的情况下、或使可见光通信优先的情况下等,通过使将其设为有效的开关为有效,能够最佳地设定通信品质和画质的平衡。
另外,在本实施方式中的发送方法的上述第1像素开关控制步骤中,当使显示器(LED显示器)显示影像时,使第1像素开关以如下方式进行开关:与上述第1光源所对应的用于表现影像中的像素的像素值的点亮期间中的、为了发送可见光信号而熄灭第1光源的期间相应地,补偿该点亮期间。也即是,在本实施方式中的发送方法中,当使LED显示器显示影像时,发送可见光信号。因此,有时在为了表现由影像信号表示的像素值(具体而言,亮度值)而在LED应点亮的期间中,会为了发送可见光信号而该LED被熄灭。在这样的情况下,在本实施方式的发送方法中,以与该LED被熄灭的期间相应地补偿该点亮期间的方式使第1像素开关进行开关。
例如,在不发送可见光信号而显示由影像信号示出的影像时,在1个码元周期中,共同开关为导通,像素开关仅在对应于作为由该影像信号表示的像素值的平均亮度的期间为导通。在平均亮度为75%的情况下,共同开关在码元周期的第1时隙~第4时隙中为导通。进一步,像素开关在码元周期的第1时隙~第3时隙中为导通。由此,码元周期中,LED在第1时隙~第3时隙中点亮,因此,能够表现上述的像素值。但是,为了发送码元“01”,第2时隙被熄灭。于是,在本实施方式的发送方法中,使像素开关进行开关,以使得与该LED被熄灭的第2时隙相应地补偿该LED的点亮期间,也即是,在第4时隙中LED点亮。
另外,在本实施方式的发送方法中,通过变更影像中的像素的像素值,来补偿该点亮期间。例如,在上述那样的情况下,将平均亮度75%的像素值变更为平均亮度100%的像素值。在平均亮度100%的情况下,LED在第1时隙~第4时隙点亮,但是,为了发送码元“01”,第1时隙被熄灭。因此,即便在发送可见光信号的情况下,也能够以本来的像素值(平均亮度75%)使LED点亮。
由此,能够抑制由于可见光信号的发送而使影像走样。
(按像素错开的发光控制)
图174是示出本实施方式的发送信号的一例的图。
如图174所示,本实施方式的发送机在从像素A和该像素A的附近的像素(例如,像素B以及像素C)发送相同码元(例如“10”)时,使这些像素的发光定时错开。但是,发送机以在这些像素间使该码元中固有的亮度上升定时不错开的方式来使这些像素发光。此外,像素A~像素C分别相当于光源(具体而言,LED)。另外,只要该码元为“10”,则码元中固有的亮度上升定时为第3时隙的第4时隙的边界的定时。另外,以下,将这样的定时称为码元固有定时。接收机通过特定该码元固有定时,能够接收对应于该定时的码元。
通过这样错开发光定时,如图174所示,对于表示像素间的平均亮度推移的波形,除了码元固有定时处的上升之外,还有缓和的上升或下降。也即是,码元固有定时处的上升比其它的定时的上升陡峭。因此,接收机通过优先地接收多个上升中的最陡峭的上升,能够确定适当的码元固有定时,结果能够抑制接收错误。
也即是,在从预定的像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机相反地调整与该预定像素的附近的像素对应的像素开关的开区间。这样,即便将各像素开关的开区间设定为包含该预定像素和附近的像素的整体的亮度不变,也能够抑制错误。此外,开区间是指像素开关导通的区间。
这样,本实施方式的发送方法还包括第2像素开关控制步骤。该第2像素开关控制步骤中,通过将用于使上述光源组(共同线)所含的位于第1光源的周围的第2光源点亮的第2像素开关设为导通,仅在共同开关为导通、并且第2像素开关为导通的期间,使该第2光源点亮,由此来发送可见光信号。此外,第2光源例如是与第1光源相邻的光源。
并且,在该第1以及第2像素开关控制步骤中,在从第1以及第2光源的各光源同时地发送可见光信号所含的同一码元时,将第1以及第2像素开关的各开关为了发送同一码元而导通或截止的多个定时中的、得到该同一码元中固有的亮度上升的定时,设为在第1以及第2像素开关的各开关中相同,将其它的定时设为在第1以及第2像素开关的各开关中不同,使该同一码元被发送的期间的、第1以及第2光源的整体的平均亮度与预先决定的亮度一致。
由此,如图174所示的像素间平均亮度推移的那样,在空间上平均后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。
另外,在从预定像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将第1期间中的与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机在第1期间和在时间上在前或在后的第2期间(例如帧)中,相反地调整该像素开关的开区间。这样,即便将像素开关的开区间设定为预定像素中的、包含第1期间和第2期间的整体的时间平均亮度不变,也能够抑制错误。
即,本实施方式的发送方法的上述第1像素开关控制步骤中,例如,在第1期间和接着该第1期间的第2期间,发送可见光信号所含的同一码元。此时,在该第1以及第2期间的各期间中,使第1像素开关为发送该同一码元而导通或截止的多个定时中的得到同一码元中固有的亮度上升的定时为相同,使其它的定时不同。并且,使该第1以及第2期间的整体的第1光源的平均亮度与预先决定的亮度一致。该第1期间以及第2期间也可以分别是用于显示帧的期间和用于显示下一帧的期间。另外,第1期间以及第2期间也可以分别是码元周期。也即是,第1期间以及第2期间也可以分别是用于发送1个码元的期间和用于发送下一码元的期间。
由此,与图174所示的像素间平均亮度推移同样地,在时间上平均化后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。
(像素开关能够倍速驱动的情况的发光控制)
图175是示出本实施方式的发送信号的一例的图。
在能够以发送码元周期的半个周期开闭像素开关的情况下、也即是在像素开关能够倍速驱动的情况下,如图175所示那样,能够设为与V4PPM相同的发光样式。
换言之,在码元周期(码元被发送的期间)由4时隙构成的情况下,控制像素开关的LED驱动电路等的像素开关控制部,能够按每2时隙来控制像素开关。也即是,像素开关控制部在从该码元周期的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。进而,像素开关控制部在该码元周期的第3时隙的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。
也即是,本实施方式的发送方法中,也可以以上述码元周期的1/2周期变更像素值。
该情况下,存在像素开关的开闭的每1次的精细度会降低(精度会降低)的可能性。于是,通过仅在发送优先开关有效时进行像素开关的开闭,能够最佳地设定画质和发送品质的平衡。
(基于像素值调整的发光控制的框图)
图176是示出本实施方式的发送机的一例的框图。
图176的(a)是示出不进行可见光信号的发送而仅进行影像的显示的装置、即使上述的LED显示器显示影像的显示装置的构成的框图。如图176的(a)所示,该显示装置具备:图像/影像输入部1911、N倍速化部1912、共同开关控制部1913、像素开关控制部1914。
图像/影像输入部1911将例如以60Hz的帧速率表示图像或影像的影像信号向N倍速化部1912输出。
N倍速化部1912将从图像/影像输入部1911输入的影像信号的帧速率提升至N(N>1)倍,并输出该影像信号。例如,N倍速化部1912将帧速率提升至10倍(N=10),即提升至600Hz的帧速率。
共同开关控制部1913基于该600Hz的帧速率的影像来使共同开关进行开关。同样地,像素开关控制部1914基于该600Hz的帧速率的影像来使像素开关进行开关。这样,通过利用N倍速化部1912提升帧速率,能够避免因共同开关或像素开关等开关的开闭而导致的闪烁。另外,在由摄像装置以高速快门对LED显示器进行摄像的情况下,也能够使该摄像装置拍摄无像素缺失或无闪烁的图像。
图176的(b)是示出不仅进行影像的显示还进行上述可见光信号的发送的显示装置、即发送机(发送装置)的构成的框图。该发送机具备:图像/影像输入部1911、共同开关控制部1913、像素开关控制部1914、信号输入部1915、像素值调整部1916。信号输入部1915将由多个码元构成的可见光信号以2400码元/秒的码元速率(频率)向像素值调整部1916输出。
像素值调整部1916与该可见光信号的码元速率相匹配地复制从图像/影像输入部1911输入的图像,根据上述方法对像素值进行调整。由此,从像素值调整部1916到后面的共同开关控制部1913以及像素开关控制部1914,能够不改变图像或影像的亮度地输出可见光信号。
例如,在图176所示的例子的情况下,如果可见光信号的码元速率为2400码元/秒,则像素值调整部1916按照影像信号的帧速率60Hz为4800Hz的方式,复制影像信号所含的图像。例如,可见光信号所含的码元的值为“00”,复制前的第1张图像所含的像素的像素值(亮度值)为50%。该情况下,像素值调整部1916在复制后的第1张图像中将该像素值调整为100%,在第2张图像中调整为50%。由此,如图175的(c)所示的、码元“00”的情况的亮度变化那样,通过共同开关和像素开关的与(and),亮度成为50%。结果,能够一边保持为与原图像的亮度相等,一边发送可见光信号。此外,共同开关和像素开关的与是指,仅在共同开关导通、且像素开关导通的期间,与该共同开关以及像素开关对应的光源(即LED)点亮。
另外,在本实施方式的发送方法中,也可以不同时地进行影像的显示和可见光信号的发送,而通过信号发送期间和影像显示时间将它们分开来进行。
也即是,在本实施方式的上述第1像素开关控制步骤中,在共同开关根据亮度变化样式进行开关的信号发送期间中,第1像素开关为导通。并且,本实施方式的发送方法,还可以包含影像显示步骤:在与该信号发送期间不同的影像显示期间中,使该共同开关导通,在影像显示期间中根据显示对象的影像使第1像素开关导通,由此,仅在共同开关导通且第1像素开关导通的期间,使第1光源点亮,据此显示该影像中的像素。
由此,由于影像的显示和可见光信号的发送在相互不同的期间进行,因此,能够简单地进行该显示和发送。
(电源变更的定时)
在电源线变更时,会发生信号截止(off)的区间,但是,由于4PPM的最后的部分即使不发光也不会对接收有影响,因此,通过与4PPM码元的发送周期相匹配地变更电源线,能够不影响接收品质地变更电源线。
另外,即便在4PPM的LO期间变更电源线,也能够不对接收品质造成影响地变更电源线。该情况下,还能够将最大亮度保持得高地进行发送。
(驱动定时)
另外,本实施方式中,也可以在图177~图179所示的定时驱动LED显示器。
图177~图179是以本发明的光ID调制信号驱动LED显示器的情况的时序图。
例如如图178所示,为了发送可见光信号(光ID),在共同开关(COM1)截止时(期间t1),无法以影像信号所表示的亮度使LED点亮,因此,在该期间t1以后,使该LED点亮。由此,能够一边适当地发送可见光信号,一边不使由影像信号表示的影像走样地适当显示该影像。
(总结)
图180A是示出本发明的一方式的发送方法的流程图。
本发明的一方式的发送方法是利用亮度变化发送可见光信号的发送方法,包括步骤SC11~SC13。
在步骤SC11中,与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。
步骤SC12中,根据该亮度变化样式来使共同开关进行开关,该共同开关用于使显示器所具备的光源组所含的、用于分别表示影像中的像素的多个光源共同点亮。
步骤S13中,将用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关(即像素开关)设为导通,由此,仅在共同开关为导通且第1像素开关为导通的期间,使第1光源点亮,据此发送可见光信号。
图180B是示出本发明的一方式的发送装置的功能结构的框图。
本发明的一方式的发送装置C10是根据亮度变化来发送可见光信号的发送装置(或发送机),具备决定部C11、共同开关控制部C12、像素开关控制部C13。决定部C11与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。此外,该决定部C11例如设于图176所示的信号输入部1915。
共同开关控制部C12根据该亮度变化样式来使共同开关进行开关。该共同开关是用于使显示器所具备的光源组所含的用于分别表示影像中的像素的多个光源共同点亮的开关。
像素开关控制部C13通过将用于使光源组所含的多个光源中的控制对象的光源点亮的像素开关设为导通,仅在共同开关为导通且像素开关为导通的期间,使控制对象的光源点亮,据此发送可见光信号。此外,控制对象的光源是上述第1光源。
由此,能够从具备多个LED等作为光源的显示器适当地发送可见光信号。因此,能够使包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及像素开关的控制显示影像的显示器的情况下,能够利用该共同开关以及像素开关,发送可见光信号。因此,不对用于使显示器显示影像的构成(即显示装置)进行大幅的变更,就能够简单地发送可见光信号。
(单帧发送(Single frame transmission)的帧构成)
图181是示出本实施方式的发送信号的一例的图。
如图181的(a)所示,发送帧由前导码(PRE)、ID长度(IDLEN)、ID类型(IDTYPE)、内容(ID/DATA)以及检查码(CRC)构成。各区域的比特数是一例。
通过使用图181的(b)所示那样的前导码,接收机能够与用4PPM、I-4PPM或V4PPM编码的其它的部分相区别,能够找到信号的划分(分割)。
如图181的(c)所示,通过用IDLEN指定ID/DATA的长度,能够发送可变长度的内容。
CRC是订正或者检测PRE以外的部分的错误的检查码。通过根据检查区域的长度使CRC长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的检查码,能够提高每CRC长度的检查能力。
(多帧发送(Multiple frame transmission)的帧构成)
图182和图183是示出本实施方式的发送信号的一例的图。
向发送数据(BODY)附加划分类型(PTYPE)和检查码(CRC)而成为联接数据(Joineddata)。联接数据被分割为几个DATAPART,并被附加前导码(PRE)和地址(ADDR)而被发送。
PTYPE(或者,划分模式(PMODE))表示BODY的分割方法或含义。通过如图182的(a)所示那样设为2比特,能够以4PPM恰好地进行编码。通过如图182的(b)所示那样设为1比特,能够缩短发送时间。
CRC是检查PTYPE和BODY的检查码。如图161确定那样,通过根据所检查的部分的长度使CRC的编码长度变化,能够将检查能力保持为一定以上。
前导码通过如图162那样确定,能够确保分割样式的变化,并且能够缩短发送时间。
地址通过如图163那样确定,接收机能够与接收到帧的顺序无关地对数据进行复原。
图183是可能的联接数据长度和帧数的组合。带下划线的组合是下述的PTYPE为单帧兼容(Single frame compatible)时所使用的组合。
(BODY字段的构成)图184是示出本实施方式的发送信号的一例的图。
通过将BODY设为如图那样的字段构成,能够发送与单帧发送同样的ID。
在相同IDTYPE、相同ID的情况下,通过设为与单帧发送还是多帧发送无关地、另外与数据包发送的组合无关地,表示相同含义,能够在连续发送、接收时间短的情况等情况下灵活地发送信号。
以IDLEN指定ID的长度,剩余的部分发送填充(PADDING)。该部分可以全部为0或1,也可以发送扩充ID的数据,还可以设为检查码。PADDING也可以在左端。
在图184的(b)、(c)或(d)中,能够与图184的(a)相比缩短发送时间。此时ID的长度设为可作为ID被取得的长度中的最大长度。
在图184的(b)或(c)的情况下,IDTYPE的比特数为奇数,但是,通过与图182的(b)所示的1比特的PTYPE进行组合,能够成为偶数,能够以4PPM高效地进行编码。
在图184的(c)中,能够发送更长的ID。
在图184的(d)中,能够表现更多的IDTYPE。
(PTYPE)
图185是示出本实施方式的发送信号的一例的图。
在PTYPE为预定的比特时,表示BODY为单帧兼容模式。由此,能够发送与单帧发送的情况相同的ID。
例如,在PTYPE=00时,能够与以单帧发送方式发送的ID或ID类型同样地处理与该PTYPE对应的ID或ID类型,能够使ID或ID类型的管理简单。
当PTYPE为预定的比特时,表示BODY是数据流(Data stream)模式。此时,发送帧数和DATAPART长度能够使用所有的组合,不同的组合的数据能够具有不同的含义。通过PTYPE的比特,所述不同的组合可以设为具有相同含义的情况和具有不同的含义的情况。由此,能够灵活地选择发送方法。
例如,当PTYPE=01时,能够发送单帧发送中未定义的尺寸(size)的ID。另外,即便与该PTYPE对应的ID与单帧发送的ID相同,也能够将与该PTYPE对应的ID作为与该单帧发送的ID不同的其他的ID来处理。结果,能够增多可以表现的ID的数量。
(单帧兼容(Single frame compatible)模式的字段构成)
图186是示出本实施方式的发送信号的一例的图。
在使用图184的(a)的情况下,在单帧兼容模式下,以图186所示的表的组合发送的情况的效率最佳。
在使用图184的(b)、(c)或(d)的情况下,当ID为32比特时,帧数为13、DATAPART长度为4比特的组合的效率较好。另外,当ID为64比特时,帧数为11、DATAPART长度为8比特的组合的效率较好。
通过仅以表的组合进行发送,使得不同的组合能够判断为接收错误,能够降低接收错误率。
(实施方式19的总结)
本发明的一个方式的发送方法是通过亮度变化来发送可见光信号的发送方法,该方法包括:决定步骤,通过调制可见光信号来决定亮度变化样式;共同开关控制步骤,按照所述亮度变化样式来使共同开关进行开关,所述共同开关用于使显示器所具备的光源组所含的、用于分别表示影像中的像素的多个光源共同点亮;以及第1像素开关控制步骤,通过使用于使所述光源组所含的多个光源中的第1光源点亮的第1像素开关为导通,从而仅在所述共同开关为导通、并且所述第1像素开关为导通的期间,使所述第1光源点亮,由此发送所述可见光信号。
由此,例如如图173~图180B所示,能够从具备多个LED等作为光源的显示器适当地发送可见光信号。因此,能够使得包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及第1像素开关的控制来显示影像的显示器的情况下,能够利用该共同开关以及第1像素开关,发送可见光信号。因此,能够不对用于使显示器显示影像的构成进行大幅的变更,就能够简单地发送可见光信号。
另外,也可以是,在所述决定步骤中,按码元周期决定所述亮度变化样式,在所述第1像素开关控制步骤中,与所述码元周期同步地使所述第1像素开关进行开关。
由此,例如如图173所示,即使码元周期例如为1/2400秒,也能够根据该码元周期适当地发送可见光信号。
另外,也可以是,在所述第1像素开关控制步骤中,在使所述显示器显示影像时,使所述第1像素开关进行开关,以使得:与所述第1光源所对应的用于表现所述影像中的像素的像素值的点亮期间中的、为了发送所述可见光信号而熄灭所述第1光源的期间相应地,补偿所述点亮期间。例如,也可以通过改变所述影像中的像素的像素值,来补偿所述点亮期间。
由此,例如如图173以及图175所示,即便在为了发送可见光信号而第1光源被熄灭的情况下,由于点亮期间得到补偿,因此,也能够不使本来的影像走样地适当进行显示。
另外,也可以是,以所述码元周期的1/2周期来改变所述像素值。
由此,例如图175所示,能够适当地进行影像的显示和可见光信号的发送。
另外,也可以是,所述发送方法还包括第2像素开关控制步骤,在所述第2像素开关控制步骤中,通过使用于使所述光源组所含的、位于所述第1光源的周围的第2光源点亮的第2像素开关为导通,仅在所述共同开关为导通、并且所述第2像素开关为导通的期间,使所述第2光源点亮,由此发送所述可见光信号,在所述第1像素开关控制步骤以及所述第2像素开关控制步骤中,在从所述第1光源以及所述第2光源的各个光源,同时地发送所述可见光信号所含的同一码元时,使所述第1像素开关以及所述第2像素开关的各个像素开关为了发送所述同一码元而导通或截止的多个定时中的、得到所述同一码元中固有的亮度上升的定时,在所述第1像素开关以及所述第2像素开关的各像素开关中相同,使其它的定时在所述第1像素开关以及所述第2像素开关的各像素开关中不同,使发送所述同一码元的期间的所述第1光源以及所述第2光源的整体的平均亮度与预先决定的亮度一致。
由此,例如如图174所示,能够在空间上平均化后的亮度下,仅在得到码元中固有的亮度上升的定时,使该上升为陡峭,能够抑制接收错误的发生。
另外,也可以是,在所述第1像素开关控制步骤中,在第1期间和接着所述第1期间的第2期间,发送所述可见光信号所含的同一码元时,在所述第1期间以及所述第2期间的各期间中,使所述第1像素开关为了发送所述同一码元而导通或截止的多个定时中的、得到所述同一码元中固有的亮度上升的定时相同,使其它的定时不同,使所述第1期间以及所述第2期间的整体的所述第1光源的平均亮度与预先决定的亮度一致。
由此,例如如图174所示,能够在时间上平均化后的亮度下,仅在得到码元中固有的亮度上升的定时,使该上升为陡峭,能够抑制接收错误的发生。
另外,也可以是,在所述第1像素开关控制步骤中,在所述共同开关按照所述亮度变化样式来进行开关的信号发送期间中,使所述第1像素开关为导通,所述发送方法还包括影像显示步骤,在所述影像显示步骤中,通过在与所述信号发送期间不同的影像显示期间中,使所述共同开关为导通,在所述影像显示期间使所述第1像素开关按照显示对象的影像来成为导通,从而仅在所述共同开关为导通、并且所述第1像素开关为导通的期间,使所述第1光源点亮,由此显示所述影像中的像素。
由此,由于影像的显示和可见光信号的发送在相互不同的期间进行,因此,能够简单地进行该显示和发送。
(实施方式20)
在本实施方式中,对上述各实施方式的可见光信号的详细情况或变形例进行具体说明。此外,摄像头的发展趋势是高分辨率化(4K)、高帧速率化(60fps)。通过高帧速率化,帧扫描时间减少。其结果是,接收距离减小,接收时间增加。因此,对于发送可见光信号的发送机,需要缩短数据包发送时间。另外,通过线扫描时间的减少,接收的时间分辨能力提高。另外,曝光时间为1/8000秒。对于4PPM,由于同时进行信号表现和调光,因此信号密度低,效率差。因此,在本实施方式的可见光信号中,将信号部分和调光部分分离,缩短了接收所需的部分。
图187是输出本实施方式的可见光信号的结构的一例的图。
如图187所示,可见光信号包括信号部与调光部的多个组合。该组合的时间长度例如为2ms以下(频率为500Hz以上)。
图188是示出本实施方式的可见光信号的详细结构的一例的图。
可见光信号包括数据L(DataL)、前导码(Preamble)、数据R(DataR)和调光部(Dimming)。由数据L、前导码和数据R构成上述信号部。
前导码沿着时间轴交替地示出High(高)和Low(低)的亮度值。也即是,前导码按时间长度P1示出High的亮度值,按下一个时间长度P2示出Low的亮度值,按下一个时间长度P3示出High的亮度值,按下一个时间长度P4示出Low的亮度值。此外,时间长度P1~P4例如为100μs。
数据R沿着时间轴交替地示出High和Low的亮度值,被配置在紧接前导码之后。也即是,数据R按时间长度DR1示出High的亮度值,按下一个时间长度DR2示出Low的亮度值,按下一个时间长度DR3示出High的亮度值,按下一个时间长度DR4示出Low的亮度值。此外,时间长度DR1~DR4根据与发送对象的信号相应的算式来决定。该算式是DRi=120+20xi(i∈1~4,xi∈0~15)。此外,120以及20等数值表示时间(μs)。另外,这些数值是一例。
数据L沿着时间轴交替地示出High和Low的亮度值,被配置在紧接前导码之前。也即是,数据L按时间长度DL1示出High的亮度值,按下一个时间长度DL2示出Low的亮度值,按下一个时间长度DL3示出High的亮度值,按下一个时间长度DL4示出Low的亮度值。此外,时间长度DL1~DL4根据与发送对象的信号相应的算式来决定。该算式是DLi=120+20×(15-xi)。此外,与上述同样地,120以及20等数值表示时间(μs)。另外,这些数值是一例。
此外,发送对象的信号由4×4=16位(比特)构成,xi是该发送对象的信号中的4位的信号。在可见光信号中,通过数据R中的时间长度DR1~DR4的各时间长度或数据L中的时间长度DL1~DL4的各时间长度,表示该xi(4位的信号)的数值。另外,在发送对象的信号的16位中,4位表示地址,8位表示数据,4位用于错误检测。
在此,数据R和数据L针对明亮度具有互补关系。也即是,如果数据R的明亮度亮,则数据L的明亮度为暗,反过来,如果数据R的明亮度暗,则数据L的明亮度为亮。也即是,数据R的整体的时间长度与数据L的时间长度之和,无关于发送对象的信号而是恒定的。
调光部是用于调整可见光信号的明亮度(亮度)的信号,按时间长度C1示出High的亮度值,按下一个时间长度C2示出Low的信号。时间长度C1以及C2可进行任意调整。此外,调光部既可以包含在可见光信号中,也可以不包含在可见光信号中。
另外,在图188所示的例子中,数据R以及数据L包含在可见光信号中,但也可以仅包含数据R和数据L中的某一方。在想要使可见光信号变亮时,也可以仅发送数据R和数据L中的亮的数据。另外,也可以使数据R和数据L的配置相反。另外,在包含数据R的情况下,调光部的时间长度C1例如比100μs长,在包含数据L的情况下,调光部的时间长度C2例如比100μs长。
图189A是示出本实施方式的可见光信号的另一例的图。
在图188所示的可见光信号中,通过表示High的亮度值的时间长度和表示Low的亮度值的时间长度的各时间长度表现了发送对象的信号,但也可以如图189A的(a)所示,仅通过表示Low的亮度值的时间长度来表现发送对象的信号。此外,图189A的(b)表示图188的可见光信号。
例如,如图189A的(a)所示,在前导码中,表示High的亮度值的时间长度都相等而相对较短,表示Low的亮度值的时间长度P1~P4分别例如为100μs。另外,在数据R中,表示High的亮度值的时间长度都相等而相对较短,表示Low的亮度值的时间长度DR1~DR4分别根据信号xi来调整。此外,在前导码以及数据R中,表示High的亮度值的时间长度例如为10μs以下。
图189B是示出本实施方式的可见光信号的另一例的图。
例如,如图189B所示,在前导码中,表示High的亮度值的时间长度都相等而相对较短,表示Low的亮度值的时间长度P1~P3分别例如为160μs、180μs、160μs。另外,在数据R中,表示High的亮度值的时间长度都相等而相对较短,表示Low的亮度值的时间长度DR1~DR4分别根据信号xi来调整。此外,在前导码以及数据R中,表示High的亮度值的时间长度例如为10μs以下。
图189C是示出本实施方式的可见光信号的信号长度的图。
图190是示出本实施方式的可见光信号与标准IEC(InternationalElectrotechnical Commission,国际电工委员会)的可见光信号之间的亮度值的比较结果的图。此外,标准IEC具体是“VISIBLE LIGHT BEACON SYSTEM FOR MULTIMEDIAAPPLICATIONS(用于多媒体应用的可见光信标系统)”。
对于本实施方式的可见光信号(实施方式的方式(Data单侧)),能够获得比标准IEC的可见光信号的最高亮度高的最高亮度82%,能够获得比标准IEC的可见光信号的最低亮度低的最低亮度18%。此外,最高亮度82%以及最低亮度18%是本实施方式中的通过仅包含数据R和数据L中的某一方的可见光信号而得到的数值。
图191是示出本实施方式的可见光信号与标准IEC的可见光信号之间的、相对于视角的接收数据包数以及可靠度的比较结果的图。
对于本实施方式的可见光信号(实施方式的方式(两方(both)),即使视角变小、即从发送可见光信号的发送机到接收机的距离变长,相比于标准IEC的可见光信号,接收数据包数多,能够获得高的可靠度。此外,图191所示的实施方式的方式(both)的数值是通过包含数据R和数据L这两方的可见光信号而得到的数值。
图192是示出本实施方式的可见光信号与标准IEC的可见光信号之间的、相对于噪声的接收数据包数以及可靠度的比较结果的图。
对于本实施方式的可见光信号(IEEE),不管噪声(噪声的方差值)如何,相比于标准IEC的可见光信号,接收数据包数都多,能够获得高的可靠度。
图193是示出本实施方式的可见光信号与标准IEC的可见光信号之间的、相对于接收侧时钟误差的接收数据包数以及可靠度的比较结果的图。
对于本实施方式的可见光信号(IEEE),在接收侧时钟误差的广大范围内,相比于标准IEC的可见光信号,接收数据包数多,能够获得高的可靠度。此外,接收侧时钟误差是接收机的图像传感器中的曝光线开始曝光的定时的误差。
图194是示出本实施方式的发送对象的信号的结构的图。
发送对象的信号如上述那样包括4个4位(4×4=16位)的信号(xi)。例如,发送对象的信号包括信号x1~x4。信号x1由位x11~x14构成,信号x2由位x21~x24构成。另外,信号x3由位x31~x34构成,信号x4由位x41~x44构成。在此,位x11、位x21、位x31以及位x41容易出错,除此之外的位不容易出错。因此,信号x4所包含的位x42~位x44分别用于信号x1的位x11、信号x2的位x21、信号x3的位x31的奇偶校验位,信号x4所包含的位x41不使用而一直表示0。在位x42、x43、x44各自的计算中,使用图194所示的算式。通过该算式,分别算出位x42、x43、x44,使得位x42=位x11、位x43=位x21、位x44=位x31
图195A是示出本实施方式的可见光信号的接收方法的图。
接收机依次取得上述的可见光信号的信号部。信号部包括4位的地址(Addr)和8位的数据(Data)。接收机将这些信号部的数据分别结合,生成由多个数据构成的ID和由一个或多个数据构成的奇偶校验位(Partity)。
图195B是示出本实施方式的可见光信号的排序的图。
图196是示出本实施方式的可见光信号的另一例的图。
图196所示的可见光信号通过对图188所示的可见光信号重叠高频信号而构成。高频信号的频率例如为1~数Gbps。由此,能够比图188所示的可见光信号高速地发送数据。
图197是示出本实施方式的可见光信号的详细结构的另一例的图。此外,图197所示的可见光信号的结构与图188所示的结构是同样的,但图197所示的可见光信号中的调光部的时间长度C1以及C2不同于图188所示的时间长度C1以及C2
图198是示出本实施方式的可见光信号的详细结构的另一例的图。在该图198所示的可见光信号中,数据R以及数据L包含8个V4PPM码元。数据L所包含的码元DLi的上升位置或下降位置与数据R所包含的码元DRi的上升位置或下降位置相同。但是,码元DLi的平均亮度和码元DRi的平均亮度既可以相同也可以不同。
图199是示出本实施方式的可见光信号的详细结构的另一例的图。该图199所示的可见光信号是ID通信用或低平均亮度用途的信号,与图189B所示的可见光信号相同。
图200是示出本实施方式的可见光信号的详细结构的另一例的图。在该图200所示的可见光信号中,数据(Data)中的第偶数个时间长度D2i和第奇数个时间长度D2i+1相等。
图201是示出本实施方式的可见光信号的详细结构的另一例的图。该图201所示的可见光信号中的数据(Data)包含多个作为脉冲位置调制的信号的码元。
图202是示出本实施方式的可见光信号的详细结构的另一例的图。该图202所示的可见光信号是连续通信用的信号,与图198所示的可见光信号相同。
图203~图211是用于说明决定图197的x1~x4的值的图。此外,图203~图211所示的x1~x4通过与决定以下的变形例所示的码w1~w4的值(W1~W4)的方法同样的方法来决定。但是,x1~x4分别是由4位构成的码,在第1位包含奇偶校验位,这一点与以下的变形例所示的码w1~w4不同。
(变形例1)
图212是示出本实施方式的变形例1涉及的可见光信号的详细结构的一例的图。该变形例1涉及的可见光信号与上述实施方式的图188所示的可见光信号同样,但表示High或Low的亮度值的时间长度不同于图188所示的可见光信号。例如,在本变形例涉及的可见光信号中,前导码的时间长度P2、P3为90μs。另外,在本变形例涉及的可见光信号中,与上述实施方式同样,数据R中的时间长度DR1~DR4按照与发送对象的信号相应的算式来决定。但是,本变形例中的算式是DRi=120+30×wi(i∈1~4,wi∈0~7)。此外,wi是由3位构成的码,是表示0~7的任一个整数的值的发送对象的信号。另外,在本变形例涉及的可见光信号中,与上述实施方式同样,数据L中的时间长度DL1~DL4按照与发送对象的信号相应的算式来决定。但是,本变形例中的算式是DLi=120+30×(7-wi)。
另外,在图212所示的例子中,数据R以及数据L包含在可见光信号中,但也可以是数据R和数据L中的仅某一方包含在可见光信号中。在想要使可见光信号变亮时,也可以仅发送数据R和数据L中的亮的数据。另外,也可以使数据R和数据L的配置相反。
图213是示出本变形例涉及的可见光信号的另一例的图。
变形例1涉及的可见光信号与图189A的(a)以及图189B所示的例子同样地,也可以仅通过表示Low的亮度值的时间长度来表现发送对象的信号。
例如,如图213所示,在前导码中,表示High的亮度值的时间长度例如小于10μs,表示Low的亮度值的时间长度P1~P3分别例如为160μs、180μs、160μs。另外,在数据(Data)中,表示High的亮度值的时间长度小于10μs,表示Low的亮度值的时间长度D1~D3分别根据信号wi来调整。具体而言,表示Low的亮度值的时间长度Di为Di=180+30×wi(i∈1~4,wi∈0~7)。
图214是示出本变形例涉及的可见光信号的又一例的图。
本变形例涉及的可见光信号也可以包含图214所示那样的前导码和数据。前导码与图212所示的前导码同样地,沿着时间轴交替地示出High和Low的亮度值。另外,前导码中的时间长度P1~P4分别为50μs、40μs、40μs、50μs。数据(Data)沿着时间轴交替地示出High和Low的亮度值。例如,数据L按时间长度D1示出High的亮度值,按下一个时间长度D2示出Low的亮度值,按下一个时间长度D3示出High的亮度值,按下一个时间长度D4示出Low的亮度值。
在此,时间长度D2i-1+D2i按照与发送对象的信号相应的算式来决定。也即是,表示High的亮度值的时间长度与继该亮度值之后的表示Low的亮度值的时间长度之和按照该算式来决定。该算式例如是D2i-1+D2i=100+20×xi(i∈1~N,xi∈0~7,D2i>50μs,D2i+1>50μs)。
图215是示出数据包调制的一例的图。
信号生成装置是本变形例涉及的可见光信号的生成方法,生成可见光信号。在本变形例涉及的可见光信号的生成方法中,将数据包调制(即变换)成上述的发送对象的信号wi。此外,上述的信号生成装置既可以设置在上述各实施方式的发送机中,也可以不设置在该发送机中。
例如,信号生成装置如图215所示那样将数据包变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。这些码w1、w2、w3以及w4分别是由从第1位到第3位的3位构成的码,如图212所示,表示0~7的整数值。
在此,在码w1~w4的各个码中,设第1位的值为b1,设第2位的值为b2,设第3位的值为b3。此外,b1、b2以及b3是0或1。该情况下,由码w1~w4表示的数值w1~w4分别例如是b1×20+b2×21+b3×22
数据包包含由0~4位构成的地址数据(A1~A4)、由4~7位构成的主数据Da(Da1~Da7)、由3~4位构成的副数据Db(Db1~Db4)和停止位的值(S)来作为数据。此外,Da1~Da7、A1~A4、Db1~Db4以及S分别表示位的值、即0或1。
即,信号生成装置在将数据包调制成发送对象的信号时,将该数据包所包含的数据分配到码w1、w2、w3以及w4的某个位。由此,数据包被变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。
信号生成装置在分配数据包所包含的数据时,具体而言,向由码w1~w4各自的第1位(bit1)构成的第1位列,分配数据包所包含的主数据Da的至少一部分(Da1~Da4)。进而,信号生成装置向码w1的第2位(bit2)分配数据包所包含的停止位的值(S)。进而,信号生成装置向由码w2~w4各自的第2位(bit2)构成的第2位列,分配数据包所包含的主数据Da的一部分(Da5~Da7)或数据包所包含的地址数据的至少一部分(A1~A3)。进而,信号生成装置向由码w1~w4各自的第3位(bit3)构成的第3位列,分配数据包所包含的副数据Db的至少一部分(Db1~Db3)、和该副数据Db的一部分(Db4)或地址数据的一部分(A4)。
此外,在码w1~w4各自的第3位(bit3)都为0的情况下,通过上述的“b1×20+b2×21+b3×22”,这些码所表示的数值被抑制在3以下。因此,通过图212所示的算式DRi=120+30×wi(i∈1~4,wi∈0~7),能够缩短时间长度DRi。其结果是,能够缩短发送一个数据包的时间,即使从较远的地方,也能够接收该数据包。
图216~图226是示出从元数据生成数据包的处理的图。
本变形例涉及的信号生成装置根据元数据的位长来判定是否对该元数据进行分割。并且,信号生成装置通过进行与该判定的结果相应的处理,从元数据生成至少一个数据包。也即是,元数据的位长越长,则信号生成装置将该元数据分割成越多的数据包。反过来,如果元数据的位长比预定的位长短,则信号生成装置不分割元数据而生成数据包。
当如此从元数据生成至少一个数据包时,信号生成装置将该至少一个数据包的各数据包变换成上述的发送对象的信号、即码w1~w4
此外,在图216~图226中,Data表示元数据,Dataa表示元数据所包含的主元数据,Datab表示元数据所包含的副元数据。另外,Da(k)表示构成主元数据本身或包含主元数据和奇偶校验位的数据的多个部分中的第k个部分。同样地,Db(k)表示构成副元数据本身或包含副元数据和奇偶校验位的数据的多个部分中的第k个部分。例如,Da(2)表示构成包含主元数据和奇偶校验位的数据的多个部分中的第2个部分。另外,S表示起始位,A表示地址数据。
另外,各块内所示出的最上部的标识是用于识别元数据、主元数据、副元数据、起始位以及地址数据等的标签。另外,各块内所示出的中央的数值是位尺寸(位数),最下部的数值是各位的值。
图216是示出将元数据分割成1部分的处理的图。
例如,如果元数据(Data)的位长为7位,则信号生成装置不对该元数据进行分割而生成一个数据包。具体而言,元数据包含4位的主元数据Dataa(Da1~Da4)、3位的副元数据Datab(Db1~Db3)来分别作为主数据Da(1)和副数据Db(1)。该情况下,信号生成装置通过对该元数据附加起始位S(S=1)和由4位构成且表示“0000”的地址数据(A1~A4),生成数据包。此外,起始位S=1表示包含该起始位的数据包是终端的数据包。
信号生成装置通过对该数据包进行变换,生成码w1=(Da1,S=1,Db1)、码w2=(Da2,A1=0,Db2)、码w3=(Da3,A2=0,Db3)以及码w4=(Da4,A3=0,A4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
此外,在本变形例中,wi表现为3位的码,并且也表现为十进制数的数值。因此,在本变形例中,为了易于理解说明,将作为十进制数的数值而使用的wi(w1~w4)表述为数值Wi(W1~W4)。
图217是示出将元数据分割成2部分的处理的图。
例如,如果元数据(Data)的位长为16位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含10位的主元数据Dataa和6位的副元数据Datab。该情况下,信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的1位的奇偶校验位的第1中间数据,生成包含副元数据Datab和与该副元数据Datab对应的1位的奇偶校验位的第2中间数据。
接着,信号生成装置将第1中间数据分割成由7位构成的主数据Da(1)和由4位构成的主数据Da(2)。进而,信号生成装置将第2中间数据分割成由4位构成的副数据Db(1)和由3位构成的副数据Db(2)。此外,主数据是构成包含主元数据和奇偶校验位的数据的多个部分中的一个部分。同样地,副数据是构成包含副元数据和奇偶校验位的数据的多个部分中的一个部分。
接着,信号生成装置生成包含起始位S(S=0)、主数据Da(1)和副数据Db(1)在内的12位的第1数据包。由此,可输出不包含地址数据的第1数据包。
进而,信号生成装置生成包含起始位S(S=1)、由4位构成且表示“1000”的地址数据、主数据Da(2)和副数据Db(2)在内的12位的第2数据包。此外,起始位S=0表示所生成的多个数据包中的、包含该起始位的数据包是不位于终端的数据包。另外,起始位S=1表示所生成的多个数据包中的、包含该起始位的数据包是位于终端的数据包。
由此,元数据被分割到第1数据包和第2数据包。
信号生成装置通过对第1数据包进行变换,生成码w1=(Da1,S=0,Db1)、码w2=(Da2,Da7,Db2)、码w3=(Da3,Da6,Db3)以及码w4=(Da4,Da5,Db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
进而,信号生成装置通过对第2数据包进行变换,生成码w1=(Da1,S=1,Db1)、码w2=(Da2,A1=1,Db2)、码w3=(Da3,A2=0,Db3)以及码w4=(Da4,A3=0,A4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
图218是示出将元数据分割成3部分的处理的图。
例如,如果元数据(Data)的位长为17位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含10位的主元数据Dataa和7位的副元数据Datab。该情况下,信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的6位的奇偶校验位的第1中间数据。进而,信号生成装置生成包含副元数据Datab和与该副元数据Datab对应的4位的奇偶校验位的第2中间数据。例如,信号生成装置通过CRC(Cyclic RedundancyCheck,循环冗余检查)来生成奇偶校验位。
接着,信号生成装置将第1中间数据分割成由6位的奇偶校验位构成的主数据Da(1)、由6位构成的主数据Da(2)和由4位构成的主数据Da(3)。进而,信号生成装置将第2中间数据分割成由4位的奇偶校验位构成的副数据Db(1)、由4位构成的副数据Db(2)和由3位构成的副数据Db(3)。
接着,信号生成装置生成包含起始位S(S=0)、由1位构成且表示“0”的地址数据、主数据Da(1)和副数据Db(1)在内的12位的第1数据包。进而,信号生成装置生成包含起始位S(S=0)、由1位构成且表示“1”的地址数据、主数据Da(2)和副数据Db(2)在内的12位的第2数据包。进而,信号生成装置生成包含起始位S(S=1)、由4位构成且表示“0100”的地址数据、主数据Da(3)和副数据Db(3)在内的12位的第3数据包。
由此,元数据被分割到第1数据包、第2数据包和第3数据包。
信号生成装置通过对第1数据包进行变换,生成码w1=(Da1,S=0,Db1)、码w2=(Da2,A1=0,Db2)、码w3=(Da3,Da6,Db3)以及码w4=(Da4,Da5,Db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
同样地,信号生成装置通过对第2数据包进行变换,生成码w1=(Da1,S=0,Db1)、码w2=(Da2,A1=1,Db2)、码w3=(Da3,Da6,Db3)以及码w4=(Da4,Da5,Db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
同样地,信号生成装置通过对第3数据包进行变换,生成码w1=(Da1,S=1,Db1)、码w2=(Da2,A1=0,Db2)、码w3=(Da3,A2=1,Db3)以及码w4=(Da4,A3=0,A4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值W1、W2、W3以及W4在内的发送对象的信号。
图219是示出将元数据分割成3部分的处理的另一例的图。
在图218所示的例子中,通过CRC生成6位或4位的奇偶校验位,但也可以生成1位的奇偶校验位。
该情况下,如果元数据(Data)的位长为25位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含15位的主元数据Dataa和10位的副元数据Datab。该情况下,信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的1位的奇偶校验位的第1中间数据,生成包含副元数据Datab和与该副元数据Datab对应的1位的奇偶校验位的第2中间数据。
接着,信号生成装置将第1中间数据分割成由包含奇偶校验位的6位构成的主数据Da(1)、由6位构成的主数据Da(2)和由4位构成的主数据Da(3)。进而,信号生成装置将第2中间数据分割成由包含奇偶校验位的4位构成的副数据Db(1)、由4位构成的副数据Db(2)和由3位构成的副数据Db(3)。
接着,信号生成装置以与图218所示的例子同样的方式,从第1中间数据以及第2中间数据生成第1数据包、第2数据包和第3数据包。
图220是示出将元数据分割成3部分的处理的另一例的图。
在图218所示的例子中,通过针对主元数据Dataa的CRC而生成6位的奇偶校验位,通过针对副元数据Datab的CRC而生成4位的奇偶校验位。但是,也可以通过针对主元数据Dataa以及副元数据Datab的整体的CRC来生成奇偶校验位。
该情况下,如果元数据(Data)的位长为22位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。
具体而言,元数据包含15位的主元数据Dataa和7位的副元数据Datab。信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的1位的奇偶校验位的第1中间数据。进而,信号生成装置通过针对主元数据Dataa以及副元数据Datab的整体的CRC,生成该4位的奇偶校验位。并且,信号生成装置生成包含副元数据Datab和4位的奇偶校验位的第2中间数据。
接着,信号生成装置将第1中间数据分割成由包含奇偶校验位的6位构成的主数据Da(1)、由6位构成的主数据Da(2)和由4位构成的主数据Da(3)。进而,信号生成装置将第2中间数据分割成由4位构成的副数据Db(1)、由包含CRC的奇偶校验位的一部分的4位构成的副数据Db(2)和由包含CRC的奇偶校验位的剩余部分的3位构成的副数据Db(3)。
接着,信号生成装置以与图218所示的例子同样的方式,从第1中间数据以及第2中间数据生成第1数据包、第2数据包和第3数据包。
此外,称将元数据分割成3部分的处理的各具体例中的图218所示的处理为版本(version)1,称图219所示的处理为版本2,称图220所示的处理为版本3。
图221是示出将元数据分割成4部分的处理的图。另外,图222示出将元数据分割成5部分的处理的图。
信号生成装置以与将元数据分割成3部分的处理同样的方式、即以与图218~图220所示的处理同样的方式,将元数据分割成4部分或5部分。
图223是示出将元数据分割成6、7或8部分的处理的图。
例如,如果元数据(Data)的位长为31位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含16位的主元数据Dataa和15位的副元数据Datab。该情况下,信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的8位的奇偶校验位的第1中间数据。进而,信号生成装置生成包含副元数据Datab和与该副元数据Datab对应的8位的奇偶校验位的第2中间数据。例如,信号生成装置通过RS编码(Reed-Solomon Coding,理德-所罗门编码)来生成奇偶校验位。
在此,在RS编码中将4位作为1个码元来处理的情况下,主元数据Dataa以及副元数据Datab各自的位长必须是4位的整数倍。然而,副元数据Datab如上述那样是15位,比作为4位的整数倍的16位少1位。
因此,信号生成装置在生成第2中间数据时,对副元数据Datab进行填充(padding),通过RS编码来生成与进行了该填充的16位的副元数据Datab对应的8位的奇偶校验位。
接着,信号生成装置通过与上述同样的方法将第1中间数据以及第2中间数据分别分割成6个部分(4位或3位)。并且,信号生成装置生成包含起始位、由3位或4位构成的地址数据、第1主数据、第1副数据的第1数据包。同样地,信号生成装置生成第2数据包~第6数据包。
图224是示出将元数据分割成6、7或8部分的处理的另一例的图。
在图223所示的例子中,通过RS编码生成了奇偶校验位,但也可以通过CRC来生成奇偶校验位。
例如,如果元数据(Data)的位长为39位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含20位的主元数据Dataa和19位的副元数据Datab。该情况下,信号生成装置生成包含主元数据Dataa和与该主元数据Dataa对应的4位的奇偶校验位的第1中间数据,生成包含副元数据Datab和与该副元数据Datab对应的4位的奇偶校验位的第2中间数据。例如,信号生成装置通过CRC生成奇偶校验位。
接着,信号生成装置通过与上述同样的方法将第1中间数据和第2中间数据分别分割成6个部分(4位或3位)。并且,信号生成装置生成包含起始位、由3位或4位构成的地址数据、第1主数据和第1副数据的第1数据包。同样地,信号生成装置生成第2数据包~第6数据包。
此外,称将元数据分割成6、7或8部分的处理的各具体例中的图223所示的处理为版本1,称图224所示的处理为版本2。
图225是示出将元数据分割成9部分的处理的图。
例如,如果元数据(Data)的位长为55位,则信号生成装置通过对该元数据进行分割,生成从第1数据包到第9数据包的9个数据包。此外,在图225中,省略了第1中间数据以及第2中间数据。
具体而言,元数据(Data)的位长为55位,比作为4位的整数倍的56位少1位。因此,信号生成装置对该元数据进行填充,通过RS编码来生成针对由进行了填充的56位构成的元数据的奇偶校验位(16位)。
接着,信号生成装置将包含16位的奇偶校验位和55位的元数据的数据整体分割成9个数据DaDb(1)~DaDb(9)。
数据DaDb(k)分别包含由主元数据Dataa所包含的第k个4位构成的部分和由副元数据Datab所包含的第k个4位构成的部分。此外,k为1~8的任一个整数。另外,数据DaDb(9)包含由主元数据Dataa所包含的第9个4位构成的部分和由副元数据Datab所包含的第9个3位构成的部分。
接着,信号生成装置通过对9个数据DaDb(1)~DaDb(9)的各数据附加起始位S和地址数据,生成第1数据包~第9数据包。
图226是示出将元数据分割成10~16的任意个数的部分的处理的图。
例如,如果元数据(Data)的位长为7×(N-2)位,则信号生成装置通过对该元数据进行分割,生成从第1数据包到第N数据包的N个数据包。此外,N为10~16的任一个整数。另外,在图226中,省略了第1中间数据以及第2中间数据。
具体而言,信号生成装置通过RS编码来生成针对由7×(N-2)位构成的元数据的奇偶校验位(14位)。此外,在该RS编码中,将7位作为1个码元来处理。
接着,信号生成装置将包含14位的奇偶校验位和7×(N-2)位的元数据的数据整体分割成N个数据DaDb(1)~DaDb(N)。
数据DaDb(k)分别包含由主元数据Dataa所包含的第k个4位构成的部分和由副元数据Datab所包含的第k个3位构成的部分。此外,k为1~(N-1)的任一个整数。
接着,信号生成装置通过对9个数据DaDb(1)~DaDb(N)分别附加起始位S和地址数据,生成第1数据包~第N数据包。
图227~图229是示出元数据的分割数、数据尺寸和错误订正码的关系的一例的图。
具体而言,图227~图229集中表示图216~图226所示的各处理中的上述关系。另外,如上所述,将元数据分割成3部分的处理存在版本1~3,将元数据分割成6、7或8部分的处理存在版本1以及版本2。如果相对于分割数而存在多个版本,则图227示出多个版本中的版本1中的上述关系。同样地,如果相对于分割数而存在多个版本,则图228示出多个版本中的版本2中的上述关系。同样地,如果相对于分割数而存在多个版本,则图229示出多个版本中的版本3中的上述关系。
另外,在本变形例中,存在短模式(short mode)和完整模式(full mode)。在短模式的情况下,数据包中的副数据为0、且图215所示的第3位列的所有位都为0。该情况下,由码w1~w4表示的数值W1~W4可通过上述的“b1×20+b2×21+b3×22”抑制在3以下。其结果是,如图212所示,数据R中的时间长度DR1~DR4通过DRi=120+30×wi(i∈1~4,wi∈0~7)来决定,因此变短。即,在短模式的情况下,能够缩短每一个数据包的可见光信号。通过缩短每一个数据包的可见光信号,接收机即使从远处也能够接收到该数据包,能够增大通信距离。
另一方面,在完整模式的情况下,图215所示的第3位列中的任何位都为1。该情况下,可见光信号不会如短模式那样短。
在本变形例中,如图227~图229所示,如果分割数少,则能够生成短模式的可见光信号。此外,图227~图229中的短模式的数据尺寸表示主元数据(Dataa)的位数,完整模式的数据尺寸表示元数据(Data)的位数。
(实施方式20的总结)
图230A是示出本实施方式的可见光信号的生成方法的流程图。
本实施方式的可见光信号的生成方法是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的方法,包括步骤SD1~SD3。
在步骤SD1中,生成前导码,该前导码是作为互不相同的亮度值的第1亮度值和第2亮度值分别按预定的时间长度交替地沿时间轴上出现的数据。
在步骤SD2中,在第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第1方式来决定所述第1以及第2亮度值各自持续的时间长度,生成第1数据。
最后,在步骤SD3中,通过将前导码和第1数据结合来生成可见光信号。
例如,如图188所示,第1以及第2亮度值是High以及Low,第1数据是数据R或数据L。通过发送如此生成的可见光信号,如图191~图193所示,能够增加接收数据包数,并且能够提高可靠度。其结果是,能够使得多种多样的设备间的通信成为可能。
另外,也可以:在所述可见光信号的生成方法中,进一步,在所述第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第2方式来决定所述第1以及第2亮度值各自持续的时间长度,生成与由所述第1数据表现的明亮度具有互补关系的第2数据,在所述可见光信号的生成中,通过按所述第1数据、所述前导码、所述第2数据的顺序将所述前导码与所述第1以及第2数据进行结合,生成所述可见光信号。
例如,如图188所示,第1以及第2亮度值是High以及Low,第1以及第2数据是数据R以及数据L。
另外,也可以:在将a以及b分别设为常数、将所述发送对象的信号所包含的数值设为n、将作为数值n可取的最大值的常数设为m的情况下,所述第1方式是通过a+b×n决定所述第1数据中的所述第1或第2亮度值持续的时间长度的方式,所述第2方式是通过a+b×(m-n)决定所述第2数据中的所述第1或第2亮度值持续的时间长度的方式。
例如,如图188所示,a为120μs,b为20μs,n为0~15中的任一个整数值(信号xi所表示的数值),m为15。
另外,也可以:在所述互补关系中,所述第1数据的整体的时间长度与所述第2数据的整体的时间长度之和是恒定的。
另外,也可以:在所述可见光信号的生成方法中,进一步,生成调光部,该调光部是用于调整由所述可见光信号表现的明亮度的数据,在所述可见光信号的生成中,通过进一步结合所述调光部来生成所述可见光信号。
调光部例如是图188中的按时间长度C1示出High的亮度值、按时间长度C2输出Low的亮度值的信号(Dimming)。由此,能够对可见光信号的明亮度进行任意调整。
图230B是示出本实施方式的信号生成装置的结构的框图。
本实施方式的信号生成装置D10是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的信号生成装置,具备前导码生成部D11、数据生成部D12和结合部D13。
前导码生成部D11生成前导码,所述前导码是作为互不相同的亮度值的第1以及第2亮度值分别按预定的时间长度沿时间轴上交替地出现的数据。
数据生成部D12在第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第1方式来决定第1以及第2亮度值各自持续的时间长度,生成第1数据。
结合部D13通过将前导码和第1数据结合来生成可见光信号。
通过发送如此生成的可见光信号,如图191~图193所示,能够增加接收数据包数,并且能够提高可靠度。其结果是,能够使得多种多样的设备间的通信成为可能。
(实施方式20的变形例1的总结)
另外,如实施方式20的变形例1那样,所述可见光信号的生成方法也可以:进一步,根据元数据的位长来判定是否对所述元数据进行分割,通过进行与该判定的结果相应的处理,从元数据生成至少一个数据包。并且,也可以将该至少一个数据包的各数据包变换成发送对象的信号。
在向该发送对象的信号进行的变换中,如图215所示,按该至少一个数据包所包含的各对象数据包,将该对象数据包所包含的数据分别分配到由从第1位到第3位的3位构成的码w1、w2、w3以及w4的任一个位,由此将该对象数据包变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。
在该数据的分配中,向由码w1~w4各自的第1位构成的第1位列,分配对象数据包所包含的主数据的至少一部分。向码w1的第2位分配对象数据包所包含的停止位的值。向由码w2~w4各自的第2位构成的第2位列,分配对象数据包所包含的主数据的一部分或对象数据包所包含的地址数据的至少一部分,向由码w1~w4各自的第3位构成的第3位列,分配对象数据包所包含的副数据。
在此,停止位示出所生成的至少一个数据包中的对象数据包是否位于终端。地址数据示出所生成的至少一个数据包中的对象数据包的顺位来作为地址。主数据和副数据分别是用于恢复元数据的数据。
另外,在将a以及b分别设为常数、将由码w1、w2、w3以及w4分别表示的数值设为W1、W2、W3以及W4的情况下,例如如图212所示,上述的第1方式是通过a+b×W1、a+b×W2、a+b×W3以及a+b×W4来决定第1数据中的第1或第2亮度值持续的时间长度的方式。
例如,在码w1~w4的各个码中,设第1位的值为b1,设第2位的值为b2,设第3位的值为b3。该情况下,由码w1~w4表示的值W1~W4的各值例如是b1×20+b2×21+b3×22。因此,在码w1~w4中,相对于使第1位为1,在使第2位为1时,由该码w1~w4表示的值W1~W4更大。另外,相比于使第2位为1,在使第3位为1时,由该码w1~w4表示的值W1~W4更大。若由这些码w1~w4表示的值W1~W4大,则上述的第1以及第2亮度值各自持续的时间长度(例如DRi)长,因此能够抑制可见光信号的亮度的误检测,能够降低接收错误。反过来,若由这些码w1~w4表示的值W1~W4小,则上述的第1以及第2亮度值各自持续的时间长度短,因此比较容易发生可见光信号的亮度的误检测。
因此,在实施方式20的变形例1中,通过将为了接收元数据而重要的停止位以及地址优先分配到码w1~w4的第2位,能够实现该接收错误的降低。另外,码w1定义与前导码最接近的High或Low的亮度值持续的时间长度。也即是,码w1比其他码w2~w4接近前导码,因此相比于这些其他码更容易被适当接收。因此,在实施方式20的变形例1中,通过将停止位分配到码w1的第2位,能够进一步抑制接收错误。
另外,在实施方式20的变形例1中,主数据被优先分配到比较容易发生误检测的第1位列。但是,如果向主数据附加错误订正码(奇偶校验位),则能够抑制该主数据的接收错误。
进而,在实施方式20的变形例1中,向由码w1~w4的第3位构成的第3位列分配副数据。因此,如果使副数据为0,则能够大幅缩短由码w1~w4定义的High以及Low的亮度值各自持续的时间长度。其结果是,能够大幅缩短每一个数据包的可见光信号的发送时间,能够实现所谓的短模式。在该短模式中,如上述那样发送时间短,因此即使从远处也能够容易接收到数据包。因此,能够增大可见光通信的通信距离。
另外,在实施方式20的变形例1中,如图217所示,在至少一个数据包的生成中,通过将元数据分割到2个数据包,从而生成2个数据包,在数据的分配中,在将2个数据包中的不位于终端的数据包作为对象数据包而变换成发送对象的信号的情况下,向第2位列,不分配地址数据的至少一部分而分配不位于终端的数据包所包含的主数据的一部分。
例如,在图217所示的不位于终端的数据包(Packet1)中不包含地址数据。并且,在该不位于终端的数据包中,主数据Da(1)有7位。因此,如图215所示,7位的主数据Da(1)所包含的数据Da1~Da4被分配到第1位列,数据Da5~Da7被分配到第2位列。
如此,在元数据被分割到2个数据包的情况下,在不位于终端的数据包、即第1个数据包中,如果存在起始位(S=0),则不需要地址数据。因此,能够将第2位列的所有位都用于主数据,能够增大数据包所包含的数据量。
另外,在实施方式20的变形例1的数据的分配中,将第2位列所包含的3个位中的按排列顺序的开头侧的位优先用于地址数据的分配,在对第2位列的开头侧的1个或2个位分配地址数据的全部的情况下,对第2位列中的未被分配地址数据的1个或2个位分配主数据的一部分。例如,在图218的Paket1中,对第2位列的开头侧的1个位(码w2的第2位)分配1位的地址数据A1。该情况下,对第2位列中的未被分配地址数据的2个位(码w3、w4各自的第2位)分配主数据Da6、Da5。
由此,能够使第2位列供地址数据和主数据的一部分进行共用,能够增加数据包结构的自由度。
另外,在实施方式20的变形例1的数据的分配中,在无法向第2位列分配地址数据的全部的情况下,向第3位列中的任意位分配地址数据中的除已分配到第2位列的部分之外的剩余部分。例如,在图218的Paket3中,无法向第2位列分配4位的地址数据A1~A4的全部。该情况下,向第3位列中的最后的位(码w4的第3位)分配地址数据A1~A4中的除已分配到第2位列的部分A1~A3之外的剩余部分A4。
由此,能够将地址数据适当地分配到码w1~w4
另外,在实施方式20的变形例1的数据的分配中,在将至少一个数据包中的终端的数据包作为对象数据包而变换成发送对象的信号的情况下,向第2位列以及第3位列所包含的某一个位分配地址数据。例如,图217~图226中的终端的数据包的地址数据的位数为4。该情况下,向第2位列以及第3位列中的最后的位(码w4的第3位)分配4位的地址数据A1~A4。
由此,能够将地址数据适当地分配到码w1~w4
另外,在实施方式20的变形例1的至少一个数据包的生成中,通过将元数据分割成2部分,生成2个分割元数据,生成所述2个分割元数据各自的错误订正码。并且,使用2个分割元数据和针对该2个分割元数据分别生成的所述错误订正码,生成2个以上的数据包。在2个分割元数据各自的错误订正码的生成中,在2个分割元数据中的某一个分割元数据的位数不足错误订正码的生成所需的位数的情况下,对分割元数据进行填充,生成已填充的分割元数据的错误订正码。例如,如图223所示,在针对作为分割元数据的Datab通过RS编码生成奇偶校验位时,在该Datab只有15位而不足16位的情况下,对该Datab进行填充,针对填充后的分割元数据(16位),通过RS编码生成奇偶校验位。
由此,即使分割元数据的位数不足错误订正码的生成所需的的位数,也能够生成适当的错误订正码。
另外,在实施方式20的变形例1的数据的分配中,在副数据表示0的情况下,对第3位列所包含的所有位分配0。由此,能够实现上述的短模式,能够增大可见光通信的通信距离。
(实施方式21)
图231是表示本实施方式的接收高频可见光信号的方法的图。
接收机在接收高频可见光信号时,例如,如图231的(a)所示,在可见光信号的上升以及下降时设置保护时间(保护间隔)。并且,接收机不使用该保护时间内的高频信号,而通过复制在紧接该保护时间之前所接收到的高频信号来补上该保护时间内的高频信号。此外,重叠于可见光信号的高频信号也可以通过OFDM(Orthogonal Frequency DivisionMultiplexing,正交频分复用)进行调制。
另外,接收机在将表示High的亮度值的高频信号和表示Low的亮度值的高频信号从高频可见光信号中分离时,对这些高频信号的增益进行自动调整(Automatic GainControl,自动增益控制)。由此,可统一高频信号的增益(亮度值)。
图232A是表示本实施方式的接收高频可见光信号的另一方法的图。
接收高频可见光信号的接收机,与上述各实施方式同样地具备图像传感器,并且还具备DMD(Digital Mirror Device,数字微镜器件)元件和光电传感器。光电传感器是光电二极管或雪崩光电二极管(avalanche photodiode)。
接收机通过图像传感器对发送高频可见光信号的发送机(光源)进行拍摄。由此,接收机取得包含亮线条纹图样的亮线图像。该亮线条纹图样通过高频可见光信号中的高频信号以外的信号、即图188所示的可见光信号的亮度变化来表现。接收机确定该亮线图像中的亮线条纹图样的位置(x1,y1)以及(x2,y2)。并且,接收机确定DMD元件中的与该位置(x1,y1)以及(x2,y2)分别对应的微镜。这些微镜接受表现亮线条纹图样的高频可见光信号的光。因此,接收机以仅使由DMD元件所包含的多个微镜中的所确定出的微镜反射的反射光被光电传感器接受的方式,调整各微镜的角度。也即是,接收机以仅使由与位置(x1,y1)对应的微镜反射的反射光被光电传感器1接受的方式,使该微镜有效(ON)。进而,接收机以仅使由与位置(x2,y2)对应的微镜反射的反射光被光电传感器2接受的方式,使该微镜有效(ON)。并且,接收机使这些所确定出的微镜以外的各微镜无效(OFF)。由此由被设为无效的微镜反射的反射光被光吸收体(黑体)吸收。另外,通过被设为有效的微镜,高频可见光信号可适当地被光电传感器接受。此外,DMD元件的各微镜通过有效和无效的切换,可切换倾斜角度(+0°或-0°)。在微镜有效时,该微镜朝向光电传感器输出反射光,在微镜无效时,该微镜朝向光吸收部输出反射光。
另外,接收机也可以如图232A所示那样具备半透半反镜(half mirror)和发光元件。发光元件1通过发出光并进行亮度变化,发送可见光信号(或高频可见光信号)。从该发光元件1输出的光被半透半反镜反射,进而在DMD元件中也被与位置(x1,y1)对应的有效的微镜反射。其结果是,来自发光元件1的可见光信号被发送到与位于位置(x1,y1)的亮线条纹图样对应的发送机。由此,接收机和与位于位置(x1,y1)的亮线条纹图样对应的发送机能够进行双向通信。同样地,从发光元件2输出的光被半透半反镜反射,进而在DMD元件中被与位置(x2,y2)对应的有效的微镜反射。其结果是,来自发光元件2的可见光信号被发送到与位于位置(x2,y2)的亮线条纹图样对应的发送机。由此,接收机和与位于位置(x2,y2)的亮线条纹图样对应的发送机能够进行双向通信。
由此,即使通过图像传感器拍摄的发送机(光源)存在多个,接收机也能够同时且高速地与这些发送机进行双向通信。例如,接收机具备100个能够以10Gbps进行接收的光电传感器,在这些接收机与100个发送机进行通信的情况下,能够实现1Tbps的通信速度。
图232B是表示本实施方式的接收高频可见光信号的又一方法的图。
接收机例如具备透镜L1及L2、多个半透半反镜、DMD元件、图像传感器、光吸收部(黑体)、处理部、DMD控制部、光电传感器1及2、和发光元件1及2。
这样的接收机通过与图232A所示的例子同样的原理,与两辆车进行双向通信。两辆车通过从前照灯输出光并使该前照灯进行亮度变化,发送高频可见光信号。另外,一辆车从前照灯输出通常光(没有亮度变化的光)。
图像传感器经由透镜L1接受这些高频可见光信号和通常的光。由此,与图232A所示的例子同样地,得到包含因这些高频可见光信号产生的亮线条纹图样的亮线图像。处理部确定该亮线图像中的这些条纹图样的位置。DMD控制部从DMD元件所包含的多个微镜中,确定与上述确定出的条纹图样的位置对应的微镜,使这些微镜有效。
由此,从两辆车分别透过了透镜L1以及半透半反镜的高频可见光信号被DMD元件的微镜反射,朝向透镜L2。另外,对于一辆车的前照灯的通常光,由于没有通过该光产生亮线条纹图样,因此即使透过透镜L1以及半透半反镜,也会被DMD元件的无效的微镜反射。被无效的微镜反射后的光,被光吸收部(黑体)吸收。
透过了透镜L2的高频可见光信号透过半透半反镜并被光电传感器1或2接收。由此,能够接收来自各车的高频可见光信号。另外,如果发光元件1以及2向半透半反镜输出可见光信号(或高频可见光信号),则该可见光信号被半透半反镜反射并透过透镜L2,进而被DMD元件中的有效的微镜反射。其结果是,来自发光元件1以及2的可见光信号经由半透半反镜以及透镜L1向发送了高频可见光信号的车发送。也即是,接收机能够在其与发送高频可见光信号的多辆车之间进行双向通信。
如此,本实施方式的接收机通过图像传感器取得亮线图像,确定该亮线图像中的亮线条纹图样的位置。并且,接收机在DMD元件所包含的多个微镜中确定与该条纹图样的位置对应的微镜。并且,接收机通过使该微镜有效来由光电传感器接收高频可见光信号。另外,接收机通过从发光元件输出可见光信号并使其被该有效的微镜反射,能够将该可见光信发送到发送机。
此外,在图232A以及图232B所示的例子中,作为光学设备使用了半透半反镜以及透镜等,但只要具有与该半透半反镜以及透镜同样的功能,使用任何光学设备都可以。另外,DMD元件、半透半反镜以及透镜等的配置是一例,如何配置都可以。另外,在图232A以及图232B所示的例子中,接收机具备2组的光电传感器与发光元件的组,但也可以只具备1组,还可以具备3组以上。另外,1个发光元件也可以向多个有效的微透镜发送可见光信号。由此,接收机能够对多个发送机同时发送相同的可见光信号。另外,接收机也可以不具备图232A以及图232B所示的全部各构成要素,而仅具备这些构成要素的一部分。
图233是表示本实施方式的输出高频信号的方法的图。
对重叠于图188所示的可见光信号的高频信号进行输出的信号输出装置,例如具备蓝色激光器和荧光体。也即是,与图114A所示的例子同样地,该信号输出装置使高频率的蓝色激光从蓝色激光器照射到荧光体。由此,信号输出装置输出高频率的自然光来作为高频信号。
(实施方式22)
在本实施方式中,对利用了上述各实施方式的可见光通信的自主飞行装置(也称为无人机)进行说明。
图234是用于说明本实施方式的自主飞行装置的图。
本实施方式的自主飞行装置1921被收纳在监视摄像头1922的内部。例如,当由监视摄像头1922捕捉到可疑人员的图像时,监视摄像头1922的门打开,收纳在内部的自主飞行装置1921从该监视摄像头1922起飞,开始该可疑人员的追踪。自主飞行装置1921具备小型摄像头,以使得由监视摄像头1922捕捉到的可疑人员的图像也被该小型摄像头捕捉到的方式进行追踪。另外,自主飞行装置1921在检测到用于飞行等的电力不足时,返回到监视摄像头1922并收纳在监视摄像头1922的内部。此时,如果在监视摄像头1922中收纳有其他的自主飞行装置1921,则该其他的自主飞行装置1921代替电力不足的自主飞行装置1921来开始可疑人员的追踪。另外,电力不足的自主飞行装置1921通过监视摄像头1922所具备的无线供电装置1921a被供电。此外,无线供电装置1921a的供电例如遵循标准Qi来进行。
自主飞行装置1921的小型摄像头以及监视摄像头1922能够接收上述各实施方式的可见光信号,能够进行与该接收到的可见光信号相应的动作。另外,只要在自主飞行装置1921和监视摄像头1922的至少一方中具备可见光信号的发送机,就能够在自主飞行装置1921与监视摄像头1922之间进行可见光通信。其结果是,能够更高效地进行可疑人员的追踪。
(实施方式23)
在本实施方式中,对实现使用了光ID的AR(Augmented Reality,增强现实)的显示方法等进行说明。
图235是表示本实施方式的接收机显示AR图像的例子的图。
本实施方式的接收机200是上述实施方式1~22中的某个实施方式的具备图像传感器以及显示器201的接收机,例如作为智能手机而构成。这样的接收机200通过由该图像传感器对被拍摄对象进行拍摄,取得作为上述通常拍摄图像的拍摄显示图像Pa和作为上述可见光通信图像或亮线图像的解码用图像。
具体而言,接收机200的图像传感器拍摄作为站名标志而构成的发送机100。发送机100是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如LED)。该发送机100通过使该一个或多个发光元件闪烁来进行亮度变化,通过该亮度变化来发送光ID(光识别信息)。该光ID是上述的可见光信号。
接收机200通过以通常曝光时间拍摄发送机100,取得映照出该发送机100的拍摄显示图像Pa,并且通过以比该通常曝光时间短的通信用曝光时间拍摄发送机100,取得解码用图像。此外,通常曝光时间是上述的通常拍摄模式下的曝光时间,通信用曝光时间是上述的可见光通信模式下的曝光时间。
接收机200通过对该解码用图像进行解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P1和识别信息。接收机200将拍摄显示画像Pa中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出作为发送机100的站名标志的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P1,将重叠了AR图像P1的拍摄显示图像Pa显示于显示器201。例如,在作为发送机100的站名标志中作为站名用日语记载有“京都駅(京都站)”的情况下,接收机200取得用英语记载了站名的AR图像P1、即记载为“KyotoStation”的AR图像P1。该情况下,由于在拍摄显示图像Pa的对象区域重叠有该AR图像P1,因此能够以使得用英语记载有站名的站名标志现实存在的方式显示拍摄显示图像Pa。其结果是,能够看懂英语的用户即使不认识日语,只要看到该拍摄显示图像Pa,就能够容易地知道作为该发送机100的站名标志所记载的站名。
例如,识别信息既可以是识别对象的图像(例如上述的站名标志的图像),也可以是该图像的特征点以及特征量。特征点以及特征量例如通过SIFT(Scale-invariantfeature transform,尺度不变特征转换)、SURF(Speed-Upped Robust Feature,快速鲁棒特征)、ORB(Oriented-BRIEF)、AKAZE(Accelerated KAZE)等图像处理来得到。或者,识别信息也可以是与识别对象的图像类似的白色四边形的图像,进而还可以示出该四边形的纵横比(宽高比)。或者,识别信息也可以是出现在识别对象的图像中的随机点。进而,识别信息也可以示出上述的白色四边形或随机点等的以预定方向为基准的方向。预定方向例如是重力方向。
接收机200从拍摄显示图像Pa中,将与这样的识别信息相应的区域识别为对象区域。具体而言,如果识别信息是图像,则接收机200将与作为该识别信息的图像类似的区域识别为对象区域。另外,如果识别信息是通过图像处理得到的特征点以及特征量,则接收机200通过对该拍摄显示图像Pa进行该图像处理,进行特征点检测以及特征量提取。然后,接收机200在拍摄显示图像Pa中将具有与作为识别信息的特征点以及特征量类似的特征点以及特征量的区域识别为对象区域。另外,如果识别信息示出了白色四边形及其方向,则接收机200首先通过自身所具备的加速度传感器来检测重力方向。然后,接收机200从以重力方向为基准而配置的拍摄显示图像Pa中,将与朝向由识别信息表示的方向的白色四边形类似的区域识别为对象区域。
在此,识别信息也可以包含用于确定拍摄显示图像Pa中的基准区域的基准信息和表示对象区域相对于该基准区域的相对位置的对象信息。基准信息是上述那样的识别对象的图像、特征点及特征量、白色四边形的图像、或者随机点等。该情况下,接收机200在识别对象区域时,首先,基于基准信息从拍摄显示图像Pa中确定基准区域。然后,接收机200将拍摄显示图像Pa中的位于以基准区域的位置为基准而由对象信息表示的相对位置的区域识别为对象区域。此外,对象信息也可以示出对象区域位于与基准区域相同的位置这一情况。如此,通过识别信息包含基准信息和对象信息,能够在广大范围内识别对象区域。另外,能够由服务器自由地设定要重叠AR画像的位置并通知给接收机200。
另外,基准信息也可以示出拍摄显示图像Pa中的基准区域是拍摄显示图像中的映照出显示器的区域这一情况。该情况下,如果发送机100作为例如电视机等的显示器而构成,则能够以映照出该显示器的区域为基准来识别对象区域。
换言之,本实施方式的接收机200基于光ID来确定基准图像和图像识别方法。图像识别方法是识别拍摄显示图像Pa的方法,例如是几何学特征量提取、频谱(spectrum)特征量提取或者纹理(texture)特征量提取等。基准图像是表示成为基准的特征量的数据。该特征量例如也可以是图像的白色外框的特征量,具体而言,是将图像的特征由向量来表现的数据。接收机200通过按照图像识别方法从拍摄显示图像Pa中提取特征量,并将该特征量与基准图像的特征量进行比较,由此从拍摄显示图像Pa中找出上述的基准区域或对象区域。
另外,在图像识别方法中,例如也可以存在位置(location)利用方法,标记(marker)利用方法以及无标记(markerless)方法。位置利用方法是对GPS的位置信息(即接收机200的位置)进行了活用的方法,可基于该位置信息从拍摄显示图像Pa中识别对象区域。标记利用方法是使用二维条形码这样的由黑和白的图形构成的标记来作为靶确定用记号的方法。也即是,在该标记利用方法中,可基于映照在拍摄显示图像Pa中的标记来识别对象区域。无标记方法是如下方法:通过对拍摄显示图像Pa的图像分析,从该拍摄显示图像Pa中提取特征点或特征量,基于该提取出的特征点或特征量,确定靶的位置以及区域。也即是,在图像识别方法是无标记方法的情况下,该图像识别方法是上述的几何学特征量提取、频谱特征量提取或纹理特征量提取等。
这样的接收机200也可以通过从发送机100接收光ID,从服务器取得与该光ID(以下,称为接收光ID)关联的基准图像以及图像识别方法,由此确定该基准图像以及图像识别方法。也即是,在服务器中保存有多个包括基准图像和图像识别方法的组,多个组的各个组与互不相同的光ID关联。由此,能够从服务器所保存的多个组中,确定与接收光ID关联的一个组。因此,能够提高用于重叠AR图像的图像处理的速度。另外,接收机200既可以通过向服务器查询来取得与接收光ID关联的基准图像等,也可以从自身预先保持的多个基准图像中取得与该接收光ID关联的基准图像。
另外,服务器也可以按光ID将与该光ID关联的相对位置信息与基准图像、图像识别方法以及AR图像一起进行保持。相对位置信息例如是表示上述的基准区域与对象区域的相对位置关系的信息。由此,接收机200在向服务器发送接收光ID并进行了查询时,取得与该接收光ID关联的基准图像、图像识别方法、AR图像以及相对位置信息。该情况下,接收机200基于基准图像以及图像识别方法从拍摄显示图像Pa中确定上述的基准区域。并且,接收机200将以该基准区域的位置为起点而处于由上述的相对位置信息表示的方向以及距离的区域识别为上述的对象区域,在该对象区域重叠AR图像。另外,如果没有相对位置信息,则接收机200也可以将上述的基准区域识别为对象区域,在该基准区域重叠AR图像。也即是,接收机200也可以取代相对位置信息的取得而预先保持基于基准图像显示AR图像的程序,例如在作为基准区域的白框内显示AR图像。该情况下,不需要相对位置信息。
在基准图像、相对位置信息、AR图像以及图像识别方法的保持或取得中,存在以下的4个变形(1)~(4)。
(1)服务器保持有多个包括基准图像、相对位置信息、AR图像以及图像识别方法的组。接收机200从这些组中,取得与接收光ID关联的一个组。
(2)服务器保持有多个包括基准图像以及AR图像的组。接收机200使用预先确定的相对位置信息以及图像识别方法,并且,从这些组中取得与接收光ID关联的一个组。或者,接收机200也可以预先保持有包括相对位置信息以及图像识别方法的多个组,从该多个组中选择与接收光ID关联的一个组。该情况下,接收机200也可以向服务器发送接收光ID并进行查询,从服务器取得与该接收光ID对应的用于确定相对位置信息以及图像识别方法的信息。并且,接收机200从预先保持的分别包括相对位置信息以及图像识别方法的多个组中,基于从该服务器取得的信息来选择一个组。或者,接收机200也可以不是向服务器进行查询,而是从预先保持的分别包括相对位置信息以及图像识别方法的多个组中,选择与接收光ID关联的一个组。
(3)接收机200保持有多个包括基准图像、相对位置信息、AR图像以及图像识别方法的组,从这些组中选择一个组。接收机200与上述(2)同样地,既可以通过向服务器进行查询来选择一个组,也可以选择与接收光ID关联的一个组。
(4)接收机200保持有多个包括基准图像以及AR图像的组,选择与接收光ID关联的一个组。接收机200使用预先确定的图像识别方法以及相对位置信息。
图236是表示本实施方式的显示系统的一例的图。
本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200和服务器300。
接收机200为了如上述那样显示重叠了AR图像的拍摄显示图像,首先,从发送机100接收光ID。接着,接收机200将该光ID发送给服务器300。
服务器300按光ID保持有与该光ID关联的AR图像以及识别信息。因此,服务器300在从接收机200接收到光ID时,选择与该接收到的光ID关联的AR图像以及识别信息,将该选择出的AR图像以及识别信息发送给接收机200。由此,接收机200接收从服务器300发送来的AR图像以及识别信息,对重叠了AR图像的拍摄显示图像进行显示。
图237是表示本实施方式的显示系统的另一例的图。
本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200、第1服务器301和第2服务器302。
接收机200为了如上述那样显示重叠了AR图像的拍摄显示图像,首先,从发送机100接收光ID。接着,接收机200将该光ID发送给第1服务器301。
第1服务器301在从接收机200接收到光ID时,将与该接收到的光ID关联的URL(Uniform Resource Locator,同一资源定位符)和Key(关键字)通知给接收机200。接收到这样的通知的接收机200基于该URL访问第2服务器302,将Key转发给第2服务器302。
第2服务器302按Key保持有与该Key关联的AR图像以及识别信息。因此,第2服务器302在从接收机200接收到Key时,选择与该Key关联的AR图像以及识别信息,将该选择出的AR图像以及识别信息发送给接收机200。由此,接收机200接收从第2服务器302发送来的AR图像以及识别信息,对重叠了AR图像的拍摄显示图像进行显示。
图238是表示本实施方式的显示系统的另一例的图。
本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200、第1服务器301和第2服务器302。
接收机200为了如上述那样显示重叠了AR图像的拍摄显示图像,首先,从发送机100接收到光ID。接着,接收机200将该光ID发送给第1服务器301。
第1服务器301在从接收机200接收到光ID时,将与该接收到的光ID关联的Key通知给第2服务器302。
第2服务器302按Key保持有与该Key关联的AR图像以及识别信息。因此,第2服务器302在从第1服务器301接收到Key时,选择与该Key关联的AR图像以及识别信息,将该选择出的AR图像以及识别信息发送给第1服务器301。第1服务器301在从第2服务器302接收到AR图像以及识别信息时,将该AR图像以及识别信息发送给接收机200。由此,接收机200接收从第1服务器301发送来的AR图像以及识别信息,对重叠了AR图像的拍摄显示图像进行显示。
此外,在上述的例子中,第2服务器302将AR图像以及识别信息发送给了第1服务器301,但也可以不发送给第1服务器301而发送给接收机200。
图239是表示本实施方式的接收机200的处理动作的一例的流程图。
首先,接收机200开始基于上述的通常曝光时间以及通信用曝光时间的拍摄(步骤S101)。然后,接收机200对通过以通信用曝光时间的拍摄而得到的解码用图像进行解码,由此取得光ID(步骤S102)。接着,接收机200将该光ID发送给服务器(步骤S103)。
接收机200从服务器取得与所发送来的光ID对应的AR图像和识别信息(步骤S104)。接着,接收机200将通过通常曝光时间的拍摄而得到的拍摄显示图像中的与该识别信息相应的区域识别为对象区域(步骤S105)。然后,接收机200在该对象区域重叠AR图像,对重叠了该AR图像的拍摄显示图像进行显示(步骤S106)。
接着,接收机200判定是否应结束拍摄和拍摄显示图像的显示(步骤S107)。在此,接收机200在判定为不应结束时(步骤S107:否),进而判定接收机200的加速度是否为阈值以上(步骤S108)。该加速度通过接收机200所具备的加速度传感器来计测。接收机200在判定为加速度小于阈值时(步骤S108:否),执行从步骤S105起的处理。由此,即使在接收机200的显示器201所显示的拍摄显示图像发生偏离的情况下,也能够使AR画像跟随该拍摄显示图像的对象区域。另外,接收机200在判定为加速度为阈值以上时(步骤S108:是),执行从步骤S102起的处理。由此,在拍摄显示图像中未拍到发送机100的情况下,能够抑制将映照出与发送机100不同的被拍摄对象的区域错误地识别为对象区域。
如此,在本实施方式中,由于AR图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠AR图像。
也即是,在通常的扩展现实(即AR)中,通过对预先保存的庞大数量的识别对象图像与拍摄显示图像进行比较,判定在该拍摄显示图像中是否包含有某个识别对象图像。并且,如果判定为包含有识别对象图像,则将与该识别对象图像对应的AR图像重叠于拍摄显示图像。此时,以识别对象图像为基准来进行AR图像的位置对准。如此,在通常的扩展现实中,由于对庞大数量的识别对象图像与拍摄显示图像进行比较,进而由于在位置对准中也需要拍摄显示图像中的识别对象图像的位置检测,因此存在计算量多且处理负荷高这一问题。
但是,在本实施方式的显示方法中,通过对通过被拍摄对象的拍摄而得到的解码用图像进行解码来取得光ID。也即是,接收从作为被拍摄对象的发送机发送来的光ID。进而,从服务器取得与该光ID对应的AR图像和识别信息。因此,在服务器中,不需要对庞大数量的识别对象图像与拍摄显示图像进行比较,能够选择与光ID预先关联的AR图像并发送给显示装置。由此,能够减少计算量并大幅地抑制处理负荷。进而,能够使AR图像的显示处理高速化。
另外,在本实施方式中,从服务器取得与该光ID对应的识别信息。识别信息是用于在拍摄显示图像中识别要重叠AR图像的区域即对象区域的信息。该识别信息也可以是表示例如白色四边形是对象区域的信息。在该情况下,能够简单地识别对象区域,能够进一步抑制处理负荷。也即是,根据识别信息的内容,能够进一步抑制处理负荷。另外,在服务器中,由于能够根据光ID任意地设定该识别信息的内容,因此能够适当地保持处理负荷与识别精度的平衡。
此外,在本实施方式中,在接收机200将光ID发送给服务器之后,接收机200从服务器取得与该光ID对应的AR图像以及识别信息,但也可以预先取得AR图像和识别信息中的至少一方。也即是,接收机200预先集中从服务器取得并保存有可能会接收的与多个光ID对应的多个AR图像以及多个识别信息。然后,接收机200在接收到光ID时,从自身保存的多个AR图像以及多个识别信息中选择与该光ID对应的AR图像以及识别信息。由此,能够使AR图像的显示处理进一步高速化。
图240是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图240所示那样作为照明装置而构成,通过一边照射设施的指引板101一边进行亮度变化来发送光ID。指引板101由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化,并发送光ID。
接收机200通过拍摄被发送机100照射的指引板101,与上述同样地取得拍摄显示图像Pb和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从指引板101接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P2和识别信息。接收机200将拍摄显示图像Pb中的与该识别信息相应的区域识别为对象区域。例如,接收机200将指引板101中的映照出框102的区域识别为对象区域。该框102是用于表示设施的等待时间的框。并且,接收机200在该对象区域重叠AR图像P2,将重叠了AR图像P2的拍摄显示图像Pb显示于显示器201。例如,AR图像P2是包含字符串“30分”的图像。该情况下,由于在拍摄显示图像Pb的对象区域重叠有该AR图像P2,因此接收机200能够以使得记载有等待时间“30分”的指引板101现实存在的方式显示拍摄显示图像Pb。由此,不在指引板101设置特别的显示装置就能够以简单且易于理解的方式向接收机200的用户通知等待时间。
图241是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图241所示那样包括2个照明装置。发送机100通过一边照射设施的指引板104一边进行亮度变化来发送光ID。指引板104由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。另外,指引板104例如示出“ABCランド(ABC乐园)”以及“アドベンチャーランド(探险乐园)”等多个设施的名称。
接收机200通过拍摄被发送机100照射的指引板104,与上述同样地取得拍摄显示图像Pc和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从指引板104接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P3和识别信息。接收机200将拍摄显示图像Pc中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出指引板104的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P3,将重叠了AR图像P3的拍摄显示图像Pc显示于显示器201。例如,AR图像P3是表示多个设施的名称的图像。在该AR图像P3中,设施的等待时间越长则该设施的名称被显示得越小,反过来,设施的等待时间越短则该设施的名称被显示得越大。该情况下,由于在拍摄显示图像Pc的对象区域重叠有该AR图像P3,因此接收机200能够以使得记载有与等待时间相应的大小的各设施名称的指引板104现实存在的方式,显示拍摄显示图像Pc。由此,不在指引板104设置特别的显示装置就能够以简单且易于理解的方式向接收机200的用户通知各设施的等待时间。
图242是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图242所示那样包括2个照明装置。发送机100通过一边照射城墙105一边进行亮度变化来发送光ID。城墙105由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。另外,在城墙105上,例如刻有模拟了角色脸部的小标记来作为隐藏角色106。
接收机200通过拍摄被发送机100照射的城墙105,与上述同样地取得拍摄显示图像Pd和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从城墙105接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P4和识别信息。接收机200将拍摄显示图像Pd中的与该识别信息相应的区域识别为对象区域。例如,接收机200将城墙105中的映照出包含隐藏角色106的范围的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P4,将重叠了AR图像P4的拍摄显示图像Pd显示于显示器201。例如,AR图像P4是模拟了角色脸部的图像。该AR图像P4是与映照在拍摄显示图像Pd中的隐藏角色106相比足够大的图像。该情况下,由于在拍摄显示图像Pd的对象区域重叠有该AR图像P4,因此接收机200能够以使得刻有模拟了角色脸部的大标记的城墙105现实存在的方式显示拍摄显示图像Pd。由此,能够以易于理解的方式向接收机200的用户通知隐藏角色106的位置。
图243是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图243所示那样包括2个照明装置。发送机100通过一边照射设施的指引板107一边进行亮度变化来发送光ID。指引板107由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。另外,在指引板107的角落的多个部位涂敷有红外线遮断涂料108。
接收机200通过拍摄被发送机100照射的指引板107,与上述同样地取得拍摄显示图像Pe和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从指引板107接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P5和识别信息。接收机200将拍摄显示图像Pe中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出指引板107的区域识别为对象区域。
具体而言,在识别信息中,示出了与多个部位的红外线遮断涂料108外接的矩形为对象区域这一情况。另外,红外线遮断涂料108对从发送机100照射的光所含的红外线进行遮断。因此,在接收机200的图像传感器中,红外线遮断涂料108被识别为比其周边暗的像。接收机200将与分别作为暗像出现的多个部位的红外线遮断涂料108外接的矩形识别为对象区域。
并且,接收机200在该对象区域重叠AR图像P5,将重叠了AR图像P5的拍摄显示图像Pe显示于显示器201。例如,AR图像P5表示在指引板107的设施中进行的活动的日程表。该情况下,由于在拍摄显示图像Pe的对象区域重叠有该AR图像P5,因此接收机200能够以使得记载有活动的日程表的指引板107现实存在的方式显示拍摄显示图像Pe。由此,不在指引板107设置特别的显示装置就能够以易于理解的方式向接收机200的用户通知设施的活动的日程表。
此外,在指引板107上,也可以取代红外线遮断涂料108而涂敷红外线反射涂料。红外线反射涂料对从发送机100照射的光所含的红外线进行反射。因此,在接收机200的图像传感器中,红外线反射涂料被识别为比其周边亮的像。也即是,该情况下,接收机200将与分别作为亮像出现的多个部位的红外线反射涂料外接的矩形识别为对象区域。
图244是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100作为站名标志而构成,配置在车站出口指引板110的附近。车站出口指引板110具备光源并发光,但不同于发送机100,不发送光ID。
接收机200通过拍摄发送机100以及车站出口指引板110来取得拍摄显示图像Ppre以及解码用图像Pdec。发送机100进行亮度变化,车站出口指引板110进行发光,因此在该解码用图像Pdec中出现与发送机100对应的亮线图案区域Pdec1和与车站出口指引板110对应的亮区域Pdec2。亮线图案区域Pdec1是包括通过接收机200的图像传感器所具有的多个曝光线的通信用曝光时间的曝光而出现的多个亮线图案的区域。
在此,识别信息如上述那样包含用于确定拍摄显示图像Ppre中的基准区域Pbas的基准信息和表示对象区域Ptar相对于该基准区域Pbas的相对位置的对象信息。例如,该基准信息表示拍摄显示图像Ppre中的基准区域Pbas的位置与解码用图像Pdec中的亮线图案区域Pdec1的位置相同。进而,对象信息表示对象区域的位置为基准区域的位置。
因此,接收机200基于基准信息从拍摄显示图像Ppre中确定基准区域Pbas。也即是,接收机200将拍摄显示图像Ppre中的位于与解码用图像Pdec中的亮线图案区域Pdec1的位置相同位置的区域确定为基准区域Pbas。进而,接收机200将拍摄显示图像Ppre中的位于以基准区域Pbas的位置为基准而由对象信息表示的相对位置的区域识别为对象区域Ptar。在上述的例子中,对象信息表示对象区域Ptar的位置为基准区域Pbas的位置,因此接收机200将拍摄显示图像Ppre中的基准区域Pbas识别为对象区域Ptar。
并且,接收机200在拍摄显示图像Ppre中的对象区域Ptar重叠AR图像P1。
如此,在上述的例子中,为了识别对象区域Ptar而利用了亮线图案区域Pdec1。另一方面,在不利用亮线图案区域Pdec1而想要仅通过拍摄显示图像Ppre就将映照出发送机100的区域识别为对象区域Ptar的情况下,有可能会发生误识别。也即是,有可能会将拍摄显示图像Ppre中的不是映照出发送机100的区域而是映照出车站出口指引板110的区域误识别为对象区域Ptar。这是因为:拍摄显示图像Ppre中的发送机100的图像和车站出口指引板110的图像相似。但是,如上述的例子那样,在利用亮线图案区域Pdec1的情况下,能够抑制误识别的发生并准确地识别对象区域Ptar。
图245是表示本实施方式的接收机200显示AR图像的另一例的图。
在图244所示的例子中,发送机100通过使站名标志整体进行亮度变化来发送光ID,对象信息表示对象区域的位置为基准区域的位置。但是,在本实施方式中,发送机100也可以通过不使站名标志整体进行亮度变化而使在站名标志的外框的一部分所配置的发光元件进行亮度变化来发送光ID。另外,对象信息只要表示对象区域Ptar相对于基准区域Pbas的相对位置即可,例如也可以表示对象区域Ptar的位置在基准区域Pbas的上方(具体而言,铅直方向朝上)。
在图245所示的例子中,发送机100通过使在站名标志的外框下部沿着水平方向配置的多个发光元件进行亮度变化来发送光ID。另外,对象信息表示对象区域Ptar的位置在基准区域Pbas的上方。
在这样的情况下,接收机200基于基准信息从拍摄显示图像Ppre中确定基准区域Pbas。也即是,接收机200将拍摄显示图像Ppre中的位于与解码用图像Pdec中的亮线图案区域Pdec1的位置相同位置的区域确定为基准区域Pbas。具体而言,接收机200确定在水平方向上长且在垂直方向上短的矩形状的基准区域Pbas。进而,接收机200将拍摄显示图像Ppre中的位于以基准区域Pbas的位置为基准而由对象信息表示的相对位置的区域识别为对象区域Ptar。也即是,接收机200将拍摄显示图像Ppre中的位于比基准区域Pbas靠上的位置的区域识别为对象区域Ptar。此外,此时,接收机200基于由自身所具备的加速度传感器计测的重力方向,确定比基准区域Pbas靠上的方向。
此外,对象信息也可以不仅表示对象区域Ptar的相对位置还表示对象区域Ptar的尺寸、形状以及宽高比。该情况下,接收机200识别由对象信息表示的尺寸、形状以及宽高比的对象区域Ptar。另外,接收机200也可以基于基准区域Pbas的尺寸来决定对象区域Ptar的尺寸。
图246是表示本实施方式的接收机200的处理动作的另一例的流程图。
接收机200与图239所示的例子同样地执行步骤S101~S104的处理。
接着,接收机200从解码用图像Pdec中确定亮线图案区域Pdec1(步骤S111)。接着,接收机200从拍摄显示图像Ppre中确定与该亮线图案区域Pdec1对应的基准区域Pbas(步骤S112)。然后,接收机200基于识别信息(具体是对象信息)和该基准区域Pbas,从拍摄显示图像Ppre中识别对象区域Ptar(步骤S113)。
接着,接收机200与图239所示的例子同样地,在拍摄显示图像Ppre的对象区域Ptar重叠AR图像,对重叠了该AR图像的拍摄显示图像Ppre进行显示(步骤S106)。然后,接收机200判定是否应结束拍摄和拍摄显示图像Ppre的显示(步骤S107)。在此,接收机200在判定为不应结束时(步骤S107:否),进而,判定接收机200的加速度是否为阈值以上(步骤S114)。该加速度通过接收机200所具备的加速度传感器来计测。接收机200在判定为加速度小于阈值时(步骤S114:否),执行从步骤S113起的处理。由此,即使在接收机200的显示器201所显示的拍摄显示图像Ppre发生偏离的情况下,也能够使AR图像跟随该拍摄显示图像Ppre的对象区域Ptar。另外,接收机200在判定为加速度为阈值以上时(步骤S114:是),执行从步骤S111或步骤S102起的处理。由此,能够抑制将映照出与发送机100不同的被拍摄对象(例如,车站出口指引板110)的区域错误地识别为对象区域Ptar。
图247是表示本实施方式的接收机200显示AR图像的另一例的图。
当所显示的拍摄显示图像Ppre中的AR图像P1被轻敲时,接收机200将该AR图像P1进行放大并显示。或者,当所显示的拍摄显示图像Ppre中的AR图像P1被轻敲时,接收机200也可以取代该AR图像P1而显示表示内容比AR图像P1所表示的内容详细的新AR图像。另外,在AR画像P1表示包括多页的信息杂志的一页信息的情况下,接收机200也可以取代该AR画像P1而显示表示AR图像P1的页的下一页信息的新AR图像。或者,当所显示的拍摄显示图像Ppre中的AR图像P1被轻敲时,接收机200也可以取代该AR图像P1而将与该AR图像P1关联的动态图像作为新AR图像进行显示。此时,接收机200也可以将像是对象(在图247的例子中为红叶)从对象区域Ptar中出来的动态图像作为AR图像进行显示。
图248是表示本实施方式的通过接收机200的拍摄而取得的拍摄显示图像Ppre以及解码用图像Pdec的图。
接收机200在进行拍摄时,例如如图248的(a1)所示,以30fps的帧速率取得拍摄显示图像Ppre以及解码用图像Pdec等拍摄图像。具体而言,接收机200以在时刻t1取得拍摄显示图像Ppre“A”、在时刻t2取得解码用图像Pdec、在时刻t3取得拍摄显示图像Ppre“B”的方式,交替地取得拍摄显示图像Ppre和解码用图像Pdec。
另外,接收机200在显示拍摄图像时,仅显示拍摄图像中的拍摄显示图像Ppre,不显示解码用图像Pdec。也即是,接收机200如图248的(a2)所示,在取得解码用图像Pdec时,取代该解码用图像Pdec而显示刚刚之前所取得的拍摄显示画像Ppre。具体而言,接收机200在时刻t1显示所取得的拍摄显示图像Ppre“A”,在时刻t2再次显示在时刻t1取得的拍摄显示图像Ppre“A”。由此,接收机200以15fps的帧速率显示拍摄显示图像Ppre。
在此,在图248的(a1)所示的例子中,接收机200交替地取得拍摄显示图像Ppre和解码用图像Pdec,但本实施方式的这些图像的取得方式并不限定于这种方式。也即是,接收机200也可以反复进行连续地取得N(N为1以上的整数)张解码用图像Pdec、然后连续地取得M(M为1以上的整数)张拍摄显示图像Ppre。
另外,接收机200需要将要取得的拍摄图像切换为拍摄显示图像Ppre和解码用图像Pdec,该切换有时会需要花费时间。因此,如图248的(b1)所示,接收机200也可以在拍摄显示图像Ppre的取得与解码用图像Pdec的取得之间的切换时设置切换期间。具体而言,接收机200当在时刻t3取得解码用图像Pdec时,在时刻t3~t5的切换期间执行用于切换拍摄图像的处理,在时刻t5取得拍摄显示图像Ppre“A”。然后,接收机200在时刻t5~t7的切换期间,执行用于切换拍摄图像的处理,在时刻t7取得解码用图像Pdec。
在如此设置有切换期间的情况下,接收机200如图248的(b2)所示,在切换期间显示刚刚之前所取得的拍摄显示图像Ppre。因此,该情况下,接收机200中的显示拍摄显示图像Ppre的帧速率低,例如成为3fps。在如此帧速率低的情况下,即使用户活动了接收机200,所显示的拍摄显示图像Ppre有时也不会跟随该接收机200的活动而移动。也即是,拍摄显示图像Ppre不会作为实时取景(live view)进行显示。因此,接收机200也可以使拍摄显示图像Ppre根据接收机200的活动进行移动。
图249是是本实施方式的显示于接收机200的拍摄显示图像Ppre的一例的图。
接收机200例如如图249的(a)所示,将通过拍摄得到的拍摄显示图像Ppre显示于显示器201。在此,用户使接收机200向左侧活动。此时,在没有通过接收机200的拍摄取得新的拍摄显示图像Ppre的情况下,接收机200如图249的(b)所示,使所显示的拍摄显示图像Ppre向右侧移动。也即是,接收机200具备加速度传感器,根据由该加速度传感器计测的加速度,使所显示的拍摄显示图像Ppre移动以使得与接收机200的活动匹配。由此,接收机200能够将拍摄显示图像Ppre虚拟地显示为实时取景。
图250是表示本实施方式的接收机200的处理动作的另一例的流程图。
接收机200首先与上述同样地,在拍摄显示图像Ppre的对象区域Ptar重叠AR图像,并使该AR图像跟随该对象区域Ptar(步骤S122)。也即是,显示与拍摄显示图像Ppre中的对象区域Ptar一起移动的AR图像。然后,接收机200判定是否维持AR图像的显示(步骤S122)。在此,当判定为不维持AR图像的显示时(步骤S122:否),接收机200如果通过拍摄取得新的光ID,则将与该光ID对应的新AR图像重叠于拍摄显示图像Ppre并显示(步骤S123)。
另一方面,当判定为维持AR图像的显示时(步骤S122:是),接收机200反复执行从步骤S121起的处理。此时,接收机200即使取得了其他的AR图像也不显示其他的AR图像。或者,接收机200即使取得了新的解码用图像Pdec,也不通过对该解码用图像Pdec的解码取得光ID。此时,能够抑制解码所消耗的功耗。
如此,通过维持AR图像的显示,能够抑制所显示的该AR图像被擦除或由于其他的AR图像的显示而导致难以观看。也即是,能够使用户容易观看所显示的AR图像。
例如,在步骤S122中,接收机200在从AR图像被显示起经过预先确定的期间(一定期间)之前,判定为维持AR图像的显示。也即是,接收机200在显示拍摄显示图像Ppre时,一边抑制与通过步骤S121重叠的AR图像即第一AR图像不同的第二AR图像的显示,一边在预先确定的显示期间显示该第一AR图像。接收机200也可以在该显示期间禁止对新取得的解码用图像Pdec进行解码。
由此,在用户观看一次显示的第一AR图像时,能够抑制该第一AR图像立即被与其不同的第二AR图像替换。进而,对于新取得的解码用图像Pdec的解码,在第二AR图像的显示被抑制时是无效的处理,因此通过禁止该解码,能够抑制功耗。
或者,在步骤S122中,接收机200也可以具备面部摄像头,当基于该面部摄像头的拍摄结果检测到用户的脸正在靠近时,判定为维持AR图像的显示。也即是,接收机200在显示拍摄显示图像Ppre时,进一步通过接收机200所具备的面部摄像头的拍摄,判定用户的脸是否正在向接收机200靠近。并且,接收机200在判定为脸正在靠近时,在抑制与通过步骤S121重叠的AR图像即第一AR图像不同的第二AR图像的显示的同时,显示该第一AR图像。
或者,在步骤S122中,接收机200也可以具备加速度传感器,当基于该加速度传感器的计测结果检测到用户的脸正在靠近时,判定为维持AR图像的显示。也即是,接收机200在显示拍摄显示图像Ppre时,进一步通过由加速度传感器计测的接收机200的加速度,判定用户的脸是否正在靠近接收机200。例如,在由加速度传感器计测的接收机200的加速度在与接收机200的显示器201垂直的朝外方向上表示正值的情况下,接收机200判定为用户的脸正在靠近。并且,接收机200在判定为脸正在靠近时,在抑制与通过步骤S121重叠的AR图像即第一扩展现实图像不同的第二AR图像的显示的同时,显示该第一AR图像。
由此,在用户想要观看第一AR图像而使脸靠近接收机200时,能够抑制该第一AR图像被与其不同的第二AR图像替换。
或者,在步骤S122中,接收机200也可以在该接收机200所具备的锁定按钮被按下时,判定为维持AR图像的显示。
另外,在步骤S122中,接收机200在经过上述的一定期间(即显示期间)时,判定为不维持AR图像的显示。另外,在尽管未经过上述的一定期间、但由加速度传感器计测到阈值以上的加速度时,接收机200也判定为不维持AR图像的显示。也即是,接收机200在显示拍摄显示图像Ppre时,进一步在上述的显示期间通过加速度传感器计测接收机200的加速度,判定所计测到的加速度是否为阈值以上。并且,接收机200在判定为该加速度为阈值以上时,通过解除第二AR图像的显示的抑制,在步骤S123中取代第一AR图像而显示第二AR图像。
由此,在计测到阈值以上的显示装置的加速度时,第二AR图像的显示的抑制被解除。因此,例如,在用户想要使图像传感器朝向其他的被拍摄对象而大幅活动了接收机200时,能够立即显示第二AR图像。
图251是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图251所示那样作为照明装置而构成,通过一边照射小的玩偶用舞台111一边进行亮度变化来发送光ID。舞台111由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。
2个接收机200从左右方向拍摄被发送机100照射的舞台111。
2个接收机200中的左侧的接收机200通过从左侧拍摄被发送机100照射的舞台111,与上述同样地取得拍摄显示图像Pf和解码用图像。左侧的接收机200通过对该解码用图像的解码来取得光ID。也即是,左侧的接收机200从舞台111接收光ID。左侧的接收机200将该光ID发送给服务器。并且,左侧的接收机200从服务器取得与该光ID对应的三维的AR图像和识别信息。该三维的AR图像例如是用于以立体方式显示玩偶的图像。左侧的接收机200将拍摄显示画像Pf中的与该识别信息相应的区域识别为对象区域。例如,左侧的接收机200将舞台111中央的上侧的区域识别为对象区域。
接着,左侧的接收机200基于映照在拍摄显示图像Pf中的舞台111的方向,根据三维的AR图像生成与该方向相应的二维的AR图像P6a。并且,左侧的接收机200在该对象区域重叠二维的AR图像P6a,将重叠了AR图像P6a的拍摄显示图像Pf显示于显示器201。该情况下,由于在拍摄显示图像Pf的对象区域重叠有该二维的AR图像P6a,因此左侧的接收机200能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像Pf。
同样地,2个接收机200中的右侧的接收机200通过从右侧拍摄被发送机100照射的舞台111,与上述同样地取得拍摄显示图像Pg和解码用图像。右侧的接收机200通过对该解码用图像的解码来取得光ID。也即是,右侧的接收机200从舞台111接收光ID。右侧的接收机200将该光ID发送给服务器。并且,右侧的接收机200从服务器取得与该光ID对应的三维的AR图像和识别信息。右侧的接收机200将拍摄显示图像Pg中的与该识别信息相应的区域识别为对象区域。例如,右侧的接收机200将舞台111中央的上侧的区域识别为对象区域。
接着,右侧的接收机200基于映照在拍摄显示图像Pg中的舞台111的方向,根据三维的AR图像生成与该方向相应的二维的AR图像P6b。并且,右侧的接收机200在该对象区域重叠二维的AR图像P6b,将重叠了AR图像P6b的拍摄显示图像Pg显示于显示器201。该情况下,由于在拍摄显示图像Pg的对象区域重叠有该二维的AR图像P6b,因此右侧的接收机200能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像Pg。
如此,2个接收机200在舞台111上的相同位置显示AR图像P6a以及P6b。另外,这些AR图像P6a以及P6b是以使得虚拟的玩偶实际面向预定方向的方式根据接收机200的方向而生成的。因此,无论从舞台111的哪个方向拍摄,都能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像。
此外,在上述的例子中,接收机200根据三维的AR图像,生成了与接收机200和舞台111之间的位置关系相应的二维的AR图像,但也可以从服务器取得该二维的AR图像。也即是,接收机200将表示该位置关系的信息与光ID一起发送给服务器,从服务器取代三维的AR图像而取得该二维的AR图像。由此,能够减轻接收机200的负担。
图252是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图252所示那样作为照明装置而构成,通过一边照射圆柱状的构造物112一边进行亮度变化来发送光ID。构造物112由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。
接收机200通过拍摄被发送机100照射的构造物112,与上述同样地取得拍摄显示图像Ph和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从构造物112接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P7和识别信息。接收机200将拍摄显示图像Ph中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出构造物112的中央部的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P7,将重叠了AR图像P7的拍摄显示图像Ph显示于显示器201。例如,AR图像P7是包含字符串“ABCD”的图像,该字符串以与构造物112的中央部的曲面贴合的方式进行变形。该情况下,由于在拍摄显示图像Ph的对象区域重叠有包含该变形的字符串的AR图像P2,因此接收机200能够以使得对构造物112描画的字符串现实存在的方式显示拍摄显示图像Ph。
图253是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图253所示,通过一边照射饭店的菜单113一边进行亮度变化来发送光ID。菜单113由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光ID。另外,菜单113例如示出“ABC汤”、“XYZ沙拉”以及“KLM午餐”等多个料理的名称。
接收机200通过拍摄被发送机100照射的菜单113,与上述同样地取得拍摄显示图像Pi和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从菜单113接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P8和识别信息。接收机200将拍摄显示图像Pi中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出菜单113的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P8,将重叠了AR图像P8的拍摄显示图像Pi显示于显示器201。例如,AR图像P8是用标记表示多个料理分别使用的食材的图像。例如,对于AR图像P8,对使用鸡蛋的料理“XYZ萨拉”示出模拟鸡蛋的标记,对使用猪肉的料理“KLM午餐”示出模拟猪的标记。该情况下,由于在拍摄显示图像Pi的对象区域重叠有该AR图像P8,因此接收机200能够以使得附加有食材标记的菜单113现实存在的方式显示拍摄显示图像Pi。由此,不在菜单113设置特别的显示装置就能够以简单且容易理解的方式向接收机200的用户通知各料理的食材。
另外,接收机200也可以取得多个AR图像,基于由用户设定的用户信息,从这些多个AR图像中选择适合用户的AR图像,并重叠该AR图像。例如,如果用户信息中示出用户会对鸡蛋发生过敏反应,则接收机200选择对使用了鸡蛋的料理附加有鸡蛋标记的AR图像。另外,如果用户信息中示出禁止摄取猪肉,则接收机200选择对使用了猪肉的料理附加有猪标记的AR图像。或者,接收机200也可以将该用户信息与光ID一起发送给服务器,从服务器取得与该光ID和用户信息相应的AR图像。由此,能够按用户显示引起该用户注意的菜单。
图254是表示本实施方式的接收机200显示AR图像的另一例的图。
发送机100例如如图254所示那样作为电视机而构成,通过一边在显示器显示影像一边进行亮度变化来发送光ID。另外,在发送机100的附近配置有通常的电视机114。电视机114在显示器显示影像,但不发送光ID。
接收机200例如通过拍摄发送机100并拍摄电视机114,与上述同样地取得拍摄显示图像Pj和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P9和识别信息。接收机200将拍摄显示图像Pj中的与该识别信息相应的区域识别为对象区域。
例如,接收机200通过利用解码用图像的亮线图案区域,在拍摄显示图像Pj中将映照出发送光ID的发送机100的区域的下部识别为第1对象区域。此外,此时,识别信息所包含的基准信息表示拍摄显示图像Pj中的基准区域的位置与解码用图像中的亮线图案区域的位置相同。进而,识别信息所包含的对象信息表示在该基准区域的下部存在对象区域。接收机200使用这样的识别信息来识别上述的第1对象区域。
进而,接收机200将在拍摄显示图像Pj的下部预先固定了位置的区域识别为第2对象区域。第2对象区域比第1对象区域大。此外,识别信息所包含的对象信息不仅表示第1对象区域的位置,还示出了上述那样的第2对象区域的位置以及尺寸。接收机200使用这样的识别信息来识别上述的第2对象区域。
并且,接收机200在该第1对象区域以及第2对象区域重叠AR图像P9,将重叠了AR图像P9的拍摄显示图像Pj显示于显示器201。在该AR图像P9的重叠中,接收机200使该AR图像P9的尺寸与第1对象区域的尺寸一致,将尺寸调整后的AR图像P9重叠于该第1对象区域。进而,接收机200使AR图像P9的尺寸与第2对象区域的尺寸一致,将尺寸调整后的AR图像P9重叠于该第2对象区域。
例如,AR图像P9表示与发送机100的影像对应的字幕。另外,AR图像P9的字幕的语言是与设定登记在接收机200中的用户信息相应的语言。也即是,接收机200在将光ID发送给服务器时,也将该用户信息(例如,表示用户的国籍或使用语言等的信息)发送给服务器。并且,接收机200取得表示与该用户信息相应的语言的字幕的AR图像P9。或者,接收机200也可以取得分别表示不同语言的字幕的多个AR图像P9,根据所设定登记的用户信息,从这些多个AR图像P9中选择重叠所使用的AR图像P9。
换言之,在图254所示的例子中,接收机200通过将分别显示有图像的多个显示器作为被拍摄对象进行拍摄,取得拍摄显示图像Pj以及解码用图像。并且,接收机200在识别对象区域时,将拍摄显示图像Pj中的出现多个显示器中的发送光ID的显示器即发送显示器(即发送机100)的区域识别为对象区域。接着,接收机200将与显示在发送显示器中的图像对应的第1字幕作为AR图像重叠于该对象区域。进而,接收机200在拍摄显示图像Pj中的比对象区域大的区域,重叠对第1字幕进行了放大的字幕即第2字幕。
由此,接收机200能够以使得字幕现实存在于发送机100的影像中的方式显示拍摄显示图像Pj。进而,接收机200在拍摄显示图像Pj的下部也重叠大的字幕,因此即使发送机100的影像所附带的字幕小,也能够容易观看字幕。此外,在没有发送机100的影像所附带的字幕而仅在拍摄显示图像Pj的下部重叠大的字幕的情况下,难以判断该重叠的字幕是与发送机100的影像对应的字幕还是与电视机114的影像对应的字幕。但是,在本实施方式中,由于对发送光ID的发送机100的影像也附带字幕,因此用户能够容易地判断所重叠的字幕是与哪个影像对应的字幕。
另外,接收机200也可以在拍摄显示图像Pj的显示中,进一步判定在从服务器取得的信息中是否含有声音信息。并且,接收机200在判定为含有声音信息时,相比于第1以及第2字幕,优先输出声音信息所表示的声音。由此,由于优先输出声音,因此能够减轻用户阅读字幕的负担。
另外,在上述的例子中,根据用户信息(即用户的属性)使字幕的语言不同,但也可以使发送机100所显示的影像(即内容)本身不同。例如,在发送机100所显示的影像是新闻的影像的情况下,如果用户信息中示出用户是日本人,则接收机200取得在日本播放的新闻的影像来作为AR图像。并且,接收机200将该新闻的影像重叠于映照出发送机100的显示器的区域(即对象区域)。另一方面,如果用户信息中示出用户是美国人,则接收机200取得在美国播放的新闻的影像来作为AR图像。并且,接收机200将该新闻的影像重叠于映照出发送机100的显示器的区域(即对象区域)。由此,能够显示适合用户的影像。此外,在用户信息中,作为用户的属性,例如示出国籍或使用语言等,接收机200基于该属性取得上述的AR图像。
图255是表示本实施方式的识别信息的一例的图。
即使识别信息是例如上述那样的特征点以及特征量等,也有可能会发生误识别。例如,发送机100a以及100b分别与发送机100同样地作为站名标志而构成。这些发送机100a以及100b即使是互不相同的站名标志,如果位于互相接近的位置,则有可能会由于类似而被误识别。
因此,发送机100a以及100b各自的识别信息也可以不示出发送机100a或100b的图像整体的各特征点以及各特征量而仅示出该图像中的特征性的一部分的各特征点以及各特征量。
例如,发送机100a的部分a1和发送机100b的部分b1彼此大大不同,发送机100a的部分a2和发送机100b的部分b2彼此大大不同。因此,如果发送机100a和100b设置在预先确定的范围内(即近距离),则服务器保持部分a1和部分a2各自的图像的特征点以及特征量来作为与发送机100a对应的识别信息。同样地,服务器保持部分b1和部分b2各自的图像的特征点以及特征量来作为与发送机100b对应的识别信息。
由此,接收机200在彼此类似的发送机100a和100b位于彼此接近的位置的情况(位于上述的预先确定的范围内的情况)下,也能够使用这些识别信息来适当地识别对象区域。
图256是表示本实施方式的接收机200的处理动作的另一例的流程图。
接收机200首先基于设定登记在接收机200中的用户信息,判定用户是否存在视觉障碍(步骤S131)。在此,接收机200在判定为存在视觉障碍时(步骤S131:是),将重叠显示的AR图像的文字用声音来输出(步骤S132)。另一方面,接收机200在判定为没有视觉障碍时(步骤S131:否),进而,基于用户信息判定用户是否存在听觉障碍(步骤S133)。在此,接收机200在判定为存在听觉障碍时(步骤S133:是),停止声音输出(步骤S134)。此时,接收机200停止所有功能的声音输出。
此外,接收机200在步骤S131中判定为存在视觉障碍时(步骤S131:是),也可以进行步骤S133的处理。也即是,接收机200也可以在判定为存在视觉障碍且没有听觉障碍时,将重叠显示的AR图像的文字用声音来输出。
图257是表示本实施方式的接收机200识别亮线图案区域的一例的图。
接收机200首先通过拍摄分别发送光ID的2个发送机来取得解码用图像,通过对该解码用图像的解码,如图257的(e)所示那样取得光ID。此时,由于在解码用图像中包含2个亮线图案区域X以及Y,因此接收机200取得与亮线图案区域X对应的发送机的光ID和与亮线图案区域Y对应的发送机的光ID。与亮线图案区域X对应的发送机的光ID例如包含与地址0~9分别对应的数值(即数据),表示“5,2,8,4,3,6,1,9,4,3”。与亮线图案区域X对应的发送机的光ID也同样地例如包含与地址0~9分别对应的数值,表示“5,2,7,7,1,5,3,2,7,4”。
接收机200即使一次取得这些光ID、即已知这些光ID,在进行拍摄时,有时也会处于不知道各个光ID是从哪个亮线图案区域得到的状况。在这样的情况下,接收机200通过进行图257的(a)~(d)所示的处理,能够容易且迅速地判定各个已知的光ID是从哪个亮线图案区域得到的。
具体而言,接收机200首先如图257的(a)所示,取得解码用图像Pdec11,通过对该解码用图像Pdec11的解码,取得亮线图案区域X和Y各自的光ID的地址0的数值。例如,亮线图案区域X的光ID的地址0的数值是“5”,亮线图案区域Y的光ID的地址0的数值也是“5”。由于各个光ID的地址0的数值是“5”,因此此时无法判定已知的光ID是从哪个亮线图案区域得到的。
于是,接收机200如图257的(b)所示,取得解码用图像Pdec12,通过对该解码用图像Pdec12的解码,取得亮线图案区域X和Y各自的光ID的地址1的数值。例如,亮线图案区域X的光ID的地址1的数值是“2”,亮线图案区域Y的光ID的地址1的数值也是“2”。由于各个光ID的地址1的数值是“2”,因此此时也无法判定已知的光ID是从哪个亮线图案区域得到的。
于是,进一步,接收机200如图257的(c)所示,取得解码用图像Pdec13,通过对该解码用图像Pdec13的解码,取得亮线图案区域X和Y各自的光ID的地址2的数值。例如,亮线图案区域X的光ID的地址2的数值是“8”,亮线图案区域Y的光ID的地址2的数值是“7”。此时,能够判定为已知的光ID“5,2,8,4,3,6,1,9,4,3”是从亮线图案区域X得到的,能够判定为已知的光ID“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域Y得到的。
但是,接收机200为了提高可靠度,也可以进一步如图257的(d)所示,取得各个光ID的地址3的数值。也即是,接收机200取得解码用图像Pdec14,通过对该解码用图像Pdec14的解码,取得亮线图案区域X和Y各自的光ID的地址3的数值。例如,亮线图案区域X的光ID的地址3的数值是“4”,亮线图案区域Y的光ID的地址3的数值是“7”。此时,能够判定为已知的光ID“5,2,8,4,3,6,1,9,4,3”是从亮线图案区域X得到的,能够判定为已知的光ID“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域Y得到的。也即是,也能够不仅通过地址2还通过地址3来识别亮线图案区域X以及Y的光ID,因此能够提高可靠度。
如此,在本实施方式中,不重新取得光ID的全部地址的数值(即数据)而重新取得至少一个地址的数值。由此,能够容易且迅速地判定已知的光ID是从哪个亮线图案区域得到的。
此外,在上述的图257的(c)以及(d)所示的例子中,对预定地址取得的数值与已知的光ID的数值一致,但也可以不一致。例如,在图257的(d)所示的例子中,接收机200取得“6”来作为亮线图案区域Y的光ID的地址3的数值。该地址3的数值“6”与已知的光ID“5,2,7,7,1,5,3,2,7,4”的地址3的数值“7”不同。但是,由于数值“6”是接近数值“7”的数值,因此接收机200也可以判定为已知的光ID“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域Y得到的。此外,接收机也可以通过数值“6”是否处于数值“7”±n(n例如为1以上的数)的范围内,判定数值“6”是否为接近数值“7”的数值。
图258是表示本实施方式的接收机200的另一例的图。
接收机200在上述的例子中作为智能手机而构成,但也可以与图19~图21所示的例子同样地,作为具备图像传感器的头戴式显示器(也称为眼镜)而构成。
这样的接收机200若一直启动着用于显示上述那样的AR图像的处理电路(以下,称为AR处理电路)则功耗会增加,因此也可以在检测到预先确定的信号时启动该AR处理电路。
例如,接收机200具备触摸传感器202。触摸传感器202若与用户的手指等接触则输出触摸信号。接收机200在检测到该触摸信号时启动AR处理电路。
或者,接收机200也可以在检测到Bluetooth(注册商标)或Wi-Fi(注册商标)等的电波信号时启动AR处理电路。
或者,接收机200也可以具备加速度传感器,在通过该加速度传感器检测到与重力方向相反方向上的阈值以上的加速度时,启动AR处理电路。也即是,接收机200在检测到表示上述加速度的信号时,启动AR处理电路。例如,当用户将作为眼镜构成的接收机200的鼻托部分用指尖从下向上顶起时,接收机200检测到表示上述加速度的信号,启动AR处理电路。
或者,接收机200也可以在通过GPS以及9轴传感器等检测到图像传感器朝向了发送机100时,启动AR处理电路。也即是,接收机200在检测到表示接收机200朝向了预定方向的信号时,启动AR处理电路。该情况下,如果发送机100是上述的日语的站名标志等,则接收机200将表示英语站名的AR图像重叠于该站名标志并显示。
图259是表示本实施方式的接收机200的处理动作的另一例的流程图。
接收机200在从发送机100取得光ID时(步骤S141),通过接收与该光ID相应的模式指定信息,对噪声消除的模式进行切换(步骤S142)。然后,接收机200判定是否应结束该模式的切换处理(步骤S143),当判定为不应结束时(步骤S143:否),反复执行从步骤S141起的处理。噪声消除的模式的切换例如是对飞机内的发动机等的噪音进行消除的模式(ON)和不进行该噪音消除的模式(OFF)。具体而言,携带接收机200的用户将与该接收机200连接的耳机戴在耳朵上,聆听从该接收机200输出的音乐等声音。当这样的用户搭乘飞机时,接收机200取得光ID。其结果是,接收机200将噪声消除的模式从OFF切换为ON。由此,用户即使在飞机内,也能够听到不包含发动机的噪音等噪声的声音。另外,即使在用户离开飞机时,接收机200也取得光ID。取得了该光ID的接收机200将噪声消除的模式从ON切换为OFF。此外,成为噪声消除的对象的噪声不仅是发动机的噪音,也可以是人声等任何声响。
图260是表示本实施方式的包括多个发送机的发送系统的一例的图。
该发送系统具备按预先确定的顺序排列的多个发送机120。这些发送机120与发送机100同样,是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如LED)。开头的发送机120通过按照预先确定的频率(载波频率)使一个或多个发光元件的亮度发生变化来发送光ID。进一步,开头的发送机120将表示该亮度变化的信号作为同步信号输出给后续的发送机120。后续的发送机120在收到该同步信号时,通过按照该同步信号使一个或多个发光元件的亮度发生变化来发送光ID。进一步,后续的发送机120将表示该亮度变化的信号作为同步信号输出给下一个后续的发送机120。由此,发送系统所包括的全部发送机120同步地发送光ID。
在此,同步信号被从开头的发送机120转发给后续的发送机120,从后续的发送机120进一步转发给下一个后续的发送机120,直到到达最后的发送机120。同步信号的转发例如花费约1μ秒。因此,如果发送系统具备N(N为2以上的整数)台发送机120,则同步信号从开头的发送机120到达最后的发送机120会花费1×Nμ秒。其结果是,光ID的发送的定时最大会偏离(错开)Nμ秒。例如,存在如下情况:即使N台发送机120按照9.6kHz的频率发送光ID、且接收机200想要以9.6kHz的频率接收光ID,但接收机200会由于接收偏离了Nμ秒的光ID而无法正确地接收该光ID。
因此,在本实施方式中,开头的发送机120根据发送系统所包括的发送机120的台数来加速地发送光ID。例如,开头的发送机120按照9.605kHz的频率发送光ID。另一方面,接收机200以9.6kHz的频率接收光ID。此时,即使接收机200接收偏离了Nμ秒的光ID,由于开头的发送机120的频率比接收机200的频率高0.005kHz,因此也能够抑制因该光ID的偏离而导致的接收错误的产生。
另外,开头的发送机120也可以通过从最后的发送机120反馈回同步信号来控制频率的调整量。例如,开头的发送机120计测从自身输出同步信号到接收到从最后的发送机120反馈的同步信号为止的时间。并且,该时间越长,则开头的发送机120按照比基准频率(例如,9.6kHz)越高的频率发送光ID。
图261是表示本实施方式的包括多个发送机以及接收机的发送系统的一例的图。
该发送系统例如具备2个发送机120和接收机200。2个发送机120中的一方的发送机120按照9.599kHz的频率发送光ID。另一方的发送机120按照9.601kHz的频率发送光ID。在这样的情况下,2个发送机120分别将自身的光ID的频率用电波信号通知给接收机200。
接收机200在收到这些频率的通知时,尝试按照所通知的频率的各频率进行解码。也即是,接收机200按照9.599kHz的频率来尝试对解码用图像的解码,由此,如果无法接收到光ID,则按照9.601kHz的频率来尝试对解码用图像的解码。如此,接收机200按照所通知的全部频率的各频率,尝试对解码用图像的解码。换言之,接收机200对所通知的各个频率进行循环尝试。或者,接收机200也可以按照所通知的全部频率的平均频率来尝试解码。也即是,接收机200按照9.599kHz和9.601kHz的平均频率即9.6kHz来尝试解码。
由此,能够降低因接收机200与发送机120各自的频率的差异而引起的接收错误的产生率。
图262A是表示本实施方式的接收机200的处理动作的一例的流程图。
接收机200首先开始拍摄(步骤S151),将参数N初始化为1(步骤S152)。接着,接收机200按照与参数N对应的频率对通过该拍摄得到的解码用图像进行解码,算出针对该解码结果的评价值(步骤S153)。例如,对参数N=1、2、3、4、5分别预先关联有9.6kHz、9.601kHz、9.599kHz、9.602kHz等频率。解码结果与正确的光ID越类似,则评价值表示越高的数值。
接着,接收机200判定参数N的数值是否等于预先确定的1以上的整数即Nmax(步骤S154)。在此,接收机200在判定为参数N的数值不等于Nmax时(步骤S154:否),使参数N递增(步骤S155),反复执行从步骤S153起的处理。另一方面,接收机200在判定为参数N的数值等于Nmax时(步骤S154:是),将算出最大评价值的频率作为最佳频率与表示接收机200的场所的场所信息关联地登记于服务器。如此登记的最佳频率以及场所信息在登记后被用于向该场所信息所表示的场所移动的接收机200的对光ID的接收。另外,场所信息例如既可以是表示由GPS计测的位置的信息,也可以是无线LAN(Local Area Network,局域网)中的访问点的识别信息(例如,SSID:Service Set Identifier,服务集标识符)。
另外,进行了向服务器登记的接收机200按照通过基于该最佳频率的解码而得到的光ID,进行例如上述那样的AR图像的显示。
图262B是表示本实施方式的接收机200的处理动作的一例的流程图。
在进行了图262A所示的向服务器的登记之后,接收机200将表示自身所在的场所的场所信息发送给服务器(步骤S161)。接着,接收机200从该服务器取得与该场所信息关联登记的最佳频率(步骤S162)。
接着,接收机200开始拍摄(步骤S163),按照通过步骤S162取得的最佳频率对通过该拍摄得到的解码用图像进行解码(步骤S164)。接收机200按照通过该解码得到的光ID,进行例如上述那样的AR图像的显示。
如此,在进行了向服务器的登记之后,接收机200不执行图262A所示的处理而能够取得最佳频率并接收光ID。此外,接收机200在步骤S162中未能取得最佳频率时,也可以通过执行图262A所示的处理来取得最佳频率。
[实施方式23的总结]
图263A是表示本实施方式的显示方法的流程图。
本实施方式的显示方法是上述的接收机200即显示装置显示图像的显示方法,包括步骤SL11~SL16。
在步骤SL11中,图像传感器通过拍摄被拍摄对象来取得拍摄显示图像以及解码用图像。在步骤SL12中,通过对该解码用图像的解码来取得光ID。在步骤SL13中,将该光ID发送给服务器。在步骤SL14中,从服务器取得与该光ID对应的AR图像和识别信息。在步骤SL15中,将拍摄显示图像中的与识别信息相应的区域识别为对象区域。在步骤SL16中,显示在对象区域重叠了AR图像的拍摄显示图像。
由此,AR图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠AR图像。
也即是,在通常的扩展现实(即AR)中,通过对预先保存的庞大数量的识别对象图像与拍摄显示图像进行比较,判定在该拍摄显示图像中是否包含有某个识别对象图像。并且,如果判定为包含有识别对象图像,则将与该识别对象图像对应的AR图像重叠于拍摄显示图像。此时,以识别对象图像为基准来进行AR图像的位置对准。如此,在通常的扩展现实中,由于对庞大数量的识别对象图像与拍摄显示图像进行比较,进而由于在位置对准中也需要拍摄显示图像中的识别对象图像的位置检测,因此存在计算量多且处理负荷高这一问题。
但是,在本实施方式的显示方法中,也如图235~图262B所示,通过对通过被拍摄对象的拍摄而得到的解码用图像进行解码来取得光ID。也即是,接收从作为被拍摄对象的发送机发送来的光ID。进而,从服务器取得与该光ID对应的AR图像和识别信息。因此,在服务器中,不需要对庞大数量的识别对象图像与拍摄显示图像进行比较,能够选择与光ID预先关联的AR图像并发送给显示装置。由此,能够减少计算量并大幅地抑制处理负荷。
另外,在本实施方式的显示方法中,从服务器取得与该光ID对应的识别信息。识别信息是用于在拍摄显示图像中识别要重叠AR图像的区域即对象区域的信息。该识别信息也可以是表示例如白色四边形是对象区域的信息。在该情况下,能够简单地识别对象区域,能够进一步抑制处理负荷。也即是,根据识别信息的内容,能够进一步抑制处理负荷。另外,在服务器中,由于能够根据光ID任意地设定该识别信息的内容,因此能够适当地保持处理负荷与识别精度的平衡。
在此,也可以为,识别信息是用于确定拍摄显示图像中的基准区域的基准信息,在对象区域的识别中,基于该基准信息从拍摄显示图像中识别基准区域,在拍摄显示图像中,通过该基准区域的位置来识别对象区域。
或者,识别信息也可以包含用于确定拍摄显示图像中的基准区域的基准信息和表示对象区域相对于该基准区域的相对位置的对象信息。该情况下,在对象区域的识别中,基于基准信息从拍摄显示图像中确定基准区域,将拍摄显示图像中的位于以该基准区域的位置为基准而由对象信息表示的相对位置的区域识别为对象区域。
由此,如图244以及图245所示,能够扩大要在拍摄显示图像中识别的对象区域的位置的自由度。
另外,基准信息也可以示出拍摄显示图像中的基准区域的位置与解码用图像中的亮线图案区域的位置相同,所述亮线图案区域包括通过图像传感器所具有的多个曝光线的曝光而出现的多个亮线的图案。
由此,如图244以及图245所示,能够以拍摄显示图像中的与亮线图案区域对应的区域为基准来识别对象区域。
另外,基准信息也可以示出拍摄显示图像中的基准区域为拍摄显示图像中的映照出显示器的区域。
由此,如图235所示,例如如果将站名标志设为显示器,则能够以映照出该显示器的区域为基准来识别对象区域。
另外,在拍摄显示图像的显示中,也可以在抑制与上述的AR图像即第一AR图像不同的第二AR图像的显示的同时,在预先确定的显示期间显示第一AR图像。
由此,如图250所示,在用户正在观看一次显示的第一AR图像时,能够抑制该第一AR图像立即被与其不同的第二AR图像替换。
另外,在拍摄显示图像的显示中,在显示期间,也可以禁止对新取得的解码用图像的解码。
由此,如图250所示,对于新取得的解码用图像的解码,在第二AR图像的显示被抑制时是无效的处理,因此通过禁止该解码,能够抑制功耗。
另外,在拍摄显示图像的显示中,进而,也可以,在显示期间,通过加速度传感器计测显示装置的加速度,判定所计测到的加速度是否为阈值以上。并且,在判定为该加速度为阈值以上时,通过解除第二AR图像的显示的抑制,也可以取代第一AR图像而显示第二AR图像。
由此,如图250所示,在计测到阈值以上的显示装置的加速度时,解除第二AR图像的显示的抑制。因此,例如,在用户想要使图像传感器朝向其他的被拍摄对象而大幅活动了显示装置时,能够立即显示第二AR图像。
另外,在拍摄显示图像的显示中,进一步也可以为,通过由显示装置所具备的面部摄像头进行的拍摄,判定用户的脸是否正在靠近显示装置。并且,当判定为脸正在靠近时,也可以在抑制与第一AR图像不同的第二AR图像的显示的同时,显示第一AR图像。或者,在拍摄显示图像的显示中,进一步也可以为,通过由加速度传感器计测的显示装置的加速度,判定用户的脸是否正在靠近显示装置。并且,当判定为脸正在靠近时,也可以在抑制与第一AR图像不同的第二AR图像的显示的同时,显示第一AR图像。
由此,如图250所示,在用户想要观看第一AR图像而使脸向显示装置靠近时,能够抑制该第一AR图像被与其不同的第二AR图像替换。
另外,如图254所示,在拍摄显示图像以及解码用图像的取得中,也可以通过将分别显示有图像的多个显示器作为被拍摄对象进行拍摄,取得该拍摄显示图像以及解码用图像。此时,在对象区域的识别中,将拍摄显示图像中的出现多个显示器中的发送光ID的显示器即发送显示器的区域识别为对象区域。另外,在拍摄显示图像的显示中,将与发送显示器所显示的图像对应的第1字幕作为AR图像显示于对象区域,进一步,在拍摄显示图像中的比对象区域大的区域重叠对第1字幕进行了放大的字幕即第2字幕。
由此,由于在发送显示器的图像重叠有第1字幕,因此能够使用户容易地掌握该第1字幕是与多个显示器中的哪个显示器的图像对应的字幕。另外,由于也显示对第1字幕进行了放大的字幕即第2字幕,因此即使在第1字幕小且不易阅读的情况下,通过第2字幕的显示,能够使字幕易于阅读。
另外,在拍摄显示图像的显示中,进一步也可以为,判定在从上述的服务器取得的信息中是否含有声音信息,在判定为含有声音信息时,相比于第1以及第2字幕,优选输出该声音信息所表示的声音
由此,由于优选输出声音,因此能够减轻用户阅读字幕的负担。
图263B是表示本实施方式的显示装置的结构的框图。
本实施方式的显示装置10是显示图像的显示装置,具备图像传感器11、解码部12、发送部13、取得部14、识别部15和显示部16。此外,该显示装置10相当于上述的接收机200。
图像传感器11通过拍摄被拍摄对象来取得拍摄显示图像以及解码用图像。解码部12通过对该解码用图像的解码来取得光ID。发送部13将该光ID发送给服务器。取得部14从服务器取得与光ID对应的AR图像和识别信息。识别部15将拍摄显示图像中的与该识别信息相应的区域识别为对象区域。显示部16显示在该对象区域重叠了AR图像的拍摄显示图像。
由此,由于AR图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠AR图像。
此外,在本实施方式中,各构成要素也可以通过由专用的硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。在此,实现本实施方式的接收机200或显示装置10等的软件是使计算机执行图239、图246、图250、图256、图259以及图262A~图263A所示的流程图所包含的各步骤的程序。
[实施方式23的变形例1]
以下,对实施方式23的变形例1、即实现使用了光ID的AR的显示方法的变形例1进行说明。
图264是表示实施方式23的变形例1的接收机显示AR图像的例子的图。
接收机200通过由其图像传感器进行的被拍摄对象的拍摄,取得作为上述通常拍摄图像的拍摄显示图像Pk和作为上述可见光通信图像或亮线图像的解码用图像。
具体而言,接收机200的图像传感器拍摄作为机器人构成的发送机100c和位于发送机100c旁边的人物21。发送机100c是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如LED)131。该发送机100c通过使该一个或多个发光元件131闪烁来进行亮度变化,通过该亮度变化来发送光ID(光识别信息)。该光ID是上述的可见光信号。
接收机200通过以通常曝光时间拍摄发送机100c以及人物21,取得映照出该发送机100c以及人物21的拍摄显示图像Pk。进一步,接收机200通过以比该通常曝光时间短的通信用曝光时间拍摄发送机100c以及人物21,取得解码用图像。
接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从发送机100c接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P10和识别信息。接收机200将拍摄显示图像Pk中的与该识别信息相应的区域识别为对象区域。例如,接收机200将处于映照出作为发送机100c的机器人的区域的右侧的区域识别为对象区域。具体而言,接收机200确定映照在拍摄显示图像Pk中的发送机100c的2个标记132a与132b之间的距离。并且,接收机200将具有与该距离相应的宽度以及高度的区域识别为对象区域。也即是,识别信息示出了标记132a以及132b的形状和以这些标记132a以及132b为基准的对象区域的位置以及大小。
并且,接收机200在该对象区域重叠AR图像P10,将重叠了AR图像P10的拍摄显示图像Pk显示于显示器201。例如,接收机200取得表示与发送机100c不同的其他机器人的AR图像P10。该情况下,由于在拍摄显示图像Pk的对象区域重叠有该AR图像P10,因此能够以使得其他机器人现实存在于发送机100c旁边的方式显示拍摄显示图像Pk。其结果是,即使其他机器人实际并不存在,人物21也能够与发送机100c以及其他机器人一起被拍到照片中。
图265是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
发送机100例如如图265所示那样作为具有显示面板的图像显示装置而构成,通过一边在该显示面板显示静止图像PS一边进行亮度变化来发送光ID。此外,显示面板例如是液晶显示器或有机EL(electro luminescence,电致发光)显示器。
接收机200通过拍摄发送机100,与上述同样地取得拍摄显示图像Pm和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P11和识别信息。接收机200将拍摄显示图像Pm中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出发送机100的显示面板的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P11,将重叠了AR图像P11的拍摄显示图像Pm显示于显示器201。例如,AR图像P11是按显示顺序具有与发送机100的显示面板所显示的静止图像PS相同或实质相同的图画作为开头图画的动态图像。也即是,AR图像P11是从静止图像PS开始活动起来的动态图像。
该情况下,由于在拍摄显示图像Pm的对象区域重叠有该AR图像P11,因此接收机200能够以使得显示动态图像的图像显示装置现实存在的方式显示拍摄显示图像Pm。
图266是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
发送机100例如如图266所示那样作为站名标志而构成,通过进行亮度变化来发送光ID。
接收机200如图266的(a)所示,从离开发送机100的位置拍摄发送机100。由此,接收机200与上述同样地,取得拍摄显示图像Pn和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P12~P14和识别信息。接收机200将拍摄显示图像Pn中的与该识别信息相应的2个区域识别为第1以及第2对象区域。例如,接收机200将发送机100周围的区域识别为第1对象区域。并且,接收机200在该第1对象区域重叠AR图像P12,将重叠了AR图像P12的拍摄显示图像Pn显示于显示器201。例如,AR图像P12是促使接收机200的用户向发送机100接近的箭头。
该情况下,由于在拍摄显示图像Pn的第1对象区域重叠并显示有该AR图像P12,因此用户以使接收机200朝向发送机100的状态向发送机100靠近。通过这样的接收机200向发送机100的接近,映照在拍摄显示图像Pn中的发送机100的区域(相当于上述的基准区域)变大。当该区域的大小成为第1阈值以上时,接收机200例如如图266的(b)所示,进一步在映照出发送机100的区域即第2对象区域重叠AR图像P13。也即是,接收机200将重叠了AR图像P12以及P13的拍摄显示图像Pn显示于显示器201。例如,AR图像P13是向用户通知站名标志所表示的车站周边的概况的消息。另外,AR图像P13的大小与映照在拍摄显示图像Pn中的发送机100的区域的大小相等。
另外,在该情况下,由于在拍摄显示图像Pn的第1对象区域重叠有作为箭头的AR图像P12并显示,因此用户也以使接收机200朝向发送机100的状态向发送机100靠近。通过这样的接收机200向发送机100的接近,映照在拍摄显示图像Pn中的发送机100的区域(相当于上述的基准区域)进一步变大。当该区域的大小成为第2阈值以上时,接收机200例如如图266的(c)所示,将重叠于第2对象区域的AR图像P13变更为AR图像P14。进而,接收机200将重叠于第1对象区域的AR图像P12删除。
也即是,接收机200将重叠了AR图像P14的拍摄显示图像Pn显示于显示器201。例如,AR图像P14是向用户通知站名标志所表示的车站周边的详细情况的消息。另外,AR图像P14的大小与映照在拍摄显示图像Pn中的发送机100的区域的大小相等。接收机200越接近发送机100,该发送机100的区域就越大。因此,AR图像P14比AR图像P13大。
如此,接收机200越靠近发送机100,使AR图像越大,显示越多的信息。另外,由于显示有AR图像P12那样的促使用户接近的箭头,因此能够使用户容易地掌握若靠近发送机100则会显示大量信息这一情况。
图267是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
在图266所示的例子中,接收机200若靠近发送机100则显示大量信息,但也可以不管与发送机100之间的距离如何,都以例如引出框的方式显示大量信息。
具体而言,接收机200如图267所示,通过拍摄发送机100,与上述同样地取得拍摄显示图像Po和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像P15和识别信息。接收机200将拍摄显示图像Po中的与该识别信息相应的区域识别为对象区域。例如,接收机200将发送机100周围的区域识别为对象区域。并且,接收机200在该对象区域重叠AR图像P15,将重叠了AR图像P15的拍摄显示图像Po显示于显示器201。例如,AR图像P15是以引出框的方式向用户通知站名标志所表示的车站周边的详细情况的消息。
该情况下,由于在拍摄显示图像Po的对象区域重叠有该AR图像P15,因此接收机200的用户即使不靠近发送机100也能够使接收机200显示大量信息。
图268是表示实施方式23的变形例1的接收机200的另一例的图。
接收机200在上述的例子中作为智能手机而构成,但也可以与图19~图21以及图258所示的例子同样地,作为具备图像传感器的头戴式显示器(也称为眼镜)而构成。
这样的接收机200通过仅对解码用图像的一部分解码对象区域进行解码来取得光ID。例如,接收机200如图268的(a)所示,具备视线检测摄像头203。视线检测摄像头203拍摄佩戴着作为接收机200的头戴式显示器的用户的眼睛。接收机200基于通过该视线检测摄像头203的拍摄而得到的眼睛的图像,检测该用户的视线。
接收机200如图268的(b)所示,例如以使得视线框204出现在用户视野中的朝向所检测到的视线的区域的方式,显示该视线框204。因此,该视线框204随着用户视线的活动而移动。接收机200将解码用图像中的与该视线框204内相当的区域作为解码对象区域来处理。也即是,即使在解码用图像中的解码对象区域外存在亮线图案区域,接收机200也不进行对该亮线图案区域的解码,而仅对解码对象区域内的亮线图案区域进行解码。由此,即使在解码用图像中存在多个亮线图案区域的情况下,也不进行对这些全部亮线图案区域的解码,因此能够减轻处理负荷,并且能够抑制多余的AR图像的显示。
另外,接收机200在分别用于输出声音的多个亮线图案区域包含在解码用图像中的情况下,也可以仅对解码对象区域内的亮线图案区域进行解码,仅输出与该亮线图案区域对应的声音。或者,接收机200也可以对解码用图像所包含的多个亮线图案区域分别进行解码,将与解码对象区域内的亮线图案区域对应的声音输出得大,将与解码对象区域外的亮线图案区域对应的声音输出得小。另外,在解码对象区域外存在多个亮线图案区域的情况下,也可以,越是接近解码对象区域的亮线图案区域,则接收机200将与该亮线图案区域对应的声音输出得越大。
图269是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
发送机100例如如图269所示那样作为具备显示面板的图像显示装置而构成,通过一边在该显示面板显示图像一边进行亮度变化来发送光ID。
接收机200通过拍摄发送机100,与上述同样地取得拍摄显示图像Pp和解码用图像。
此时,接收机200从拍摄显示图像Pp中确定位于与解码用图像中的亮线图案区域相同位置且大小与该亮线图案区域相同的区域。并且,接收机200也可以显示从该区域的一端向另一端反复移动的扫描线P100。
在显示有该扫描线P100的期间,接收机200通过对解码用图像的解码来取得光ID,将该光ID发送给服务器。并且,接收机200从服务器取得与该光ID对应的AR图像和识别信息。接收机200将拍摄显示图像Pp中的与该识别信息相应的区域识别为对象区域。
当识别到这样的对象区域时,接收机200结束扫描线P100的显示,在该对象区域重叠AR图像,将重叠了该AR图像的拍摄显示图像Pp显示于显示器201。
由此,在从进行发送机100的拍摄到AR图像被显示为止的期间,显示有移动的扫描线P100,因此能够向用户通知正在进行光ID以及AR图像的读取等处理。
图270是表示实施方式23的变形例1的接收机200显示AR图像的另一例的图。
2个发送机100分别例如如图270所示那样作为具有显示面板的图像显示装置而构成,通过一边在该显示面板显示相同的静止图像PS一边进行亮度变化来发送光ID。在此,2个发送机100分别通过以互不相同的方式进行亮度变化来发送互不相同的光ID(例如光ID“01”以及“02”)。
接收机200与图265所示的例子同样地,通过拍摄2个发送机100,取得拍摄显示图像Pq和解码用图像。接收机200通过对该解码用图像的解码来取得光ID“01”以及“02”。也即是,接收机200从2个发送机100中的一方接收光ID“01”,从另一方接收光ID“02”。接收机200将这些光ID发送给服务器。并且,接收机200从服务器取得与该光ID“01”对应的AR图像P16和识别信息。进而,接收机200从服务器取得与光ID“02”对应的AR图像P17和识别信息。
接收机200将拍摄显示图像Pq中的与这些识别信息相应的区域识别为对象区域。例如,接收机200将映照出2个发送机100的各发送机的显示面板的区域识别为对象区域。并且,接收机200在与光ID“01”对应的对象区域重叠AR图像P16,在与光ID“02”对应的对象区域重叠AR图像P17。并且,接收机200将重叠了AR图像P16以及P17的拍摄显示图像Pq显示于显示器201。例如,AR图像P16是按显示顺序具有与光ID“01”所对应的发送机100的显示面板所显示的静止图像PS相同或实质相同的图画作为开头图画的动态图像。另外,AR图像P17是按显示顺序具有与光ID“02”所对应的发送机100的显示面板所显示的静止图像PS相同或实质相同的图画作为开头图画的动态图像。也即是,作为动态图像的AR图像P16和AR图像P17各自的开头图画相同。但是,AR图像P16和AR图像P17是互不相同的动态图像,各自的除开头之外的图画不同。
因此,由于这样的AR图像P16以及AR图像P17被重叠于拍摄显示图像Pq,因此接收机200能够以使得显示从相同的图画开始再现的互不相同的动态图像的图像显示装置现实存在的方式,显示拍摄显示图像Pq。
图271是表示实施方式23的变形例1的接收机200的处理动作的一例的流程图。具体而言,对于由该图271的流程图表示的处理动作,在图265所示的发送机100存在2个的情况下,是单独拍摄这些发送机100的接收机200的处理动作的一例。
首先,接收机200通过将第1发送机100作为第1被拍摄对象进行拍摄来取得第1光ID(步骤S201)。接着,接收机200从拍摄显示图像中识别该第1被拍摄对象(步骤S202)。也即是,接收机200从服务器取得与第1光ID对应的第一AR图像以及第1的识别信息,基于该第1识别信息识别第1被拍摄对象。然后,接收机200使作为该第一AR图像的第1动态图像的再现从头开始(步骤S203)。也即是,接收机200从第1动态图像的开头图画起开始再现。
在此,接收机200判定第1被拍摄对象是否脱离了拍摄显示图像(步骤S204)。也即是,接收机200判定是否不再能够从拍摄显示图像中识别到第1被拍摄对象。在此,当判定为第1被拍摄对象脱离了拍摄显示图像时(步骤S204:是),接收机200中断作为第一AR图像的第1动态图像的再现(步骤S205)。
接着,接收机200通过将与第1发送机100不同的第2发送机100作为第2被拍摄对象进行拍摄,判定是否取得了与通过步骤S201取得的第1光ID不同的第2光ID(步骤S206)。在此,接收机200在判定为取得了第2光ID时(步骤S206:是),进行与取得了第1光ID时之后的步骤S202~S203同样的处理。也即是,接收机200从拍摄显示图像中识别第2被拍摄对象(步骤S207)。然后,接收机200使作为与第2光ID对应的第二AR图像的第2动态图像的再现从头开始(步骤S208)。也即是,接收机200从第2动态图像的开头图画起开始再现。
另一方面,接收机200在步骤S206中判定为未取得第2光ID时(步骤S206:否),判定第1被拍摄对象是否再次进入了拍摄显示图像(步骤S209)。也即是,接收机200判定是否从拍摄显示图像中再次识别到了第1被拍摄对象。在此,接收机200在判定为第1被拍摄对象进入了拍摄显示图像时(步骤S209:是),进一步,判定是否经过了预先确定的时间(即预定时间)(步骤S210)。也即是,接收机200判定从第1被拍摄对象脱离了拍摄显示图像到再次进入拍摄显示图像为止是否经过了预定时间。在此,当判定为未经过预定时间时(步骤S210:是),接收机200开始中断后的第1动态图像的从中途起的再现(步骤S211)。此外,该从中途起的再现开始时最初显示的第1动态图像的图画即再次开始再现的开头图画,也可以是在第1动态图像的再现被中断时的最后显示的图画的按显示顺序的下一个图画。或者,再次开始再现的开头图画也可以是按显示顺序在最后显示的图画的n(n为1以上的整数)张之前的图画。
另一方面,当判定为经过了预定时间时(步骤S210:否),接收机200开始中断后的第1动态图像的从头开始的再现(步骤S212)。
另外,在上述的例子中,接收机200在拍摄显示图像的对象区域重叠AR图像,但也可以在此时调整AR图像的明亮度。也即是,接收机200判定从服务器取得的AR图像的明亮度是否与拍摄显示图像的对象区域的明亮度一致。并且,接收机200在判定为不一致时,通过调整AR图像的明亮度来使该AR图像的明亮度与对象区域的明亮度一致。并且,接收机200将调整了明亮度后的AR图像重叠于拍摄显示图像的对象区域。由此,能够使要重叠的AR图像进一步接近实际存在的对象的图像,能够抑制用户对AR画像的违和感。此外,AR图像的明亮度是该AR图像的空间上的平均明亮度,对象区域的明亮度也是该对象区域的空间上的平均明亮度。
另外,接收机200也可以如图247所示,当轻敲AR图像时,将该AR图像放大并显示于整个显示器201。另外,在图247所示的例子中,接收机200将AR图像被轻敲的该AR图像切换为其他的AR图像,但也可以与轻敲无关地自动切换AR图像。例如,接收机200在显示有AR图像的时间经过预先确定的时间时,将该AR图像切换为其他的AR图像并进行显示。另外,接收机200在当前时刻到达预先确定的时刻时,将在此之前显示的AR图像切换为其他的AR图像并进行显示。由此,用户不进行操作就能够简单地观看新的AR图像。
[实施方式23的变形例2]
以下,对实施方式23的变形例2、即实现使用了光ID的AR的显示方法的变形例2进行说明。
图272是表示在实施方式23或其变形例1的接收机200中显示所设想的AR图像时的问题的一例的图。
例如,实施方式23或其变形例1的接收机200在时刻t1拍摄被拍摄对象。此外,上述的被拍摄对象是通过亮度变化来发送光ID的电视机等发送机、或者被来自该发送机的光照射的海报、指引板或广告牌等。其结果是,接收机200将通过图像传感器的有效像素区域得到的图像的整体(以下,称为全拍摄图像)作为拍摄显示图像显示于显示器201。此时,接收机200将该拍摄显示图像中的与基于光ID取得的识别信息相应的区域识别为要重叠AR图像的对象区域。对象区域例如是表示电视机等发送机的像或海报等的像的区域。并且,接收机200在该拍摄显示图像的对象区域重叠AR图像,将重叠了AR图像的拍摄显示图像显示于显示器201。此外,AR图像可以是静止图像或动态图像,也可以是包含一个以上的字符或记号的字符串。
在此,接收机200的用户在为了使AR图像显示得大而靠近被拍摄对象时,在时刻t2,图像传感器中的与对象区域对应的区域(以下,称为识别区域)会超出(出离)有效像素区域。此外,识别区域是图像传感器的有效像素区域中的、拍摄显示图像中的对象区域的图像所投影的区域。也即是,图像传感器中的有效像素区域和识别区域分别相当于显示器201中的拍摄显示图像和对象区域。
由于识别区域超出有效像素区域,因此接收机200无法从拍摄显示图像中识别对象区域,成为无法显示AR图像的状态。
于是,本变形例的接收机200取得视角比显示于整个显示器201的拍摄显示图像大的图像来作为全拍摄图像。
图273是表示实施方式23的变形例2的接收机200显示AR图像的例子的图。
本变形例涉及的接收机200的全拍摄图像的视角、即图像传感器的有效像素区域的视角比显示于整个显示器201的拍摄显示图像的视角大。此外,以下,将图像传感器中的与显示于显示器201的图像范围相当的区域称为显示区域。
例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光ID取得的识别信息相应的区域识别为要重叠AR图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠AR图像,将重叠了AR图像的拍摄显示图像显示于显示器201。
在此,接收机200的用户在为了使AR图像显示得大而靠近被拍摄对象时,图像传感器中的识别区域扩大。然后,在时刻t2,该识别区域超出图像传感器中的显示区域。也即是,对象区域的图像(例如,海报的像等)超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域,仅在对象区域中的位于拍摄显示图像内的一部分区域重叠与该区域对应的AR图像的一部分并显示于显示器201。
由此,在用户为了使AR图像显示得大而靠近被拍摄对象时,即使对象区域超出拍摄显示图像,也能够继续AR图像的显示。
图274是表示实施方式23的变形例2的接收机200的处理动作的一例的流程图。
接收机200通过图像传感器拍摄被拍摄对象来取得全拍摄图像以及解码用图像(步骤S301)。接着,接收机200通过对该解码用图像的解码来取得光ID(步骤S302)。接着,接收机200将该光ID发送给服务器(步骤S303)。接着,接收机200从服务器取得与该光ID对应的AR图像和识别信息(步骤S304)。接着,接收机200将全拍摄图像中的与识别信息相应的区域识别为对象区域(步骤S305)。
在此,接收机200判定图像传感器的有效像素区域中的与该对象区域的图像对应的区域即识别区域是否超出显示区域(步骤S306)。在此,当判定为超出时(步骤S306:是),接收机200仅在对象区域中的位于拍摄显示图像内的一部分区域,显示与该区域对应的AR图像的一部分(步骤S307)。另一方面,接收机200在判定为没有超出时(步骤S306:否),接收机200在拍摄显示图像的对象区域重叠AR图像,对重叠了该AR图像的拍摄显示图像进行显示(步骤S308)。
然后,接收机200判定是否应结束AR图像的显示处理(步骤S309),当判定为不应结束时(步骤S309:否),反复执行从步骤S305起的处理。
图275是表示实施方式23的变形例2的接收机200显示AR图像的另一例的图。
接收机200也可以通过识别区域的大小相对于上述显示区域的大小的比率来切换AR图像的画面显示。
在将图像传感器的显示区域的水平方向的宽度设为w1、将显示区域的垂直方向的宽度设为h1、将识别区域的水平方向的宽度设为w2、将识别区域的垂直方向的宽度设为h2的情况下,接收机将比率(h2/h1)和(w2/w1)中的较大一方的比率与阈值进行比较。
例如,接收机200在如图275的(画面显示1)那样显示有AR图像被重叠于对象区域的拍摄显示图像时,将该较大一方的比率与第1阈值(例如,0.9)进行比较。并且,在较大一方的比率成为0.9以上时,接收机200如图275的(画面显示2)那样,将AR图像放大显示于整个显示器201。此外,即使在识别区域变为比显示区域大时,即识别区域使进一步变为比有效像素区域大时,接收机200也继续将AR图像放大显示于整个显示器201。
另外,接收机200例如在如图275的(画面显示2)那样将AR图像放大显示在整个显示器201时,将该较大一方的比率与第2阈值(例如,0.7)进行比较。第2阈值小于第1阈值。并且,在较大一方的比率成为0.7以下时,接收机200如图275的(画面显示1)那样显示AR图像被重叠于对象区域的拍摄显示图像。
图276是表示实施方式23的变形例2的接收机200的处理动作的另一例的流程图。
接收机200首先进行光ID处理(步骤S301a)。该光ID处理是包括图274所示的步骤S301~S304的处理。接着,接收机200将拍摄显示图像中的与识别信息相应的区域识别为对象区域(步骤S311)。然后,接收机200在拍摄显示图像的对象区域重叠AR图像,对重叠了该AR图像的拍摄显示图像进行显示(步骤S312)。
接着,接收机200判定识别区域的比率、即比率(h2/h1)和(w2/w1)中的较大一方的比率是否为第1阈值K(例如K=0.9)以上(步骤S313)。在此,当判定为该比率不为第1阈值K以上时(步骤S313:否),接收机200反复执行从步骤S311起的处理。另一方面,当判定为该比率为第1阈值K以上时(步骤S313:是),接收机200将AR图像放大显示于整个显示器201(步骤S314)。此时,接收机200将图像传感器的电源周期性地切换为接通和断开。通过周期性地使图像传感器的电源断开,能够实现接收机200的省电化。
接着,接收机200在图像传感器的电源周期性地接通时,判定识别区域的比率是否为第2阈值L(例如L=0.7)以下。在此,当判定为该比率不为第2阈值L以下时(步骤S315:否),接收机200反复执行从步骤S314起的处理。另一方面,当判定为该比率为第2阈值L以下时(步骤S315:是),接收机200在拍摄显示图像的对象区域重叠AR图像,对重叠了该AR图像的拍摄显示图像进行显示(步骤S316)。
然后,接收机200判定是否应结束AR图像的显示处理(步骤S317),当判定为不应结束时(步骤S317:否),反复执行从步骤S313起的处理。
如此,通过使第2阈值为比L第1阈值K小的值,能够防止在(画面显示1)和(画面显示2)之间频繁切换接收机200的画面显示,能够使画面显示的状态稳定。
此外,在图275以及图276所示的例子中,显示区域和有效像素区域既可以相同,也可以不同。另外,在该例子中使用了识别区域的大小相对于显示区域的大小的比率,但在显示区域和有效像素区域不同的情况下,也可以取代显示区域而使用识别区域的大小相对于有效像素区域的大小的比率。
图277是表示实施方式23的变形例2的接收机200显示AR图像的另一例的图。
在图277所示的例子中,与图273所示的例子同样地,接收机200的图像传感器具有比显示区域大的有效像素区域。
例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光ID取得的识别信息相应的区域识别为要重叠AR图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠AR图像,将重叠了AR图像的拍摄显示图像显示于显示器201。
在此,在用户改变接收机200(具体是图像传感器)的方向时,图像传感器中的识别区域例如在图277中向左上方向移动,在时刻t2超出显示区域。也即是,对象区域的图像(例如,海报的像等)会超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200即使在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域,仅在对象区域中的位于拍摄显示图像内的一部分区域重叠与该区域对应的AR图像的一部分并显示于显示器201。进一步,接收机200根据图像传感器中的识别区域的活动、即全拍摄图像中的对象区域的活动,变更要显示的AR图像的一部分的大小以及位置。
另外,在如上述那样识别区域超出显示区域时,接收机200将有效像素区域的边缘和显示区域的边缘之间的距离(以下,称为区域间距离)所对应的像素数与阈值进行比较。
例如,将有效像素区域的上边与显示区域的上边之间的距离和有效像素区域的下边与显示区域的下边之间的距离中的较短一方的距离(以下,称为第1距离)所对应的像素数设为dh。另外,将有效像素区域的左边与显示区域的左边之间的距离和有效像素区域的右边与显示区域的右边之间的距离中的较短一方的距离(以下,称为第2距离)所对应的像素数设为dw。此时,上述的区域间距离是第1距离和第2距离中的较短一方的距离。
也即是,接收机200将像素数dw、dh中的较小一方的像素数与阈值N进行比较。并且,接收机200例如在时刻t2,如果该较小一方的像素数成为阈值N以下,则根据该图像传感器中的识别区域的位置,将AR图像的一部分的大小以及位置不进行变更而固定。即,接收机200切换AR图像的画面显示。例如,接收机200将要显示的AR图像的一部分的大小以及位置固定为在该较小一方的像素数成为阈值N时显示在显示器201上的AR图像的一部分的大小以及位置。
因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示AR图像的一部分。即,只要像素数dw、dh中的较小一方的像素数为阈值N以下,接收机200就与时刻t2时同样地继续将大小以及位置已固定的AR图像的一部分重叠于拍摄显示图像并显示。
在图277所示的例子中,接收机200根据图像传感器中的识别区域的移动,对要显示的AR图像的一部分的大小以及位置进行了变更,但也可以变更AR图像整体的显示倍率以及位置。
图278是表示实施方式23的变形例2的接收机200显示AR图像的另一例的图。具体而言,图278示出AR图像的显示倍率被变更的例子。
例如,与图277所示的例子同样地,从时刻t1的状态开始,当用户改变接收机200(具体是图像传感器)的方向时,图像传感器中的识别区域例如在图278中向左上方向移动,在时刻t2超出显示区域。也即是,对象区域的图像(例如,海报的像等)会超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200即使在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域。
因此,在图278所示的例子中,接收机200以使得AR图像整体的尺寸与对象区域中的位于拍摄显示图像内的一部分区域的尺寸一致的方式,变更该AR图像的显示倍率。也即是,接收机200将AR图像缩小。并且,接收机200将变更了(即缩小了)显示倍率的AR图像重叠于该区域而显示于显示器201。进而,接收机200根据图像传感器中的识别区域的活动、即全拍摄图像中的对象区域的活动,变更要显示的AR图像的显示倍率以及位置。
另外,在如上述那样识别区域超出显示区域时,接收机200将像素数dw、dh中的较小一方的像素数与阈值N进行比较。并且,接收机200例如在时刻t2,如果该较小一方的像素数成为阈值N以下,则根据该图像传感器中的识别区域的位置,将AR图像的显示倍率以及位置不进行变更而固定。也即是,接收机200切换AR图像的画面显示。例如,接收机200将要显示的AR图像的显示倍率以及位置固定为在该较小一方的像素数成为阈值N时显示在显示器201上的AR图像的显示倍率以及位置。
因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示AR图像。即,只要像素数dw、dh中的较小一方的像素数为阈值N以下,接收机200就与时刻t2时同样地继续将显示倍率以及位置已固定的AR图像重叠并显示于拍摄显示图像。
此外,在上述的例子中,将像素数dw、dh中的较小一方与阈值进行了比较,但也可以将该较小一方的像素数的比率与阈值进行比较。该像素数dw的比率例如是像素数dw相对于有效像素区域的水平方向的像素数w0的比率(dw/w0)。同样地,像素数dh的比率例如是像素数dh相对于有效像素区域的垂直方向的像素数h0的比率(dh/h0)。或者,也可以取代有效像素区域的水平方向或垂直方向的像素数,而使用显示区域的水平方向或垂直方向的像素数来表示像素数dw、dh各自的比率。与像素数dw、dh的比率进行比较的阈值例如为0.05。
另外,也可以将像素数dw、dh中的较小一方的视角与阈值进行比较。在有效像素区域的对角线的像素数为m且与该对角线对应的视角为θ(例如55°)的情况下,与像素数dw对应的视角为θ×dw/m,与像素数dh对应的视角为θ×dh/m。
另外,在图277以及图278所示的例子中,接收机200基于有效像素区域与识别区域之间的区域间距离对AR图像的画面显示进行了切换,但也可以基于显示区域与识别区域的关系来切换AR图像的画面显示。
图279是表示实施方式23的变形例2的接收机200显示AR图像的另一例的图。具体而言,图279是表示基于显示区域与识别区域的关系来切换AR图像的画面显示的例子。另外,在图279所示的例子中,与图273所示的例子同样地,接收机200的图像传感器具有比显示区域大的有效像素区域。
例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光ID取得的识别信息相应的区域识别为要重叠AR图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠AR图像,将重叠了AR图像的拍摄显示图像显示于显示器201。
在此,当用户改变接收机200的方向时,接收机200根据图像传感器中的识别区域的活动,使要显示的AR图像的位置变更。并且,例如,图像传感器中的识别区域例如在图279中向左上方向移动,在时刻t2,识别区域的边缘的一部分与显示区域的边缘的一部分一致。也即是,对象区域的图像(例如海报等的像)被配置在显示器201所显示的拍摄显示图像的角落。其结果是,接收机200在位于拍摄显示图像的角落的对象区域重叠AR图像并显示于显示器201。
并且,在识别区域进一步移动而超出显示区域时,接收机200将在时刻t2显示的AR图像的大小以及位置不进行变更而固定。也即是,接收机200切换AR图像的画面显示。
因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示AR图像。即,只要识别区域正在超出显示区域,接收机200就继续将与时刻t2时相同尺寸的AR图像重叠并显示于拍摄显示图像中的与时刻t2时相同的位置。
如此,在图279所示的例子中,接收机200根据识别区域是否超出显示区域来切换AR图像的画面显示。另外,接收机200也可以取代显示区域而使用包含显示区域且比该显示区域大而比有效像素区域小的判定区域。该情况下,接收机200根据识别区域是否超出判定区域来切换AR图像的画面显示。
以上,使用图273~图279对AR图像的画面显示进行了说明,但接收机200也可以在不再能够从全拍摄图像中识别对象区域时,将刚刚之前所识别出的对象区域的大小的AR图像重叠并显示于拍摄显示图像。
图280是表示实施方式23的变形例2的接收机200显示AR图像的另一例的图。
此外,在图243所示的例子中,接收机200通过拍摄被发送机100照射的指引板107,与上述同样地取得拍摄显示图像Pe和解码用图像。接收机200通过对该解码用图像的解码来取得光ID。也即是,接收机200从指引板107接收光ID。但是,如果指引板107的表面整体是吸收光的颜色(例如暗色),则该表面即使被发送机100照射也很暗,因此接收机200有时无法正确地接收光ID。或者,即使指引板107的表面整体是解码用图像(即亮线图像)那样的条纹图样,接收机200有时也无法正确地接收光ID。
因此,如图280所示,也可以在指引板107的附近配置反射板109。由此,接收机200能够接收到从发送机100经由反射板109反射的光、即从发送机100发送的可见光(具体是光ID)。其结果是,接收机200能够适当地接收光ID并显示AR图像P5。
[实施方式23的变形例1以及2的总结]
图281A是表示本发明的一个技术方案涉及的显示方法的流程图。
本发明的一个技术方案涉及的显示方法包括步骤S41~S43。
在步骤S41中,通过将由发送机照亮的对象物作为被拍摄对象来由拍摄传感器进行拍摄,由此取得拍摄图像,所述发送机通过光的亮度变化来发送信号。在步骤S42中,从该拍摄图像中解码信号。在步骤S43中,从存储器中读出与所解码出的信号对应的动态图像,使动态图像重叠于拍摄图像中的与该被拍摄对象对应的对象区域而显示于显示器。在此,步骤S43中,从作为该动态图像所包含的多个图像中的、包含该对象物的图像和在显示时间上处于包含所述对象物的图像的前后的预定个数的多个图像中的某一个图像开始,显示该动态图像。例如,该预定个数为10帧。或者,对象物是静止图,在步骤S4中,从与静止图相同的图像开始,显示该动态图像。此外,开始动态图像的显示的图像不限于与静止图相同的图像,也可以是从与该静止图相同的图像即包含对象物的图像起在显示顺序上处于前后预定帧数的图像。另外,对象物不限于静止图,也可以是玩偶等。
此外,拍摄传感器以及拍摄图像例如是实施方式23中的图像传感器以及全拍摄图像。另外,被照亮的静止图既可以是显示于图像显示装置的显示面板的静止图像,也可以是被来自发送机的光照射的海报、指引板或广告牌等。
另外,也可以为,这样的显示方法还包括:向服务器发送信号的发送步骤;和从服务器接收与该信号对应的动态图像的接收步骤。
由此,例如如图265所示,能够以使静止图活动起来的方式虚拟现实地显示动态图像,能够向用户显示有益的图像。
另外,也可以为,静止图具有预定颜色的外框,本发明的一个技术方案涉及的显示方法还包括根据该预定颜色从拍摄图像中识别对象区域的识别步骤。该情况下,在步骤S43中,也可以为,对动态图像进行尺寸调整,以使得与所识别出的对象区域的尺寸相同,使尺寸调整后的动态图像重叠于拍摄图像中的对象区域而显示于显示器。例如,预定颜色的外框是包围静止图的白色或黑色的矩形框,通过实施方式23中的识别信息来表示。并且,实施方式23中的AR图像被作为动态图像进行尺寸调整后加以重叠。
由此,能够以使动态图像作为被拍摄对象实际存在的方式,更现实地显示该动态图像。
另外,在显示器仅显示向拍摄传感器的拍摄区域中的比该拍摄区域小的区域即显示区域投影的图像。该情况下,在步骤S43中,也可以为,在该拍摄区域中的投影有被拍摄对象的投影区域比显示区域大的情况下,不将通过投影区域中的超出显示区域的部分而得到的图像显示于显示器。在此,例如如图273所示,拍摄区域以及投影区域是图像传感器的有效像素区域以及识别区域。
由此,例如如图273所示,存在如下情况:即使由于拍摄传感器向作为被拍摄对象的静止图靠近而导致通过投影区域(图273的识别区域)得到的图像的一部分不再显示于显示器,作为被拍摄对象的静止图的整体也会被投影到拍摄区域。因此,在该情况下,能够适当地识别作为被拍摄对象的静止图,能够使动态图像适当地重叠于拍摄图像中的与被拍摄对象对应的对象区域。
另外,例如,显示区域的水平方向和垂直方向的宽度分别为w1和h1,投影区域的水平方向和垂直方向的宽度分别为w2和h2。该情况下,在步骤S43中,也可以为,在h2/h1和w2/w1中的较大值为预定值以上的情况下,将动态图像显示于显示器的整个画面,在h2/h1和w2/w1中的较大值小于预定值的情况下,使动态图像重叠于拍摄图像中的对象区域而显示于显示器。
由此,例如如图275所示,当拍摄传感器向作为被拍摄对象的静止图靠近时,动态图像被显示于整个画面,因此用户不需要使拍摄传感器进一步靠近静止图并使动态图像显示得大。因此,能够抑制由于使拍摄传感器过于靠近静止图且投影区域(图275的识别区域)超出了拍摄区域(有效像素区域)而导致不再能够解码信号。
另外,也可以为,本发明的一个技术方案涉及的显示方法还包括如下控制步骤:在将动态图像显示于显示器的整个画面的情况下,使拍摄传感器的工作停止。
由此,例如如图276的步骤S314所示,通过使拍摄传感器的工作停止,能够抑制拍摄传感器的功耗。
另外,在步骤S43中,也可以为,在由于拍摄传感器移动而导致不再能够从拍摄图像中识别对象区域的情况下,以与即将不再能够识别之前所识别出的对象区域的尺寸相同的尺寸显示动态图像。此外,无法从拍摄图像中识别对象区域,例如是指与作为被拍摄对象的静止图对应的对象区域的至少一部分不包含于拍摄图像的状况。如此,在无法识别对象区域的情况下,例如如图279的时刻t3时那样,显示与刚刚之前所识别出的对象区域的尺寸相同尺寸的动态图像。因此,能够抑制由于使拍摄传感器进行了移动而导致动态图像的至少一部分不再被显示这一情况。
另外,在步骤S43中,也可以为,在由于拍摄传感器移动而导致对象区域中的仅一部分包含在拍摄图像中的被显示器显示的区域的情况下,使与该对象区域的一部分对应的动态图像的空间区域的一部分重叠于对象区域的一部分而显示于显示器。此外,动态图像的空间区域的一部分是指构成动态图像的各图画中的一部分。
由此,例如如图277的时刻t2时那样,动态图像(图277的AR图像)的空间区域的仅一部分被显示于显示器。其结果是,能够向用户通知拍摄传感器未适当地朝向作为被拍摄对象的静止图。
另外,在步骤S43中,也可以为,在由于拍摄传感器移动而导致不再能够从拍摄图像中识别对象区域的情况下,继续显示即将不再能够识别之前所显示的与对象区域的一部分对应的动态图像的空间区域的一部分。
由此,例如如图277的时刻t3时那样,即使在用户使拍摄传感器朝向了与成为被拍摄对象的静止图不同的方向时,也会继续显示动态图像(图277的AR图像)的空间区域的一部分。其结果是,能够容易地让用户掌握如何调整拍摄传感器的朝向才可显示动态图像的整体。
另外,在步骤S43中,也可以为,在拍摄传感器的拍摄区域的水平方向和垂直方向的宽度分别为w0和h0、拍摄区域中的投影有被拍摄对象的投影区域与该拍摄区域之间的水平方向和垂直方向的距离分别为dh和dw的情况下,在dw/w0和dh/h0的较小一方的值为预定值以下时,判断为无法识别对象区域。此外,投影区域例如是图277所示的识别区域。或者,在步骤S43中,也可以为,在拍摄传感器的拍摄区域中的投影有被拍摄对象的投影区域与该拍摄区域之间的水平方向和垂直方向的距离中的较短一方所对应的视角为预定值以下的情况下,判断为无法识别对象区域。
由此,能够适当地判断是否能够识别对象区域。
图281B是表示本发明的一个技术方案涉及的显示装置的结构的框图。
本发明的一个技术方案涉及的显示装置A10具备拍摄传感器A11、解码部A12和显示控制部A13。
拍摄传感器A11通过将由发送机照亮的静止图作为被拍摄对象来拍摄,由此取得拍摄图像,所述发送机通过光的亮度变化来发送信号。
解码部A12是从该拍摄图像中解码信号的解码部。
显示控制部A13从存储器中读出与所解码出的信号对应的动态图像,使该动态图像重叠于该拍摄图像中的与被拍摄对象对应的对象区域而显示于显示器。在此,显示控制部A13从该动态图像所包含的多个图像中的作为与静止图相同的图像的开头图像开始,依次显示该多个图像。
由此,能够实现与上述的显示方法同样的效果。
另外,也可以为:拍摄传感器A11具有多个微镜和光电传感器,显示装置A10还具备控制拍摄传感器的拍摄控制部。该情况下,拍摄控制部将拍摄图像中的包含信号的区域确定为信号区域,控制多个微镜中的与所确定出的信号区域对应的微镜的角度。并且,拍摄控制部使上述的光电传感器仅接受由多个微镜中的角度被控制的微镜反射的反射光。
由此,例如如图232A所示,即使在通过光的亮度变化表示的信号即可见光信号中含有高频成分,也能够正确地解码该高频成分。
此外,在上述各实施方式以及各变形例中,各构成要素也可以通过由专用的硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。例如程序使计算机执行由图271、图274、图276以及图281A的流程图表示的显示方法。
以上,基于上述各实施方式以及各变形例对一个或多个技术方案涉及的显示方法进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、组合不同实施方式以及变形例中的构成要素而得到的方式,也可以包含在本发明的范围内。
[实施方式23的变形例3]
以下,对实施方式23的变形例3、即实现使用了光ID的AR的显示方法的变形例3进行说明。
图282是表示AR图像的放大以及移动的一例的图。
接收机200如图282的(a)所示,与上述实施方式23或者其变形例1或2同样地,在拍摄显示图像Ppre的对象区域重叠AR图像P21。并且,接收机200将重叠了该AR图像P21的拍摄显示图像Ppre显示于显示器201。例如,AR图像P21是动态图像。
在此,接收机200如图282的(b)所示,当受理了尺寸变更的指示时,根据该指示来变更AR图像P21的尺寸。例如,接收机200在受理了放大的指示时,根据该指示来放大AR图像P21。尺寸变更的指示通过用户对AR图像P21进行的例如夹捏(pinch)操作、双击轻敲或长按来进行。具体而言,接收机200在受理了通过捏开(pinch out,放大操作)进行的放大的指示时,根据该指示来放大AR图像P21。反过来,接收机200在受理了通过捏合(pinch in,缩小操作)进行的缩小的指示时,根据该指示来缩小AR图像P21
另外,接收机200如图282的(c)所示,当受理了位置变更的指示时,根据该指示来变更AR图像P21的位置。位置变更的指示通过用户对AR图像进行的例如划动(sweep)等来进行。具体而言,接收机200在受理了通过划动进行的位置变更的指示时,根据该指示来变更AR图像P21的位置。即,AR图像P21进行移动。
由此,通过作为动态图像的AR图像的放大,能够使该AR图像更易于观看,并且,通过作为动态图像的AR图像的缩小或移动,能够向用户显示被AR图像盖住的拍摄显示图像Ppre的区域。
图283是表示AR图像的放大的一例的图。
接收机200如图283的(a)所示,与上述实施方式23或者其变形例1或2同样地,在拍摄显示图像Ppre的对象区域重叠AR图像P22。并且,接收机200将重叠了该AR图像P22的拍摄显示图像Ppre显示于显示器201。例如,AR图像P22是记载有字符串的静止图像。
在此,接收机200如图283的(b)所示,当受理了尺寸变更的指示时,根据该指示来变更AR图像P22的尺寸。例如,接收机200在受理了放大的指示时,根据该指示来放大AR图像P22。尺寸变更的指示与上述同样地,通过用户对AR图像P22进行的例如夹捏操作、双击轻敲或长按来进行。具体而言,接收机200在受理了通过捏开进行的放大的指示时,根据该指示来放大AR图像P22。通过该AR图像P22的放大,能够使用户容易阅读AR图像P22所记载的字符串。
另外,接收机200如图283的(c)所示,当进一步受理了尺寸变更的指示时,根据该指示来变更AR图像P22的尺寸。例如,接收机200在受理了进一步的放大的指示时,根据该指示来进一步放大AR图像P22。通过该AR图像P22的放大,能够使用户更加容易阅读AR图像P22所记载的字符串。
此外,接收机200也可以在受理了放大的指示时,在与该指示相应的AR图像的放大率成为阈值以上的情况下取得高分辨率的AR图像。该情况下,接收机200也可以取代已经显示的原来的AR图像而将该高分辨率的AR图像放大到上述的放大率来显示。例如,接收机200取代640×480像素的AR图像而显示1920×1080像素的AR图像。由此,能够以使得AR图像现实地作为被拍摄对象被拍摄的方式,对该AR图像进行放大,并且能够显示通过光学变焦得不到的高分辨率的图像。
图284是表示由接收机200进行的与AR图像的放大以及移动有关的处理动作的一例的流程图。
首先,接收机200与图239的流程图所示的步骤S101同样地,开始基于通常曝光时间以及通信用曝光时间的拍摄(步骤S401)。当开始了该拍摄时,分别周期性地获得基于通常曝光时间的拍摄显示图像Ppre和基于通信用曝光时间的解码用图像(即亮线图像)Pdec。并且,接收机200通过对该解码用图像Pdec进行解码来取得光ID。
接着,接收机200进行包括图239的流程图所示的步骤S102~S106的处理在内的AR图像重叠处理(步骤S402)。当进行了该AR图像重叠处理时,AR图像被重叠于拍摄显示图像Ppre并显示。此时,接收机200使光ID取得率降低(步骤S403)。光ID取得率是指通过步骤S401中开始的拍摄而获得的每单位时间的拍摄图像的张数中的解码用图像(即亮线图像)Pdec的张数的比例。例如,通过光ID取得率降低,每单位时间获得的解码用图像Pdec的张数会变得比每单位时间获得的拍摄显示图像Ppre的张数少。
接着,接收机200判定是否受理了尺寸变更的指示(步骤S404)。在此,当判定为受理了尺寸变更的指示时(步骤S404:是),接收机200进一步判定该尺寸变更的指示是否为放大的指示(步骤S405)。当判定为尺寸变更的指示是放大的指示时(步骤S405:是),接收机200进一步判定是否需要再次取得AR图像(步骤S406)。例如,接收机200在判断为与放大的指示相应的AR图像的放大率成为阈值以上的情况下,判定为需要再次取得AR图像。在此,接收机200在判定为需要再次取得时(步骤S406:是),例如从服务器取得高分辨率的AR图像,将已重叠显示的AR图像替换为该高分辨率的AR图像(步骤S407)。
然后,接收机200根据所受理的尺寸变更的指示,变更AR图像的尺寸(步骤S408)。也即是,在通过步骤S407取得了高分辨率的AR图像的情况下,接收机200对该高分辨率的AR图像进行放大。另外,在通过步骤S406判定为不需要再次取得AR图像的情况下(步骤S406:否),接收机200对已重叠的AR图像进行放大。另外,当通过步骤S405判定为尺寸变更的指示是缩小的指示时(步骤S405:否),接收机200根据所受理的尺寸变更的指示即缩小的指示,对已重叠显示的AR图像进行缩小。
另一方面,接收机200在通过步骤S404判定为未受理尺寸变更的指示时(步骤S404:否),判定是否受理了位置变更的指示(步骤S409)。在此,当判定为受理了位置变更的指示时(步骤S409:是),接收机200根据该位置变更的指示,对已重叠显示的AR图像的位置进行变更(步骤S410)。也即是,接收机200使AR图像移动。另外,当判定为未受理位置变更的指示时(步骤S409:否),接收机200反复执行从步骤S404起的处理。
在通过步骤S408变更了AR图像的尺寸时或通过步骤S410变更了AR图像的位置时,接收机200判定从步骤S401起周期性取得的光ID是否不再被取得(步骤S411)。在此,当判定为光ID不再被取得时(步骤S411:是),接收机200结束与AR图像的放大以及移动有关的处理动作。另一方面,当判定为现在也取得了光ID时(步骤S411:否),接收机200反复执行从步骤S404起的处理。
图285是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200如上述那样在拍摄显示图像Ppre中的对象区域重叠AR图像P23。在此,如图285所示,AR图像P23构成为AR图像P23的各部位越接近AR图像P23的端部则该部位的透过率就越高。透过率是透过地显示被重叠的图像的程度。例如,AR图像整体的透过率为100%意味着:即使在拍摄显示图像的对象区域重叠有AR图像,在显示器201也不显示该AR图像而仅显示对象区域。反过来,AR图像整体的透过率为0%意味着:在显示器201不显示拍摄显示图像的对象区域而仅显示在该对象区域重叠的AR图像。
例如,在AR图像P23为矩形状的情况下,AR图像P23的各部位越接近矩形的上端、下端、左端或右端,则该部位的透过率就越高。更具体而言,这些端部的透过率为100%。另外,在AR图像P23的中央部分,存在比AR图像P23小的透过率0%的矩形区域,在该矩形区域中,例如用英语记载有“Kyoto Station”。也即是,在AR图像P23的周缘部,透过率以以渐变(gradation)的方式从0%阶梯状地变化至100%。
接收机200将这样的AR图像P23如图285所示那样重叠于拍摄显示图像Ppre中的对象区域。此时,接收机200使AR图像P23的尺寸与对象区域的尺寸一致,将该尺寸调整后的AR图像P23重叠于对象区域。例如,在对象区域,出现与处于AR图像P23的中央部的矩形区域相同背景色的站名标志的像。此外,在站名标志上用日语记载有“京都”。
在此,如上所述,AR图像P23的各部位越接近AR图像P23的端部,该部位的透过率就越高。因此,当在对象区域重叠AR图像P23时,即使AR图像P23的中央部分的矩形区域被显示,但该AR图像P23的端部未被显示而显示对象区域的端部即站名标志的像的端部。
由此,能够使得AR图像P23与对象区域的偏离不容易显眼。也即是,即使AR图像P23被重叠于对象区域,有时也会由于接收机200的活动等而导致在AR图像P23与对象区域之间发生偏离。该情况下,假设AR图像P23整体的透过率为0%,则会显示AR图像P23的端部和对象区域的端部,该偏离会显眼。但是,在本变形例的AR图像P23中,由于越是接近端部的部位则该部位的透过率就越高,因此能够使得AR图像P23的端部不容易被显示,其结果是,能够使AR图像P23与对象区域之间的偏离不容易显眼。进而,在AR图像P23的周缘部,由于透过率以渐变的方式发生变化,因此能够使得在对象区域重叠有AR图像P23这一情况不容易显眼。
图286是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200如上述那样在拍摄显示图像Ppre中的对象区域重叠AR图像P24。在此,如图286所示,被拍摄的被拍摄对象例如是饭店的菜单。该菜单被白框包围,进而,该白框被黑框包围。也即是,被拍摄对象包括菜单、包围该菜单的白框、和包围该白框的黑框。
接收机200将拍摄显示图像Ppre中的比白框的像大且比黑框的像小的区域识别为对象区域。并且,接收机200使AR图像P24的尺寸与该对象区域的尺寸一致,将该尺寸调整后的AR图像P24重叠于对象区域。
由此,即使在所重叠的AR图像P24由于接收机200的活动等而从对象区域发生了偏离的情况下,也能够使该AR图像P24以被黑框包围的状态持续显示。因此,能够使得AR图像P24与对象区域之间的偏离不容易显眼。
此外,在图286所示的例子中,框的颜色是黑色或白色,但并不限定于这些颜色,也可以任何颜色。
图287是表示由接收机200进行的AR图像的重叠的一例的图。
例如,接收机200将描画了被夜空照亮的城堡的海报作为被拍摄对象进行拍摄。例如,该海报通过作为背光源构成的上述的发送机100照射,通过该背光源发送可见光信号(即光ID)。接收机200通过该拍摄,取得包含作为该海报的被拍摄对象的像的拍摄显示图像Ppre和与该光ID对应的AR图像P25。在此,AR图像P25具有与描画有上述城堡的区域被抽出后的海报的像相同的形状。即,AR图像P25中的与海报的像的城堡对应的区域被遮蔽(masking)。进而,AR图像P25与上述的AR图像P23同样地,构成为AR图像P25的各部位越接近AR图像P25的端部则该部位的透过率就越高。另外,在AR图像P25中的透过率为0%的中央部分,显示向夜空放烟花作为动态图。
接收机200使这样的AR图像P25的尺寸与作为被拍摄对象的像的对象区域的尺寸一致,将该尺寸调整后的AR图像P25重叠于对象区域。其结果是,描画在海报上的城堡不是作为AR图像而是作为被拍摄对象的像进行显示,进而,烟花的动态像作为AR图像进行显示。
由此,能够以使得在海报中现实地放烟花的方式显示拍摄显示图像Ppre。另外,AR图像P25的各部位越接近AR图像P25的端部则该部位的透过率就越高。因此,当在对象区域重叠AR图像P25时,即使AR图像P25的中央部分被显示,该AR图像P25的端部也未被显示而显示对象区域的端部。其结果是,能够使得AR图像P25与对象区域的偏离不容易显眼。进而,在AR图像P25的周缘部,由于透过率以渐变的方式发生变化,因此能够使得在对象区域重叠有AR图像P25这一情况不容易显眼。
图288是表示由接收机200进行的AR图像的重叠的一例的图。
例如,接收机200将作为电视机构成的发送机100作为被拍摄对象进行拍摄。具体而言,该发送机100在显示器显示被夜空照亮的城堡,并且发送可见光信号(即光ID)。接收机200通过该拍摄,取得映照出发送机100的拍摄显示图像Ppre和与该光ID对应的AR图像P26。在此,接收机200首先将拍摄显示图像Ppre显示于显示器201。此时,接收机200在显示器201也显示促使用户关灯的消息。具体而言,该消息m例如是“请关闭房间的照明,使房间变暗”。
当通过该消息m的显示,用户关灯,设置有发送机100的房间变暗时,接收机200将AR图像P26重叠于拍摄显示图像Ppre并显示。在此,AR图像P26的尺寸与拍摄显示图像Ppre相同,该AR图像P26中的与拍摄显示图像Ppre的城堡对应的区域已被抠出。也即是,AR图像P26中的与拍摄显示图像Ppre的城堡对应的区域被遮蔽。因此,能够使用户从该区域看到拍摄显示图像Ppre的城堡。另外,在AR图像P26中的该区域的周缘部,也可以与上述同样地,透过率以渐变的方式从0%阶梯状地变化至100%。该情况下,能够使得拍摄显示图像Ppre与AR图像P26之间的偏离不容易显眼。
在上述的例子中,通过将周缘部的透过率高的AR图像重叠于拍摄显示图像Ppre的对象区域,使得AR图像与对象区域的偏离不容易显眼。但是,也可以取代这样的AR图像而将尺寸与拍摄显示图像Ppre相同且整体半透明(即透过率为50%)的AR图像重叠于拍摄显示图像Ppre。在该情况下,也能够使得AR图像与对象区域的偏离不容易显眼。另外,也可以:在拍摄显示图像Ppre整体上亮的情况下,将透明度均匀地低的AR图像重叠于拍摄显示图像Ppre,反过来,在拍摄显示图像Ppre整体上暗的情况下,将透明度均匀地高的AR图像重叠于拍摄显示图像Ppre。
此外,AR图像P25以及AR图像P26的烟花等对象也可以由CG(computer graphics,计算机图形)来表现。该情况下,可以不需要遮蔽。另外,在图288所示的例子中,接收机200显示促使用户关灯的消息m,但也可以不进行这样的显示而自动地关灯。例如,接收机200通过Bluetooth(注册商标)、ZigBee或特定小功率无线站等,对设置有作为电视机的发送机100的照明装置输出关灯信号。由此,自动地进行照明装置的关灯。
图289A是表示通过接收机200的拍摄而得到的拍摄显示图像Ppre的一例的图。
例如,发送机100作为设置于运动场的大型显示器而构成。并且,发送机100例如显示表示能够用光ID进行快餐以及饮品的下单的消息,并且发送可见光信号(即光ID)。当这样的消息被显示时,用户将接收机200朝向发送机100并进行拍摄。也即是,接收机200将作为设置于运动场的大型显示器而构成的发送机100作为被拍摄对象进行拍摄。
接收机200通过该拍摄取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200通过对该解码用图像Pdec进行解码来取得光ID,将该光ID和拍摄显示图像Ppre发送给服务器。
服务器从按光ID而与该光ID关联的设置信息中,确定与从接收机200发送来的光ID关联的被拍摄的大型显示器的设置信息。例如,设置信息表示设置有大型显示器的位置及方向、和该大型显示器的大小等。进而,服务器基于映照在该拍摄显示图像Ppre中的大型显示器的大小及方向和该设置信息,确定在运动场中进行了该拍摄显示图像Ppre的拍摄的座位的编号。并且,服务器使包含该座位编号的菜单画面显示于接收机200。
图289B是表示显示于接收机200的显示器201的菜单画面的一例的图。
菜单画面m1例如按各商品,包含用于输入该商品的下单数的输入栏ma1、记载有通过服务器确定出的运动场的座位编号的座位栏mb1、和下单按钮mc1。用户通过操作接收机200,向与所希望的商品对应的输入栏ma1输入该商品的下单数,选择下单按钮mc1。由此,下单被确定,接收机200将与该输入结果相应的下单内容发送给服务器。
服务器在接收到该下单内容时,指示运动场的工作人员将按照该下单内容的下单数的商品送到如上述那样确定出的编号的座位。
图290是表示接收机200和服务器的处理动作的一例的流程图。
接收机200首先对作为运动场的大型显示器而构成的发送机100进行拍摄(步骤S421)。接收机200对通过该拍摄得到的解码用图像Pdec进行解码,由此取得从发送机100发送的光ID(步骤S422)。接收机200将通过步骤S422取得的光ID和通过步骤S421的拍摄得到的拍摄显示图像Ppre发送给服务器(步骤S423)。
服务器在接收到该光ID以及拍摄显示图像Ppre时(步骤S424),基于该光ID,确定设置于运动场的大型显示器的设置信息(步骤S425)。例如,服务器保持有按各光ID示出与该光ID关联的大型显示器的设置信息的表,通过从该表中检索与从接收机200发送来的光ID关联的设置信息,确定该设置信息。
接着,服务器基于该确定出的设置信息和被拍到拍摄显示图像Ppre中的大型显示器的大小及方向,确定运动场中的进行了该拍摄显示图像Ppre的取得(即拍摄)的座位的编号(步骤S426)。然后,服务器将包含所确定出的座位的编号的菜单画面m1的URL(UniformResource Locator)发送给接收机200(步骤S427)。
接收机200在接收到从服务器发送来的菜单画面m1的URL时(步骤S428),访问该URL,显示菜单画面m1(步骤S429)。在此,用户通过操作接收机200,将下单内容输入到菜单画面m1,选择下单按钮mc1,由此确定下单。由此,接收机200将下单内容发送给服务器(步骤S430)。
服务器在接收到从该接收机200发送来的下单内容时,进行按照该下单内容的接受订货处理(步骤S431)。此时,服务器例如指示运动场的工作人员将与该下单内容相应的下单数的商品送到通过步骤S426确定出的编号的座位。
如此,基于通过接收机200的拍摄而得到的拍摄显示图像Ppre,可确定座位的编号,因此接收机200的用户不需要在商品下单时特意输入座位的编号。因此,用户能够省掉座位编号的输入而简单地进行商品下单。
此外,在上述的例子中,服务器对座位的编号进行了确定,但也可以是接收机200对座位的编号进行确定。该情况下,接收机200从服务器取得设置信息,基于该设置信息和拍到拍摄显示图像Ppre中的大型显示器的大小及方向来确定座位的编号。
图291是用于说明由接收机1800a再现的声音的音量的图。
接收机1800a与图123所示的例子同样地,接收从例如作为街头数字标牌(DigitalSignage)构成的发送机1800b发送的光ID(可见光信号)。并且,接收机1800a在与由发送机1800b进行的图像再现相同的定时,再现声音。也即是,接收机1800a以使得与由发送机1800b再现的图像同步的方式再现声音。此外,接收机1800a也可以将与由发送机1800b再现的图像(再现图像)相同的图像或与该再现图像关联的AR图像(AR的动态图像)与声音一起进行再现。
在此,接收机1800a在如上述那样再现声音时,根据到发送机1800b的距离来调整该声音的音量。具体而言,接收机1800a到发送机1800b的距离越长则将音量调整得越小,反过来,到发送机1800b的距离越短则将音量调整得越大。
接收机1800a也可以利用GPS(Global Positioning System,全球定位系统)等来确定到发送机1800b的距离。具体而言,接收机1800a从服务器取得与光ID关联的发送机1800b的位置信息,进而,通过GPS确定接收机1800a的位置。并且,接收机1800a将由从服务器取得的位置信息表示的发送机1800b的位置与所确定出的接收机1800a的位置之间的距离确定为上述的到发送机1800b的距离。此外,接收机1800a也可以取代GPS而利用Bluetooth(注册商标)等来确定到发送机1800b的距离。
另外,接收机1800a也可以基于通过拍摄得到的上述的解码用图像Pdec的亮线图案区域的大小,确定到发送机1800b的距离。亮线图案区域与图245以及图246所示的例子同样地,是包括通过接收机1800a的图像传感器所具有的多个曝光线的基于通信用曝光时间的曝光而出现的多个亮线的图案的区域。该亮线图案区域相当于映照在拍摄显示图像Ppre中的发送机1800b的显示器的区域。具体而言,亮线图案区域越大则接收机1800a将越短的距离确定为到发送机1800b的距离,反过来,亮线图案区域越小则接收机1800a将越长的距离确定为到发送机1800b的距离。另外,接收机1800a也可以使用表示亮线图案区域的大小和距离的关系的距离数据,将该距离数据中的与拍摄显示图像Ppre中的亮线图案区域的大小关联的距离确定为到发送机1800b的距离。此外,接收机1800a也可以将如上述那样接收到的光ID发送给服务器,从该服务器取得与该光ID关联的距离数据。
如此,由于可根据到发送机1800b的距离来调整音量,因此接收机1800a的用户能够使得由接收机1800a再现的声音如同现实地由发送机1800b再现的声音那样进行聆听。
图292是表示从接收机1800a到发送机1800b的距离与音量的关系的图。
例如,对于到发送机1800b的距离为L1~L2[m]之间,音量在Vmin~Vmax[dB]的范围内与该距离成比例地增大或减小。具体而言,如果到发送机1800b的距离从L1[m]到L2[m]延长,则接收机1800a使音量从Vmax[dB]到Vmin[dB]直线性地减小。另外,即使到发送机1800b的距离变为比L1[m]短,接收机1800a也将音量维持为Vmax[dB],即使到发送机1800b的距离变为比L2[m]长,也将音量维持为Vmin[dB]。
如此,接收机1800a存储有最大音量Vmax、可输出该最大音量Vmax的声音的最长距离L1、最小音量Vmin、以及可输出该最小音量Vmin的声音的最短距离L2。另外,接收机1800a也可以根据自身所设定的属性,变更该最大音量Vmax、最小音量Vmin、最长距离L1以及最短距离L2。例如,在属性为用户的年龄且该年龄表示高龄的情况下,接收机1800a也可以使最大音量Vmax比基准最大音量大、并使最小音量Vmin比基准最小音量大。另外,属性也可以是表示声音的输出是从扬声器输出还是从耳机输出的信息。
如此,由于在接收机1800a中设定有最小音量Vmin,因此能够抑制由于接收机1800a过于远离发送机1800b而导致听不见声音。进而,由于在接收机1800a中设定有最大音量Vmax,因此能够抑制由于接收机1800a过于靠近发送机1800b而导致超出必要地输出大音量的声音。
图293是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200对被照亮的广告牌进行拍摄。在此,广告牌通过发送光ID的作为上述发送机100的照明装置来照亮。因此,接收机200通过该拍摄来取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200通过对解码用图像Pdec进行解码来取得光ID,从服务器取得与该光ID关联的多个AR图像P27a~P27c和识别信息。接收机200基于识别信息,将拍摄显示图像Ppre中的映照出广告牌的区域m2的周边识别为对象区域。
具体而言,接收机200如图293的(a)所示,将与区域m2的左侧相接的区域识别为第1对象区域,在该第1对象区域重叠AR图像P27a。
接着,接收机200如图293的(b)所示,将包含区域m2的下侧在内的区域识别为第2对象区域,在该第2对象区域重叠AR图像P27b。
接着,接收机200如图293的(c)所示,将与区域m2的上侧相接的区域识别为第3对象区域,在该第3对象区域重叠AR图像P27c。
在此,AR图像P27a~P27c各自例如是雪人角色的图像,也可以是动态图。
另外,接收机200也可以在持续地反复取得光ID的期间,按预先确定的顺序以及定时,将要识别的对象区域切换为第1~第3对象区域中的某个对象区域。也即是,接收机200也可以将要识别的对象区域按第1对象区域、第2对象区域、第3对象区域的顺序进行切换。或者,接收机200也可以每次取得上述的光ID时,按预先确定的顺序将要识别的对象区域切换为第1~第3对象区域中的某个对象区域。也即是,接收机200首先取得光ID,在持续地反复取得该光ID的期间,如图293的(a)所示,识别第1对象区域,在该第1对象区域重叠AR图像P27a。并且,接收机200在不再能够取得该光ID的情况下,使AR图像P27a非显示。接着,接收机200在再次取得了光ID的情况下,在持续地反复取得该光ID的期间,如图293的(b)所示,识别第2对象区域,在该第2对象区域重叠AR图像P27b。并且,接收机200在再次不再能够取得该光ID的情况下,使AR图像P27b非显示。接着,接收机200在再次取得了光ID的情况下,在持续地反复取得该光ID的期间,如图293的(c)所示,识别第3对象区域,在该第3对象区域重叠AR图像P27c。
在如此每次取得光ID时切换要识别的对象区域的情况下,接收机200也可以N(N为2以上的整数)次中一次的频度变更要显示的AR图像的颜色。N次是AR图像被显示的次数,例如也可以是200次。也即是,AR图像P27a~P27c是全部相同的白色的角色的图像,但200次中一次的频度,显示例如粉色的角色的AR图像。接收机200在显示有该粉色的角色的AR图像时,当受理了用户对该AR图像的操作时,也可以对该用户赋予积分。
如此,通过对要重叠AR图像的对象区域进行切换、和/或按预定的频度变更AR图像的颜色,能够使用户对由发送机100照亮的广告牌的拍摄产生兴趣,能够使用户反复取得光ID。
图294是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200具有作为所谓寻路器(Way Finder)的功能,即通过拍摄例如在建筑物内的多个通路交叉的位置的地面上描画的标记(mark)M4,对用户应前进的前进道路进行提示。建筑物例如是宾馆等,所提示的前进道路是办理了入住的用户向自己房间的前进道路。
标记M4由通过亮度变化发送光ID的作为上述发送机100的照明装置照亮。因此,接收机200通过该标记M4的拍摄来取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200通过对解码用图像Pdec进行解码来取得光ID,将该光ID和接收机200的终端信息发送给服务器。接收机200从服务器取得与该光ID以及终端信息关联的多个AR图像P28和识别信息。此外,光ID以及终端信息在用户办理入住时,与多个AR图像P28以及识别信息关联地保存在服务器中。
接收机200基于识别信息,在拍摄显示图像Ppre中的映照出标记M4的区域m4的周边识别多个对象区域。并且,接收机200如图294所示,在该多个对象区域的各对象区域重叠例如动物足迹那样的AR图像P28并显示。
具体而言,识别信息表示在标记M4的位置向右转弯的前进道路。接收机200基于这样的识别信息,确定拍摄显示图像Ppre中的路径,识别沿着该路径排列的多个对象区域。该路径是从显示器201的下侧向区域m4、且在区域m4向右转弯的路径。接收机200以使得犹如动物沿着该路径走过的方式,在所识别出的多个对象区域的各对象区域配置AR图像P28。
在此,接收机200在确定拍摄显示图像Ppre中的路径的情况下,也可以利用由自身所具备的9轴传感器检测的地磁。该情况下,识别信息将在标记M4的位置应前进的方位以地磁的方向为基准来表示。例如,识别信息表示西来作为在标记M4的位置应前进的方向。接收机200基于这样的识别信息,在拍摄显示图像Ppre中,确定从显示器201的下侧向区域m4、且在区域m4向西的路径。并且,接收机200识别沿着该路径排列的多个对象区域。此外,接收机200通过由9轴传感器进行的重力加速度的检测,确定显示器201的下侧。
如此,由于通过接收机200提示用户的前进道路,因此用户只要沿着该前进道路前进,就能够简单地到达目的地。另外,由于该前进道路作为拍摄显示图像Ppre中的AR图像进行显示,因此能够以易于理解的方式向用户提示该前进道路。
此外,作为发送机100的照明装置通过以短脉冲的光照射标记M4,能够在抑制亮度的同时适当地发送光ID。另外,接收机200拍摄了标记M4,但也可以使用配置于显示器201侧的摄像头(所谓的自拍摄像头)来拍摄照明装置。另外,接收机200也可以对标记M4和照明装置这两方进行拍摄。
图295是用于说明由接收机200进行的线扫描时间的求取方式的一例的图。
接收机200在对解码用图像Pdec进行解码的情况下,使用线扫描时间来进行解码。该线扫描时间是从图像传感器所包含的一个曝光线的曝光开始到下一个曝光线的曝光开始为止的时间。接收机200如果明确了该线扫描时间,则使用该明确的线扫描时间对解码用图像Pdec进行解码。但是,在未明确该线扫描时间的情况下,接收机200根据解码用图像Pdec来求出线扫描时间。
例如,接收机200如图295所示,从解码用图像Pdec中的构成亮线图案的多个明亮线和多个暗线中找出最小宽度的线。此外,明亮线是在发送机100的亮度高时由于一个或多个连续的曝光线的各曝光线进行曝光而产生的解码用图像Pdec上的线。另外,暗线是在发送机100的亮度低时由于一个或多个连续的曝光线的各曝光线进行曝光而产生的解码用图像Pdec上的线。
接收机200若找到该最小宽度的线,则确定与该最小宽度的线对应的曝光线的线数即像素数。在发送机100为了发送光ID而进行亮度变化的载波频率为9.6kHz的情况下,发送机100的亮度高的时间或低的时间最短为104μs。因此,接收机200通过将104μs除以所确定出的最小宽度的像素数,算出线扫描时间。
图296是用于说明由接收机200进行的线扫描时间的求取方式的一例的图。
接收机200也可以对解码用图像Pdec的亮线图案进行傅里叶变换,基于通过该傅里叶变换得到的空间频率来求出线扫描时间。
例如如图296所示,接收机200通过上述的傅里叶变换,导出表示空间频率与解码用图像Pdec中的该空间频率的成分的强度的关系的频谱。接着,接收机200依次选择该频谱中示出的多个峰值的各峰值。并且,接收机200每次选择峰值时,将该选择出的峰值的空间频率(例如图296中的空间频率f2)会通过9.6kHz的时间频率而得到那样的线扫描时间作为线扫描时间候选来算出。9.6kHz如上述那样是发送机100的亮度变化的载波频率。由此,可算出多个线扫描时间候选。接收机200将这些多个线扫描时间候选中的最大似然的候选选择为线扫描时间。
为了选择最大似然的候选,接收机200基于拍摄中的帧速率和图像传感器所包含的曝光线的数量,算出线扫描时间的容许范围。也即是,接收机200通过1×106[μs]/{(帧速率)×(曝光线数)},算出线扫描时间的最大值。并且,接收机200将“该最大值×常数K(K<1)~最大值”决定为线扫描时间的容许范围。常数K例如是0.9或0.8等。
接收机200将多个线扫描时间候选中的处于该容许范围的候选选择为最大似然的候选、即线扫描时间。
此外,接收机200也可以通过根据图295所示的例子算出的线扫描时间是否处于上述的容许范围,对该算出的线扫描时间的可靠性进行评价。
图297是表示由接收机200进行的的线扫描时间的求取方式的一例的流程图。
接收机200也可以通过尝试解码用图像Pdec的解码来求出线扫描时间。具体而言,首先,接收机200开始拍摄(步骤S441)。接着,接收机200判定是否明确了线扫描时间(步骤S442)。例如,接收机200可以将自身的种类以及型式通知给服务器并查询与该种类以及型式相应的线扫描时间,判定是否明确了该线扫描时间。在此,当判定为明确了该线扫描时间时(步骤S442:是),接收机200将光ID的基准取得次数设定为n(n为2以上的整数,例如为4)(步骤S443)。接着,接收机200通过使用该明确的线扫描时间对解码用图像Pdec进行解码,由此取得光ID(步骤S444)。此时,接收机200对通过步骤S441中开始的拍摄而依次得到的多个解码用图像Pdec分别进行解码,取得多个光ID。在此,接收机200判定是否取得了基准取得次数(即n次)的相同光ID(步骤S445)。当判定为取得了n次时(步骤S445:是),接收机200利用该光ID,开始使用了该光ID的处理(例如AR图像的重叠)(步骤S446)。另一方面,当判定为未取得n次时(步骤S445:否),接收机200不相信该光ID而结束处理。
当在步骤S442中判定为未明确线扫描时间时(步骤S442:否),接收机200将光ID的基准取得次数设定为n+k(k为1以上的整数)(步骤S447)。也即是,接收机200在未明确线扫描时间时,设定比明确了线扫描时间时多的基准取得次数。接着,接收机200决定暂时的线扫描时间(步骤S448)。然后,接收机200通过使用暂时决定的线扫描时间对解码用图像Pdec进行解码,由此取得光ID(步骤S449)。此时,接收机200与上述同样地,对通过步骤S441中开始的拍摄而依次得到的多个解码用图像Pdec分别进行解码,由此取得多个光ID。在此,接收机200判定是否取得了基准取得次数(即(n+k)次)的相同光ID(步骤S450)。
当判定为取得了(n+k)次时(步骤S450:是),接收机200判断为暂时决定的线扫描时间是正确的线扫描时间。然后,接收机200将接收机200的种类及型式和该线扫描时间通知给服务器(步骤S451)。由此,在服务器中,对接收机的种类及型式与适合于该接收机的线扫描时间进行关联地存储。因此,在相同种类及型式的其他接收机开始了拍摄的情况下,其他接收机通过向服务器查询,能够确定自身的线扫描时间。也即是,其他接收机在步骤S442的判定中,能够判定为明确了线扫描时间。
然后,接收机200相信被取得了(n+k)次的光ID,开始使用了该光ID的处理(例如AR图像的重叠)(步骤S446)。
另外,当在步骤S450中判定为未取得(n+k)次的相同光ID时(步骤S450:否),接收机200进一步判定是否满足了结束条件(步骤S452)。结束条件例如是从拍摄开始起经过了预先确定的时间、或者光ID的取得已进行了最大取得次数以上等。当判定为满足了这样的结束条件时(步骤S452:是),接收机200结束处理。另一方面,当判定为不满足结束条件时(步骤S452:否),接收机200变更暂时决定的线扫描时间(步骤S453)。然后,接收机200使用该变更后的暂时决定的线扫描时间来反复执行从步骤S449起的处理。
如此,接收机200即使未明确线扫描时间,也能够如图295~图297所示的例子那样求出该线扫描时间。由此,无论接收机200的种类以及型式如何,接收机200都能够适当地对解码用图像Pdec进行解码并取得光ID。
图298是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200拍摄作为电视机构成的发送机100。该发送机100例如通过一边显示电视节目一边进行亮度变化,周期性地发送光ID和时间码。时间码可以是在每次被发送时表示该发送时的时刻的信息,例如是图126所示的时间数据包。
接收机200通过上述的拍摄,周期性地取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200一边将周期性地取得的拍摄显示图像Ppre显示于显示器201,一边对解码用图像Pdec进行解码,由此取得上述的光ID和时间码。接着,接收机200将该光ID发送给服务器300。服务器300在接收到该光ID时,将与该光ID关联的声音数据、AR开始时刻信息、AR图像P29和识别信息发送给接收机200。
接收机200在取得了声音数据时,使该声音数据与映照在发送机100中的电视节目的影像同步地再现。也即是,声音数据包括多个声音单位数据,在这些多个声音单位数据中含有时间码。接收机200从声音数据中的包含表示和与光ID一起从发送机100取得的时间码相同的时刻的时间码在内的声音单位数据起,开始多个声音单位数据的再现。由此,声音数据的再现与电视节目的影像同步。此外,这样的声音与影像的同步也可以通过与由图123以后的各图表示的声音同步再现同样的方法来进行。
接收机200在取得了AR图像P29以及识别信息时,将拍摄显示图像Ppre中的与该识别信息相应的区域识别为对象区域,在该对象区域重叠AR图像P29。例如,AR图像P29是表示接收机200的显示器201的龟裂的图像,对象区域是在拍摄显示图像Ppre中的发送机100的像上横穿的区域。
在此,接收机200将上述那样的重叠了AR图像P29的拍摄显示图像Ppre在与AR开始时刻信息相应的定时进行显示。AR开始时刻信息是表示AR图像P29被显示的时刻的信息。也即是,接收机200在接收到从发送机100随时发送的时间码中的表示与AR开始时刻信息相同时刻的时间码的定时,显示上述的重叠了AR图像P29的拍摄显示图像Ppre。例如,由AR开始时刻信息表示的时刻是在电视节目中出现使用魔法的少女实施冰魔法的场景的时刻。另外,在该时刻,接收机200也可以通过声音数据的再现,使该AR图像P29发生龟裂的声音从接收机200的扬声器输出。
由此,用户能够更加具有临场感地试听电视节目的场景。
另外,接收机200在由AR开始时刻信息表示的时刻,可以使接收机200所具备的振动器发生振动,也可以使光源像镁光灯那样发光,还可以使显示器201瞬间变亮或闪烁。另外,AR图像P29也可以不仅包含表示龟裂的图像还包含表示显示器201结冰冻住的状态的图像。
图299是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200拍摄例如作为玩具棒构成的发送机100。该发送机100具备光源,通过该光源进行亮度变化来发送光ID。
接收机200通过上述的拍摄,周期性地取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200一边将周期性地取得的拍摄显示图像Ppre显示于显示器201,一边对解码用图像Pdec进行解码,由此取得上述的光ID。接着,接收机200将该光ID发送给服务器300。服务器300在接收到该光ID时,将与该光ID关联的AR图像P30和识别信息发送给接收机200。
在此,识别信息还包含由拿着发送机100的人物作出的手势(即动作)的手势信息。手势信息例如表示人物将发送机100从右向左活动的手势。接收机200对映照在各拍摄显示图像Ppre中的由拿着发送机100的人物作出的手势和由手势信息表示的手势进行比较。并且,接收机200在这些手势一致时,例如以使得大量星型的AR图像P30沿着随着该手势移动的发送机100的轨迹排列的方式,将这些AR图像P30重叠于拍摄显示图像Ppre。
图300是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200与上述同样地,拍摄例如作为玩具棒构成的发送机100。
接收机200通过该拍摄,周期性地取得拍摄显示图像Ppre和解码用图像Pdec。并且,接收机200一边将周期性地取得的拍摄显示图像Ppre显示于显示器201,一边对解码用图像Pdec进行解码,由此取得上述的光ID。接着,接收机200将该光ID发送给服务器300。服务器300在接收到该光ID时,将与该光ID关联的AR图像P31和识别信息发送给接收机200。
在此,识别信息与上述同样地,包含表示由拿着发送机100的人物作出的手势的手势信息。手势信息例如表示人物将发送机100从右向左活动的手势。接收机200将映照在各拍摄显示图像Ppre中的由拿着发送机100的人物作出的手势和由手势信息表示的手势进行比较。并且,接收机200在这些手势一致时,例如在拍摄显示图像Ppre中的映照出拿着该发送机100的人物的区域即对象区域重叠表示礼服服装的AR图像P30。
如此,在本变形例的显示方法中,从服务器中取得与光ID对应的手势信息。接着,判定由周期性地取得的拍摄显示图像表示的被拍摄对象的活动是否与由从服务器取得的手势信息表示的活动一致。并且,在判定为一致时,显示重叠了AR图像的拍摄显示图像Ppre。
由此,例如能够根据人物等被拍摄对象的活动来显示AR图像。也即是,能够在适当的定时显示AR图像。
图301是表示根据接收机200的姿势取得的解码用图像Pdec的一例的图。
例如,如图301的(a)所示,接收机200以横向的姿势拍摄通过亮度变化发送光ID的发送机100。此外,横向的姿势是接收机200的显示器201的长度方向沿着水平方向的姿势。另外,接收机200所具备的图像传感器的各曝光线与显示器201的长度方向正交。通过上述那样的拍摄,可取得包含亮线的数量少的亮线图案区域X的解码用图像Pdec。在该解码用图像Pdec的亮线图案区域X,亮线的数量少。也即是,亮度向High或Low变化的部位少。因此,接收机200有时无法通过对该解码用图像Pdec的解码来适当地取得光ID。
因此,例如,如图301的(b)所示,用户将接收机200的姿势从横向变为纵向。此外,纵向的姿势是接收机200的显示器201的长度方向沿着垂直方向的姿势。这样姿势的接收机200在拍摄发送光ID的发送机100时,能够取得包含亮线的数量多的亮线图案区域Y的解码用图像Pdec。
如此,根据接收机200的姿势,有时无法适当地取得光ID,因此在使接收机200取得光ID时,可以使进行拍摄的接收机200的姿势适当变更。在姿势被变更时,接收机200能够在成为易于取得光ID的姿势的定时,适当地取得光ID。
图302是表示根据接收机200的姿势取得的解码用图像Pdec的另一例的图。
例如,发送机100作为咖啡店的数字标牌而构成,在影像显示期间,显示与咖啡店的广告有关的影像,在光ID发送期间,通过亮度变化来发送光ID。也即是,发送机100交替地反复执行影像显示期间中的影像的显示和光ID发送期间中的光ID的发送。
接收机200通过发送机100的拍摄,周期性地取得拍摄显示图像Ppre和解码用图像Pdec。此时,根据发送机100的影像显示期间以及光ID发送期间的反复周期与由接收机200进行的拍摄显示图像Ppre以及解码用图像Pdec的取得的反复周期的同步,有时无法取得包含亮线图案区域的解码用图像Pdec。进而,根据接收机200的姿势,有时无法取得包含亮线图案区域的解码用图像Pdec。
例如,接收机200以图302的(a)所示那样的姿势拍摄发送机100。也即是,接收机200以靠近发送机100并使得发送机100的像投影到接收机200的整个图像传感器的方式,拍摄该发送机100。
在此,如果接收机200取得拍摄显示图像Ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像Ppre。
并且,即使在接收机200取得解码用图像Pdec的定时横跨发送机100的影像显示期间和光ID发送期间的情况下,接收机200也能够取得包含亮线图案区域Z1的解码用图像Pdec。
也即是,图像传感器所包含的各曝光线的曝光从位于垂直方向上端的曝光线向下侧依次开始。因此,在影像显示期间,即使接收机200为了取得解码用图像Pdec而开始图像传感器的曝光,也无法获得亮线图案区域。但是,当该影像显示期间切换为光ID发送期间时,能够获得与在该光ID发送期间进行曝光的各曝光线对应的亮线图案区域。
在此,接收机200以图302的(b)所示那样的姿势拍摄发送机100。也即是,接收机200从发送机100离开,以使得发送机100的像仅投影在接收机200的图像传感器的上侧区域的方式,拍摄该发送机100。此时,与上述同样地,如果接收机200取得拍摄显示图像Ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像Ppre。但是,在接收机200取得解码用图像Pdec的定时横跨发送机100的影像显示期间和光ID发送期间的情况下,有时接收机200无法取得包含亮线图案区域的解码用图像Pdec。也即是,即使发送机100的影像显示期间切换为光ID发送期间,有时在该光ID发送期间进行曝光的处于图像传感器下侧的各曝光线,也不会投影进行亮度变化的发送机100的像。因此,无法取得具有亮线图案区域的解码用图像Pdec。
另一方面,接收机200如图302的(c)所示,在从发送机100离开的状态下,以使得发送机100的像仅投影在接收机200的图像传感器的下侧区域的方式,拍摄该发送机100。此时,与上述同样地,如果接收机200取得拍摄显示图像Ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像Ppre。进而,即使在接收机200取得解码用图像Pdec的定时横跨发送机100的影像显示期间和光ID发送期间的情况下,有时接收机200也能够取得包含亮线图案区域的解码用图像Pdec。也即是,当发送机100的影像显示期间切换为光ID发送期间时,在该光ID发送期间进行曝光的处于图像传感器下侧的各曝光线,会投影进行亮度变化的发送机100的像。因此,能够取得具有亮线图案区域Z2的解码用图像Pdec。
如此,根据接收机200的姿势,有时无法适当地取得光ID,因此接收机200在取得光ID时,也可以促使用户改变接收机200的姿势。也即是,接收机200在拍摄开始时,进行例如“请活动”或“请摇动”这样的消息的显示或声音输出,使得改变接收机200的姿势。由此,接收机200一边改变姿势一边进行拍摄,因此能够适当地取得光ID。
图303是表示接收机200的处理动作的一例的流程图。
例如,接收机200判定在进行拍摄时接收机200是否正在摇动(步骤S461)。具体而言,接收机200基于接收机200所具备的9轴传感器的输出,判定是否正在摇动。在此,接收机200在判定为在拍摄中正在摇动时(步骤S461:是),使上述的光ID取得率提高(步骤S462)。具体而言,接收机200取得在拍摄中获得的每单位时间的所有的拍摄图像来作为解码用图像(即亮线图像)Pdec,对所取得的所有的解码用图像分别进行解码。或者,接收机200在取得了所有的拍摄图像作为拍摄显示图像Ppre时、即在解码用图像Pdec的取得以及解码已停止时,开始该取得以及解码。
另一方面,接收机200在判定为在拍摄中未摇动时(步骤S461:否),以低的光ID取得率取得解码用图像Pdec(步骤S463)。具体而言,如果光ID取得率通过步骤S462提高而成为比当前高的光ID取得率,则由于当前的光ID取得率高,因此接收机200使该光ID取得率降低。由此,由接收机200进行解码用图像Pdec的解码处理的频度减少,因此能够抑制功耗。
然后,接收机200判定是否满足了用于结束光ID取得率的调整处理的结束条件(步骤S464),当判定为不满足时(步骤S464:否),反复执行从步骤S461起的处理。另一方面,接收机200在判定为满足了结束条件时(步骤S464:是),结束光ID取得率的调整处理。
图304是表示由接收机200进行的摄像头镜头的切换处理的一例的图。
接收机200也可以具备广角镜头211和望远镜头212分别作为摄像头镜头。通过使用了广角镜头211的拍摄而得到的拍摄图像是视角广的图像,在该图像中被拍摄对象被映照得小。另一方面,通过使用了望远镜头212的拍摄而得到的拍摄图像是视角窄的图像,在该图像中被拍摄对象被映照得大。
上述那样的接收机200在进行拍摄时,也可以根据图304所示的方法A~E的某个方法来切换用于拍摄的摄像头镜头。
在方法A中,接收机200无论在通常拍摄的情况下还是在接收光ID的情况下,在进行拍摄时一直使用望远镜头212。在此,通常拍摄的情况是指通过拍摄而取得所有的拍摄图像来作为拍摄显示图像Ppre的情况。另外,接收光ID的情况是指通过拍摄而周期性地取得拍摄显示图像Ppre和解码用图像Pdec的情况。
在方法B中,接收机200在通常拍摄的情况下使用广角镜头211。另一方面,在接收光ID的情况下,接收机200首先使用广角镜头211。并且,接收机200如果在使用该广角镜头211时所取得的解码用图像Pdec中含有亮线图案区域,则将摄像头镜头从广角镜头211切换为望远镜头212。在该切换之后,接收机200能够取得视角窄、即亮线图案区域被表现得大的解码用图像Pdec。
在方法C中,接收机200在通常拍摄的情况下使用广角镜头211。另一方面,在接收光ID的情况下,接收机200将摄像头镜头在广角镜头211和望远镜头212之间进行切换。也即是,接收机200使用广角镜头211取得拍摄显示图像Ppre,使用望远镜头212取得解码用图像Pdec。
在方法D中,接收机200无论在通常拍摄的情况下还是在接收光ID的情况下,都根据用户的操作将摄像头镜头在广角镜头211和望远镜头212之间进行切换。
在方法E中,接收机200在接收光ID的情况下,对使用广角镜头211取得的解码用图像Pdec进行解码,如果无法正确地解码,则将摄像头镜头从广角镜头211切换为望远镜头212。或者,接收机200对使用望远镜头212取得的解码用图像Pdec进行解码,如果无法正确地解码,则将摄像头镜头从望远镜头212切换为广角镜头211。此外,接收机200在判定是否正确地解码了解码用图像Pdec时,首先将通过对该解码用图像Pdec的解码而得到的光ID发送给服务器。如果该光ID与自身所登记的光ID一致,则服务器将表示一致一致信息通知给接收机200,如果不一致,则服务器将表示不一致的不一致信息通知给接收机200。如果从服务器通知的信息是一致信息,则接收机200判定为正确地解码了解码用图像Pdec,如果从服务器通知的信息是不一致信息,则接收机200判定为未能对解码用图像Pdec正确地解码。或者,接收机200在通过解码用图像Pdec的解码而得到的光ID满足预先确定的条件的情况下,判定为正确地解码了解码用图像Pdec。另一方面,在不满足该条件的情况下,接收机200判定为未能对解码用图像Pdec正确地解码。
通过如此切换摄像头镜头,能够取得适当的解码用图像Pdec。
图305是表示由接收机200进行的摄像头的切换处理的一例的图。
例如,接收机200具备内摄像头213和外摄像头(在图305中未图示)作为摄像头。内摄像头213也称为面部摄像头或自拍摄像头,是配置在接收机200的与显示器201相同面的摄像头。外摄像头是配置在接收机200的与显示器201的面相反侧的面的摄像头。
这样的接收机200以使内摄像头213朝向上方的状态,通过内摄像头213拍摄作为照明装置构成的发送机100。通过该拍摄,接收机200取得解码用图像Pdec,通过对该解码用图像Pdec的解码,取得从发送机100发送的光ID。
接着,接收机200通过将该取得的光ID发送给服务器,从服务器取得与该光ID关联的AR图像以及识别信息。接收机200开始从通过外摄像头以及内摄像头213各自得到的各拍摄显示图像Ppre中识别与该识别信息相应的对象区域的处理。在此,接收机200在从通过外摄像头以及内摄像头213各自得到的任何拍摄显示图像Ppre中都无法识别对象区域的情况下,催促用户活动接收机200。被接收机200催促的用户使接收机200活动。具体而言,用户以使得内摄像头213以及外摄像头朝向用户的前后方向的方式,使接收机200活动。其结果是,接收机200从通过外摄像头取得的拍摄显示图像Ppre中识别对象区域。也即是,接收机200将映照出人的区域识别为对象区域,在拍摄显示图像Ppre中的该对象区域重叠AR图像,显示重叠了该AR图像的拍摄显示图像Ppre。
图306是表示接收机200和服务器的处理动作的一例的流程图。
接收机200通过由内摄像头213拍摄作为照明装置的发送机100,取得从该发送机100发送的光ID,将该光ID发送给服务器(步骤S471)。服务器从接收机200接收光ID(步骤S472),基于该光ID,推定接收机200的位置(步骤S473)。例如,服务器存储有按光ID表示配置有发送该光ID的发送机100的房间、建筑物或空间等的表。并且,服务器将该表中的与从接收机200发送来的光ID关联的房间等推定为接收机200的位置。进而,服务器将与该推定出的位置关联的AR图像以及识别信息发送给接收机200(步骤S474)。
接收机200取得从服务器发送来的AR图像以及识别信息(步骤S475)。在此,接收机200开始从由外摄像头以及内摄像头213各自得到的各拍摄显示图像Ppre中识别与该识别信息相应的对象区域的处理。并且,接收机200例如从由外摄像头取得的拍摄显示图像Ppre中识别对象区域(步骤S476)。接收机200在拍摄显示图像Ppre中的对象区域重叠AR图像,显示重叠了该AR图像的拍摄显示图像Ppre(步骤S477)。
此外,在上述的例子中,接收机200在取得从服务器发送来的AR图像以及识别信息时,在步骤S476中,开始了从由外摄像头以及内摄像头213各自得到的各拍摄显示图像Ppre中识别对象区域的处理。但是,接收机200在步骤S476中,也可以开始从仅由外摄像头得到的拍摄显示图像Ppre中识别对象区域的处理。也即是,也可以使用于取得光ID的摄像头(在上述的例中是内摄像头213)和用于取得要重叠AR图像的拍摄显示图像Ppre的摄像头(在上述的例子中是外摄像头)一直不同。
另外,在上述的例子中,接收机200通过内摄像头213拍摄了作为照明装置的发送机100,但也可以通过外摄像头来拍摄被发送机100照射的地面。即使在这样的外摄像头的拍摄中,接收机200也能够取得从发送机100发送的光ID。
图307是表示由接收机200进行的AR图像的重叠的一例的图。
接收机200拍摄例如作为设置在便利商店等店铺的微波炉而构成的发送机100。该发送机100具备用于拍摄微波炉的箱体内的摄像头和对该箱体内进行照射的照明装置。并且,发送机100通过摄像头的拍摄来识别收纳在箱体内的饮食物(即加热对象物)。另外,发送机100在对该饮食物进行加热时,通过使上述的照明装置发光,并且使该照明装置进行亮度变化,由此发送表示所识别出的饮食物的光ID。此外,虽然该照明装置对微波炉的箱体内进行照射,但该照明装置的光会从微波炉的具有透过性的窗部照射到外部。因此,光ID会从照明装置经由微波炉的窗部发送到微波炉的外部。
在此,用户在便利商店购入饮食物,为了对该饮食物进行加热而向作为微波炉的发送机100放入该饮食物。此时,发送机100通过摄像头识别该饮食物,在发送表示该识别出的饮食物的光ID的同时开始饮食物的加热。
接收机200通过对开始了该加热的发送机100进行拍摄,取得从发送机100发送的光ID,将该光ID发送给服务器。接着,接收机200从服务器取得与该光ID关联的AR图像、声音数据以及识别信息。
上述的AR图像包括:表示发送机100内部的虚拟情形的动态图即AR图像P32a;详细地表示箱体内所收纳的饮食物的AR图像P32b;将从发送机100冒出蒸汽的情形由动态图来表示的AR图像P32c;以及将到饮食物的加热完成为止的剩余时间由动态图来表示的AR图像P32d。
例如,如果微波炉的箱体内所收纳的饮食物是披萨,则AR图像P32a是载置披萨的转盘正在旋转且多个小人正在该披萨的周围跳舞的动态图。如果箱体内所收纳的饮食物是披萨,则AR图像P32b例如是表示该商品名“披萨”和该披萨的材料的图像。
接收机200基于识别信息,将拍摄显示图像Ppre中的映照出发送机100的窗部的区域识别为AR图像P32a的对象区域,在该对象区域重叠AR图像P32a。进而,接收机200基于识别信息,将拍摄显示图像Ppre中的位于映照出发送机100的区域上方的区域识别为AR图像P32b的对象区域,在该对象区域重叠AR图像P32b。进而,接收机200基于识别信息,将拍摄显示图像Ppre中的位于AR图像P32a的对象区域与AR图像P32b的对象区域之间的区域识别为AR图像P32c的对象区域,在该对象区域重叠AR图像P32c。进而,接收机200基于识别信息,将拍摄显示图像Ppre中的位于映照出发送机100的区域下方的区域识别为AR图像P32d的对象区域,在该对象区域重叠AR图像P32d。
进而,接收机200通过再现声音数据,输出在饮食物被加热时所产生的声音。
通过由接收机200显示上述那样的AR图像P32a~P32d、并且输出声音,能够在到饮食物的加热完成为止的期间引起用户对接收机200的兴趣。其结果是,能够减轻用户等待加热完成的负担。另外,通过显示表示蒸汽等的AR图像P32c并输出在饮食物被加热时所产生的声音,能够让用户产生食欲。另外,通过AR图像P32d的显示,用户能够容易地知道到饮食物的加热完成为止的剩余时间。因此,用户在到加热完成为止的期间,例如能够离开作为微波炉的发送机100并阅读陈列在店铺内的书等。另外,接收机200也可以在剩余时间成为0时向用户通知加热已完成。
此外,在上述的例子中,AR图像P32a是载置披萨的转盘正在旋转且多个小人正在该披萨的周围跳舞的的动态图,但例如也可以是虚拟地表示箱体内的温度分布的图像。另外,AR图像P32b是表示箱体内所收纳的饮食物的商品名以及材料的图像,但也可以是表示营养成分或卡路里的图像。或者,AR图像P32b也可以是表示折扣卷的图像。
如此,在本变形例的显示方法中,被拍摄对象是具备照明装置的微波炉,照明装置对微波炉的箱体内进行照射,并且通过进行亮度变化来向微波炉的外部发送光ID。并且,在拍摄显示图像Ppre以及解码用图像Pdec的取得中,通过拍摄发送光ID的微波炉来取得拍摄显示图像Ppre以及解码用图像Pdec。在对象区域的识别中,将映照在拍摄显示图像Ppre中的微波炉的窗部分识别为对象区域。在拍摄显示图像Ppre的显示中,对重叠了表示箱体内的状态变化的AR图像的拍摄显示图像Ppre进行显示。
由此,由于微波炉的箱体内的状态变化被作为AR图像进行显示,因此能够以易于理解的方式向微波炉的利用者传达箱体内的情形。
图308是表示包括接收机200、微波炉、中继服务器以及电子结算用服务器的系统的处理动作的时序图。此外,微波炉与上述同样地具备摄像头以及照明装置,通过使该照明装置的亮度进行变化来发送光ID。也即是,微波炉具有作为发送机100的功能。
首先,微波炉通过摄像头来识别箱体内所收纳的饮食物(步骤S481)。接着,微波炉通过照明装置的亮度变化将表示该识别出的饮食物的光ID发送给接收机200。
接收机200通过拍摄微波炉,接收从该微波炉发送的光ID(步骤S483),将光ID和卡信息发送给中继服务器。卡信息是预先保存在接收机200中的信用卡等的信息,是电子结算所需的信息。
中继服务器保持有按光ID表示与该光ID对应的AR图像、识别信息以及商品信息的表。该商品信息生成由光ID表示的饮食物的费用等。这样的中继服务器在接收到从接收机200发送的光ID和卡信息时(步骤S486),从上述表中找出与该光ID关联的商品信息。然后,中继服务器将该商品信息和卡信息发送给电子结算用服务器(步骤S486)。电子结算用服务器在接收到从中继服务器发送的商品信息和卡信息时(步骤S487),基于该商品信息和卡信息来进行电子结算的处理(步骤S488)。然后,电子结算用服务器在该电子结算的处理完成时,将该完成通知给中继服务器(步骤S489)。
中继服务器在确认了来自电子结算用服务器的结算完成的通知时(步骤S490),向微波炉指示开始饮食物的加热(步骤S491)。然后,中继服务器将上述表中的与通过步骤S485接收到的光ID关联的AR图像以及识别信息发送给接收机200(步骤S493)。
微波炉在从中继服务器收到加热开始的指示时,开始箱体内所收纳的饮食物的加热(步骤S492)。另外,接收机200在接收到从中继服务器发送的AR图像以及识别信息时,从通过从步骤S483开始的拍摄而周期性取得的拍摄显示图像Ppre中,识别与该识别信息相应的对象区域。然后,接收机200在该对象区域重叠AR图像(步骤S494)。
由此,接收机200的用户如果能够向微波炉的箱体内放入饮食物并进行拍摄,则能够简单地完成结算并开始饮食物的加热。另外,在无法结算的情况下,能够禁止用户对饮食物的加热。进而,在加热已开始时,能够进行图307所示的AR图像P32a等的显示,能够让用户了解箱体内的情形。
图309是表示包括POS终端、服务器、接收机200以及微波炉的系统的处理动作的时序图。此外,微波炉与上述同样地具备摄像头以及照明装置,通过使该照明装置的亮度变化来发送光ID。也即是,微波炉具有作为发送机100的功能。另外,POS(point-of-sale)终端是设置在与微波炉相同的便利商店等店铺的终端。
首先,接收机200的用户在店铺选择作为商品的饮食物,为了购买该饮食物而走向设置有POS终端的场所。该店铺的店员操作POS终端,从用户收取饮食物的货款。通过该店员对POS终端的操作,POS终端取得操作输入数据和销售信息(步骤S501)。销售信息例如表示商品的名称、个数及价格、销售场所和销售日期时刻。操作输入数据例如表示由店员输入的用户的性别以及年龄段等。POS终端将该操作输入数据和销售信息发送给服务器(步骤S502)。服务器接收从POS终端发送的操作输入数据和销售信息(步骤S503)。
另一方面,接收机200的用户在向店员支付了饮食物的货款时,为了对该饮食物进行加热而向微波炉的箱体内放入饮食物。微波炉通过摄像头识别箱体内所收纳的饮食物(步骤S504)。接着,微波炉通过照明装置的亮度变化将表示该识别出的饮食物的光ID发送给接收机200(步骤S505)。然后,微波炉开始饮食物的加热(步骤S507)。
接收机200通过拍摄微波炉,接收从该微波炉发送的光ID(步骤S508),将光ID和终端信息发送给服务器(步骤S509)。终端信息是预先保存在接收机200中的信息,例如表示接收机200的显示器201所显示的语言的类别(例如英语或日语等)。
服务器在被接收机200访问、并接收到从接收机200发送的光ID和终端信息时,判定来自该接收机200的访问是否为第一次访问(步骤S510)。第一次访问是从进行了步骤S503的处理时起在预定时间内第一次进行的访问。在此,服务器在判定为来自该接收机200的访问是第一次访问时(步骤S510:是),将操作输入数据和终端信息进行关联地保存(步骤S511)。
此外,服务器对来自接收机200的访问是否为第一次访问进行了判定,但也可以判定由销售信息表示的商品是否与由光ID表示的饮食物一致。另外,在步骤S511中,服务器也可以不仅将操作输入数据和终端信息进行关联,还将销售信息与它们进行关联地保存。
(室内的利用)
图310是表示地下街道等的室内的利用情形的图。
接收机200接收作为照明装置构成的发送机100发送的光ID,推定自身的当前位置。另外,接收机200在地图上显示当前位置并进行道路向导,和/或显示附近店铺的信息。
通过在紧急时从发送机100发送灾害信息或避难信息,即使在通信拥堵、通信基站发生了故障、或位于来自通信基站的电波无法到达的场所的情况下,也能够获得这些信息。这对于漏听了紧急广播的情况或无法听到紧急广播的听觉障碍者是有效的。
也即是,接收机200通过进行拍摄,取得从发送机100发送的光ID,进而,从服务器取得与该光ID关联的AR图像P33和识别信息。然后,接收机200从通过上述的拍摄得到的拍摄显示图像Ppre中,识别与识别信息相应的对象区域,在该对象区域重叠表示箭头形状的AR图像P33。由此,能够将接收机200作为上述的寻路器(图294参照)来利用。
(扩展现实对象的显示)
图311是表示对扩展现实对象进行显示的情形的图。
使扩展现实显示的舞台2718e作为上述的发送机100而构成,以发光部2718a、2718b、2718c、2718d的发光模式(pattern)和/或位置模式,发送扩展现实对象的信息和/或使扩展现实对象显示的基准位置。
接收机200基于所接收到的信息,将作为AR图像的扩展现实对象2718f重叠于拍摄图像并进行显示。
此外,这些总括性或具体的技术方案既可以通过装置、系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。另外,也可以通过如下技术方案来实现:将执行一个实施方式所涉及的方法的计算机程序保存在服务器的记录介质中,并根据终端的请求从服务器发布到终端。
(实施方式23的变形例4)
图312是表示实施方式23的变形例4的显示系统的结构的图。
该显示系统500进行使用可见光信号的物体识别和扩展现实(AugmentedReality/Mixed Reality)显示。
接收机200进行拍摄,并且进行可见光信号的接收、以及用于物体识别或空间识别的特征量的提取。特征量的提取是指从通过拍摄而得到的拍摄图像提取图像特征量。另外,可见光信号也可以是红外线或紫外线等可见光相邻载波信号。此外,在本变形例中,接收机200作为对扩展现实感图像(即AR图像)被显示的对象物进行识别的识别装置而构成。另外,在图312所示的例子中,对象物例如是AR对象物501等。
发送机100将用于辨识自身或AR对象物501的ID等信息作为可见光信号或电波信号来发送。另外,ID例如是上述的光ID等辨识信息,AR对象物501是上述的对象区域。可见光信号是通过发送机100所具有的光源的亮度变化来发送的信号。
接收机200或服务器300将由发送机100发送的辨识信息与AR识别信息及AR显示信息建立联系来保持。建立联系可以是1对1,也可以是1对多。AR识别信息是指上述的识别信息,是用于识别用来进行AR显示的AR对象物501的信息。具体而言,AR识别信息是AR对象物501的图像特征量(SIFT特征量、SURF特征量、或ORB特征量等)、颜色、形状、大小、反射率、透过率、或三维模型等。此外,AR识别信息也可以包含表示使用哪种识别方法进行识别的辨识信息或识别算法。AR显示信息是用于进行AR显示的信息,是图像(即上述的AR图像)、影像、声音、三维模型、运动数据、显示坐标、显示大小、或透过率等。此外,AR显示信息也可以是色相、彩度及明度各自的绝对值或变更比例。
发送机100也可以兼任作为服务器300的功能。也即是,发送机100也可以保持AR识别信息及AR显示信息,通过有线或无线通信发送这些信息。
接收机200通过摄像头(具体而言是图像传感器)拍摄图像。此外,接收机200接收可见光信号或者WiFi或Bluetooth(注册商标)等电波信号。此外,接收机200也可以取得通过GPS等得到的位置信息、通过陀螺仪传感器或加速度传感器得到的信息、以及来自麦克风的声音等信息,将这些全部的信息或一部分信息整合来识别附近存在的AR对象物。此外,接收机200也可以不整合这些信息,而仅使用某一种信息来识别AR对象物。
图313是表示实施方式23的变形例4的显示系统的处理动作的流程图。
首先,接收机200判定是否已接收到可见光信号(步骤S521)。也即是,接收机200例如对通过光源的亮度变化来发送可见光信号的发送机100进行摄影,由此判定是否取得了表示辨识信息的可见光信号。此时,通过该摄影,取得发送机100的拍摄图像。
这里,在判定为已接收到可见光信号的情况下(步骤S521:是),接收机200基于接收到的信息来确定AR对象物(物体、基准点、空间坐标、或空间中的接收机200的位置和朝向)。进而,接收机200识别AR对象物的相对位置。该相对位置由从接收机200到AR对象物的距离以及方向表示。例如接收机200基于图244所示的亮线样式区域的大小及位置等来确定AR对象物(即作为亮线样式区域的对象区域),并识别该AR对象物的相对位置。
然后,接收机200将可见光信号所包含的ID等信息和相对位置发送到服务器300,并通过将该信息及相对位置用作关键字来取得登记在服务器300中的AR识别信息和AR显示信息(步骤S522)。此时,接收机200可以不仅取得识别出的AR对象物的信息,还同时取得位于该AR对象物附近的其它AR对象物的信息(即AR识别信息及AR显示信息)。由此,当位于附近的其它AR对象物由该接收机200拍摄时,接收机200能够尽快且无误地识别位于其附近的其它AR对象物。例如位于附近的其它AR对象物与最初识别出的AR对象物是不同的。
另外,接收机200也可以从接收机200内的数据库取得这些信息,来替代访问服务器300。接收机200也可以在从取得时起经过一定时间后、或确定的处理(例如画面的关闭、按钮的按下、应用程序的结束或停止、AR图像的显示、或其它AR对象物的识别等)之后废弃这些信息。或者,接收机200也可以按所取得的多个信息中的每个信息,从取得该信息时起每经过一定时间,下调该信息的可靠度,而使用多个信息中的可靠度较高的信息。
这里,接收机200也可以基于与各AR对象物的相对位置,优先取得在该相对位置的关系中有效的AR对象物的AR识别信息。例如,在步骤S521中,接收机200通过对多个发送机100进行摄影来取得多个可见光信号(即辨识信息),在步骤S522中,接收机200取得与这些多个可见光信号对应的多个AR识别信息(即图像特征量)。此时,在步骤S522中,接收机200选择多个AR对象物中的、距离对这些发送机100进行摄影的接收机200最近的AR对象物的图像特征量。也即是,该被选择的图像特征量用于使用可见光信号来确定的1个AR对象物(即第1对象物)的确定。由此,即使取得多个图像特征量,也能够将适当的图像特征量用于第1对象物的确定。
另一方面,在判定为没有接收到可见光信号的情况下(步骤S521:否),接收机200进一步判定是否已取得了AR识别信息(步骤S523)。如果判定为没有取得AR识别信息(步骤S523:否),则接收机200不使用由可见光信号表示的ID等辨识信息,而是通过图像处理或者使用位置信息或电波信息等其它信息来识别AR对象物的候选(步骤S524)。该处理也可以仅由接收机200进行。或者,接收机200也可以将拍摄图像或该拍摄图像的图像特征量等信息发送到服务器300,服务器300识别该AR对象物的候选。其结果,接收机200从服务器300或自身的数据库取得与被识别出的候选对应的AR识别信息和AR显示信息。
在步骤S522之后,接收机200例如通过图像识别等、不使用由可见光信号表示的ID等辨识信息的其它方法来判定是否检测到AR对象物(步骤S525)。也即是,接收机200用多个方法来判定是否识别出AR对象物。具体而言,接收机200使用基于由可见光信号表示的辨识信息来取得的图像特征量,从拍摄图像中确定AR对象物(即第1对象物)。然后,接收机200不使用这样的辨识信息,而是通过图像处理来判定是否从拍摄图像中确定了AR对象物(即第2对象物)。
这里,如果用多个方法判定为识别出AR对象物(步骤S525:是),则接收机200使基于可见光信号的识别结果优先。也即是,接收机200确认通过各方法而识别出的AR对象物是否一致。并且,如果不一致,则接收机200从这些AR对象物中将在拍摄图像中AR图像被叠加的1个AR对象物决定为根据可见光信号识别出的AR对象物(步骤S526)。也即是,在第1对象物与第2对象物不同的情况下,接收机200使第1对象物优先,作为AR图像被显示的对象物来识别。另外,AR图像被显示的对象物是AR图像被叠加的对象物。
或者,接收机200也可以根据对多个方法中的每个方法赋予的优先顺序,使被赋予了较高优先顺位的方法优先。也即是,接收机200从通过各方法被识别出的AR对象物中,将在拍摄图像中AR图像被叠加的1个AR对象物决定为例如通过被赋予了最高优先顺位的方法识别出的AR对象物。或者,接收机200也可以根据多数逻辑或带优先级的多数逻辑,来决定在拍摄图像中AR图像被叠加的1个AR对象物。通过该处理,在此之前的识别结果被推翻的情况下,接收机200进行错误应对处理。
接着,接收机200基于所取得的AR识别信息,识别拍摄图像中的AR对象物的状态(具体而言是绝对位置、相对于接收机200的相对位置、大小、角度、照明状况、或遮挡(Occlusion)等)(步骤S527)。然后,接收机200根据该识别结果将AR显示信息(即AR图像)叠加于拍摄图像来进行显示(步骤S528)。也即是,接收机200将AR显示信息叠加于拍摄图像中的被识别出的AR对象物。或者,接收机200仅显示AR显示信息。
由此,仅通过图像处理就能够实现困难的识别或检测。该困难的识别或检测例如是(仅文字内容不同等的)图像上相似的AR对象物的辨识、图案较少的AR对象物的检测、反射率或透过率较高的AR对象物的检测、形状或图案发生变化的AR对象物(例如动物等)的检测、或者来自广大角度(各种方向)的AR对象物的检测。也即是,在本变形例中,能够进行这些AR对象物的识别和AR显示。此外,在不使用可见光信号的图像处理中,随着想要识别的AR对象物增加,图像特征量的邻近检索比较花费时间,使得识别处理比较花费时间,并且识别率也恶化。但是,在本变形例中,因识别对象增加而导致的识别时间增加和识别率恶化的影响完全没有或极小,能够实现有效的AR对象物的识别。此外,通过使用AR对象物的相对位置,能够实现高效的识别。例如通过利用到AR对象物的大致距离,能够在计算图像特征量时省略用于使得不依赖于AR对象物的大小的处理或者利用依赖于大小的特征。此外,利用AR对象物的角度,在通常针对大量角度需要图像特征量的评价时,仅进行与该AR对象物的角度对应的图像特征量的保持和计算即可,能够提高计算速度或存储器效率。
(实施方式23的变形例4的总结)
图314是表示本发明的一技术方案涉及的识别方法的流程图。
本发明的一技术方案涉及的显示方法是扩展现实感图像(AR图像)被显示的对象物的识别方法,包含步骤S531~535。
在步骤S531中,接收机200对通过光源的亮度变化来发送可见光信号的发送机100进行摄影来取得辨识信息。辨识信息例如是光ID。在步骤S532中,接收机200将该辨识信息发送到服务器300,并从服务器300取得与辨识信息对应的图像特征量。图像特征量作为AR识别信息或识别信息表示。
在步骤S533中,接收机200使用该图像特征量,从发送机100的拍摄图像确定第1对象物。在步骤S534中,接收机200不使用辨识信息(即光ID),而是通过图像处理从发送机100的拍摄图像确定第2对象物。
在步骤S535中,在由步骤S533确定的第1对象物与由步骤S534确定的第2对象物不同的情况下,接收机200使第1对象物优先,作为扩展现实感图像要被显示的对象物来进行识别。
例如扩展现实感图像、拍摄图像、以及对象物分别相当于实施方式23及其各变形例中的AR图像、拍摄显示图像、对象区域。
由此,如图313所示那样,即使在使用由可见光信号表示的辨识信息确定的第1对象物与不使用该辨识信息而通过图像处理确定的第2对象物不同的情况下,第1对象物也作为扩展现实感图像要被显示的对象物而被优先识别。因此,能够从拍摄图像中适当地识别扩展现实感图像要被显示的对象物。
此外,图像特征量除了第1对象物的图像特征量以外,可以还包含位于第1对象物附近的、与第1对象物不同的第3对象物的图像特征量。
由此,如图313的步骤S522所示那样,不仅取得第1对象物的图像特征量,还取得第3对象物的图像特征量,因而此后当第3对象物出现在拍摄图像中时,能够迅速地确定或识别该第3对象物。
此外,存在如下情况:在步骤S531中,接收机200通过对多个发送机进行摄影来取得多个辨识信息,在步骤S532中,接收机200取得与多个辨识信息对应的多个图像特征量。在这样的情况下,在步骤S533中,接收机200也可以将多个对象物中的、距离对多个发送机进行摄影的接收机200最近的对象物的图像特征量用于第1对象物的确定。
由此,如图313的步骤S522所示那样,即使取得多个图像特征量,也能够将适当的图像特征量用于第1对象物的确定。
另外,本变形例的识别装置例如是设置于上述的接收机200中的装置,具备处理器和记录介质。该记录介质中记录有用于使处理器执行图314所示的识别方法的程序。此外,本变形例的程序是使计算机执行图314所示的识别方法的程序。
(实施方式24)
图315是表示本实施方式的可见光信号的工作模式的一例的图。另外,本实施方式相当于实施方式20的变形例。
可见光信号的物理(PHY)层的工作模式如图315所示那样包括2个模式。第1个工作模式是进行数据包PWM(Pulse Width Modulation,脉冲宽度调制)的模式,第2个工作模式是进行数据包PPM(Pulse-Position Modulation,脉冲位置调制)的模式。上述各实施方式或该变形例的发送机通过根据其中某个工作模式对发送对象的信号进行调制来生成可见光信号并将其发送。
在数据包PWM的工作模式下,不进行RLL(Run-Length Limited,游程长度受限)编码,光时钟频率是100kHz,前向纠错(FEC)被反复编码,典型的数据速率是5.5kbps。
在该数据包PWM中,脉冲宽度被调制,脉冲由2个明亮度的状态表示。2个明亮度的状态是明亮状态(Bright或High)和暗状态(Dark或Low),典型而言是光的导通和截止。被称为数据包(也称为PHY数据包)的物理层的信号的组块与MAC(medium access control,介质访问控制)帧对应。发送机反复发送PHY数据包,能够不按特别的顺序发送多个PHY数据包的集合(set)。
另外,该数据包PWM例如是上述的图188、图189A的(b)及图197等所示的调制。此外,数据包PWM用于从通常的发送机发送的可见光信号的生成。
在数据包PPM的工作模式下,不进行RLL编码,光时钟频率是100kHz,前向纠错(FEC)被反复编码,典型的数据速率是8kbps。
在该数据包PPM中,较短时间长度的脉冲的位置被调制。也即是,该脉冲是明亮脉冲(High)和暗脉冲(Low)中的明亮脉冲,该脉冲的位置被调制。此外,该脉冲的位置由脉冲与下一脉冲之间的间隔表示。
数据包PPM实现深度调光。在各实施方式及该变形例中未进行说明的数据包PPM的格式、波形及特征与数据包PWM相同。另外,该数据包PPM例如是上述的图189B、图199及图213等所示的调制。此外,数据包PPM用于从具有非常明亮地发光的光源的发送机发送的可见光信号的生成。
此外,在数据包PWM及数据包PPM各自中,可见光信号的物理层的调光根据可选字段(Optional field)的平均亮度来控制。
(数据包PWM的PPDU格式)
这里,对PPDU(physical-layer data unit,物理层数据单元)的格式进行说明。
图316是表示数据包PWM的模式1下的PPDU格式的一例的图。图317是表示数据包PWM的模式2下的PPDU格式的一例的图。图318是表示数据包PWM的模式3下的PPDU格式的一例的图。
通过数据包PWM被调制的数据包在模式1及模式2下如图316及图317所示那样,包含PHY有效载荷A、SHR(synchronization header,同步报头)、PHY有效载荷B和可选字段。SHR是对于PHY有效载荷A及PHY有效载荷B的报头。另外,将PHY有效载荷A和PHY有效载荷B各有效载荷统称为PHY有效载荷。
此外,在模式3下,通过数据包PWM被调制的数据包如图318所示那样包含SHR、PHY有效载荷、SFT(synchronization footer,同步报尾)和可选字段。SHT是对于PHY有效载荷的报头,SFT是对于PHY有效载荷的报尾。
在模式1~模式3各模式下,在PHY有效载荷A、SHR、PHY有效载荷B及SFT中,作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现。第1亮度值是亮(Bright或High),第2亮度值是暗(Dark或Low)。
这里,数据包PWM的SHR包含2个或4个脉冲。这些脉冲是明亮度为亮(Bright)或暗(Dark)的脉冲。
图319是表示数据包PWM的模式1~模式3各模式的SHR下的脉冲宽度的样式的一例的图。
如图319所示,在数据包PWM的模式1下,SHR包含2个脉冲。该2个脉冲中的按发送顺序的第1个脉冲的脉冲宽度H1是100μ秒,第2个脉冲的脉冲宽度H2是90μ秒。在数据包PWM的模式2下,SHR包含4个脉冲。该4个脉冲中的按发送顺序的第1个脉冲的脉冲宽度H1是100μ秒,第2个脉冲的脉冲宽度H2是90μ秒,第3个脉冲的脉冲宽度H3是90μ秒,第4个脉冲的脉冲宽度H4是100μ秒。在数据包PWM的模式3下,SHR包含4个脉冲。该4个脉冲中的按发送顺序的第1个脉冲的脉冲宽度H1是50μ秒,第2个脉冲的脉冲宽度H2是40μ秒,第3个脉冲的脉冲宽度H3是40μ秒,第4个脉冲的脉冲宽度H4是50μ秒。
PHY有效载荷在模式1下包含6位的数据(即x0-x5)作为发送对象的信号,在模式2下包含12位的数据(即x0-x11)作为发送对象的信号。此外,PHY有效载荷在模式3下包含位数可变的数据(即x0-xn)作为发送对象的信号。n为1以上的整数,更具体而言是通过从3的倍数减去1而得到的整数。
这里,参数yk被定义为yk=yk=x3k+x3k+1×2+x3k+2×4。在模式1下,k是0或1,在模式2下,k是0、1、2或3。在模式3下,k是0~{(n+1)/3-1}的整数。
在模式1及模式2各模式下,PHY有效载荷A所包含的发送对象的信号根据脉冲宽度PAk=120+30×(7-yk)[μ秒]被调制为2个脉冲宽度PA1及PA2或4个脉冲宽度PA1~PA4。PHY有效载荷B所包含的发送对象的信号根据脉冲宽度PBk=120+30×yk[μ秒]被调制为2个脉冲宽度PB1及PB2或4个脉冲宽度PB1~PB4
此外,在模式3下,PHY有效载荷所包含的发送对象的信号根据脉冲宽度Pk=100+20×yk[μ秒]被调制为(n+1)/3个脉冲宽度P1、P2、……。
在模式1及模式2下,包含PHY有效载荷A和PHY有效载荷B的全部有效载荷中的一半是可选的。也即是,发送机可以发送PHY有效载荷A及PHY有效载荷B,也可以仅发送它们中的1个。进而,发送机也可以仅发送PHY有效载荷A的一部分和PHY有效载荷B的一部分。具体而言,在模式2下,发送机也可以发送PHY有效载荷A下的脉冲宽度为PA3的脉冲及脉冲宽度为PA4的脉冲、以及PHY有效载荷B下的脉冲宽度为PB1的脉冲及脉冲宽度为PB2的脉冲。
模式3的SFT包含脉冲宽度F1~F4分别为40μ秒、50μ秒、60μ秒及40μ秒的4个脉冲。此外,SFT是可选的。因此,发送机也可以发送下一个SHR来替代SFT。
发送机也可以发送任意种类的信号作为可选字段所包含的信号。但是,该信号不能包含SHR的样式。这样的可选字段用于直流电流的补偿或调光控制等。
(数据包PPM的PPDU格式)
图320是表示数据包PPM的模式1下的PPDU格式的一例的图。图321是表示数据包PPM的模式2下的PPDU格式的一例的图。图322是表示数据包PPM的模式3下的PPDU格式的一例的图。
通过数据包PPM被调制的数据包在模式1及模式2下,如图320及图321所示那样包含SHR、PHY有效载荷和可选字段。SHR是对于PHY有效载荷的报头。
此外,在模式3下,通过数据包PPM被调制的数据包如图322所示那样包含SHR、PHY有效载荷、SFT和可选字段。SFT是对于PHY有效载荷的报尾。
在模式1~模式3各模式下,在SHR、PHY有效载荷及SFT中,作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现。第1亮度值是亮(Bright或High),第2亮度值是暗(Dark或Low)。
数据包PPM中的较短且明亮的脉冲的时间长度(图320~图322中的L)短于10μ秒。由此,能够抑制可见光信号的平均度而使其变暗。
数据包PPM的SHR的时间长度包含3个间隔H1~H3。3个间隔H1~H3分别是连续的4个脉冲(具体而言是上述的明亮的脉冲)的间隔。
图323是表示数据包PPM的模式1~模式3各模式的SHR中的间隔的样式的一例的图。
如图323所示,在数据包PPM的模式1下,3个间隔H1~H3分别是160μ秒。在数据包PWM的模式2下,3个间隔H1~H3中的第1个间隔H1是160μ秒,第2个间隔H2是180μ秒,第3个间隔H3是160μ秒。在数据包PPM的模式3下,3个间隔H1~H3中的第1个间隔H1是80μ秒,第2个间隔H2是90μ秒,第3个间隔H3是80μ秒。
PHY有效载荷在模式1下包含6位的数据(即x0-x5)作为发送对象的信号,在模式2下包含12位的数据(即x0-x11)作为发送对象的信号。此外,PHY有效载荷在模式3下包含位数可变的数据(即x0-xn)作为发送对象的信号。n为5以上的整数,更具体而言是通过从3的倍数减去1而得到的整数。
这里,参数yk被定义为yk=yk=x3k+x3k+1×2+x3k+2×4。在模式1下,k是0或1,在模式2下,k是0、1、2或3。在模式3下,k是0~{(n+1)/3-1}的整数。
在模式1及模式2各模式下,PHY有效载荷所包含的发送对象的信号根据间隔Pk=180+30×yk[μ秒]被调制为2个间隔P1及P2或4个间隔P1~P4。
此外,在模式3下,PHY有效载荷所包含的发送对象的信号根据间隔Pk=100+20×yk[μ秒]被调制为(n+1)/3个间隔P1、P2、……。在模式3下,到SFT或下一个SHR为止连续的PHY有效载荷被发送。
此外,模式3的SFT包含3个间隔F1~F3,间隔F1~F3分别是90μ秒、80μ秒及90μ秒。此外,SFT是可选的。因此,发送机也可以发送下一个SHR来替代SFT。
发送机也可以发送任意种类的信号作为可选字段所包含的信号。但是,该信号不能包含SHR的样式。这样的可选字段用于直流电流的补偿或调光控制等。
(PHY帧格式)
以下,对数据包PWM及数据包PPM各自的模式1下的PHY帧进行说明。
如上所述,PHY有效载荷包含6位的数据(即x0-x5)。包含该数据的数据包的包地址(packet adress)A(a0,a1)由(x1,x4)表示。并且,包数据D(d0,d1,d2,d3)由(x0,x2,x3,x5)表示。作为上述的MAC帧的PHY帧由包含4个数据包的包数据D00,D01,D10,D11的16位构成。这里,包数据Dk是具有表示k的地址A的数据包的包数据D。
这里,如上所述,6位(x0-x5)中的2位(x1,x4)被用于包地址A(a0,a1)。由此,能够缩短6位的PHY有效载荷的时间长度,其结果,能够将可见光信号远距离地发送。也即是,6位(x0-x5)中的2位(x2,x5)均不被用于包地址A,因此能够设为0。此外,对于该2位(x2,x5),根据上述的yk=x3k+x3k+1×2+x3k+2×4,乘以较大的系数4,并基于该乘法结果来决定脉冲宽度或间隔。因此,在该2位(x2,x5)均为0的情况下,能够缩短PHY有效载荷的时间长度,其结果,能够延长可见光信号的发送距离。
此外,6位(x0-x5)中的2位(x0,x3)均不被用于包地址A,因此能够抑制接收错误。也即是,6位(x0-x5)中的2位(x0,x3)对上述的参数yk(x3k+x3k+1×2+x3k+2×4)产生的影响较小。因此,如果将该2位(x0,x3)用于包地址A,则对于相互不同的包地址A,也存在相同的参数yk的数值、即相同的脉冲宽度或间隔被决定的可能性。其结果,存在接收机搞错包地址A的情况。与搞错包数据的一部分相比,搞错包地址A的情况下,PHY帧的接收错误率更大。因此,通过将6位(x0-x5)中的2位(x1,x4)而非(x0,x3)分别用于包地址A,能够抑制接收错误。
但是,MPDU(medium-access-control protocol-data unit,介质访问控制协议数据单元)对于PHY帧而言具有非常大的开销,其大部分字段对于被较短重复的MSDU(medium-access-control service-data unit,介质访问控制服务数据单元)而言是不需要的。因此,PHY帧不具有MHR(medium-access-control header,介质访问控制报头),MFR(medium-access-control footer,介质访问控制报尾)是可选的。
接着,对数据包PWM及数据包PPM各自的模式2下的PHY帧进行说明。
图324是表示PHY有效载荷所包含的12位的数据的一例的图。
如上所述,PHY有效载荷包含12位的数据(即x0-x11)。该数据由包地址A(a0-a3的全部或一部分)、包数据Da(da0-da6的全部或一部分)、包数据Db(db0-db3的全部或一部分)和终止位S(s)构成。
也即是,如图324所示那样,3位(x0,x1,x2)表示(da0,s,db0),3位(x3,x4,x5)表示(da1,a0或da6,db1)。进而,3位(x6,x7,x8)表示(da2,a1或da5,db2),3位(x9,x10,x11)表示(da3,a2或da4,a3或db3)。
另外,图324所示的12位的数据与图215所示的数据相同。也即是,图215所示的符号w1、w2、w3及w4分别相当于3位(x0,x1,x2)、(x3,x4,x5)、(x6,x7,x8)及(x9,x10,x11)。
位x4、x7、x10及x11根据数据包分割规则被用于包地址及包数据中的某一方。
图325~图332是表示将PHY帧分割成数据包的处理的图。另外,图325~图332所示的处理与图216~图226所示的数据包的生成处理相同,但是通过分割而生成的数据包中不包含奇偶校验位这一点,与图216~图226所示的处理不同。此外,图325~图332所示的各框内的从上数第2行的数值表示位大小(位数),从上数第3行的数值表示位的值(0或1)。
图325是表示将PHY帧收纳在1个数据包中的处理的图。也即是,图325表示不分割PHY帧,而是将该PHY帧所包含的7位的数据收纳在1个数据包中的处理。
具体而言,由PHY帧的7位中的4位构成的包数据Da(0)和由PHY帧的7位中的3位构成的包数据Db(0)与1位的终止位和4位的包地址一起收纳在数据包0中。该终止位表示“1”,包地址表示“0000”。
图326是表示将PHY帧分割成2个数据包的处理的图。
由PHY帧的18位中的7位构成的包数据Da(0)和由PHY帧的18位中的4位构成的包数据Db(0)与1位的终止位一起收纳在数据包0中。该终止位表示“0”。此外,由PHY帧的18位中的4位构成的包数据Da(1)和由PHY帧的18位中的3位构成的包数据Db(1)与1位的终止位和4位的包地址一起收纳在数据包1中。该终止位表示“1”,包地址表示“1000”。
图327是表示将PHY帧分割成3个数据包的处理的图。
由PHY帧的27位中的6位构成的包数据Da(0)和由PHY帧的27位中的4位构成的包数据Db(0)与1位的终止位和1位的包地址一起收纳在数据包0中。该终止位表示“0”,包地址表示“0”。此外,由PHY帧的27位中的6位构成的包数据Da(1)和由PHY帧的27位中的4位构成的包数据Db(1)与1位的终止位和1位的包地址一起收纳在数据包1中。该终止位表示“0”、包地址表示“1”。进而,由PHY帧的27位中的4位构成的包数据Da(2)和由PHY帧的27位中的3位构成的包数据Db(2)与1位的终止位和4位的包地址一起收纳在数据包2中。该终止位表示“1”,包地址表示“0100”。
图328是表示将PHY帧分割成4个数据包的处理的图。
由PHY帧的34位中的5位构成的包数据Da(0)和由PHY帧的34位中的4位构成的包数据Db(0)与1位的终止位和2位的包地址一起收纳在数据包0中。该终止位表示“0”,包地址表示“00”。此外,由PHY帧的34位中的5位构成的包数据Da(1)和由PHY帧的34位中的4位构成的包数据Db(1)与1位的终止位和2位的包地址一起收纳在数据包1中。该终止位表示“0”,包地址表示“10”。此外,由PHY帧的34位中的5位构成的包数据Da(2)和由PHY帧的34位中的4位构成的包数据Db(2)与1位的终止位和2位的包地址一起收纳在数据包2中。该终止位表示“0”,包地址表示“01”。进而,由PHY帧的34位中的4位构成的包数据Da(3)和由PHY帧的34位中的3位构成的包数据Db(3)与1位的终止位和4位的包地址一起收纳在数据包3中。该终止位表示“1”,包地址表示“1100”。
图329是表示将PHY帧分割成5个数据包的处理的图。
由PHY帧的43位中的5位构成的包数据Da(0)和由PHY帧的43位中的4位构成的包数据Db(0)与1位的终止位和2位的包地址一起收纳在数据包0中。该终止位表示”0”,包地址表示“00”。同样,数据包1~数据包3中,均将由5位构成的包数据Da和由4位构成的包数据Db与1位的终止位和2位的包地址一起收纳。这些数据包的终止位表示“0”。进而,由PHY帧的34位中的4位构成的包数据Da(4)和由PHY帧的34位中的3位构成的包数据Db(4)与1位的终止位和4位的包地址一起收纳在数据包4中。该终止位表示“1”,包地址表示“0010”。
图330是表示将PHY帧分割成N(N=6、7或8)个数据包的处理的图。
由PHY帧的(8N-1)位中的4位构成的包数据Da(0)和由PHY帧的(8N-1)位中的4位构成的包数据Db(0)与1位的终止位和3位的包地址一起收纳在数据包0中。该终止位表示”0”,包地址表示“000”。同样,数据包1~数据包(N-2)中,均将由4位构成的包数据Da和由4位构成的包数据Db与1位的终止位和3位的包地址一起收纳。这些数据包的终止位表示“0”。进而,由PHY帧的(8N-1)位中的4位构成的包数据Da(N-1)和由PHY帧的(8N-1)位中的3位构成的包数据Db(N-1)与1位的终止位和4位的包地址一起收纳在数据包(N-1)中。该终止位表示“1”。
图331是表示将PHY帧分割成9个数据包的处理的图。
由PHY帧的71位中的4位构成的包数据Da(0)和由PHY帧的71位中的4位构成的包数据Db(0)与1位的终止位和3位的包地址一起收纳在数据包0中。该终止位表示”0”,包地址表示“000”。同样,数据包1~数据包7中,均将由4位构成的包数据Da和由4位构成的包数据Db与1位的终止位和3位的包地址一起收纳。这些数据包的终止位表示“0”。进而,由PHY帧的71位中的4位构成的包数据Da(8)和由PHY帧的71位中的3位构成的包数据Db(8)与1位的终止位和4位的包地址一起收纳在数据包8中。该终止位表示”1”,包地址表示“0001”。
图332是表示将PHY帧分割成N(N=10~16)个数据包的处理的图。
由PHY帧的7N位中的4位构成的包数据Da(0)和由PHY帧的7N位中的3位构成的包数据Db(0)与1位的终止位和4位的包地址一起收纳在数据包0中。该终止位表示”0”,包地址表示“0000”。同样,数据包1~数据包(N-2)中,均将由4位构成的包数据Da和由3位构成的包数据Db与1位的终止位和4位的包地址一起收纳。这些数据包的终止位表示“0”。进而,由PHY帧的7N位中的4位构成的包数据Da(N-1)和由PHY帧的7N位中的3位构成的包数据Db(N-1)与1位的终止位和4位的包地址一起收纳在数据包(N-1)中。该终止位表示“1”。
此外,发送机在发送超过112位的数据(PHY帧)或流数据等大量数据时,将数据包15的终止位设定为“0”而非为“1”。并且,发送机将上述的大量数据中的、本不能包含在数据包0~数据包15中的数据重新保存在从数据包0开始排列的各数据包中进行发送。换言之,发送机将不能包含在数据包0~数据包15中的数据再次保存在具有从“0000”开始的包地址的各数据包中进行发送。
模式2下的PHY帧与模式1下的PHY帧同样,不具有MHR,并且MFR是可选的。
(实施方式24的总结)
实施方式24的可见光信号的生成方法由图230A的流程图表示。
也即是,该可见光信号的生成方法是生成通过发送机所具备的光源的亮度变化来发送的可见光信号的方法,包含步骤SD1~SD3。
在步骤SD1中,生成作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现的数据即前导码。
在步骤SD2中,在第1及第2亮度值沿着时间轴上交替地出现的数据中,使第1及第2亮度值各自持续的时间长度根据与发送对象的信号对应的第1方式来决定,由此生成第1有效载荷。
最后,在步骤SD3中,通过结合前导码和第1有效载荷来生成可见光信号。
例如如图316~图318所示,第1及第2亮度值是亮(Bright(High))及暗(Dark(Low)),第1数据是PHY有效载荷(PHY有效载荷A或PHY有效载荷B)。通过发送这样生成的可见光信号,能够如图191~图193所示那样增加接收数据包数,并且能够提高可靠度。其结果,能够实现多种设备间的通信。
此外,该可见光信号的生成方法进一步也可以是,在第1及第2亮度值沿着时间轴上交替地出现的数据中,使第1及第2亮度值各自持续的时间长度根据与发送对象的信号对应的第2方式来决定,由此生成与根据第1有效载荷表现的明亮度具有互补关系的第2有效载荷。在该情况下,在可见光信号的生成中,按第1有效载荷、前导码、第2有效载荷的顺序,将前导码和第1及第2有效载荷结合,由此生成可见光信号。
例如如图316及图317所示,第1及第2亮度值是亮(Bright(High))及暗(Dark(Low)),第1及第2有效载荷是PHY有效载荷A及PHY有效载荷B。
由此,由于第1有效载荷的明亮度和第2有效载荷的明亮度具有互补关系,所以能够与发送对象的信号无关而将明亮度保持为一定。进而,由于第1有效载荷及第2有效载荷是根据不同的方式对相同的发送对象的信号进行调制而得到的数据,所以只要接收机仅接收到某一方的有效载荷,就能够将该有效载荷解调为发送对象的信号。此外,在第1有效载荷与第2有效载荷之间配置有作为前导码的报头(SHR)。因此,只要接收机接收到第1有效载荷的仅后侧的一部分、报头、以及第2有效载荷的仅开头侧的一部分,就能够将它们解调为发送对象的信号。因此,能够提高可见光信号的接收效率。
例如前导码是针对第1及第2有效载荷的报头,在该报头中,各亮度值按第1时间长度的第1亮度值、第2时间长度的第2亮度值的顺序出现。这里,该第1时间长度是100μ秒,第2时间长度是90μ秒。也即是,如图319所示,数据包PWM的模式1下的报头(SHR)所包含的各脉冲的时间长度(脉冲宽度)的样式被定义。
此外,前导码是针对第1及第2有效载荷的报头,在该报头中,各亮度值按第1时间长度的第1亮度值、第2时间长度的第2亮度值、第3时间长度的第1亮度值、第4时间长度的第2亮度值的顺序出现。这里,该第1时间长度是100μ秒,第2时间长度是90μ秒,第3时间长度是90μ秒,第4时间长度是100μ秒。也即是,如图319所示那样,数据包PWM的模式2下的报头(SHR)所包含的各脉冲的时间长度(脉冲宽度)的样式被定义。
这样,由于数据包PWM的模式1及模式2各自的报头的样式被定义,所以接收机能够适当地接收可见光信号中的第1及第2有效载荷。
此外,发送对象的信号由从第1位x0至第6位x5的6位构成,在第1及第2有效载荷各自中,各亮度值按第3时间长度的第1亮度值、第4时间长度的第2亮度值的顺序出现。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0或1),在第1有效载荷的生成中,将第1有效载荷中的第3及第4时间长度分别根据作为第1方式的时间长度Pk=120+30×(7-yk)[μ秒]来决定。此外,在第2有效载荷的生成中,将第2有效载荷中的第3及第4时间长度分别根据作为第2方式的时间长度Pk=120+30×yk[μ秒]来决定。也即是,如图316所示,在数据包PWM的模式1下,发送对象的信号作为第1有效载荷(PHY有效载荷A)和第2有效载荷(PHY有效载荷B)分别包含的各脉冲的时间长度(脉冲宽度)被调制。
此外,发送对象的信号由从第1位x0至第12位x11的12位构成,在第1及第2有效载荷各自中,各亮度值按第5时间长度的第1亮度值、第6时间长度的第2亮度值、第7时间长度的上述第1亮度值、第8时间长度的第2亮度值的顺序出现。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0、1、2或3),在第1有效载荷的生成中,将第1有效载荷中的上述第5~第8的时间长度分别根据作为第1方式的时间长度Pk=120+30×(7-yk)[μ秒]来决定。此外,在第2有效载荷的生成中,将第2有效载荷中的第5~第8的时间长度分别根据作为第2方式的时间长度Pk=120+30×yk[μ秒]来决定。也即是,如图317所示,在数据包PWM的模式2下,发送对象的信号作为第1有效载荷(PHY有效载荷A)和第2有效载荷(PHY有效载荷B)分别包含的各脉冲的时间长度(脉冲宽度)被调制。
这样,在数据包PWM的模式1及模式2下,发送对象的信号作为各脉冲的脉冲宽度被调制,因此接收机能够基于该脉冲宽度,将可见光信号适当地解调为发送对象的信号。
此外,前导码是针对第1有效载荷的报头,在该报头中,各亮度值按第1时间长度的第1亮度值、第2时间长度的第2亮度值、第3时间长度的第1亮度值、第4时间长度的第2亮度值的顺序出现。这里,该第1时间长度是50μ秒,第2时间长度是40μ秒,第3时间长度是40μ秒,第4时间长度是50μ秒。也即是,如图319所示,数据包PWM的模式3下的报头(SHR)所包含的各脉冲的时间长度(脉冲宽度)的样式被定义。
这样,由于数据包PWM的模式3的报头的样式被定义,所以接收机能够适当地接收可见光信号中的第1有效载荷。
此外,发送对象的信号由从第1位x0至第3n位x3n-1的3n位构成(n为2以上的整数),第1有效载荷的时间长度分别由第1或第2亮度值持续的第1~第n时间长度构成。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0~(n-1)的整数),在第1有效载荷的生成中,将第1有效载荷中的第1~第n的时间长度各自根据作为第1方式的时间长度Pk=100+20×yk[μ秒]来决定。也即是,如图318所示那样,在数据包PWM的模式3下,发送对象的信号作为第1有效载荷(PHY有效载荷)所包含的各脉冲的时间长度(脉冲宽度)被调制。
这样,在数据包PWM的模式3下,发送对象的信号作为各脉冲的脉冲宽度被调制,因此接收机能够基于该脉冲宽度将可见光信号适当地解调为发送对象的信号。
图333A是表示实施方式24的另一可见光信号的生成方法的流程图。该可见光信号的生成方法是生成通过发送机所具备的光源的亮度变化来发送的可见光信号的方法,包含步骤SE1~SE3。
在步骤SE1中,生成作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现的数据即前导码。
在步骤SE2中,在第1及第2亮度值沿着时间轴上交替地出现的数据中,将从第1亮度值出现时起至下一个第1亮度值出现为止的间隔根据与发送对象的信号对应的方式来决定,由此生成第1有效载荷。
在步骤SE3中,通过结合前导码和第1有效载荷来生成可见光信号。
图333B是表示实施方式24的另一信号生成装置的结构的框图。该信号生成装置E10是生成通过发送机具备的光源的亮度变化来发送的可见光信号的信号生成装置,具备前导码生成部E11、有效载荷生成部E12和结合部E13。此外,该信号生成装置E10执行图333A所示的流程图的处理。
也即是,前导码生成部E11生成作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现的数据即前导码。
有效载荷生成部E12通过在第1及第2亮度值沿着时间轴上交替地出现的数据中,将从第1亮度值出现时起至下一个第1亮度值出现为止的间隔根据与发送对象的信号对应的方式来决定,生成第1有效载荷。
在结合部E13中,通过结合前导码和第1有效载荷来生成可见光信号。
例如如图320~图322所示,第1及第2亮度值是亮(Bright(High))及暗(Dark(Low)),第1有效载荷是PHY有效载荷。通过发送这样生成的可见光信号,能够如图191~图193所示那样增加接收数据包数,并且能够提高可靠度。其结果,能够实现多种设备间的通信。
例如前导码及第1有效载荷各自中的第1亮度值的时间长度是10μ秒以下。
由此,能够在进行可见光通信的同时抑制光源的平均亮度。
此外,前导码是针对第1有效载荷的报头,该报头的时间长度包含3个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,该3个间隔均是160μ秒。也即是,如图323所示那样,数据包PPM的模式1下的报头(SHR)所包含的各脉冲间的间隔的样式被定义。另外,上述各脉冲是例如具有第1亮度值的脉冲。
此外,前导码是针对第1有效载荷的报头,该报头的时间长度包含3个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,该3个间隔中的第1个间隔是160μ秒,第2个间隔是180μ秒,第3个间隔是160μ秒。也即是,如图323所示那样,数据包PPM的模式2下的报头(SHR)所包含的各脉冲间的间隔的样式被定义。
此外,前导码是针对第1有效载荷的报头,该报头的时间长度包含3个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,3个间隔中的第1个间隔是80μ秒,第2个间隔是90μ秒,第3个间隔是80μ秒。也即是,如图323所示那样,数据包PPM的模式3下的报头(SHR)所包含的各脉冲间的间隔的样式被定义。
这样,由于数据包PPM的模式1、模式2及模式3各自报头的样式被定义,所以接收机能够适当地接收可见光信号中的第1有效载荷。
此外,发送对象的信号由从第1位x0至第6位x5的6位构成,第1有效载荷的时间长度包含2个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0或1),在第1有效载荷的生成中,将第1有效载荷中的2个间隔分别根据作为上述方式的间隔Pk=180+30×yk[μ秒]来决定。也即是,如图320所示那样,在数据包PPM的模式1下,发送对象的信号作为第1有效载荷(PHY有效载荷)所包含的各脉冲间的间隔被调制。
此外,发送对象的信号由从第1位x0至第12位x11的12位构成,第1有效载荷的时间长度包含4个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0、1、2或3),在第1有效载荷的生成中,将第1有效载荷中的4个间隔分别根据作为上述方式的间隔Pk=180+30×yk[μ秒]来决定。也即是,如图321所示那样,在数据包PPM的模式2下发送对象的信号作为第1有效载荷(PHY有效载荷)所包含的各脉冲间的间隔被调制。
此外,发送对象的信号由从第1位x0至第3n位x3n-1的3n位构成(n为2以上的整数),第1有效载荷的时间长度包含n个从第1亮度值出现时起至下一个第1亮度值出现为止的间隔。这里,在参数yk被表示为yk=x3k+x3k+1×2+x3k+2×4的情况下(k为0~(n-1)的整数),在第1有效载荷的生成中,将第1有效载荷中的n个上述间隔分别根据作为上述方式的间隔Pk=100+20×yk[μ秒]来决定。也即是,如图322所示那样,在数据包PPM的模式3下发送对象的信号作为第1有效载荷(PHY有效载荷)所包含的各脉冲间的间隔被调制。
这样,在数据包PPM的模式1、模式2及模式3下发送对象的信号作为各脉冲间的间隔被调制,因此接收机能够基于该间隔适当地将可见光信号解调为发送对象的信号。
此外,在可见光信号的生成方法中,进一步也可以是,生成针对第1有效载荷的报尾,在可见光信号的生成中,在第1有效载荷之后结合该报尾。也即是,如图318及图322所示那样,在数据包PWM及数据包PPM的模式3下,接着第1有效载荷(PHY有效载荷)发送报尾(SFT)。由此,能够根据报尾明确地确定第1有效载荷的结束,所以能够高效地进行可见光通信。
此外,在可见光信号的生成中,在报尾不被发送的情况下,也可以结合针对发送对象的信号的下一个信号的报头来替代该报尾。也即是,在数据包PWM及数据包PPM的模式3下,接着第1有效载荷(PHY有效载荷)发送针对其后的第1有效载荷的报头(SHR),来替代图318及图322所示的报尾(SFT)。由此,能够根据针对下一个第1有效载荷的报头明确地确定第1有效载荷的结束,并且由于不发送报尾,因此能够更高效地进行可见光通信。
实施方式24的信号生成装置的结构由图230B的框图表示。
也即是,实施方式24的信号生成装置D10是生成通过发送机所具备的光源的亮度变化来发送的可见光信号的信号生成装置,具备前导码生成部D11、数据生成部D12和结合部D13。
前导码生成部D11生成作为彼此不同的亮度值的第1及第2亮度值分别沿着时间轴上交替地出现的数据即前导码。
数据生成部D12通过在第1及第2亮度值沿着时间轴上交替地出现的数据中,将第1及第2亮度值各自持续的时间长度根据与发送对象的信号对应的第1方式来决定,生成第1有效载荷。
结合部D13通过结合前导码和第1有效载荷来生成可见光信号。
通过发送由该信号生成装置D10生成的可见光信号,能够如图191~图193所示那样增加接收数据包数,并且能够提高可靠度。其结果,能够实现多种设备间的通信。
另外,在上述各实施方式及各变形例中,各结构要素也可以由专用的硬件构成、或者通过执行适合于各结构要素的软件程序来实现。各结构要素也可以通过CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。例如程序使计算机执行由图230A及图333A的流程图表示的可见光信号的生成方法。
以上,基于上述各实施方式及各变形例对一个或多个技术方案涉及的可见光信号的生成方法进行了说明,但是本发明不限定于该实施方式。在不脱离本发明主旨的范围内,将本领域技术人员想到的各种变形实施于本实施方式而得到的技术方案、组合不同的实施方式及变形例中的结构要素而构建的技术方案也可以包含在本发明的范围内。
(实施方式25)
在本实施方式中,对可见光信号的解码方法及编码方法等进行说明。
图334是表示MPM中的MAC帧的格式的图。
MPM(Mirror Pulse Modulation,镜脉冲调制)中的MAC(medium access control)帧的格式由MHR(medium access control header,介质访问控制报头)和MSDU(mediumaccess control service-data unit,介质访问控制服务数据单元)构成。MHR字段包含顺序编号子字段。MSDU包含帧有效载荷,是可变长度。包含MHR和MSDU的MPDU(medium accesscontrol protocol-data unit,介质访问控制协议数据单元)的位长被设定为macMpmMpduLength。
另外,MPM是实施方式20及实施方式24中的调制方式,例如是如图188~图189B、图197~图230B、及图315~图332所示那样对发送对象的信息或信号进行调制的方式。
图335是表示生成MPM中的MAC帧的编码装置的处理动作的流程图。具体而言,图335是表示顺序编号子字段的位长的决定方法的图。另外,编码装置例如设置于发送可见光信号的上述的发送机或发送装置等。
顺序编号子字段包含帧顺序编号(也称为顺序编号)。顺序编号子字段的位长被设定为macMpmSnLength。在顺序编号子字段的位长被设定为可变长度的情况下,顺序编号子字段中的开头的位被用作最后帧标志。也即是,在该情况下,顺序编号子字段包含最后帧标志和表示顺序编号的位列。该最后帧标志在最后帧被设定为1,在其它帧被设定为0。也即是,该最后帧标志表示处理对象帧是否是最后帧。另外,该最后帧标志相当于上述的终止位。此外,顺序编号相当于上述的地址。
首先,编码装置判定SN是否被设定为可变长度(步骤S101a)。另外,SN是顺序编号子字段的位长。也即是,编码装置判定macMpmSnLength是否表示0xf。当macMpmSnLength表示0xf时,SN为可变长度,当macMpmSnLength表示0xf以外时,SN为固定长度。当判定为SN未被设定为可变长度、即SN被设定为固定长度时(步骤S101a:否),编码装置将SN决定为由macMpmSnLength表示的值(步骤S102a)。此时,编码装置不使用最后帧标志(即LFF)。
另一方面,当判定为SN被设定为可变长度时(步骤S101a:是),编码装置判定处理对象帧是否是最后帧(步骤S103a)。这里,当判定为处理对象帧是最后帧时(步骤S103a:是),编码装置将SN决定为5位(步骤S104a)。此时,编码装置决定表示1的最后帧标志作为顺序编号子字段中的开头的位。
此外,当判定为处理对象帧不是最后帧时(步骤S103a:否),编码装置判定最后帧的顺序编号的值是否是1-15中的某一个值(步骤S105a)。另外,顺序编号是从0开始递升地对各帧分配的整数。此外,在步骤S103a为否的情况下,帧数为2以上。因此,在该情况下,最后帧的顺序编号的值取除0以外的1-15中的某一个值。
在步骤S105a中判定为最后帧的顺序编号的值为1时,编码装置将SN决定为1位(步骤S106a)。此时,编码装置将顺序编号子字段中的开头的位即最后帧标志的值决定为0。
例如在最后帧的顺序编号的值为1的情况下,最后帧的顺序编号子字段被表示为包含最后帧标志(1)和顺序编号的值(1)的(1,1)。此时,编码装置将处理对象帧的顺序编号子字段的位长决定为1位。也即是,编码装置决定仅包含最后帧标志(0)的顺序编号子字段。
在步骤S105a中判定为最后帧的顺序编号的值为2时,编码装置将SN决定为2位(步骤S107a)。此时,编码装置也将最后帧标志的值决定为0。
例如在最后帧的顺序编号的值为2的情况下,最后帧的顺序编号子字段被表示为包含最后帧标志(1)和顺序编号的值(2)的(1,0,1)。另外,顺序编号由位列表示,在该位列中,左端的位是LSB(least significant bit,最低有效位),右端的位是MSB(mostsignificant bit,最高有效位)。因此,顺序编号的值(2)被表记为位列(0,1)。这样,在最后帧的顺序编号的值为2的情况下,编码装置将处理对象帧的顺序编号子字段的位长决定为2位。也即是,编码装置决定包含最后帧标志(0)和表示顺序编号的位(0)或(1)的顺序编号子字段。
在步骤S105a中判定为最后帧的顺序编号的值为3或4时,编码装置将SN决定为3位(步骤S108a)。此时,编码装置也将最后帧标志的值决定为0。
在步骤S105a中判定为最后帧的顺序编号的值为5-8中的某一个整数时,编码装置将SN决定为4位(步骤S109a)。此时,编码装置也将最后帧标志的值决定为0。
在步骤S105a中判定为最后帧的顺序编号的值为9-15中的某一个整数时,编码装置将SN决定为5位(步骤S110a)。此时,编码装置也将最后帧标志的值决定为0。
图336是表示对MPM中的MAC帧进行解码的解码装置的处理动作的流程图。具体而言,图336是表示顺序编号子字段的位长的决定方法的图。另外,解码装置例如设置于接收可见光信号的上述的接收机或接收装置等。
这里,解码装置判定SN是否被设定为可变长度(步骤S201a)。也即是,解码装置判定macMpmSnLength是否表示0xf。当判定为SN未被设定为可变长度、即SN被设定为固定长度时(步骤S201a:否),解码装置将SN决定为由macMpmSnLength表示的值(步骤S202a)。此时,解码装置不使用最后帧标志(即LFF)。
另一方面,当判定为SN被设定为可变长度时(步骤S201a:是),解码装置判定解码对象帧的最后帧标志的值是1还是0(步骤S203a)。也即是,解码装置判定解码对象帧是否是最后帧。这里,当判定为最后帧标志的值为1时(步骤S203a:1),解码装置将SN决定为5位(步骤S204a)。
此外,当判定为最后帧标志的值为0时(步骤S203a:0),解码装置判定由最后帧的顺序编号子字段中的第2位至第5位的位列表示的值是否是1-15中的某一个(步骤S205a)。最后帧是具有表示1的最后帧标志并且从与解码对象帧相同的源生成的帧。此外,各源根据拍摄图像中的位置来确定。另外,源例如如图325~图332所示那样被分割成多个帧(即数据包)。也即是,最后帧是通过1个源的分割而生成的多个帧中的最后的帧。此外,由顺序编号子字段中的第2位至第5位的位列表示的值是顺序编号的值。
在步骤S205a中判定为由上述位列表示的值为1时,解码装置将SN决定为1位(步骤S206a)。例如在最后帧的顺序编号子字段为(1,1)这2位的情况下,最后帧标志为1,最后帧的顺序编号即由上述位列表示的值为1。此时,解码装置将解码对象帧的顺序编号子字段的位长决定为1位。也即是,解码装置将解码对象帧的顺序编号子字段决定为(0)。
在步骤S205a中判定为由上述位列表示的值为2时,解码装置将SN决定为2位(步骤S207a)。例如在最后帧的顺序编号子字段为(1,0,1)这3位的情况下,最后帧标志为1,最后帧的顺序编号即由上述位列(0,1)表示的值为2。另外,在上述位列中,左端的位为LSB(least significant bit),右端的位为MSB(most significant bit)。
此时,解码装置将解码对象帧的顺序编号子字段的位长决定为2位。也即是,解码装置将解码对象帧的顺序编号子字段决定为(0,0)或(0,1)。
在步骤S205a中判定为由上述位列表示的值为3或4时,解码装置将SN决定为3位(步骤S208a)。
在步骤S205a中判定为由上述位列表示的值为5-8中的某一个整数时,解码装置将SN决定为4位(步骤S209a)。
在步骤S205a中判定为由上述位列表示的值为9-15中的某一个整数时,解码装置将SN决定为5位(步骤S210a)。
图337是表示MAC的PIB的属性的图。
MAC的PIB(physical-layer personal-area-network information base,物理层个人区域网络信息基础)的属性中有macMpmSnLength和macMpmMpduLength。macMpmSnLength是0x0-0xf的范围内的某一个整数值,表示顺序编号子字段的位长。具体而言,在macMpmSnLength为0x0-0xe的范围内的某一个整数值的情况下,将该整数值作为顺序编号子字段的固定位长来表示。此外,在macMpmSnLength为0xf的情况下,表示顺序编号子字段的位长是可变的。
macMpmMpduLength是0x00-0xff的范围内的某一个整数值,表示MPDU的位长。
图338是用于说明MPM的调光方法的图。
MPM具有调光功能。MPM的调光方法包括例如图338所示的(a)模拟调光方式、(b)PWM调光方式、(c)VPPM调光方式、以及(d)场插入调光方式。
在模拟调光方式中,例如如(a2)所示那样,通过使亮度变化来发送可见光信号。这里,在使该可见光信号变暗的情况下,例如如(a1)所示那样使可见光信号的整体亮度下降。相反,在使该可见光信号变亮的情况下,例如如(a3)所示那样使可见光信号的整体亮度上升。
在PWM调光方式中,例如如(b2)所示那样,通过使亮度变化来发送可见光信号。这里,在使该可见光信号变暗的情况下,例如如(b1)所示那样,在(b2)所示的输出较高亮度的光的期间,仅很短期间内使该亮度下降。相反,在使该可见光信号变亮的情况下,例如如(b3)所示那样,在(b2)所示的输出较低亮度的光的期间,仅很短期间内使该亮度上升。另外,上述的很短的期间必须不到原脉冲宽度的1/3且小于50μ秒。
在VPPM调光方式中,例如如(c2)所示那样通过使亮度变化来发送可见光信号。这里,在使该可见光信号变暗的情况下,例如如(c1)所示那样使亮度的下降沿的时刻提前。相反,在该可见光信号变亮的情况下,例如如(c3)所示那样使亮度的下降沿的时刻延迟。另外,VPPM调制方式能够仅针对MPM中的PHY的PPM模式使用。
在场插入调光方式中,例如如(d2)所示那样发送包含多个PPDU(physical-layerdata unit,物理层数据单元)的可见光信号。这里,在使该可见光信号变暗的情况下,例如如(d1)所示那样,在PPDU之间插入亮度比PPDU的亮度低的调光场。相反,在使该可见光信号变亮的情况下,例如如(d3)所示那样在PPDU之间插入亮度比PPDU的亮度高的调光场。
图339是表示PHY的PIB的属性的图。
PHY(physical layer,物理层)的PIB的属性中有phyMpmMode、phyMpmPlcpHeaderMode、phyMpmPlcpCenterMode、phyMpmSymbolSize、phyMpmOddSymbolBit、phyMpmEvenSymbolBit、phyMpmSymbolOffset、及phyMpmSymbolUnit。
phyMpmMode为0或1,表示MPM的PHY模式。具体而言,在phyMpmMode为0的情况下,表示PHY模式是PWM模式,在phyMpmMode为1的情况下,表示PHY模式是PWM模式(PPM模式)。
phyMpmPlcpHeaderMode是0x0-0xf的范围内的某一个整数值,表示PLCP(Physical Layer Conversion Protocol,物理层转换协议)报头子字段模式及PLCP报尾子字段模式。
phyMpmPlcpCenterMode是0x0-0xf的范围内的某一个整数值,表示PLCP中间子字段模式。
phyMpmSymbolSize是0x0-0xf的范围内的某一个整数值,表示有效载荷子字段的符号数。具体而言,在phyMpmSymbolSize为0x0的情况下,表示该符号数是可变的,作为N来参照。
phyMpmOddSymbolBit是0x0-0xf的范围内的某一个整数值,表示有效载荷子字段的各奇数符号所包含的位长,作为Modd来参照。
phyMpmEvenSymbolBit为0x0-0xf的范围内的某一个整数值,表示有效载荷子字段的各偶数符号所包含的位长,作为Meven来参照。
phyMpmSymbolOffset是0x00-0xff的范围内的某一个整数值,表示有效载荷子字段的符号的偏移值,作为W1来参照。
phyMpmSymbolUnit是0x00-0xff的范围内的某一个整数值,表示有效载荷子字段的符号的单位值,作为W2来参照。
图340是用于说明MPM的图。
MPM仅由PSDU(PHY service data unit,PHY服务数据单元)字段构成。此外,PSDU字段包含由MPM的PLCP变换的MPDU。
如图340所示,MPM的PLCP将MPDU变换成5个子字段。5个子字段是PLCP报头子字段、前有效载荷子字段、PLCP中间子字段、后有效载荷子字段、以及PLCP报尾子字段。MPM的PHY模式被设定为phyMpmMode。
如图340所示,MPM的PLCP具备位再配置部301a、复制部302a、前变换部303a和后变换部304a。
这里,(x0、x1、x2、...)是MPDU所包含的各位,LSN是顺序编号子字段的位长,N是各有效载荷子字段的符号数。位再配置部301a根据以下的(式1),将(x0、x1、x2、...)重新配置成(y0、y1、y2、...)。
[数1]
通过该重新配置,位于MPDU的开头的顺序编号子字段所包含的各位向后侧移动LSN。复制部302a复制该位重新配置后的MPDU。
前有效载荷子字段及后有效载荷子字段分别由N个符号构成。这里,Modd是第奇数个的符号所包含的位长,Meven是第偶数个的符号所包含的位长,W1是符号值偏移(上述的偏移值),W2是符号值单位(上述的单位值)。另外,N、Modd、Meven、W1及W2由图339所示的PHY的PIB设定。
前变换部303a及后变换部304a将被重新配置的MPDU的有效载荷位(y0、y1、y2、...)通过以下的(式2)~(式5)变换成zi
[数2]
[数3]
M-=min(Modd,Meven) (式3)
前变换部303a使用zi将前有效载荷子字段的第i个符号(即符号值)通过以下的(式6)算出。
[数4]
W1+W2×(2m-1-zi) (式6)
后变换部304a使用zi将后有效载荷子字段的第i个符号(即符号值)通过以下的(式7)算出。
[数5]
W1+W2×zi (式7)
另外,通过(式6)及(式7)算出的符号值相当于例如图188所示的时间长度DR1~DR4及DL1~DL4
图341是表示PLCP报头子字段的图。
如图341所示,PLCP报头子字段在PWM模式下由4个符号构成,在PPM模式下由3个符号构成。
图342是表示PLCP中间子字段的图。
如图342所示,PLCP中间的子字段在PWM模式下由4个符号构成,在PPM模式下由3个符号构成。
图343是表示PLCP报尾子字段的图。
如图343所示,PLCP报尾子字段在PWM模式下由4个符号构成,在PPM模式下由3个符号构成。
图344是表示MPM中的PHY的PWM模式的波形的图。
在PWM模式下,符号必须作为光强度的2个状态中的某一个状态、即作为明亮状态或暗状态被发送。在MPM中的PHY的PWM模式下,符号值与微秒单位的连续时间对应。例如如图344所示,第1符号值与第1明亮状态的连续时间对应,第2符号值与下一个暗状态的连续时间对应。另外,在图344所示的例子中,各子字段的最初状态是明亮状态,但也可以是暗状态。
图345是表示MPM中的PHY的PPM模式的波形的图。
如图345所示,在PPM模式下,符号值用微秒单位表示从明亮状态的开始起到下一个明亮状态的开始为止的时间。明亮状态的时间必须比符号值的90%短。
对于2个模式,发送机能够仅发送多个符号的一部分。但是,发送机必须发送PLCP中间子字段的全部符号和至少N个符号。该至少N个符号中的各符号是前有效载荷子字段和后有效载荷子字段中的某一个所包含的符号。
(实施方式25的总结)
图346是表示实施方式25的解码方法的一例的流程图。另外,该图346所示的流程图相当于图336所示的流程图。
该解码方法是对由多个帧构成的可见光信号进行解码的方法,如图346所示,包含步骤S310b、步骤S320b和步骤S330b。此外,这些多个帧中的各帧包含顺序编号和帧有效载荷。
在步骤S310b中,基于解码对象帧中用于决定保存顺序编号的子字段的位长的信息即macSnLength,进行判定该子字段的位长是否是可变长度的可变长度判定处理。
在步骤S320b中,基于该可变长度判定处理的结果,来决定该子字段的位长。然后,在步骤S330b中,基于所决定的子字段的位长,对解码对象帧进行解码。
这里,步骤S320b中的上述子字段的位长的决定包含步骤S321b~S324b。
也即是,在步骤S310b的可变长度判定处理中,在判定为子字段的位长不是可变长度的情况下,将该子字段的位长决定为由上述的macSnLength表示的值(步骤S321b)。
另一方面,在步骤S310b的可变长度判定处理中,在判定为子字段的位长是可变长度的情况下,进行判定解码对象帧是否是上述多个帧中的最后帧的最后判定处理(步骤S322b)。这里,在判定为是最后帧的情况下(步骤S322b:是),将该子字段的位长决定为预定值(步骤S323b)。另一方面,在判定为不是最后帧的情况下(步骤S322b:否),基于最后帧的顺序编号的值,决定该子字段的位长(步骤S324b)。
由此,如图346所示,保存顺序编号的子字段(具体而言是顺序编号子字段)的位长既可以是固定长度,也可以是可变长度,能够适当地决定该子字段的位长。
这里,在步骤S322b的最后判定处理中,也可以根据表示解码对象帧是否是最后帧的最后帧标志,来判定该解码对象帧是否是最后帧。具体而言,在步骤S322b的最后判定处理中,也可以是,在最后帧标志表示1的情况下,判定为该解码对象帧是最后帧,在最后帧标志表示0的情况下,判定为该解码对象帧不是最后帧。例如最后帧标志也可以包含在该子字段的第1位中。
由此,能够如图336的步骤S203a所示那样适当地判定解码对象帧是否是最后帧。
更具体而言,在步骤S320b中决定子字段的位长时,也可以是,在步骤S322b的最后判定处理中判定为解码对象帧是最后帧的情况下,将子字段的位长决定为上述的预定值即5位。也即是,如图336的步骤S204a所示那样,将子字段的位长SN决定为5位。
此外,在步骤S320b中决定子字段的位长时,也可以是,在步骤S322b的最后判定处理中判定为解码对象帧不是最后帧的情况下,当最后帧的顺序编号的值为1时,将子字段的位长决定为1位。此外,也可以是,当最后帧的顺序编号的值为2时,将该子字段的位长决定为2位。此外,也可以是,当最后帧的顺序编号的值为3或4时,将该子字段的位长决定为3位。此外,也可以是,当最后帧的顺序编号的值为5~8中的某一个整数时,将该子字段的位长决定为4位。此外,也可以是,当最后帧的顺序编号的值为9~15中的某一个整数时,将该子字段的位长决定为5位。也即是,如图336的步骤S206a~S210a所示那样,将子字段的位长SN决定为1~5位中的某一个。
图347是表示实施方式25的编码方法的一例的流程图。另外,该图347所示的流程图相当于图335所示的流程图。
该编码方法是将编码对象的信息编码成由多个帧构成的可见光信号的方法,如图347所示,包含步骤S410a、步骤S420a和步骤S430a。此外,这些多个帧中的各帧包含顺序编号和帧有效载荷。
在步骤S410a中,根据处理对象帧中用于决定保存顺序编号的子字段的位长的信息即macSnLength,进行判定该子字段的位长是否是可变长度的可变长度判定处理。
在步骤S420a中,根据该可变长度判定处理的结果,来决定该子字段的位长。然后,在步骤S430a中,根据所决定的子字段的位长,将编码对象的信息的一部分编码成处理对象帧。
这里,步骤S420a中的上述子字段的位长的决定中包含步骤S421a~S424a。
也即是,在步骤S410a的可变长度判定处理中,在判定为子字段的位长不是可变长度的情况下,将该子字段的位长决定为由上述的macSnLength表示的值(步骤S421a)。
另一方面,在步骤S410a的可变长度判定处理中,在判定为子字段的位长是可变长度的情况下,进行判定处理对象帧是否是上述多个帧中的最后帧的最后判定处理(步骤S422a)。这里,在判定为是最后帧的情况下(步骤S422a:是),将该子字段的位长决定为预定的值(步骤S423a)。另一方面,在判定为不是最后帧的情况下(步骤S422a:否),根据最后帧的顺序编号的值,来决定该子字段的位长(步骤S424a)。
由此,如图347所示那样,保存顺序编号的子字段(具体而言是顺序编号子字段)的位长既可以是固定长度,也可以是可变长度,能够适当地决定该子字段的位长。
另外,本实施方式中的解码装置具备处理器和存储器,在存储器中记录有使处理器执行图346所示的解码方法的程序。本实施方式中的编码装置具备处理器和存储器,在存储器中记录有使处理器执行图347所示的编码方法的程序。此外,本实施方式中的程序是使计算机执行图346所示的解码方法或图347所示的编码方法的程序。
(实施方式26)
在本实施方式中,对由可见光信号发送光ID的发送方法进行说明。另外,本实施方式的发送机及接收机也可以具有与上述各实施方式中的发送机(或发送装置)及接收机(或接收装置)相同的功能及结构。
图348是表示本实施方式的接收机显示AR图像的例子的图。
本实施方式的接收机200是具备图像传感器及显示器201的接收机,例如作为智能手机而构成。这样的接收机200通过由该图像传感器对被拍摄对象的拍摄来取得作为上述的通常摄影图像的拍摄显示图像Pa、以及作为上述的可见光通信图像或亮线图像的解码用图像。
具体而言,接收机200的图像传感器拍摄发送机100。发送机100具有例如如灯泡那样的形态,具备玻璃球141、以及在该玻璃球141的内部如火焰一样发光且摇动的发光部142。该发光部142因发送机100所具备的1个或多个发光元件(例如LED)的点亮而发光。该发送机100通过使该发光部142闪烁而发生亮度变化,并通过该亮度变化来发送光ID(光辨识信息)。该光ID是上述的可见光信号。
接收机200通过以通常曝光时间拍摄发送机100来取得映照出该发送机100的拍摄显示图像Pa,并且通过以比该通常曝光时间短的通信用曝光时间拍摄发送机100来取得解码用图像。另外,通常曝光时间是上述的通常摄影模式下的曝光时间,通信用曝光时间是上述的可见光通信模式下的曝光时间。
接收机200通过对该解码用图像进行解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送到服务器。然后,接收机200从服务器取得与该光ID对应的AR图像P42和识别信息。接收机200将拍摄显示图像Pa中的与该识别信息对应的区域识别为对象区域。然后,接收机200将AR图像P42叠加于该对象区域,并将叠加了AR图像P42的拍摄显示图像Pa显示在显示器201。
例如接收机200与图245所示的例子同样,根据识别信息,将位于映照出发送机100的区域的左上方的区域识别为对象区域。其结果,例如表示妖精的AR图像P42以在发送机100的周围飞舞的方式显示。
图349是表示叠加了AR图像P42的拍摄显示图像Pa的另一例的图。
如图349所示,接收机200将叠加了AR图像P42的拍摄显示图像Pa显示在显示器201。
这里,上述的识别信息表示拍摄显示图像Pa中的具有阈值以上的亮度的范围是基准区域。进而,该识别信息表示相对于该基准区域在预先设定的方向上有对象区域的情况、以及该对象区域与基准区域的中心(或重心)相隔预先设定的距离的情况。
因此,当由接收机200拍摄的发送机100的发光部142摇动时,如图349所示那样,叠加于拍摄显示图像Pa的对象区域的AR图像p42也以与该发光部142的动作同步的方式进行动作。也即是,当发光部142摇动时,映照于拍摄显示图像Pa的发光部142的像142a也摇动。该像142a是具有上述的阈值以上的亮度的范围,是基准区域。即,由于基准区域动作,所以接收机200以将该基准区域与对象区域之间的距离维持在预先设定的距离的方式使对象区域移动,并将AR图像P42叠加于该移动的对象区域。其结果,当发光部142摇动时,叠加于拍摄显示图像Pa的对象区域的AR图像P42也以与该发光部142的动作同步的方式进行动作。另外,基准区域的中心位置有时也根据发光部142的变形而移动。因此,在发光部142发生变形的情况下,AR图像42有时也以将与该移动的基准区域的中心位置之间的距离维持在预先设定的距离的方式动作。
此外,在上述的例子中,接收机200根据识别信息来识别对象区域,并将AR图像P42叠加于该对象区域,但是也可以使AR图像P42以该对象区域为中心振动。也即是,接收机200根据表示振幅相对于时间变化的函数,使该AR图像P42例如在上下方向上振动。该函数例如是正弦波等三角函数。
此外,接收机200也可以根据具有上述阈值以上的亮度的范围的大小,使AR图像P42的大小变化。也即是,接收机200使得:拍摄显示图像Pa中的明亮区域的面积越大,AR图像P42的尺寸越大,相反,该明亮区域的面积越小,AR图像P42的尺寸越小。
或者,也可以是,接收机200使得:具有上述阈值以上的亮度的范围内的平均亮度越高,AR图像P42的尺寸越大,相反,该平均亮度越低,AR图像P42的尺寸越小。另外,也可以使AR图像P42的透明度替代AR图像P42的尺寸,根据该平均亮度而变化。
此外,在图349所示的例子中,在发光部142的像142a中任一个像素都具有阈值以上的亮度,但是也可以是某一个像素小于阈值。也即是,相当于像142a的、具有阈值以上的亮度的范围也可以是环状。在该情况下,将该具有阈值以上的亮度的范围确定为基准区域,并将AR图像P42叠加于与该基准区域的中心(或重心)相隔预先设定的距离的对象区域。
图350是表示本实施方式的接收机200显示AR图像的另一例的图。
例如如图350所示,发送机100作为照明装置而构成,通过对例如由描绘在墙壁上的3个圆构成的图形143照射并进行亮度变化来发送光ID。图形143被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化,发送光ID。
接收机200通过拍摄由发送机100照射的图形143,与上述同样地取得拍摄显示图像Pa和解码用图像。接收机200通过对该解码用图像进行解码来取得光ID。也即是,接收机200从图形143接收光ID。接收机200将该光ID发送到服务器。然后,接收机200从服务器取得与该光ID对应的AR图像P43和识别信息。接收机200将拍摄显示图像Pa中的与该识别信息对应的区域识别为对象区域。例如接收机200将映照出图形143的区域识别为对象区域。然后,接收机200将AR图像P43叠加于该对象区域,并将叠加了AR图像P43的拍摄显示图像Pa显示在显示器201。例如AR图像P43是角色的脸部图像。
这里,图形143如上述那样由3个圆构成,但是该图形143中几何学的特征较少。因此,仅基于通过拍摄图形143而得到的拍摄图像,从服务器中所存储的大量图像中适当地选择并取得与该图形143对应的AR图像较难。但是,在本实施方式中,接收机200取得光ID,并从服务器取得与该光ID对应的AR图像P43。因此,即使服务器中存储了大量图像,也能够从该大量图像中适当地选择并取得与该光ID对应的AR图像P43作为与图形143对应的AR图像。
图351是表示本实施方式的接收机200的动作的流程图。
首先,本实施方式的接收机200取得多个AR图像候选(步骤S541)。例如,接收机200通过与可见光通信不同的无线通信(BTLE或Wi-Fi等)从服务器取得多个AR图像候选。接着,接收机200对被拍摄对象进行拍摄(步骤S542)。接收机200通过该拍摄,如上述那样取得拍摄显示图像Pa和解码用图像。但是,在该被拍摄对象是发送机100的照片的情况下,由于未从该被拍摄对象发送光ID,所以接收机200即使对解码用图像进行解码,也无法取得光ID。
因此,接收机200判定能否取得光ID、即是否从被拍摄对象接收到光ID(步骤S543)。
这里,当判定为没有接收到光ID时(步骤S543:否),接收机200判定自己设定的AR显示标志是否为1(步骤S544)。AR显示标志是表示是否即使未取得光ID也可以仅基于拍摄显示图像Pa来显示AR图像的标志。在AR显示标志为1的情况下,该AR显示标志表示仅基于拍摄显示图像Pa也可以显示AR图像,在AR显示标志为0的情况下,该AR显示标志表示仅基于拍摄显示图像Pa无法显示AR图像。
当判定为AR显示标志为1时(步骤S544:是),接收机200从通过步骤S541取得的多个AR图像候选中选择与拍摄显示图像Pa对应的候选作为AR图像(步骤S545)。也即是,接收机200提取拍摄显示图像Pa中包含的特征量,并选择与该提取出的特征量相关联的候选作为AR图像。
然后,接收机200将作为被选择的候选的AR图像叠加于拍摄显示图像Pa进行显示(步骤S546)。
另一方面,当判定为AR显示标志为0时(步骤S544:否),接收机200不显示AR图像。
此外,当在步骤S543中判定为接收到光ID时(步骤S543:是),接收机200从提供步骤S541取得的多个AR图像候选中选择与该光ID相关联的候选作为AR图像(步骤S547)。然后,接收机200将作为被选择的候选的AR图像叠加于拍摄显示图像Pa进行显示(步骤S546)。
另外,上述的例子中,AR显示标志被设定于接收机200,但是也可以设定于服务器。在该情况下,接收机200在步骤S544中向服务器查询AR显示标志为1还是为0。
由此,当即使接收机200进行拍摄也没有接收到光ID时,对于该接收机200是否显示AR图像,能够根据AR显示标志来控制。
图352是用于说明本实施方式的发送机100的动作的图。
例如发送机100作为投影仪而构成。这里,从投影仪照射而被屏幕反射的光的强度因该投影仪的光源的经年劣化、或者从该光源到屏幕的距离等各种原因而变化。在光的强度较小的情况下,从发送机100发送的光ID难以被接收机200接收到。
因此,本实施方式的发送机100为了抑制光的强度因该各种原因而产生的变化,要调整用于使光源发光的参数。该参数是为了使光源发光而输入该光源的电流的值和其发光时间(更具体而言,是每单位时间的发光时间)中的至少一方。例如若使电流的值越大,发光时间越长,则光源的光的强度就越大。
也即是,发送机100以光源经年劣化越严重就越增强该光源的光的方式调整参数。具体而言,发送机100具备计时器,以由该计时器计测的光源的使用时间越长则越增强该光源的光的方式调整参数。也即是,发送机100的使用时间越长,则使光源的电流的值越高,或者发光时间越长。或者,发送机100检测从光源照射的光的强度,以该被检测出的光的强度不会下降的方式调整参数。即,发送机100以被检测到的光的强度越小则越增强该光的方式调整参数。
此外,发送机100以从光源到屏幕的照射距离越长则越增强该光源的光的方式调整参数。具体而言,发送机100检测被照射并被屏幕反射的光的强度,以该被检测出的光的强度越小则越增强光源的光的方式调整参数。也即是,关于发送机100,被检测出的光的强度越小,则越提高该光源的电流的值,或者使发光时间越长。由此,以使被反射的光的强度与照射距离无关而成为一定的方式调整参数。或者,发送机100利用测距传感器检测从光源到屏幕的照射距离,以该被检测出的照射距离越长则越增强光源的光的方式调整参数。
此外,发送机100以屏幕的颜色越黑则越增强该光源的光的方式调整参数。具体而言,发送机100通过拍摄屏幕来检测该屏幕的颜色,以该被检测出的颜色越黑则越增强光源的光的方式调整参数。也即是,被检测出的颜色越黑,则发送机100越提高该光源的电流的值,或者使发光时间越长。由此,以使被反射的光的强度与屏幕的颜色无关而成为一定的方式调整参数。
此外,发送机100以外光越强则越增强该光源的光的方式调整参数。具体而言,发送机100检测接通光源来照射光时的屏幕的明亮度与关闭光源不照射光时的屏幕的明亮度之差。然后,发送机100以该明亮度的差越小则越增强光源的光的方式调整参数。也即是,明亮度的差越小,则发送机100越提高该光源的电流的值,或者使发光时间越长。由此,以与外光无关而使光ID的S/N比成为一定的方式调整参数。或者,例如发送机100在作为LED显示器而构成的情况下,也可以检测太阳光的强度,以该太阳光的强度越大则越增强光源的光的方式调整参数。
另外,如上所述的参数的调整也可以在用户进行操作时实施。例如发送机100具备校准按钮,当该校准按钮被用户按下时实施上述参数的调整。或者,发送机100也可以定期地实施上述参数的调整。
图353是用于说明本实施方式的发送机100的另一动作的图。
例如发送机100作为投影仪而构成,来自光源的光通过前部件照射到屏幕上。在投影仪是液晶投影仪的情况下,该前部件是液晶面板,在投影仪是DLP(注册商标)投影仪的情况下,该前部件是DMD(Digital Mirror Device,数字微镜器件)。也即是,前部件是按像素调整影像的亮度的部件。此外,光源朝向前部件照射光,将该光的强度在High和Low之间进行切换。此外,光源通过调整每单位时间的High的时间,来调整时间平均的明亮度。
这里,在前部件的透过率例如为100%的情况下光源变暗,以使得从投影仪投影到屏幕的影像不会过于明亮。也即是,光源缩短每单位时间的High的时间。
此时,光源在通过亮度变化来发送光ID的情况下,增大光ID的脉冲宽度。
另一方面,在前部件的透过率为例如20%的情况下光源变亮,以使得从投影仪投影到屏幕的影像不会过于暗淡。也即是,光源延长每单位时间的High的时间。
此时,光源在通过亮度变化来发送光ID的情况下,缩窄光ID的脉冲宽度。
这样,在光源较暗的情况下,光ID的脉冲宽度变大,相反,在光源较亮的情况下,光ID的脉冲宽度变窄,因此通过发送光ID,能够抑制来自光源的光的强度过弱或者过亮。
另外,在上述的例子中,发送机100是投影仪,但是也可以作为大型LED显示器而构成。如图173、图175及图180B所示那样,大型LED显示器具备像素开关和共用开关。通过像素开关的接通及断开来表现影像,通过共用开关的接通及断开来发送光ID。在该情况下,在功能上,像素开关相当于前部件,共用开关相当于光源。在基于像素开关的平均亮度较高的情况下,也可以缩短基于共用开关的光ID的脉冲宽度。
图354是用于说明本实施方式的发送机100的另一动作的图。具体而言,图354表示作为带调光功能的聚光灯而构成的发送机100的调光度与输入到该发送机100的光源的电流(具体而言是峰值电流的值)之间的关系。
发送机100接受对自己所具备的光源指定的调光度,使光源按该指定的调光度发光。另外,调光度是光源的平均亮度相对于最大平均亮度的比例。平均亮度不是瞬间的亮度,而是时间平均的亮度。此外,调光度的调整通过调整输入到光源的电流的值或者调整光源的亮度成为Low的时间来实现。光源的亮度成为Low的时间也可以是光源关闭的时间。
这里,发送机100在将发送对象信号作为光ID发送时,通过以预先设定的模式对该发送对象信号进行编码来生成编码信号。然后,发送机100根据该编码信号使自己具备的光源进行亮度变化,由此将该编码信号作为光ID(即可见光信号)发送。
例如在被指定的调光度为0%以上且x3(%)以下的情况下,发送机100通过以占空比为35%的PWM模式对发送对象信号进行编码来生成编码信号。x3(%)例如是50%。另外,在本实施方式中,将占空比为35%的PWM模式也称为第1模式,将上述的x3也称为第1值。
也即是,在被指定的调光度为0%以上且x3(%)以下的情况下,发送机100一边将可见光信号的占空比维持在35%,一边根据峰值电流的值调整光源的调光度。
此外,在被指定的调光度大于x3(%)且为100%以下的情况下,发送机100通过以占空比为65%的PWM模式对发送对象信号进行编码来生成编码信号。另外,在本实施方式中,也将占空比为65%的PWM模式称为第2模式。
也即是,在被指定的调光度大于x3(%)且为100%以下的情况下,发送机100一边将可见光信号的占空比维持在65%,一边根据峰值电流的值调整光源的调光度。
这样,本实施方式的发送机100接受对光源指定的调光度作为指定调光度。然后,在指定调光度为第1值以下的情况下,发送机100使光源按该指定调光度发光,并且通过亮度变化来发送以第1模式编码的信号。此外,在指定调光度的值大于第1值的情况下,发送机100使光源按该指定调光度发光,并且通过亮度变化来发送以第2模式编码的信号。具体而言,以第2模式编码的信号的占空比大于以第1模式编码的信号的占空比。
这里,由于第2模式的占空比大于第1模式的占空比,所以能够使第2模式下的峰值电流相对于调光度的变化率小于第1模式下的峰值电流相对于调光度的变化率。
此外,在被指定的调光度超过x3(%)时,模式从第1模式切换为第2模式。因此,此时能够使峰值电流瞬间下降。也即是,当被指定的调光度为x3(%)时,峰值电流为y3(mA),当被指定的调光度即使稍稍超过x3(%)时,也能够将峰值电流抑制为y2(mA)。另外,y3(mA)例如是143mA,y2(mA)例如是100mA。其结果,能够抑制因增大调光度而使峰值电流大于y3(mA),并且能够抑制光源因较大的电流流过而劣化。
此外,当被指定的调光度超过x4(%)时,即使模式是第2模式,峰值电流也大于y3(mA)。但是,在被指定的调光度超过x4(%)的频度较少的情况下,能够抑制光源的劣化。另外,在本实施方式中,也将上述的x4称为第2值。此外,在图354所示的例子中,x4(%)小于100%,但是也可以是100%。
也即是,在本实施方式的发送机100中,在指定调光度大于第1值且为第2值以下的情况下用于通过亮度变化来发送以第2模式编码的信号的光源的峰值电流的值,小于在指定调光度为第1值的情况下用于通过亮度变化来发送以第1模式编码的信号的光源的峰值电流的值。
由此,通过切换对信号进行编码的模式,使在指定调光度大于第1值且为第2值以下的情况下的光源的峰值电流的值小于在指定调光度为第1值的情况下的光源的峰值电流的值。因此,能够抑制指定调光度越大而越大的峰值电流流过光源。其结果,能够抑制光源的劣化。
进而,本实施方式的发送机100,在被指定的调光度为x1(%)以上且小于x2(%)的情况下,一边使光源按被指定的调光度发光,一边通过亮度变化来发送以第1模式编码的信号,并且相对于被指定的调光度的变化而将峰值电流的值维持为一定的值。x2(%)小于x3(%)。另外,在本实施方式中,也将上述的x2称为第3值。
也即是,在指定调光度小于x2(%)的情况下,随着指定调光度变小,发送机100延长使光源关闭的时间,由此使光源按变小的该指定调光度发光,并且将峰值电流的值维持为一定的值。具体而言,发送机100一边将编码信号的占空比维持在35%,一边延长发送多个编码信号中的各编码信号的周期。由此,使光源关闭的时间、即熄灭期间变长。其结果,能够一边将峰值电流的值维持一定,一边减小调光度。此外,即使在指定调光度变小的情况下也将峰值电流的值维持一定,因此能够使接收机200容易接收到作为通过亮度变化来发送的信号的可见光信号(即光ID)。
这里,发送机100决定光源关闭的时间,以使得通过亮度变化来发送编码信号的时间与光源关闭的时间相加而得到的1周期不超过10毫秒。例如,如果光源关闭的时间过长而该1周期超过10毫秒,则存在用于发送编码信号的光源的亮度变化被人眼识别为闪烁的可能性。因此,在本实施方式中,以使1周期不超过10毫秒的方式决定光源关闭的时间,因此能够抑制人识别到闪烁。
进而,在指定调光度小于x1(%)的情况下,发送机100也一边使光源按该指定调光度发光,一边通过亮度变化来发送以第1模式编码的信号。此时,通过随着指定调光度变小而使峰值电流的值减小,发送机100使光源按该变小的指定调光度发光。x1(%)小于x2(%)。另外,在本实施方式中,也将上述的x1称为第4值。
由此,即使指定调光度进一步变小,也能够使光源按该指定调光度适当地发光。
这里,在图354所示的例子中,第1模式下的最大的峰值电流的值(即y3(mA))小于第2模式下的最大的峰值电流的值(即y4(mA)),但也可以是相同的。即,被指定的调光度大于x3(%)到x3a(%)为止,发送机100以第1模式对发送对象信号进行编码。并且,在被指定的调光度为x3a(%)的情况下,发送机100以与第2模式下的最大的峰值电流的值(即y4(mA))相同的峰值电流的值使光源发光。在该情况下,x3a成为第1值。另外,第2模式下的最大的峰值电流的值是被指定的调光度为最大值即100%时的峰值电流的值。
也即是,在本实施方式中,指定调光度为第1值的情况下的光源的峰值电流的值,可以与指定调光度为最大值的情况下的光源的峰值电流的值相同。在该情况下,以y3(mA)以上的峰值电流使光源发光的调光度的范围较大,因此能够使接收机200在调光度较大的范围内容易接收到光ID。换言之,即使是第1模式也能够使较大的峰值电流流过光源,因此能够使接收机容易接收到通过该光源的亮度变化来发送的信号。另外,在该情况下,由于较大的峰值电流流过的期间较长,所以光源容易劣化。
图355是表示用于说明本实施方式中的光ID的接收容易度的比较例的图。
在本实施方式中,如图354所示,在调光度较小的情况下,使用第1模式,在调光度较大的情况下,使用第2模式。第1模式是即使调光度的增加变小但峰值电流的增加也变大的模式,第2模式是即使调光度的增加变大也抑制峰值电流的增加的模式。因此,由于能够通过第2模式抑制较大的峰值电流流过光源,所以能够抑制光源的劣化。进而,由于通过第1模式即使调光度较小也会有较大的峰值电流流过光源,所以能够使接收机200容易接收到光ID。
另一方面,在调光度较小的情况下也使用第2模式时,如图355所示那样,由于在调光度较小的情况下峰值电流的值也较小,所以接收机200难以接收到光ID。
因此,在本实施方式的发送机100中,能够同时实现光源劣化的抑制及光ID的接收容易度。
此外,在光源的峰值电流的值超过第5值的情况下,发送机100也可以使基于该光源的亮度变化的信号发送停止。第5值例如也可以是y3(mA)。
由此,能够进一步抑制光源的劣化。
此外,与图352所示的例子同样,发送机100也可以计测光源的使用时间。并且,在该使用时间为预定时间以上的情况下,发送机100也可以使用用于使光源按比指定调光度大的调光度发光的参数的值,通过亮度变化来发送信号。在该情况下,参数的值也可以是峰值电流的值或使光源关闭的时间。由此,能够抑制因光源的经时劣化而使接收机200难以接收到光ID。
或者,发送机100也可以计测光源的使用时间,在该使用时间为预定时间以上的情况下,光源的电流的脉冲宽度比使用时间小于预定时间的情况下大。由此,能够与上述同样地抑制因光源的劣化而难以接收到光ID。
另外,在上述实施方式中,发送机100根据被指定的调光度切换第1模式和第2模式,但是也可以根据用户的操作进行该模式的切换。也即是,在由用户操作开关时,发送机100将第1模式切换为第2模式,或者相反,将第2模式切换为第1模式。此外,在模式被切换时,发送机100也可以将该情况通知给用户。例如发送机100可以通过发出声音、使光源以人可以视认的周期闪烁、或者点亮通知用的LED,将模式的切换通知给用户。此外,不仅是模式的切换,发送机100也可以在峰值电流与调光度的关系发生变化的时刻也将该关系发生变化的情况通知给用户。该时刻例如是图354所示的调光度从x1(%)起变化的时刻或调光度从x2(%)起变化的时刻。
图356A是表示本实施方式的发送机100的动作的流程图。
首先,发送机100接受对光源指定的调光度作为指定调光度(步骤S551)。接着,发送机100通过光源的亮度变化来发送信号(步骤S552)。具体而言在指定调光度为第1值以下的情况下,发送机100一边使光源按该指定调光度发光,一边通过亮度变化来发送以第1模式编码的信号。此外,在指定调光度大于第1值的情况下,发送机100一边使光源按该指定调光度发光,一边通过亮度变化来发送以第2模式编码的信号。这里,在指定调光度大于第1值且为第2值以下的情况下用于通过亮度变化来发送以第2模式编码的信号的光源的峰值电流的值,小于在指定调光度为第1值的情况下用于通过亮度变化来发送以第1模式编码的信号的光源的峰值电流的值。
图356B是表示本实施方式的发送机100的结构的框图。
发送机100具备受理部551和发送部552。受理部551接受对光源指定的调光度作为指定调光度(步骤S551)。发送部552通过光源的亮度变化来发送信号。具体而言在指定调光度为第1值以下的情况下,发送部552一边使光源按该指定调光度发光,一边通过亮度变化来发送以第1模式编码的信号。此外,在指定调光度大于第1值的情况下,发送部552一边使光源按该指定调光度发光,一边通过亮度变化来发送以第2模式编码的信号。这里,在指定调光度大于第1值且为第2值以下的情况下用于通过亮度变化来发送以第2模式编码的信号的光源的峰值电流的值,小于在指定调光度为第1值的情况下用于通过亮度变化来发送以第1模式编码的信号的光源的峰值电流的值。
由此,如图354所示,通过切换对信号进行编码的模式,在指定调光度大于第1值且为第2值以下的情况下的光源的峰值电流的值,变得小于在指定调光度为第1值的情况下的光源的峰值电流的值。因此,能够抑制指定调光度越大而越大的峰值电流流过光源。其结果,能够抑制光源的劣化。
图357是表示本实施方式的接收机200显示AR图像的另一例的图。
接收机200通过用该图像传感器对被拍摄对象进行拍摄,来取得作为上述的通常摄影图像的拍摄显示图像Pk、以及作为上述的可见光通信图像或亮线图像的解码用图像。
具体而言,接收机200的图像传感器对作为标识板而构成的发送机100和位于发送机100旁边的人物21进行拍摄。发送机100是上述各实施方式的发送机,具备1个或多个发光元件(例如LED)、以及如磨砂玻璃那样具有透光性的透光板144。1个或多个发光元件在发送机100的内部发光,来自1个或多个发光元件的光透过透光板144照射到外部。其结果,发送机100的透光板144成为明亮地发光的状态。这样的发送机100通过使该1个或多个发光元件闪烁来进行亮度变化,并通过该亮度变化发送光ID(光辨识信息)。该光ID是上述的可见光信号。
这里,透光板144上记载有“这里请罩盖智能手机”这样的消息。因此,接收机200的用户令人物21站在发送机100的旁边,并指示该人物21将胳膊搭在发送机100的上方。然后,用户将接收机200的摄像头(即图像传感器)朝向人物21及发送机100进行拍摄。接收机200以通常曝光时间对发送机100及人物21进行拍摄,由此取得映照出它们的拍摄显示图像Pk。进而,接收机200以比该通常曝光时间短的通信用曝光时间对发送机100及人物21进行拍摄,由此取得解码用图像。
接收机200通过对该解码用图像进行解码来取得光ID。也即是,接收机200从发送机100接收光ID。接收机200将该光ID发送到服务器。然后,接收机200从服务器取得与该光ID对应的AR图像P44和识别信息。接收机200将拍摄显示图像Pk中的与该识别信息对应的区域识别为对象区域。例如接收机200将映照出作为发送机100的标识板的区域识别为对象区域。
然后,接收机200以使该对象区域被AR图像P44遮盖的方式使该AR图像P44叠加于拍摄显示图像Pk,并将该拍摄显示图像Pk显示在显示器201。例如接收机200取得表示足球运动员的AR图像P44。在该情况下,由于以遮盖拍摄显示图像Pk的对象区域的方式叠加该AR图像P44,所以能够以足球运动员现实地位于人物21的旁边的方式显示拍摄显示图像Pk。其结果,即使足球运动员不位于旁边,人物21也能够与该足球运动员一起拍到照片中。更具体而言,人物21能够以其胳膊搭在足球运动员的肩上的状态与该足球运动员一起拍到照片中。
(实施方式27)
在本实施方式中,对通过可见光信号来发送光ID的发送方法进行说明。另外,本实施方式的发送机及接收机也可以具有与上述各实施方式的发送机(或发送装置)及接收机(或接收装置)相同的功能及结构。
图358是用于说明本实施方式的发送机100的动作的图。具体而言图358表示作为带调光功能的聚光灯而构成的发送机100的调光度与输入到该发送机100的光源的电流(具体而言是峰值电流的值)的关系。
本实施方式的发送机100,在被指定的调光度为0%以上且x14(%)以下的情况下,通过以占空比为35%的PWM模式对发送对象信号进行编码来生成编码信号。也即是,在被指定的调光度从0%变化到x14(%)的情况下,发送机100一边将可见光信号的占空比维持在35%,一边通过增加峰值电流的值使光源按该被指定的调光度发光。另外,占空比为35%的PWM模式与实施方式26同样也称为第1模式,将上述的x14也称为第1值。例如x14(%)是50~60%的范围内的值。
此外,在被指定的调光度为x13(%)以上且100%以下的情况下,发送机100通过以占空比为65%的PWM模式对发送对象信号进行编码来生成编码信号。也即是,在被指定的调光度从100%变化到x13(%)的情况下,发送机100一边将可见光信号的占空比维持在65%,一边通过抑制峰值电流的值使光源按该被指定的调光度发光。另外,占空比为65%的PWM模式与实施方式26同样也称为第2模式,将上述的x13也称为第2值。这里,x13(%)是小于x14(%)的值,例如是40~50%的范围内的值。
这样,在本实施方式中,在被指定的调光度增加的情况下,PWM模式在调光度x14(%)处从占空比为35%的PWM模式被切换为占空比为65%的PWM模式。另一方面,在被指定的调光度减少的情况下,PWM模式在比调光度x14(%)小的调光度x13(%)处从占空比为65%的PWM模式被切换为占空比为35%的PWM模式。也即是,在本实施方式中,在被指定的调光度增加的情况和被指定的调光度减少的情况下,PWM模式被切换的调光度是不同的。以下,将PWM模式被切换的调光度称为切换点。
因此,在本实施方式中,能够抑制PWM模式的频繁切换。在实施方式26的图354所示的例子中,PWM模式的切换点是50%,在被指定的调光度增加的情况和被指定的调光度减少的情况下是相同的。其结果,在图354所示的例子中,当被指定的调光度的增减以50%左右反复进行时,PWM模式在占空比为35%的PWM模式和占空比为65%的PWM模式之间频繁地切换。但是,在本实施方式中,由于在被指定的调光度增加的情况和被指定的调光度减少的情况下PWM模式的切换点是不同的,所以能够抑制这样的PWM模式的频繁切换。
此外,在本实施方式中,与实施方式26的图354所示的例子同样,在被指定的调光度较小的情况下使用占空比较小的PWM模式,相反,在被指定的调光度较大的情况下使用占空比较大的PWM模式。
因此,由于在被指定的调光度较大的情况下使用占空比较大的PWM模式,所以能够减小峰值电流相对于调光度的变化率,能够通过较小的峰值电流使光源按较大的调光度发光。例如在如占空比为35%那样的占空比较小的PWM模式下,如果不将峰值电流设为250mA,则无法使光源按100%的调光度发光。但是,在本实施方式中,由于相对于较大的调光度使用如占空比为65%那样的占空比较大的PWM模式,所以例如仅通过将峰值电流设为更小的154mA,就能够使光源按100%的调光度发光。也即是,能够抑制过电流流过光源而缩短该光源的寿命。
此外,在被指定的调光度较小的情况下,由于使用占空比较小的PWM模式,所以能够增大峰值电流相对于调光度的变化率。其结果,能够一边使光源按较小的调光度发光,一边通过较大的峰值电流发送可见光信号。光源是输入的电流越大则越明亮地发光。因此,在通过较大的峰值电流发送可见光信号的情况下,能够使接收机200容易接收到可见光信号。换言之,能够将能发送接收机200可接收到的可见光信号的调光度的范围扩展到更小的调光度。例如如图385所示,如果峰值电流为Ia(mA)以上,则接收机200能够接收到通过该峰值电流发送的可见光信号。在该情况下,在如占空比为65%那样的占空比较大的PWM模式下,能够发送可接收到的可见光信号的调光度的范围是x12(%)以上。但是,在如占空比为35%那样的占空比较小的PWM模式下,能够使能发送可接收到的可见光信号的调光度的范围为小于x12(%)且为x11(%)以上。
这样,通过切换PWM模式,能够延长光源的寿命,并且以较大的调光度的范围发送可见光信号。
图359A是表示本实施方式的发送方法的流程图。
本实施方式的发送方法是通过光源的亮度变化来发送信号的发送方法,包括受理步骤S561和发送步骤S562。在受理步骤S561中,发送机100接受对光源指定的调光度作为指定调光度。在发送步骤S562中,发送机100一边使光源按该指定调光度发光,一边通过亮度变化来发送以第1模式或第2模式编码的信号。这里,以第2模式编码的信号的占空比大于以第1模式编码的上述信号的占空比。此外,在发送步骤S562中,在指定调光度从较小的值变更为较大的值的情况下,当指定调光度为第1值时,发送机100将用于信号编码的模式从第1模式切换为第2模式。进而,在指定调光度从较大的值变更为较小的值的情况下,当指定调光度为第2值时,发送机100将用于信号编码的模式从第2模式切换为第1模式。这里,第2值小于第1值。
例如第1模式及第2模式分别是图358所示的占空比为35%的PWM模式及占空比为65%的PWM模式。此外,第1值及第2值分别是图358所示的x14(%)及x15(%)。
由此,被进行第1模式和第2模式的切换的指定调光度(即切换点)在指定调光度增加的情况和减少的情况下是不同的。因此,能够抑制这些模式的频繁切换。即,能够抑制所谓的振动的发生。其结果,能够使发送信号的发送机100的动作稳定。此外,以第2模式编码的信号的占空比大于以第1模式编码的信号的占空比。因此,与图354所示的发送方法同样,能够抑制指定调光度越大而越大的峰值电流流过光源。其结果,能够抑制光源的劣化。此外,由于能够抑制光源的劣化,所以能够长期地进行多种设备间的通信。此外,在指定调光度较小的情况下,使用占空比较小的第1模式。因此,能够增大上述的峰值电流,能够将接收机200容易接收到的信号作为可见光信号发送。
此外,在发送步骤S562中,当进行从第1模式到第2模式的切换时,发送机100将用于通过亮度变化来发送编码后的信号的光源的峰值电流从第1电流值变更为比该第1电流值小的第2电流值。进而,在进行从第2模式到第1模式的切换时,发送机100将峰值电流从第3电流值变更为比第3电流值大的第4电流值。这里,第1电流值大于第4电流值,第2电流值大于第3电流值。
例如第1电流值、第2电流值、第3电流值及第4电流值分别是图358所示的电流值Ie、电流值Ic、电流值Ib及电流值Id。
由此,能够适当地切换第1模式和第2模式。
图359B是表示本实施方式的发送机100的结构的框图。
本实施方式的发送机100是通过光源的亮度变化来发送信号的发送机,具备受理部561和发送部562。受理部561接受对光源指定的调光度作为指定调光度。发送部562一边使光源按该指定调光度发光,一边通过亮度变化来发送以第1模式或第2模式编码的信号。这里,以第2模式编码的信号的占空比大于以第1模式编码的上述信号的占空比。此外,在指定调光度从较小的值变更为较大的值的情况下,当指定调光度为第1值时,发送部562将用于信号编码的模式从第1模式切换为第2模式。进而,在指定调光度从较大的值变更为较小的值的情况下,当指定调光度为第2值时,发送部562将用于信号编码的模式从第2模式切换为第1模式。这里,第2值小于第1值。
通过这样的发送机100来实现图359A所示的流程图的发送方法。
图360是表示本实施方式中的可见光信号的详细结构的一例的图。
这样的可见光信号与图188、图189A的(b)、图197、图212、图316及图317同样是PWM模式的信号。
可见光信号的数据包由L数据部、前导码和R数据部构成。另外,L数据部及R数据部均相当于有效载荷。
前导码相当于图188、图189A的(b)、图197及图212的前导码,并且相当于图316及图317的SHR。具体而言,前导码沿着时间轴交替地示出High和Low的亮度值。也即是,前导码按时间长度C0示出High的亮度值,按下一个时间长度C1示出Low的亮度值,按下一个时间长度C2示出High的亮度值,按下一个时间长度C3示出Low的亮度值。另外,时间长度C0及C3例如是100μs。此外,时间长度C1及C2例如是比时间长度C1及C3短10μs的90μs。
L数据部相当于图188、图189A的(b)、图197及图212的数据L,并且相当于图316及图317的PHY有效载荷A。具体而言L数据部沿着时间轴交替地示出High和Low的亮度值,紧挨着前导码配置在其前面。也即是,L数据部按时间长度D’0示出High的亮度值,按下一个时间长度D’1示出Low的亮度值,按下一个时间长度D’2示出High的亮度值,按下一个时间长度D’3示出Low的亮度值。另外,时间长度D’0~D’3根据与发送对象的信号对应的数式来决定。该数式是D’0=W0+W1×(3-y0)、D’1=W0+W1×(7-y1)、D’2=W0+W1×(3-y2)、以及D’3=W0+W1×(7-y3)。这里,常数W0例如是110μs,常数W1例如是30μs。变量y0及y2是以2位表示的0~3中的某一个整数,变量y1及y3是以3位表示的0~7中的某一个整数。此外,变量y0~y3是发送对象的信号。另外,在图360~图363中,使用“*”作为意指乘法运算的符号。
R数据部相当于图188、图189A的(b)、图197及图212的数据R,并且相当于图316及图317的PHY有效载荷B。具体而言,R数据部沿着时间轴交替地示出High和Low的亮度值,紧挨着前导码配置在其后。也即是,R数据部按时间长度D0示出High的亮度值,按下一个时间长度D1示出Low的亮度值,按下一个时间长度D2示出High的亮度值,按下一个时间长度D3示出Low的亮度值。另外,时间长度D0~D3根据与发送对象的信号对应的数式来决定。该数式是D0=W0+W1×y0、D1=W0+W1×y1、D2=W0+W1×y2、以及D3=W0+W1×y3
这里,L数据部和R数据部针对明亮度具有互补关系。也即是,如果L数据部的明亮度较明亮,则R数据部的明亮度较暗,相反,如果L数据部的明亮度较暗,则R数据部的明亮度较明亮。也即是,L数据部的时间长度与R数据部的时间长度之和与发送对象的信号无关而为一定。换言之,能够与发送对象的信号无关地使从光源发送的可见光信号的时间平均的明亮度为一定。
此外,通过变更D’0=W0+W1×(3-y0)、D’1=W0+W1×(7-y1)、D’2=W0+W1×(3-y2)、以及D’3=W0+W1×(7-y3)中的、3与7的比率,能够变更PWM模式的占空比。另外,3与7的比率相当于变量y0及y2的最大值与变量y1及y3的最大值的比率。例如在该比率为3:7的情况下,选择占空比较小的PWM模式,相反,在该比率为7:3的情况下,选择占空比较大的PWM模式。因此,通过调整该比率,能够将PWM模式在图354及图358所示的占空比为35%的PWM模式和占空比为65%的PWM模式之间进行切换。此外,为了向接收机200通知被切换到哪个PWM模式,也可以利用前导码。例如发送机100通过使数据包包含样式(pattern)与切换后的PWM模式相关联的前导码,向接收机200通知该切换后的PWM模式。另外,前导码的样式通过时间长度C0、C1、C2及C3来变更。
但是,在图360所示的可见光信号中,由于数据包中包含2个数据部,所以该数据包的发送比较花费时间。例如在发送机100是DLP投影仪的情况下,发送机100将红色、绿色及蓝色中的各色的影像通过时间分割进行投影。这里,发送机100优选在对红色的影像进行投影时发送可见光信号。这是由于,此时发送的可见光信号具有红色的波长,因此容易被接收机200接收到。红色的影像持续被投影的期间例如是1.5ms。另外,以下将该期间称为红色投影期间。在这样短的红色投影期间内,发送由上述的L数据部、前导码及R数据部构成的数据包是比较困难的。
因此,想到仅具有2个数据部中的R数据部的数据包。
图361是表示本实施方式中的可见光信号的详细结构的另一例的图。
图361所示的可见光信号的数据包与图360所示的例子不同的是不包含L数据部。图361所示的可见光信号的数据包包含无效数据和平均亮度调整部来替换L数据部。
无效数据沿着时间轴交替地示出High和Low的亮度值。也即是,无效数据按时间长度A0示出High的亮度值,按下一个时间长度A1示出Low的亮度值。时间长度A0例如是100μs,时间长度A1例如由A1=W0-W1表示。这样的无效数据表示数据包中不包含L数据部。
平均亮度调整部沿着时间轴交替示出High和Low的亮度值。也即是,无效数据按时间长度B0示出High的亮度值,按下一个时间长度B1示出Low的亮度值。时间长度B0例如由B0=100+W1×((3-y0)+(3-y2))表示,时间长度B1例如由B1=W1×((7-y1)+(7-y3))表示。
通过这样的平均亮度调整部,能够使数据包的平均亮度与发送对象的信号y0~y3无关而设为一定。也即是,在数据包中能够使亮度值为High的时间长度的总和(即合计导通时间)为A0+C0+C2+D0+D2+B0=790。进而,在数据包中能够使亮度值为Low的时间长度的总和(即合计关闭时间)为A1+C1+C3+D1+D3+B1=910。
但是,即使是这样的可见光信号的结构,也无法缩短作为数据包的全部时间长度E0中的一部分时间长度的有效时间长度E1。该有效时间长度E1是从数据包中最初出现High的亮度值开始到最后出现的High的亮度结束为止的时间,是接收机200为了对可见光信号的数据包进行解调或解码所需要的时间。具体而言,有效时间长度E1为E1=A0+A1+C0+C1+C2+C3+D0+D1+D2+D3+B0。另外,全部时间长度E0为E0=E1+B1
也即是,由于有效时间长度E1即使是图361所示的结构的可见光信号时最大也为1700μs,所以发送机100在上述的红色投影期间持续该有效时间长度E1来发送1个数据包是困难的。
因此,为了缩短有效时间长度E1并且使数据包的平均亮度与发送对象的信号无关而为一定,想到不仅要调整High和Low的各亮度值的时间长度,还要调整High的亮度值。
图362是表示本实施方式中的可见光信号的详细结构的另一例的图。
在图362所示的可见光信号的数据包中,与图361所示的例子不同,为了缩短有效时间长度E1,平均亮度调整部的High的亮度值的时间长度B0与发送对象的信号无关而被固定为最短的100μs。取而代之的是,在图362所示的可见光信号的数据包中,根据发送对象的信号所包含的变量y0及y2、即根据时间长度D0及D2,来调整High的亮度值。例如在时间长度D0及D2较短的情况下,发送机100如图362的(a)所示那样,将High的亮度值调整为较大的值。此外,在时间长度D0及D2较长的情况下,发送机100如图362的(b)所示那样,将High的亮度值调整为较小的值。具体而言在时间长度D0及D2均为最短的W0(例如110μs)的情况下,High的亮度值是100%的明亮度。此外,在时间长度D0及D2均为最大的“W0+3W1”(例如200μs)的情况下,High的亮度值是77.2%的明亮度。
在这样的可见光信号的数据包中,例如能够使亮度值为High的时间长度的总和(即合计导通时间)为A0+C0+C2+D0+D2+B0=610~790。进而,能够使亮度值为Low的时间长度的总和(即合计关闭时间)为A1+C1+C3+D1+D3+B1=910。
但是,在图362所示的可见光信号中,能够使数据包的全部时间长度E0及有效时间长度E1的各自最短的时间长度比图361所示的例子短,但无法缩短最大的时间长度。
因此,为了缩短有效时间长度E1并且使数据包的平均亮度与发送对象的信号无关而为一定,想到根据发送对象的信号将作为数据包所包含的数据部的L数据部和R数据部分开使用。
图363是表示本实施方式中的可见光信号的详细结构的另一例的图。
在图363所示的可见光信号中,与图360~图362所示的例子不同,为了缩短有效时间长度,根据作为发送对象的信号的变量y0~y3的总和,将包含L数据部的数据包和包含R数据部的数据包分开使用。
也即是,在变量y0~y3的总和为7以上的情况下,发送机100如图363的(a)所示那样,生成仅包含2个数据部中的L数据部的数据包。以下,将该数据包称为L数据包。此外,在变量y0~y3的总和为6以下的情况下,发送机100如图363的(b)所示那样,生成仅包含2个数据部中的R数据部的数据包。以下,将该数据包称为R数据包。
如图363的(a)所示,L数据包包含平均亮度调整部、L数据部、前导码和无效数据。
L数据包的平均亮度调整部不示出High的亮度值,而示出时间长度为B’0的Low的亮度值。时间长度B’0例如由B’0=100+W1×(y0+y1+y2+y3-7)表示。
L数据包的无效数据沿着时间轴交替地示出High和Low的亮度值。也即是,无效数据按时间长度A’0示出High的亮度值,按下一个时间长度A’1示出Low的亮度值。时间长度A’0由A’0=W0-W1表示,例如是80μs,时间长度A’1例如是150μs。这样的无效数据表示在具有该无效数据的数据包中不包含R数据部。
在这样的L数据包中,全部时间长度E’0与发送对象的信号无关,是E’0=5W0+12W1+4b+230=1540μs。此外,有效时间长度E’1是与发送对象的信号对应的时间长度,处于900~1290μs的范围内。此外,相对于全部时间长度E’0为一定的1540μs,亮度值为High的时间长度的总和(即合计导通时间)在490~670μs的范围内根据发送对象的信号而变化。因此,发送机100在该L数据包中也与图362所示的例子同样,根据合计导通时间即根据时间长度D0及D2,使High的亮度值在100%~73.1%的范围内变化。
R数据包与图361所示的例子同样,如图363的(b)所示那样包含无效数据、前导码、R数据部和平均亮度调整部。
这里,在图363的(b)所示的R数据包中,为了缩短有效时间长度E1,平均亮度调整部的High的亮度值的时间长度B0与发送对象的信号无关而被固定为最短的100μs。此外,关于平均亮度调整部的Low的亮度值的时间长度B1,为了使全部时间长度E1为一定,例如由B1=W1×(6-(y0+y1+y2+y3)表示。进而,在图363的(b)所示的R数据包中,根据发送对象的信号所包含的变量y0及y2即根据时间长度D0及D2,来调整High的亮度值。
在这样的R数据包中,全部时间长度E0与发送对象的信号无关,是E0=4W0+6W1+4b+260=1280μs。此外,有效时间长度E1是与发送对象的信号对应的时间长度,处于1100~1280μs的范围。此外,相对于全部时间长度E0为一定的1280μs,亮度值为High的时间长度的总和(即合计导通时间)在610~790μs的范围内根据发送对象的信号变化。因此,发送机100在该L数据包中也与图362所示的例子同样,根据合计导通时间即根据时间长度D0及D2,使High的亮度值在80.3%~62.1%的范围内变化。
这样,在图363所示的可见光信号中,能够缩短数据包的有效时间长度的最大值。因此,发送机100能够在上述的红色投影期间持续该有效时间长度E1或E’1来发送1个数据包。
这里,在图363所示的例子中,发送机100在变量y0~y3的总和为7以上的情况下生成L数据包,在变量y0~y3的总和为6以下的情况下生成R数据包。换言之,由于变量y0~y3的总和为整数,所以发送机100在变量y0~y3的总和大于6的情况下生成L数据包,在变量y0~y3的总和为6以下的情况下生成R数据包。也即是,在该例子中,用于切换数据包的类型的阈值是6。但是,这样的数据包的类型切换的阈值不限于6,也可以是3~10中的某一个值。
图364是表示变量y0~y3的总和与全部时间长度及有效时间长度的关系的图。图364所示的全部时间长度是R数据包的全部时间长度E0和L数据包的全部时间长度E’0中的较大那方的时间长度。此外,图364所示的有效时间长度是R数据包的有效时间长度E1的最大值和L数据包的有效时间长度E’1的最大值中的较大那方的时间长度。另外,在图364所示的例子中,常数W0、W1及b分别是W0=110μs、W1=15μs及b=100μs。
如图364所示,全部时间长度根据变量y0~y3的总和来变化,该总和在大约10处为最小。此外,如图364所示,有效时间长度根据变量y0~y3的总和而变化,该总和在大约3处为最小。
因此,数据包的类型切换的阈值也可以在3~10的范围内根据缩短全部时间长度及有效时间长度中的哪个来设定。
图365A是表示本实施方式的发送方法的流程图。
本实施方式的发送方法是通过发光体的亮度变化来发送可见光信号的发送方法,包含决定步骤S571和发送步骤S572。在决定步骤S571中,发送机100通过对信号进行调制来决定亮度变化的样式。在发送步骤S572中,发送机100通过使由该发光体包含的光源表现的红色的亮度根据所决定的样式进行变化来发送可见光信号。这里,可见光信号包含数据、前导码和有效载荷。在数据中,第1亮度值、以及比该第1亮度值小的第2亮度值沿着时间轴上出现,第1亮度值及第2亮度值中的至少一方持续的时间长度是第1预定值以下。在前导码中,第1及第2亮度值分别沿着时间轴上交替地出现。在有效载荷中,第1及第2亮度值沿着时间轴上交替地出现,第1及第2亮度值各自持续的时间长度大于第1预定值,并且根据上述的信号及预定方式来决定。
例如数据、前导码及有效载荷分别是图363的(a)及(b)所示的无效数据、前导码、以及L数据部或R数据部。此外,例如第1预定值是100μs。
由此,如图363的(a)及(b)所示那样,可见光信号包含1个根据被调制的信号来决定的波形的有效载荷(即,L数据部或R数据部),不包含2个有效载荷。因此,能够缩短可见光信号、即可见光信号的数据包。其结果,例如即使由发光体包含的光源表现的红色光的发光期间较短,也能够在该发光期间内发送可见光信号的数据包。
此外,在有效载荷中,也可以按第1时间长度的第1亮度值、第2时间长度的第2亮度值、第3时间长度的第1亮度值、第4时间长度的第2亮度值的顺序,各个亮度值出现。在该情况下,在发送步骤S572中,在第1时间长度与第3时间长度之和小于第2预定值的情况下,发送机100使流过光源的电流值比第1时间长度与第3时间长度之和大于第2预定值的情况下的该电流值大。这里,第2预定值大于第1预定值。另外,第2预定值例如是大于220μs的值。
由此,如图362及图363所示那样,在第1时间长度与第3时间长度之和较小的情况下,使光源的电流值较大,在第1时间长度与第3时间长度之和较大的情况下,使光源的电流值较小。因此,能够使由数据、前导码及有效载荷构成的数据包的平均亮度与信号无关而保持为一定。
此外,在有效载荷中,也可以按第1时间长度D0的第1亮度值、第2时间长度D1的第2亮度值、第3时间长度D2的第1亮度值、第4时间长度D3的第2亮度值的顺序,各个亮度值出现。在该情况下,在基于信号得到的4个参数yk(k=0、1、2、3)的总和为第3预定值以下的情况下,第1~第4时间长度D0~D3分别根据Dk=W0+W1×yk(W0、W1是0以上的整数)来决定。例如如图363的(b)所示那样,第3预定值是3。
由此,能够如图363的(b)所示那样,一边使第1~第4时间长度D0~D3均为W0以上,一边根据信号生成较短波形的有效载荷。
此外,在4个参数yk(k=0、1、2、3)的总和为第3预定值以下的情况下,在发送步骤S572中,也可以按数据、前导码、有效载荷的顺序发送数据、前导码及有效载荷。另外,在图363的(b)所示的例子的情况下,该有效载荷是R数据部。
由此,能够如图363的(b)所示那样,将包含数据(即无效数据)的可见光信号的数据包不包含L数据部这一情况通过该数据通知给接收该数据包的接收机200。
此外,在4个参数yk(k=0、1、2、3)的总和大于第3预定值的情况下,第1~第4时间长度D0~D3也可以分别根据D0=W0+W1×(A-y0)、D1=W0+W1×(B-y1)、D2=W0+W1×(A-y2)、以及D3=W0+W1×(B-y3)(A及B均为0以上的整数)来决定。
由此,能够如图363的(a)所示那样,一边使第1~第4时间长度D0~D3(即,第1~第4时间长度D’0~D’3)均为W0以上,一边即使上述的总和增大也根据信号生成较短波形的有效载荷。
此外,在4个参数yk(k=0、1、2、3)的总和大于第3预定值的情况下,在发送步骤S572中,也可以按有效载荷、前导码、数据的顺序发送数据、前导码及有效载荷。另外,在图363的(a)所示的例子的情况下,该有效载荷是L数据部。
由此,能够如图363的(a)所示那样,将包含数据(即无效数据)的可见光信号的数据包不包含R数据部这一情况通过该数据通知给接收该数据包的接收装置。
此外,发光体具有包含红色光源、蓝色光源及绿色光源的多个光源,在发送步骤S572中,也可以仅使用该多个光源中的红色光源来发送可见光信号。
由此,发光体能够使用红色光源、蓝色光源及绿色光源来显示影像,并且能够向接收机200发送容易接收到的波长的可见光信号。
另外,发光体例如也可以是DLP投影仪。如上所述,DLP投影仪可以具有包含红色光源、蓝色光源、绿色光源的多个光源,但是也可以仅具有1个光源。也即是,DLP投影仪也可以具备1个光源、DMD(Digital Micromirror Device,数字微镜装置)、以及配置在光源与DMD之间的色轮。在该情况下,DLP投影仪在从光源经由色轮向DMD通过时间分割输出的红色光、蓝色光和绿色光中的红色光被输出的期间发送可见光信号的数据包。
图365B是表示本实施方式的发送机100的结构的框图。
本实施方式的发送机100是通过发光体的亮度变化来发送可见光信号的发送机,具备决定部571和发送部572。决定部571通过对信号进行调制来决定亮度变化的样式。发送部572通过使由该发光体包含的光源表现的红色的亮度根据所决定的样式进行变化来发送可见光信号。这里,可见光信号包含数据、前导码和有效载荷。在数据中,第1亮度值、及比该第1亮度值小的第2亮度值沿着时间轴上出现,第1亮度值及第2亮度值中的至少一方持续的时间长度为第1预定值以下。在前导码中,第1及第2亮度值分别沿着时间轴上交替地出现。在有效载荷中,第1及第2亮度值沿着时间轴上交替地出现,第1及第2亮度值各自持续的时间长度大于第1预定值,并且根据上述的信号及预定方式来决定。
通过这样的发送机100来实现图365A所示的流程图的发送方法。
产业上的可利用性
本发明的发送方法能够用于例如从显示器或照明等发送可见光信号的发送装置等,特别是能够用于例如从聚光灯等发送可见光信号的发送装置等。

Claims (10)

1.一种发送方法,是通过发光体的亮度变化来发送可见光信号的发送方法,包括:
决定步骤,通过对信号进行调制,决定亮度变化的样式;以及
发送步骤,通过使由所述发光体包含的光源表现的红色的亮度根据所决定的所述样式进行变化来发送所述可见光信号,
所述可见光信号包含数据、前导码和有效载荷,
在所述数据中,第1亮度值和比所述第1亮度值小的第2亮度值沿着时间轴上出现,所述第1亮度值和所述第2亮度值中的至少一方持续的时间长度为第1预定值以下,
在所述前导码,所述第1亮度值和所述第2亮度值分别沿着时间轴上交替地出现,
在所述有效载荷,所述第1亮度值和所述第2亮度值沿着时间轴上交替地出现,所述第1亮度值和所述第2亮度值各自持续的时间长度大于所述第1预定值、且按照所述信号和预定方式来决定。
2.根据权利要求1所述的发送方法,
在所述有效载荷,按第1时间长度的所述第1亮度值、第2时间长度的所述第2亮度值、第3时间长度的所述第1亮度值、第4时间长度的所述第2亮度值的顺序,各个亮度值出现,
在所述发送步骤中,在所述第1时间长度与所述第3时间长度之和小于第2预定值的情况下,使流过所述光源的电流值比所述第1时间长度与所述第3时间长度之和大于所述第2预定值的情况下的该电流值大。
3.根据权利要求2所述的发送方法,
所述第2预定值大于所述第1预定值。
4.根据权利要求1所述的发送方法,
在所述有效载荷,按第1时间长度D0的所述第1亮度值、第2时间长度D1的所述第2亮度值、第3时间长度D2的所述第1亮度值、第4时间长度D3的所述第2亮度值的顺序,各个亮度值出现,
在从所述信号得到的4个参数yk的总和为第3预定值以下的情况下,所述第1~第4时间长度D0~D3分别根据Dk=W0+W1×yk来决定,所述k=0、1、2、3,所述W0和所述W1分别为0以上的整数。
5.根据权利要求4所述的发送方法,
在所述4个参数yk的总和为所述第3预定值以下的情况下,在所述发送步骤中,将所述数据、所述前导码及所述有效载荷按所述数据、所述前导码、所述有效载荷的顺序发送,所述k=0、1、2、3。
6.根据权利要求4所述的发送方法,
在所述4个参数yk的总和大于所述第3预定值的情况下,所述第1~第4时间长度D0~D3分别根据D0=W0+W1×(A-y0)、D1=W0+W1×(B-y1)、D2=W0+W1×(A-y2)以及D3=W0+W1×(B-y3)来决定,所述k=0、1、2、3,所述A和所述B分别为0以上的整数。
7.根据权利要求6所述的发送方法,
在所述4个参数yk的总和大于所述第3预定值的情况下,在所述发送步骤中,将所述数据、所述前导码及所述有效载荷按所述有效载荷、所述前导码、所述数据的顺序发送,所述k=0、1、2、3。
8.根据权利要求1所述的发送方法,
所述发光体具有包括红色光源、蓝色光源及绿色光源的多个光源,
在所述发送步骤中,仅使用所述多个光源中的所述红色光源来发送所述可见光信号。
9.一种发送装置,是通过发光体的亮度变化来发送可见光信号的发送装置,具备:
决定部,其通过对信号进行调制,决定亮度变化的样式;以及
发送部,其通过使由所述发光体包含的光源表现的红色的亮度根据所决定的所述样式进行变化来发送所述可见光信号,
所述可见光信号包含数据、前导码和有效载荷,
在所述数据中,第1亮度值和比所述第1亮度值小的第2亮度值沿着时间轴上出现,所述第1亮度值和所述第2亮度值中的至少一方持续的时间长度为第1预定值以下,
在所述前导码,所述第1亮度值和所述第2亮度值分别沿着时间轴上交替地出现,
在所述有效载荷,所述第1亮度值和所述第2亮度值沿着时间轴上交替地出现,所述第1亮度值和所述第2亮度值各自持续的时间长度大于所述第1预定值、且按照所述信号和预定方式来决定。
10.一种程序,是用于通过发光体的亮度变化来发送可见光信号的程序,所述程序使计算机执行:
决定步骤,通过对信号进行调制,决定亮度变化的样式;以及
发送步骤,通过使由所述发光体包含的光源表现的红色的亮度根据所决定的所述样式进行变化来发送所述可见光信号,
所述可见光信号包含数据、前导码和有效载荷,
在所述数据中,第1亮度值和比所述第1亮度值小的第2亮度值沿着时间轴上出现,所述第1亮度值和所述第2亮度值中的至少一方持续的时间长度为第1预定值以下,
在所述前导码,所述第1亮度值和所述第2亮度值分别沿着时间轴上交替地出现,
在所述有效载荷,所述第1亮度值和所述第2亮度值沿着时间轴上交替地出现,所述第1亮度值和所述第2亮度值各自持续的时间长度大于所述第1预定值、且按照所述信号和预定方式来决定。
CN201780077441.3A 2016-12-15 2017-12-06 发送方法、发送装置及记录介质 Active CN110073612B (zh)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US201662434644P 2016-12-15 2016-12-15
JP2016243825 2016-12-15
JP2016-243825 2016-12-15
US62/434644 2016-12-15
US201762446632P 2017-01-16 2017-01-16
US62/446632 2017-01-16
US201762457382P 2017-02-10 2017-02-10
US62/457382 2017-02-10
US201762466534P 2017-03-03 2017-03-03
US62/466534 2017-03-03
US201762467376P 2017-03-06 2017-03-06
US62/467376 2017-03-06
JP2017080664 2017-04-14
JP2017-080595 2017-04-14
JP2017-080664 2017-04-14
JP2017080595 2017-04-14
US201762558629P 2017-09-14 2017-09-14
US62/558629 2017-09-14
US201762583604P 2017-11-09 2017-11-09
US62/583604 2017-11-09
PCT/JP2017/043726 WO2018110373A1 (ja) 2016-12-15 2017-12-06 送信方法、送信装置、およびプログラム

Publications (2)

Publication Number Publication Date
CN110073612A true CN110073612A (zh) 2019-07-30
CN110073612B CN110073612B (zh) 2022-10-25

Family

ID=67365135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780077441.3A Active CN110073612B (zh) 2016-12-15 2017-12-06 发送方法、发送装置及记录介质

Country Status (2)

Country Link
JP (1) JP7134094B2 (zh)
CN (1) CN110073612B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741093A (zh) * 2020-06-12 2020-10-02 喻军 基于屏幕的数据发送方法、接收方法、接收装置、设置系统及可读存储介质
CN111860251A (zh) * 2020-07-09 2020-10-30 迈克医疗电子有限公司 数据处理方法及装置
CN113765585A (zh) * 2020-06-04 2021-12-07 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN113945888A (zh) * 2021-10-19 2022-01-18 江南大学 基于tdoa的区间化无源定位方法及系统
CN114067549A (zh) * 2020-08-04 2022-02-18 新唐科技股份有限公司 数据接收电路及其数据接收方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112539712B (zh) * 2020-11-19 2022-07-05 广州视源电子科技股份有限公司 三维成像方法、装置及设备
CN117705175B (zh) * 2024-02-05 2024-06-21 宁德时代新能源科技股份有限公司 检测设备的校验方法及装置、涂布系统和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067660A1 (en) * 2001-10-09 2003-04-10 Nec Corporation Light emitting device and communication system
US20110002695A1 (en) * 2008-02-21 2011-01-06 Jeong-Seok Choi Apparatus and method for transmitting and receiving data using visible light communication
US20110150285A1 (en) * 2008-08-21 2011-06-23 B-Core Inc. Light emitting device and method for tracking object
CN102498681A (zh) * 2009-09-16 2012-06-13 三星电子株式会社 支持可见光通信的多个拓扑的前导码设计
US20140086591A1 (en) * 2012-09-21 2014-03-27 Casio Computer Co., Ltd. Information processing system, information processing method, client device, and recording medium
CN104219031A (zh) * 2013-06-04 2014-12-17 中兴通讯股份有限公司 一种mac帧聚合方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
AU2014371943B2 (en) 2013-12-27 2018-05-24 Panasonic Intellectual Property Corporation Of America Information processing program, receiving program and information processing device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067660A1 (en) * 2001-10-09 2003-04-10 Nec Corporation Light emitting device and communication system
US20110002695A1 (en) * 2008-02-21 2011-01-06 Jeong-Seok Choi Apparatus and method for transmitting and receiving data using visible light communication
US20110150285A1 (en) * 2008-08-21 2011-06-23 B-Core Inc. Light emitting device and method for tracking object
CN102498681A (zh) * 2009-09-16 2012-06-13 三星电子株式会社 支持可见光通信的多个拓扑的前导码设计
US20140086591A1 (en) * 2012-09-21 2014-03-27 Casio Computer Co., Ltd. Information processing system, information processing method, client device, and recording medium
CN104219031A (zh) * 2013-06-04 2014-12-17 中兴通讯股份有限公司 一种mac帧聚合方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李力: "LED可见光通信发射与接收系统设计", 《无线互联科技》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113765585A (zh) * 2020-06-04 2021-12-07 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN113765585B (zh) * 2020-06-04 2024-03-26 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN111741093A (zh) * 2020-06-12 2020-10-02 喻军 基于屏幕的数据发送方法、接收方法、接收装置、设置系统及可读存储介质
CN111860251A (zh) * 2020-07-09 2020-10-30 迈克医疗电子有限公司 数据处理方法及装置
CN111860251B (zh) * 2020-07-09 2023-09-15 迈克医疗电子有限公司 数据处理方法及装置
CN114067549A (zh) * 2020-08-04 2022-02-18 新唐科技股份有限公司 数据接收电路及其数据接收方法
CN114067549B (zh) * 2020-08-04 2023-12-29 新唐科技股份有限公司 数据接收电路及其数据接收方法
CN113945888A (zh) * 2021-10-19 2022-01-18 江南大学 基于tdoa的区间化无源定位方法及系统

Also Published As

Publication number Publication date
CN110073612B (zh) 2022-10-25
JP7134094B2 (ja) 2022-09-09
JPWO2018110373A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110114988A (zh) 发送方法、发送装置及程序
CN107343392A (zh) 显示方法以及显示装置
CN107466477A (zh) 显示方法、程序以及显示装置
TWI736702B (zh) 資訊通訊方法、資訊通訊裝置及程式
CN107113058A (zh) 可见光信号的生成方法、信号生成装置以及程序
US10521668B2 (en) Display method and display apparatus
CN106537815B (zh) 再现方法、再现装置以及程序
CN110073612A (zh) 发送方法、发送装置及程序
US10530486B2 (en) Transmitting method, transmitting apparatus, and program
JP6524132B2 (ja) 情報通信方法、情報通信装置およびプログラム
CN107534486A (zh) 信号解码方法、信号解码装置以及程序
CN105874728B (zh) 信息通信方法及信息通信装置
CN103650383B (zh) 信息通信方法
CN105637783B (zh) 信息处理方法、接收方法和信息处理装置
CN106605377A (zh) 信号生成方法、信号生成装置以及程序
CN107508633B (zh) 可视光通信方法及可视光通信装置
CN106575998A (zh) 发送方法、发送装置以及程序
CN104995853A (zh) 信息通信方法
WO2018110373A1 (ja) 送信方法、送信装置、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant