CN105637783B - 信息处理方法、接收方法和信息处理装置 - Google Patents

信息处理方法、接收方法和信息处理装置 Download PDF

Info

Publication number
CN105637783B
CN105637783B CN201480056651.0A CN201480056651A CN105637783B CN 105637783 B CN105637783 B CN 105637783B CN 201480056651 A CN201480056651 A CN 201480056651A CN 105637783 B CN105637783 B CN 105637783B
Authority
CN
China
Prior art keywords
mentioned
receiver
time
signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056651.0A
Other languages
English (en)
Other versions
CN105637783A (zh
Inventor
青山秀纪
大岛光昭
中西幸司
前田敏行
植木亮裕
三好健吾
向井务
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2013/007708 external-priority patent/WO2014103340A1/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105637783A publication Critical patent/CN105637783A/zh
Application granted granted Critical
Publication of CN105637783B publication Critical patent/CN105637783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication

Abstract

本发明提供信息处理方法、接收方法和信息处理装置。一种信息处理方法,包括:决定步骤(SA11),通过将发送对象的信息编码,来决定亮度变化的频率;和输出步骤(SA12),输出表示所决定的亮度变化的频率的信号,以使得通过发光体按照所决定的亮度变化的频率发生亮度变化来发送发送对象,在决定步骤(SA11)中,将第1频率和与第1频率不同的第2频率分别决定为亮度变化的频率,在输出步骤(SA12)中,以发光体在第1时间按照第1频率发生亮度变化,在经过第1时间后,在与第1时间不同的第2时间按照第2频率发生亮度变化的方式,将表示第1频率和第2频率的信号作为表示所决定的亮度变化的频率的信号而进行输出。

Description

信息处理方法、接收方法和信息处理装置
技术领域
本发明涉及用于在智能电话、平板电脑、便携电话等的便携终端与空调、照明设备、电饭锅等的家电设备之间进行通信的方法等。
背景技术
在近年来的家庭网络中,除了由Ethernet(注册商标)或无线LAN(Local AreaNetwork)下的IP(Internet Protocol)连接进行的AV家电的协同之外、还通过具有对应于环境问题的电力使用量的管理、或具有来自住宅外的电源ON/OFF这样的功能的家庭能源管理系统(HEMS)而推进多种多样的家电设备连接在网络的家电协同功能的导入。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。
为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中,通过进行使用多个照明光的单色光源的通信,能够在有限的发送装置中有效率地实现设备间的通信的技术。
现有技术文献
专利文献
专利文献1:日本特开2002-290335号公报
发明内容
发明所要解决的课题
但是,在上述以往的方式中,限定于使用的设备具有照明那样的3色光源的情况。本发明解决这样的问题,提供一种能够进行包括运算力较少的设备的多种多样的设备间的通信的信息处理程序或接收程序等。
用于解决课题的手段
本发明的一技术方案涉及的信息处理程序,是为了通过亮度变化来发送发送对象的信息而使计算机处理上述发送对象的信息的信息处理程序,使上述计算机执行:决定步骤,通过将上述发送对象的信息编码,来决定亮度变化的频率;和输出步骤,输出表示所决定的上述亮度变化的频率的信号,以使得通过发光体按照所决定的上述亮度变化的频率发生亮度变化来发送上述发送对象的信息,在上述决定步骤中,将第1频率和与所述第1频率不同的第2频率分别决定为上述亮度变化的频率,在上述输出步骤中,以上述发光体在第1时间按照上述第1频率发生亮度变化,在经过上述第1时间后,在与上述第1时间不同的第2时间按照上述第2频率发生亮度变化的方式,将表示上述第1频率和第2频率的信号作为表示所决定的上述亮度变化的频率的信号而进行输出。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录媒体实现,也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合实现。
发明效果
根据本发明,能够实现包括运算力较少的设备的多种多样的设备间的通信的信息处理程序和接收程序。
附图说明
图1是表示实施方式1的发光部的亮度的观测方法的一例的图。
图2是表示实施方式1的发光部的亮度的观测方法的一例的图。
图3是表示实施方式1的发光部的亮度的观测方法的一例的图。
图4是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5A是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5B是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5C是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5D是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5E是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5F是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5G是表示实施方式1的发光部的亮度的观测方法的一例的图。
图5H是表示实施方式1的发光部的亮度的观测方法的一例的图。
图6A是表示实施方式1的信息通信方法的流程图。
图6B是表示实施方式1的信息通信装置的框图。
图7是表示实施方式2的接收机的各模式的一例的图。
图8是表示实施方式2的接收机的摄影动作的一例的图。
图9是表示实施方式2的接收机的摄影动作的另一例的图。
图10A是表示实施方式2的接收机的摄影动作的另一例的图。
图10B是表示实施方式2的接收机的摄影动作的另一例的图。
图10C是表示实施方式2的接收机的摄影动作的另一例的图。
图11A是表示实施方式2的接收机的照相机配置的一例的图。
图11B是表示实施方式2的接收机的照相机配置的另一例的图。
图12是表示实施方式2的接收机的显示动作的一例的图。
图13是表示实施方式2的接收机的显示动作的一例的图。
图14是表示实施方式2的接收机的动作的一例的图。
图15是表示实施方式2的接收机的动作的另一例的图。
图16是表示实施方式2的接收机的动作的另一例的图。
图17是表示实施方式2的接收机的动作的另一例的图。
图18是表示实施方式2的接收机的动作的另一例的图。
图19是表示实施方式2的接收机的动作的另一例的图。
图20是表示实施方式2的接收机的动作的另一例的图。
图21是表示实施方式2的接收机、发送机和服务器的动作的一例的图。
图22是表示实施方式2的接收机的动作的另一例的图。
图23是表示实施方式2的接收机的动作的另一例的图。
图24是表示实施方式2的接收机的初始设定的例子的图。
图25是表示实施方式2的接收机的动作的另一例的图。
图26是表示实施方式2的接收机的动作的另一例的图。
图27是表示实施方式2的接收机的动作的另一例的图。
图28是表示实施方式2的接收机的动作的另一例的图。
图29是表示实施方式2的接收机的动作的另一例的图。
图30是表示实施方式2的接收机的动作的另一例的图。
图31A是表示在实施方式2的接收机的操作中使用的笔的图。
图31B是表示实施方式2的使用笔的接收机的动作的图。
图32是表示实施方式2的接收机的外观的一例的图。
图33是表示实施方式2的接收机的外观的另一例的图。
图34是表示实施方式2的接收机的动作的另一例的图。
图35A是表示实施方式2的接收机的动作的另一例的图。
图35B是表示使用实施方式2的接收机的应用例的图。
图36A是表示实施方式2的接收机的动作的另一例的图。
图36B是表示使用实施方式2的接收机的应用例的图。
图37A是表示实施方式2的发送机的动作的一例的图。
图37B是表示实施方式2的发送机的动作的另一例的图。
图38是表示实施方式2的发送机的动作的另一例的图。
图39是表示实施方式2的发送机的动作的另一例的图。
图40是表示实施方式2的多个发送机与接收机之间的通信形态的一例的图。
图41是表示实施方式2的多个发送机的动作的一例的图。
图42是表示实施方式2的多个发送机与接收机之间的通信形态的另一例的图。
图43是表示实施方式2的接收机的动作的另一例的图。
图44是表示实施方式2的接收机的应用例的图。
图45是表示实施方式2的接收机的应用例的图。
图46是表示实施方式2的接收机的应用例的图。
图47是表示实施方式2的发送机的应用例的图。
图48是表示实施方式2的发送机的应用例的图。
图49是表示实施方式2的接收方法的应用例的图。
图50是表示实施方式2的发送机的应用例的图。
图51是表示实施方式2的发送机的应用例的图。
图52是表示实施方式2的发送机的应用例的图。
图53是表示实施方式2的接收机的动作的另一例的图。
图54是表示实施方式3的接收机的动作的一例的流程图。
图55是表示实施方式3的接收机的动作的另一例的流程图。
图56A是表示实施方式3的发送机的一例的框图。
图56B是表示实施方式3的发送机的另一例的框图。
图57是表示实施方式3的包括多个发送机的系统的结构例的图。
图58是表示实施方式3的发送机的另一例的框图。
图59A是表示实施方式3的发送机的一例的图。
图59B是表示实施方式3的发送机的一例的图。
图59C是表示实施方式3的发送机的一例的图。
图60A是表示实施方式3的发送机的一例的图。
图60B是表示实施方式3的发送机的一例的图。
图61是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
图62是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
图63是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
图64A是用来说明实施方式3的多个发送机的同步的说明图。
图64B是用来说明实施方式3的多个发送机的同步的说明图。
图65是表示实施方式3的发送机及接收机的动作的一例的图。
图66是表示实施方式3的发送机及接收机的动作的一例的图。
图67是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
图68是表示实施方式3的发送机及接收机的动作的一例的图。
图69是表示实施方式3的接收机的外观的一例的图。
图70是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
图71是表示实施方式3的发送机及接收机的动作的一例的图。
图72是表示实施方式3的发送机及接收机的动作的一例的图。
图73是表示实施方式3的发送机及接收机的动作的一例的图。
图74是表示实施方式3的发送机及接收机的动作的一例的图。
图75A是表示实施方式3的由发送机发送的信息的结构的一例的图。
图75B是表示实施方式3的由发送机发送的信息的结构的另一例的图。
图76是表示实施方式3的发送机的4值PPM调制方式的一例的图。
图77是表示实施方式3的发送机的PPM调制方式的一例的图。
图78是表示实施方式3的发送机的PPM调制方式的一例的图。
图79A是表示实施方式3的与头(前导码部)对应的亮度变化的样式的一例的图。
图79B是表示实施方式3的亮度变化的样式的一例的图。
图80A是表示实施方式3的亮度变化的样式的一例的图。
图80B是表示实施方式3的亮度变化的样式的一例的图。
图81是表示实施方式4的店前的情形中的接收机的动作的一例的图。
图82是表示实施方式4的店前的情形中的接收机的动作的另一例的图。
图83是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。
图84是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。
图85是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。
图86是表示实施方式4的店内的情形中的显示装置的动作的一例的图。
图87是表示实施方式4的店内的情形中的显示装置的下个动作的一例的图。
图88是表示实施方式4的店内的情形中的显示装置的下个动作的一例的图。
图89是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图90是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图91是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图92是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图93是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图94是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。
图95是表示实施方式4的寻找店铺的情形中的接收机的动作的一例的图。
图96是表示实施方式4的寻找店铺的情形中的接收机的下个动作的一例的图。
图97是表示实施方式4的寻找店铺的情形中的接收机的下个动作的一例的图。
图98是表示实施方式4的电影广告的情形中的接收机的动作的一例的图。
图99是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。
图100是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。
图101是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。
图102是表示实施方式4的美术馆的情形中的接收机的动作的一例的图。
图103是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。
图104是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。
图105是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。
图106是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。
图107是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。
图108是表示实施方式4的公共汽车停靠站的情形中的接收机的动作的一例的图。
图109是表示实施方式4的公共汽车停靠站的情形中的接收机的下个动作的一例的图。
图110是用来说明实施方式4的摄像的图。
图111是用来说明实施方式4的发送及摄像的图。
图112是用来说明实施方式4的发送的图。
图113是表示实施方式5的发送机的动作的一例的图。
图114是表示实施方式5的发送机的动作的一例的图。
图115是表示实施方式5的发送机的动作的一例的图。
图116是表示实施方式5的发送机及接收机的动作的一例的图。
图117是表示实施方式5的接收机的动作的一例的图。
图118是表示实施方式5的接收机的动作的一例的图。
图119是表示实施方式5的具有发送机、接收机及服务器的系统的动作的一例的图。
图120是表示实施方式5的发送机的结构的框图。
图121是表示实施方式5的接收机的结构的框图。
图122是表示实施方式5的发送机的动作的一例的图。
图123是表示实施方式5的发送机的动作的一例的图。
图124是表示实施方式5的发送机的动作的一例的图。
图125是表示实施方式5的发送机的动作的一例的图。
图126是表示实施方式5的发送机的动作的一例的图。
图127是表示实施方式5的发送机的动作的一例的图。
图128是表示实施方式5的发送机的动作的一例的图。
图129是表示实施方式5的发送机及接收机的动作的一例的图。
图130是表示实施方式5的发送机及接收机的动作的一例的图。
图131是表示实施方式5的发送机及接收机的动作的一例的图。
图132是表示实施方式5的发送机及接收机的动作的一例的图。
图133是表示实施方式5的发送机及接收机的动作的一例的图。
图134是表示实施方式5的发送机及接收机的动作的一例的图。
图135是表示实施方式5的发送机及接收机的动作的一例的图。
图136是表示实施方式5的发送机及接收机的动作的一例的图。
图137是表示实施方式5的发送机及接收机的动作的一例的图。
图138是表示实施方式5的发送机及接收机的动作的一例的图。
图139是表示实施方式5的发送机及接收机的动作的一例的图。
图140是表示实施方式5的发送机及接收机的动作的一例的图。
图141是表示实施方式5的发送机及接收机的动作的一例的图。
图142是表示实施方式5的编码方式的图。
图143是表示实施方式5的在从斜方向摄像的情况下也能够受光的编码方式的图。
图144是表示实施方式5的根据距离而信息量不同的编码方式的图。
图145是表示实施方式5的根据距离而信息量不同的编码方式的图。
图146是表示实施方式5的将数据分割的编码方式的图。
图147是表示实施方式5的插入反相图像的效果的图。
图148是表示实施方式5的插入反相图像的效果的图。
图149是表示实施方式5的超解像处理的图。
图150是表示实施方式5的与可见光(可视光)通信对应的显示的图。
图151是表示实施方式5的使用可见光通信信号的信息取得的图。
图152是表示实施方式5的数据格式的图。
图153是表示实施方式5的推测立体形状而接收的图。
图154是表示实施方式5的推测立体形状而接收的图。
图155是表示实施方式5的立体投影的图。
图156是表示实施方式5的立体投影的图。
图157是表示实施方式5的发送机及接收机的动作的一例的图。
图158是表示实施方式5的发送机及接收机的动作的一例的图。
图159是表示实施方式6的发送信号的一例的图。
图160是表示实施方式6的发送信号的一例的图。
图161A是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图161B是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图161C是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图162A是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图162B是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图163A是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图163B是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图163C是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图164是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图165是表示实施方式6的发送信号的一例的图。
图166是表示实施方式6的接收机的动作的一例的图。
图167是表示实施方式6的在接收机的屏幕上显示的向用户的指示的一例的图。
图168是表示实施方式6的在接收机的屏幕上显示的向用户的指示的一例的图。
图169是表示实施方式6的信号发送方法的一例的图。
图170是表示实施方式6的信号发送方法的一例的图。
图171是表示实施方式6的信号发送方法的一例的图。
图172是表示实施方式6的信号发送方法的一例的图。
图173是用来说明实施方式6的使用场景的图。
图174是表示实施方式6的智能电话向服务器发送的信息表的图。
图175是实施方式6的服务器的框图。
图176是表示实施方式6的系统的整体的处理的流程图。
图177是表示实施方式6的服务器向智能电话发送的信息表的图。
图178是表示实施方式6的用户在店铺前从服务器获取信息到实际购买商品的在可穿戴设备上显示的画面流的图。
图179是用来说明实施方式6的另一使用场景的图。
图180是表示使用各实施方式所记载的接收方法的服务提供系统的图。
图181是表示服务提供的流程的流程图。
图182是表示另一例的服务提供的流程图。
图183是表示另一例的服务提供的流程图。
图184A是用来说明实施方式8的容易接收的调制方式的图。
图184B是用来说明实施方式8的容易接收的调制方式的图。
图185是用来说明实施方式8的容易接收的调制方式的图。
图186是用来说明实施方式8的基于亮线的通信和图像识别的并用的图。
图187A是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。
图187B是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。
图187C是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。
图187D是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。
图187E是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的流程图。
图188是表示实施方式8的适合于可见光信号的接收的摄像图像尺寸的图。
图189A是表示实施方式8的适合于可见光信号的接收的摄像图像尺寸的图。
图189B是表示实施方式8的用于切换到适合于可见光信号的接收的摄像图像尺寸的动作的流程图。
图189C是表示实施方式8的用于切换成适合于可见光信号的接收的摄像图像尺寸的动作的流程图。
图190是用来说明实施方式8的利用变焦的可见光信号的接收的图。
图191是用来说明实施方式8的适合于可见光信号的接收的图像数据尺寸的压缩方法的图。
图192是用来说明实施方式8的接收错误检测精度较高的调制方式的图。
图193是用来说明实施方式8的基于状况的差异的接收机的动作的变更的图。
图194是用来说明实施方式8的向人的可见光通信的通知的图。
图195是用来说明实施方式8的基于散光板的接收范围的扩大的图。
图196是用来说明实施方式8的从多个投影仪的信号发送的同步方法的图。
图197是用来说明实施方式8的从多个显示器的信号发送的同步方法的图。
图198是用来说明实施方式8的基于照度传感器和图像传感器的可见光信号的接收的图。
图199是用来说明实施方式8的接收开始的触发的图。
图200是用来说明实施方式8的接收开始的手势的图。
图201是用来说明实施方式8的对汽车导航的应用例的图。
图202是用来说明实施方式8的对汽车导航的应用例的图。
图203是用来说明实施方式8的对内容保护的应用例的图。
图204A是用来说明实施方式8的作为电子锁的应用例的图。
图204B是实施方式8的信息通信方法的流程图。
图204C是实施方式8的信息通信装置的框图。
图205是用来说明实施方式8的作为来店信息传递的应用例的图。
图206是用来说明实施方式8的与场所对应的订购控制的应用例的图。
图207是用来说明实施方式8的对道路指引的应用例的图。
图208是用来说明实施方式8的对所在地联络的应用例的图。
图209是表示实施方式8的对利用日志储存和解析的应用例的图。
图210是用来说明实施方式8的对画面共享的应用例的图。
图211是用来说明实施方式8的对画面共享的应用例的图。
图212是用来说明实施方式8的利用无线接入点的位置推测的应用例的图。
图213是表示实施方式8的进行基于可见光通信和无线通信的位置推测的结构的图。
图214是表示实施方式8的信息通信方法的应用例的图。
图215是表示实施方式8的信息通信方法的应用例的流程图。
图216是表示实施方式8的信息通信方法的应用例的流程图。
图217是表示实施方式9的发送机和接收机的应用例的图。
图218是表示实施方式9的发送机的应用例的图。
图219是实施方式9的信息通信方法的流程图。
图220是实施方式9的信息通信装置的框图。
图221A是表示实施方式9的发送机及接收机的应用例的图。
图221B是表示实施方式9的接收机的动作的流程图。
图222是表示实施方式9的发送机及接收机的应用例的图。
图223是表示实施方式9的发送机的应用例的图。
图224A是表示实施方式9的发送机及接收机的应用例的图。
图224B是表示实施方式9的接收机的动作的流程图。
图225是表示实施方式9的接收机的动作的图。
图226是表示实施方式9的发送机的应用例的图。
图227是表示实施方式9的接收机的应用例的图。
图228A是表示实施方式9的发送机的动作的一例的流程图。
图228B是表示实施方式9的发送机的动作的一例的流程图。
图229是表示实施方式9的发送机的动作的一例的流程图。
图230是表示实施方式9的摄像设备的动作的一例的流程图。
图231是表示实施方式9的摄像设备的动作的一例的流程图。
图232是表示实施方式9的由发送机发送的信号的一例的图。
图233是表示实施方式9的由发送机发送的信号的一例的图。
图234是表示实施方式9的由发送机发送的信号的一例的图。
图235是表示实施方式9的由发送机发送的信号的一例的图。
图236是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
图237是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
图238是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
图239是表示实施方式9的发送机的动作的一例的图。
图240是表示实施方式9的发送机的动作的一例的图。
图241是表示实施方式9的发送机的结构及动作的一例的图。
图242是表示实施方式9的发送机的结构及动作的一例的图。
图243是表示搭载了实施方式10的光传感器的时钟的图。
图244是表示实施方式10的接收机的一例的图。
图245是表示实施方式10的接收机的一例的图。
图246A是本发明的一技术方案涉及的信息通信方法的流程图。
图246B是本发明的一技术方案涉及的便携终端的框图。
图247是表示实施方式10的接收系统的一例的图。
图248是表示实施方式10的接收系统的一例的图。
图249A是表示实施方式10的调制方式的一例的图。
图249B是表示实施方式10的调制方式的一例的图。
图249C是表示实施方式10的调制方式的一例的图。
图249D是表示实施方式10的混合信号的分离的一例的图。
图249E是表示实施方式10的混合信号的分离的一例的图。
图249F是表示实施方式10的信息处理程序的处理的流程图。
图249G是实施方式10的信息处理装置的框图。
图250A是表示实施方式10的可见光通信系统的一例的图。
图250B是用来说明实施方式10的使用场景的图。
图250C是表示实施方式10的信号发送接收系统的一例的图。
图251是表示实施方式10的排除了干涉的接收方法的流程图。
图252是表示实施方式10的发送机的方位的推测方法的流程图。
图253是表示实施方式10的接收的开始方法的流程图。
图254是表示实施方式10的并用其他媒体的信息的ID的生成方法的流程图。
图255是表示实施方式10的基于频率分离的接收方式的选择方法的流程图。
图256是表示实施方式10的曝光时间较长的情况下的信号接收方法的流程图。
图257是表示实施方式10的发送机的调光(调整明亮度)方法的一例的图。
图258是表示构成实施方式10的发送机的调光功能的方法的一例的图。
图259A是表示实施方式11的接收机的动作的一例的流程图。
图259B是表示实施方式11的接收机的动作的一例的流程图。
图259C是表示实施方式11的接收机的动作的一例的流程图。
图259D是表示实施方式11的接收机的动作的一例的流程图。
图260是用来说明EX变焦的图。
图261A是表示实施方式11的接收程序的处理的流程图。
图261B是实施方式11的接收装置的框图。
图262是表示实施方式12的信号接收方法的一例的图。
图263是表示实施方式12的信号接收方法的一例的图。
图264是表示实施方式12的信号接收方法的一例的图。
图265是表示实施方式12的接收机的画面显示方法的一例的图。
图266是表示实施方式12的信号接收方法的一例的图。
图267是表示实施方式12的信号接收方法的一例的图。
图268是表示实施方式12的信号接收方法的一例的流程图。
图269是表示实施方式12的信号接收方法的一例的图。
图270A是表示实施方式12的接收程序的处理的流程图。
图270B是实施方式12的接收装置的框图。
图271是表示接收到可见光信号时的接收机的显示的一例的图。
图272是表示接收到可见光信号时的接收机的显示的一例的图。
图273是表示取得数据图像的显示的一例的图。
图274是表示保存或者丢弃取得数据的情况下的操作的一例的图。
图275是表示阅览取得数据时的显示例子的图。
图276是表示实施方式12的发送机的一例的图。
图277是表示实施方式12的接收方法的一例的图。
图278是表示实施方式13的头样式的例子的图。
图279是用来说明实施方式13的通信协议的数据包的结构的例子的图。
图280是表示实施方式13的接收方法的一例的流程图。
图281是表示实施方式13的接收方法的一例的流程图。
图282是表示实施方式13的接收方法的一例的流程图。
图283是用来说明实施方式13的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。
图284是用来说明实施方式13的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。
图285是表示实施方式13的对于发送数据的尺寸有效的分割数的图。
图286A是表示实施方式13的设定方法的一例的图。
图286B是表示实施方式13的设定方法的另一例的图。
图287A是表示实施方式13的信息处理程序的处理的流程图。
图287B是实施方式13的信息处理装置的框图。
图288是用来说明实施方式13的发送接收系统的应用例的图。
图289是表示实施方式13的发送接收系统的处理动作的流程图。
图290是用来说明实施方式13的发送接收系统的应用例的图。
图291是表示实施方式13的发送接收系统的处理动作的流程图。
图292是用来说明实施方式13的发送接收系统的应用例的图。
图293是表示实施方式13的发送接收系统的处理动作的流程图。
图294是用来说明实施方式13的发送机的应用例的图。
图295是用来说明实施方式14的发送接收系统的应用例的图。
图296是用来说明实施方式14的发送接收系统的应用例的图。
图297是用来说明实施方式14的发送接收系统的应用例的图。
图298是用来说明实施方式14的发送接收系统的应用例的图。
图299是用来说明实施方式14的发送接收系统的应用例的图。
图300是用来说明实施方式14的发送接收系统的应用例的图。
图301是用来说明实施方式14的发送接收系统的应用例的图。
图302是用来说明实施方式14的发送接收系统的应用例的图。
图303是用来说明实施方式14的发送接收系统的应用例的图。
图304是用来说明实施方式14的发送接收系统的应用例的图。
图305是用来说明实施方式14的发送接收系统的应用例的图。
图306是用来说明实施方式14的发送接收系统的应用例的图。
图307是用来说明实施方式14的发送接收系统的应用例的图。
图308是用来说明实施方式14的发送接收系统的应用例的图。
图309A是用来说明实施方式15的发送机的图。
图309B是表示实施方式15的RGB的各自的亮度变化的图。
图310是表示实施方式15的绿色荧光成分和红色荧光成分的残光特性的图。
图311是用来说明实施方式15的为了抑制条码的读取错误的产生而新产生的课题的图。
图312是用来说明由实施方式15的接收机进行的下采样的图。
图313是表示实施方式15的接收机的处理动作的流程图。
图314是表示实施方式16的接收装置(摄像装置)的处理动作的图。
图315是表示实施方式16的接收装置(摄像装置)的处理动作的图。
图316是表示实施方式16的接收装置(摄像装置)的处理动作的图。
图317是表示实施方式16的接收装置(摄像装置)的处理动作的图。
图318是表示实施方式17的发送信号的一例的图。
图319是表示实施方式17的发送信号的一例的图。
图320是表示实施方式17的发送信号的一例的图。
图321是表示实施方式17的发送信号的一例的图。
图322是表示实施方式17的发送信号的一例的图。
图323是表示实施方式17的发送信号的一例的图。
图324是表示实施方式17的发送信号的一例的图。
图325是表示实施方式17的接收算法的一例的图。
图326是表示实施方式17的接收算法的一例的图。
图327是表示实施方式17的接收算法的一例的图。
图328是表示实施方式17的接收算法的一例的图。
具体实施方式
本发明的一技术方案涉及的信息处理程序是为了通过亮度变化来发送发送对象的信息而使计算机处理上述发送对象的信息的信息处理程序,使上述计算机执行:决定步骤,通过将上述发送对象的信息编码,来决定亮度变化的频率;和输出步骤,输出表示所决定的上述亮度变化的频率的信号,以使得通过发光体按照所决定的上述亮度变化的频率发生亮度变化来发送上述发送对象的信息,在上述决定步骤中,将第1频率和与上述第1频率不同的第2频率分别决定为上述亮度变化的频率,在上述输出步骤中,以上述发光体在第1时间按照上述第1频率发生亮度变化,在经过上述第1时间后,在与上述第1时间不同的第2时间按照上述第2频率发生亮度变化的方式,将表示上述第1频率和上述第2频率的信号作为表示所决定的上述亮度变化的频率的信号而输出。例如,上述第1时间是与上述第1频率的一周期量相当的时间,上述第2时间是与上述第2频率的一周期量相当的时间。
由此,如图249A~图249G所示那样,能够通过第1频率和第2频率的可见光信号来适当地发送发送对象的信息。此外,通过使第1时间和第2时间不同,能够进行与各种各样的状况相符的发送。结果,使得能够进行各种各样的设备间的通信。
此外,也可以是,在上述输出步骤中,以表示上述第1频率的信号和表示上述第2频率的信号各自的输出次数不同的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
由此,能够进行与各种各样的状况相符的发送。
此外,也可以是,在上述输出步骤中,以表示上述第1频率和上述第2频率的信号中的低频率的信号的输出次数比高频率的信号的输出次数多的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
由此,在发光体按照由所输出的各信号表示的频率发生亮度变化的情况下,发光体能够以亮的亮度发送发送对象的信息。例如,假定在按照低频率即第1频率发生亮度变化时,与在按照高频率即第2频率发生亮度变化时相比,暗的亮度持续的时间相同。在该情况下,在按照第1频率(即低频率)的亮度变化的情况下,亮的亮度所继续的时间比按照第2频率(即高频率)的亮度变化长。因此,通过表示第1频率的信号被较多地输出,发光体能够以亮的亮度发送发送对象的信息。
此外,也可以是,在上述输出步骤中,以表示上述第1频率和上述第2频率的信号中的高频率的信号的输出次数比低频率的信号的输出次数多的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
由此,在发光体按照由所输出的各信号表示的频率发生亮度变化的情况下,能够提高通过其亮度变化发送的信息的接收效率。例如,在通过由多个频率表达的可见光信号而发送对象的信息被向接收机发送的情况下,接收机通过对利用摄像而得到的图像进行傅里叶变换等频率解析,来检测其可见光信号所包含的频率的峰值。此时,频率越高,则峰值检测越难。于是,如上述那样,以表示第1频率和第2频率的信号中高频率的信号的输出次数比低频率的信号的输出次数多的方式,对各信号进行输出,所以能够容易地进行高频率的峰值检测。结果,能够提高接收效率。
此外,也可以是,在上述输出步骤中,以表示相同频率的信号不被连续输出的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
由此,在发光体按照由所输出的各信号表示的频率发生亮度变化的情况下,来自该发光体的光的闪变不易被人的眼和/或照相机捕捉到。
此外,一种接收程序,用于从按照通过上述的信息处理程序而输出的信号发生亮度变化的发光体接收信息,其中,使计算机执行如下步骤:曝光时间设定步骤,对图像传感器所包含的K个(K为4以上的整数)摄像元件中一部分的多个摄像元件设定第1曝光时间,对上述K个摄像元件中剩余的多个摄像元件,设定比上述第1曝光时间短的第2曝光时间;图像取得步骤,通过以所设定的上述第1曝光时间和上述第2曝光时间使上述图像传感器拍摄作为发生亮度变化的上述发光体的被拍摄对象,来取得与来自被设定了上述第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得亮线图像,该亮线图像是与来自被设定了上述第2曝光时间的多个摄像元件的输出相应的、包含与上述图像传感器所包含的多个曝光线分别对应的亮线的图像;以及信息取得步骤,通过对所取得的上述亮线图像所包含的上述多个亮线的样式进行解码来取得信息。
由此,如图262~图270B所示那样,通过被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件来进行摄像,所以通过图像传感器的1次摄像,能够取得通常图像和亮线图像。即,能够同时进行通常图像的摄像和基于可见光通信的信息的取得。
此外,也可以是,在上述曝光时间设定步骤中,对上述图像传感器所包含的L个(L为4以上的整数)摄像元件列中一部分的多个摄像元件列设定上述第1曝光时间,对上述L个摄像元件列中剩余的多个摄像元件列设定上述第2曝光时间,上述L个摄像元件列分别包括上述图像传感器所包含的排列成一列的多个摄像元件。例如,上述L个摄像元件列分别是上述图像传感器所包含的曝光线。或者,上述L个摄像元件列分别包括沿着与上述图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。
由此,能够不是对作为小的单位的摄像元件的各个单独设定曝光时间,而是按每个作为大的单位的摄像元件列设定曝光时间,能够减轻处理负担。
此外,也可以是,在上述曝光时间设定步骤中,对上述图像传感器所包含的上述L个摄像元件列中处于第奇数列的摄像元件列分别设定同一曝光时间,即上述第1曝光时间和上述第2曝光时间中的一方,对上述L个摄像元件列中处于第偶数列的摄像元件列分别设定同一曝光时间,即上述第1曝光时间和上述第2曝光时间中的另一方,在反复进行上述曝光时间设定步骤、上述图像取得步骤和上述信息取得步骤的情况下,在反复进行的上述曝光时间设定步骤中,将在前一上述曝光时间设定步骤中对上述第奇数列的摄像元件列分别设定的曝光时间与对上述第偶数列的摄像元件列分别设定的曝光时间调换。
由此,能够在每当进行通常图像的取得时,将使用于该取得的多个摄像元件列切换为第奇数列的多个摄像元件列和第偶数列的多个摄像元件列。结果,能够通过交叉来显示依次取得的通常图像的每一个。此外,通过使连续取得的2个通常图像彼此补充,能够生成包含基于第奇数列的多个摄像元件列的图像和基于第偶数列的多个摄像元件列的图像在内的新的通常图像。
此外,也可以是,在上述曝光时间设定步骤中,将设定模式切换为通常优先模式和可见光优先模式,在切换为上述通常优先模式的情况下,使被设定上述第1曝光时间的摄像元件的数量比被设定上述第2曝光时间的摄像元件的数量多,在切换为上述可见光优先模式的情况下,使被设定上述第1曝光时间的摄像元件的数量比被设定上述第2曝光时间的摄像元件的数量少。
由此,在将设定模式切换为通常优先模式的情况下,能够提高通常图像的画质,在切换为可见光优先模式的情况下,能够提高来自发光体的信息的接收效率。
此外,也可以是,在上述曝光时间设定步骤中,以被设定上述第1曝光时间的多个摄像元件和被设定上述第2曝光时间的多个摄像元件分布为相间方格图像那样的方式,对上述图像传感器所包含的每个摄像元件,设定该摄像元件的曝光时间。
由此,因为被设定上述第1曝光时间的多个摄像元件和被设定上述第2曝光时间的多个摄像元件分别均匀地分布,所以能够取得在水平方向和垂直方向上无画质的偏倚的通常图像和亮线图像。
此外,这些总括性的或者具体的方式可以由装置、系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录媒体实现,也可以由装置、系统、方法、集成电路、计算机程序或者记录媒体的任意的组合来实现。
以下,一边参照附图一边对实施方式具体地进行说明。
此外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
以下,对实施方式1进行说明。
(发光部的亮度的观测)
提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图1是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光线,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将正在闪烁的光源摄像到摄像元件的整面上而摄像的情况下,如图2那样,在摄像图像上产生沿着曝光线的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低可以是光源不发光的状态,也可以是与高相比较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光线有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光线有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图2表示一个曝光线的曝光完成后开始下个曝光线的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光线数为l时,如果根据各曝光线是否受光一定以上的光来传送信息,则最大能够以fl位(bit)每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光线的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图3那样,如果能够将由发光部的发光带来的各曝光线的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光线的曝光时间短的单位的时间来控制,能够传送更多的信息。
在能够以Elv个阶段识别曝光状态的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光线的曝光的时刻稍稍错开的时刻使发光部发光,能够识别发信的基本周期。
图4表示在一个曝光线的曝光完成之前开始下个曝光线的曝光的情况。即,为相邻的曝光线的曝光时间具有部分的时间上重叠的结构。通过这样的结构,(1)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被拍摄对象的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使各曝光线的曝光时间变长,所以即使在被拍摄对象较暗的情况下,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠,也可以是一部分的曝光线不具有部分的时间上的重叠。通过做成一部分的曝光线不具有部分的时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光线的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在通过亮度是否是阈值以上的2值判别各曝光线的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
图5A表示在各曝光线的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来摄像相同的明亮度的图像的摄像感光度降低,能够得到噪声较少的图像,所以通信错误被抑制。
图5B表示在曝光时间相等的情况下、因各曝光线的曝光开始时刻的差异带来的影响。7501a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7501b是比前个曝光线的曝光结束更早地开始下个曝光线的曝光的情况。通过如7501b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光线的曝光量的差来识别比曝光时间短的光源的闪烁。
如在图5A、图5B中说明那样,在以使相邻的曝光线的曝光时间具有部分的时间上的重叠的方式将各曝光线依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的消隐(blanking)最大为1帧的一半的大小。即,由于消隐时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以至少需要曝光时间比1/(2f×4)短。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
图5C表示在各曝光线的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,设定为在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,如7502f那样,能够检测更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光线的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光线的曝光时间具有部分的时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生规定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生规定的不曝光的时间来实现。此外,通过如7502g那样使各曝光线的曝光开始时刻的间隔tD变大,也能够采用在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够摄像明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光线变少,所以如7502h那样具有样本数变少的缺点,所以希望根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠,也可以是一部分的曝光线不具有部分的时间上的重叠。此外,不需要在全部的曝光线中、在一个曝光线的曝光结束后到下个曝光线的曝光开始之前设置规定的不曝光的空闲时间(规定的等待时间),也可以是一部分的曝光线具有部分的时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可见光通信的1/480秒以下的曝光时间进行摄影的可见光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可见光通信模式使用分别不同的电路,能够使电路规模变小。
图5D表示光源亮度的最小变化时间tS、曝光时间tE、各曝光线的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,一个以上的曝光线从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。
图5E表示光源亮度的变迁时间tT和各曝光线的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,成为中间色的曝光线越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光线为连续的2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图5F表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比,tE越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当tE为tHT的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tHT是20微秒以下,所以通过使tE成为20微秒以上,能够容易地进行光源亮度的推测。
图5G是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。考虑tHT根据光源而有偏差,根据曲线图,tE是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,tE优选的是较大,但如上述那样,还具有在tE越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时tE优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE优选的是设定为74微秒以上。
图5H表示曝光时间tE与识别成功率的关系。曝光时间tE相对于光源的亮度为一定的时间,具有相对性的意义,所以取将光源亮度变化的周期tS除以曝光时间tE的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1kHz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而摄像明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为图7的中间模式优选的是使用这些曝光时间。
图6A是本实施方式的信息通信方法的流程图。
本实施方式的信息通信方法是从被拍摄对象取得信息的信息通信方法,包含步骤SK91~SK93。
即,该信息通信方法包括:第1曝光时间设定步骤SK91,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;第1图像取得步骤SK92,上述图像传感器以设定的上述第1曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤SK93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤SK92中,上述多个曝光线各自依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过规定的空闲时间后,开始曝光。
图6B是本实施方式的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置K90,是从被拍摄对象取得信息的信息通信装置,具备构成要素K91~K93。
即,该信息通信装置K90具备:曝光时间设定部K91,设定上述图像传感器的曝光时间,以使得在由图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得部K92,以设定的上述曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得部K93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;上述多个曝光线分别依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过规定的空闲时间后,开始曝光。
在这样的图6A及图6B所示的信息通信方法及信息通信装置K90中,如使用例如图5C等说明的那样,多个曝光线分别在从与该曝光线相邻的相邻曝光线的曝光结束后起经过规定的空闲时间后,开始曝光,因此能够容易地识别被拍摄对象的亮度变化。结果,能够适当地从被拍摄对象取得信息。
另外,在上述实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。
(实施方式2)
在本实施方式中,说明使用作为上述实施方式1的信息通信装置K90的智能电话等的接收机和作为LED和/或有机EL等光源的闪烁样式而发送信息的发送机的各应用例。
图7是表示本实施方式的接收机的各模式的一例的图。
接收机8000在通常摄影模式中,通过以例如1/100秒的快门速度摄影,取得通常摄影图像,将该通常摄影图像显示到显示器上。在此情况下,在该通常摄影图像中,例如鲜明地映照出路灯或作为店铺的招牌构成的标识板等的被拍摄对象和其周围。
此外,接收机8000在可见光通信模式中,通过以例如1/10000秒的快门速度摄影,取得可见光通信图像。例如,在上述路灯或标识板作为上述实施方式1所示的光源即发送机而通过亮度变化来发送信号的情况下,在该可见光通信图像中,在发送了信号的部位映照出1个或多个亮线(以下称作亮线图样),在该部位以外什么都不映照。即,在该可见光通信图像中,仅映照出亮线图样,没有映照出被拍摄对象的亮度不变化的部分及被拍摄对象的周围。
此外,接收机8000在中间模式中,通过以例如1/3000秒的快门速度摄影,取得中间图像。在该中间图像中,映照出亮线图样,并且也映照出上述被拍摄对象的亮度不变化的部分及被拍摄对象的周围。因而,接收机8000通过将该中间图像显示在显示器上,用户能够知道从哪里或哪个位置发送了信号。另外,通过该中间图像映照出的亮线图样、被拍摄对象及其周围与可见光通信图像的亮线图样、通常摄影图像的被拍摄对象及其周围相比并不鲜明,但具有可被用户识别的鲜明度。
另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可见光通信模式或可见光通信模式下的摄影称作可见光摄影(可见光通信)。此外,也可以代替通常摄影及可见光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。
图8是表示本实施方式的接收机的摄影动作的一例的图。
接收机8000将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可见光通信图像合成,生成鲜明地映照出亮线图样、被拍摄对象及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可见光通信图像的亮线图样而生成的图像。此外,由该合成图像映照出的亮线图样、被拍摄对象及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过显示这样的合成图像,用户能够更明确地知道从哪里或哪个位置发送了信号。
图9是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000具备照相机Ca1及照相机Ca2。在这样的接收机8000中,照相机Ca1进行通常摄影,照相机Ca2进行可见光摄影。由此,照相机Ca1取得上述那样的通常摄影图像,照相机Ca2取得上述那样的可见光通信图像。并且,接收机8000通过将通常摄影图像及可见光通信图像合成,生成上述合成图像,显示到显示器上。
图10A是表示本实施方式的接收机的摄影动作的另一例的图。
在具有两个照相机的上述接收机8000中,照相机Ca1将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。另一方面,照相机Ca2持续进行通常摄影。并且,当由照相机Ca1和照相机Ca2同时进行通常摄影时,接收机8000根据由这些照相机取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被拍摄对象的距离(以下称作被拍摄对象距离)。通过使用这样推测出的被拍摄对象距离,接收机8000能够将可见光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。
图10B是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机Ca3)。在这样的接收机8000中,两个照相机(照相机Ca2及照相机Ca3)持续进行通常摄影,其余的1个照相机(照相机Ca1)持续进行可见光通信。由此,不论是怎样的定时,都基于由进行通常摄影的两个照相机得到的通常摄影图像推测被拍摄对象距离。
图10C是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机Ca3)。在这样的接收机8000中,各个照相机将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。这里,在1个期间中,以这些照相机的中的某两个照相机进行通常摄影、其余的1个照相机进行可见光通信的方式,将各个照相机的摄影模式按照期间切换。即,进行通常摄影的照相机的组合周期性地变化。由此,不论是怎样的期间,都能够基于由进行通常摄影的两个照相机得到的通常摄影图像推测被拍摄对象距离。
图11A是表示本实施方式的接收机的照相机配置的一例的图。
在接收机8000具备两个照相机Ca1及Ca2的情况下,如图11A所示,两个照相机Ca1及Ca2被配置在相互离开的位置。由此,能够精度良好地推测被拍摄对象距离。即,两个照相机的间的距离越长,能够越高精度地推测被拍摄对象距离。
图11B是表示本实施方式的接收机的照相机配置的另一例的图。
在接收机8000具备3个照相机Ca1、照相机Ca2及照相机Ca3的情况下,如图11B所示,通常摄影用的两个照相机Ca1及Ca2被配置在相互离开的位置。此外,可见光通信用的照相机Ca3被配置在例如照相机Ca1与照相机Ca2之间。由此,能够高精度地推测被拍摄对象距离。即,通过将最远离的两个照相机用于通常摄影,能够高精度地推测被拍摄对象距离。
图12是表示本实施方式的接收机的显示动作的一例的图。
接收机8000如上述那样,将摄影模式如可见光通信、通常摄影、可见光通信、…那样切换。这里,接收机8000在最初进行可见光通信时将应用程序起动。并且,接收机8000基于通过可见光通信接收到的信号,推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示AR(AugmentedReality)信息。该AR信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息的显示位置移动。由此,能够使AR信息追随于通常摄影图像的被拍摄对象像。
此外,接收机8000如果将摄影模式从通常摄影切换为可见光通信,则在该可见光通信时,将AR信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了AR信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使AR信息及通常摄影图像移动。由此,在可见光通信时,也与通常摄影时同样,能够与接收机8000的移动等相应地使AR信息追随于通常摄影图像的被拍摄对象像。此外,能够与接收机8000的移动等相应地将该通常图像扩大及缩小。
图13是表示本实施方式的接收机的显示动作的一例的图。
例如,接收机8000也可以如如图13的(a)所示那样显示映照出亮线图样的上述合成图像。此外,接收机8000也可以如图13的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有规定颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。
此外,接收机8000也可以如图13的(c)所示那样,显示发送了信号的部位用点线的框和识别码(例如,ID:101、ID:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图13的(d)所示,通过代替亮线图样而将作为用来通知发送了特定种类的信号的具有规定颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,在从发送机输出的信号是优惠券的情况下叠加绿色的信号识别对象。
图14是表示本实施方式的接收机的动作的一例的图。
例如,接收机8000也可以在通过可见光通信接收到信号的情况下,显示通常摄影图像,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。
图15是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像中映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的从被拍摄对象发送的信号来生成信息通知图像,并显示该信息通知图像。该信息通知图像例如表示店铺的优惠券或场所等。另外,亮线图样也可以是图13所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样也是同样的。
图16是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户触碰合成图像上映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的被拍摄对象发送的信号来生成信息通知图像,显示该信息通知图像。该信息通知图像例如用地图等表示接收机8000的当前地。
图17是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000从作为发送机构成为被拍摄对象的两个路灯接收信号。并且,接收机8000与上述同样,基于这些信号推测自己的当前地。并且,接收机8000显示通常摄影图像,并将表示该推测结果的信息通知图像(表示纬度及经度等的图像)叠加到通常摄影图像上而显示。另外,接收机8000也可以将辅助信息通知图像叠加到通常摄影图像中而显示。该辅助信息通知图像例如用来向用户建议对9轴传感器(特别是地磁传感器)进行校准的操作、即用来将漂移消除的操作。通过进行这样的操作,能够以高精度推测上述当前地。
此外,如果显示的信息通知图像被用户触碰,则接收机8000也可以代替通常摄影图像而显示表示该推测出的位置的地图。
图18是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000显示与图13的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。
此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示优惠券的图像)。
图19是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000以追随于划动操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被拍摄对象距离与箭头一起向用户容易理解地表示的图像。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。
图20是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000将表示多个店铺的作为标识板的发送机作为被拍摄对象摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将映照在通常摄影图像中的被拍摄对象中包含的1个店铺的标识板的图像轻击,则接收机8000基于从该店铺的标识板发送的信号生成信息通知图像,显示该信息通知图像8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。
图21是表示本实施方式的接收机、发送机和服务器的动作的一例的图。
首先,构成为电视机的发送机8012通过亮度变化向接收机8011发送信号。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可见光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的SIM(Subscriber Identity Module)卡中包含的信息、用户ID、终端ID、信用卡信息、用于核款的信息、口令及发送机ID中的至少1个向服务器8013发送。服务器8013按照每个用户将用户ID和支付信息建立联系而管理。并且,服务器8013基于从接收机8011发送的信息确定用户ID,确认与该用户ID建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则向接收机8011发送许可信息。接收机8011如果接收到许可信息,则向发送机8012发送该许可信息。接收到许可信息的发送机8012例如经由网络取得并再现该内容。
此外,发送机8012也可以通过亮度变化将包含发送机8012的ID的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012视听例如电视机节目,能够进行电视机节目的视听率调查。
此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。
进而,通过由发送机8012发送上述那样的信息,服务器8013能够对基于收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013可以对接收机8011显示广告,或显示向发送机8012显示的电视机节目的详细信息,或显示表示该详细信息的站点的URL。进而,服务器8013通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款,即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对由该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。
图22是表示本实施方式的接收机的动作的另一例的图。
例如,用户将接收机8021的照相机朝向作为照明体构成的多个发送机8020a~8020d。此时,使接收机8021移动,以将发送机8020a~8020d分别依次作为被拍摄对象进行摄影。并且,接收机8021通过在该移动的期间中进行可见光通信,从各发送机8020a~8020d接收信号。在这些信号中包含表示发送机的位置的信息。接收机8021基于由该接收到的来自发送机8020a~8020d的信号表示的位置、接收机8021中具备的9轴传感器的检测结果和通过摄影得到的图像的运动,使用三角测量的原理推测接收机8021的位置。在此情况下,通过移动接收机8021,将9轴传感器(特别是地磁传感器)的漂移消除,所以能够推测精度更高的位置。
图23是表示本实施方式的接收机的动作的另一例的图。
接收机8030例如构成为具备照相机的头戴显示器。当开始按钮被按下时,该接收机8030开始基于可见光通信模式的摄影、即可见光通信。并且,在通过可见光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可见光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在接收机8030所具备的9轴传感器得到的值的变化幅度超过规定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可见光通信。
图24是表示本实施方式的接收机的初始设定的例子的图。
接收机8030在初始设定时显示对位图像8031。该对位图像8031用来进行由用户在通过接收机8030的照相机的摄影而得到的图像内指示的位置和由接收机8030显示的图像的对位。如果用户将指尖对准于由该对位图像8031表示的圆的位置,则接收机8030将该指尖的位置与圆的位置建立关联而进行对位。即,进行由用户指示的位置的校准。
图25是表示本实施方式的接收机的动作的另一例的图。
如果接收机8030通过可见光通信确定了发送信号的部位,则显示在该部位映照出亮线图样的合成图像8034。用户对于该亮线图样进行轻击或双轻击等的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图26是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样围起的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图27是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上抵按在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图28是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行通过划动将指尖朝向合成图像8034的亮线图样移动的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图29是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将使视线朝向合成图像8034的亮线图样的状态持续预先决定的时间以上的操作。或者,用户进行在将视线朝向该亮线图样的状态下以预先设定的次数眨眼的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图30是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并显示与合成图像8034中的亮线图样分别建立了关联的箭头。这些箭头按照亮线图样而朝向不同的方向。这里,用户进行将头沿着某个箭头移动的操作。接收机8030如果基于9轴传感器的检测结果受理了该操作,则确定与对应于该操作的箭头、即朝向头移动的方向的箭头建立了关联的亮线图样。并且,接收机8030显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图31A是表示在本实施方式的接收机的操作中使用的笔的图。
笔8033具备通过亮度变化来发送信号的发送机8033a、按钮8033b和按钮8033c。如果按钮8033b被按下,则发送机8033a发送预先决定的第1信号,如果按钮8033c被按下,则发送机8033a发送与第1信号不同的预先决定的第2信号。
图31B是表示本实施方式的使用笔的接收机的动作的图。
笔8033被作为上述用户的指尖的替代物使用,如记录笔那样使用。此外,通过将按钮8033b和按钮8033c区分使用,能够将笔8033作为通常的笔使用,或如擦除橡皮那样使用。
图32是表示本实施方式的接收机的外观的一例的图。
接收机8030具备第1接触传感器8030a和第2接触传感器8030b。这些接触传感器被安装在接收机8030的框架上。例如,如果用户将指尖抵按在第1接触传感器8030a上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户触碰第2接触传感器8030b,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。
图33是表示本实施方式的接收机的外观的另一例的图。
接收机8030具备接触传感器8030c。该接触传感器8030c安装在接收机8030的框架上。例如,如果用户将指尖抵按在接触传感器8030c上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户将接触传感器8030c按下,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。即,接触传感器8030c构成为所谓可点击接触传感器。
图34是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并在合成图像8034中显示上述指针8035。在接收机8030具备第1接触传感器8030a和第2接触传感器8030b的情况下,用户通过将指尖抵按在第1接触传感器8030a上并移动而移动该指针,将该指针对准于作为亮线图样的对象。并且,用户通过触碰第2接触传感器8030b而使接收机8030选择该亮线图样。接收机8030如果选择了亮线图样,则显示基于从该亮线图样的部位发送的信号的信息通知图像8032。
此外,在接收机8030具备接触传感器8030c的情况下,用户通过将指尖抵按在接触传感器8030c上并移动而移动该指针,将该指针对准于作为亮线图样的对象。然后,用户通过将接触传感器8030c按下,使接收机8030选择该亮线图样。接收机8030如果选择了该亮线图样,则将基于从该亮线图样的部位发送的信号的信息通知图像8032显示。
图35A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可见光通信得到的信号,显示手势确认图像8036。该手势确认图像8036例如是为了向用户提供服务而向该用户提示规定的手势的图像。
图35B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030而处于例如店铺中。这里,接收机8030向用户8038显示上述手势确认图像8036。用户8038按照该手势确认图像8036进行规定的手势。这里,处于店铺中的店员8039佩戴着接收机8037。接收机8037构成为具备照相机的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037也基于通过进行可见光通信得到的信号而显示手势确认图像8036。店员8039判断由显示的手势确认图像8036表示的规定的手势与由用户8038进行的手势是否一致。店员8039判断为一致时,对用户8038提供与手势确认图像8036建立了关联的服务。
图36A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可见光通信得到的信号而显示手势确认图像8040。该手势确认图像8040例如是为了许可无线通信而向用户提示规定的手势的图像。
图36B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030。这里,接收机8030向用户8038显示上述手势确认图像8040。用户8038按照该手势确认图像8040进行规定的手势。这里,处于用户8038的周围的人8041佩戴着接收机8037。接收机8037构成为具备照相机的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037通过摄像由用户8038进行的规定的手势,取得在该手势中包含的口令等的认证信息。并且,接收机8037如果判断为该认证信息与预先决定的信息一致,则确立与接收机8030之间的无线连接。在进行该确立后,接收机8030和接收机8037能够相互进行无线通信。
图37A是表示本实施方式的发送机的动作的一例的图。
发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1的发送和信号2的发送分别通过可见光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。
图37B是表示本实施方式的发送机的动作的另一例的图。
发送机也可以不像上述那样将信号1和信号2连续发送,而隔开缓冲时间断续地将信号1和信号2发送。这里,发送机在缓冲时间中不进行亮度变化。或者,发送机也可以在缓冲时间中将表示是缓冲时间的信号通过亮度变化发送、或进行与用来分别发送信号1及信号2的亮度变化不同的亮度变化。由此,接收机能够将信号1和信号2不混信而适当地接收。
图38是表示本实施方式的发送机的动作的另一例的图。
发送机将由前导码(preamble)、块1、块2、块3及检验信号构成的结构单位的信号列通过亮度变化反复发送。这里,块1具有前导码、地址1、数据1及检验信号。块2及块3也与块1同样地构成。此外,通过使用在块1、块2及块3各自中包含的数据而得到特定的信息。
即,在上述那样的信号列中,将1个数据或信息分为3个块保存。因而,在摄影中需要消隐期间的接收机,即使不能从1个信号列接收到块1、块2及块3的全部的数据,也能够从其他信号列接收其余的数据。结果,即使是需要消隐期间的接收机,也能够从至少1个信号列适当地取得特定的信息。
此外,在上述那样的信号列中,相对于3个块的集合配置有前导码和检验信号。因而,不需要消隐期间而能够受光的接收机、例如具备照度传感器等的接收机通过使用相对于该集合配置的前导码和检验信号,能够将1个信号列一次接收,能够在短期间中取得特定的信息。
图39是表示本实施方式的发送机的动作的另一例的图。
发送机如上述那样,将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列来变更该信号列中包含的块的配置。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的消隐期间的接收机仅取得相同的块。
图40是表示本实施方式的多个发送机与接收机之间的通信形态的一例的图。
接收机8050也可以接收从构成为照明体的发送机8051a及发送机8051b发送并被反射面反射的信号(可见光)。由此,能够将来自许多发送机的信号一起接收。此外,在此情况下,发送机8051a及发送机8051b分别发送相互不同的频率或协议的信号。由此,接收机8050能够将来自这些发送机的信号不混信地接收。
图41是表示本实施方式的多个发送机的动作的一例的图。
也可以是,发送机8051a及发送机8051b中的一方监视来自另一方的信号的发送状况,发送信号以防止与另一方的信号的混信。例如,一方的发送机接收从另一方的发送机发送的信号,发送与该信号不同协议的信号。或者,一方的发送机检测从另一方的发送机不发送信号的期间,在该期间中发送信号。
图42是表示本实施方式的多个发送机与接收机之间的通信形态的另一例的图。
发送机8051a及发送机8051b也可以分别发送相同的频率或协议的信号。在此情况下,接收机8050确定从这些发送机发送的信号的强度,即在通过摄影得到的图像中包含的亮线的边缘强度。接收机8050与发送机之间的距离越长,该强度越弱。在接收机8050与发送机8051a及发送机8051b的各自之间的距离不同的情况下,能够利用这样的距离的差异。即,接收机8050根据该确定的强度,能够将从发送机8051a及发送机8051b分别发送的信号适当分离并接收。
图43是表示本实施方式的接收机的动作的另一例的图。
接收机8050接收从发送机8051a发送并被反射面反射的信号。此时,接收机8050也可以基于通过摄影得到的图像内的亮度的强度分布(多个位置处的亮度的差)推测发送机8051a的位置。
图44是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7510a用后照相机(外置照相机)7510c将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的摄像方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机7510a自身的位置和朝向。接收机7510a用前照相机(面部照相机、内置照相机)7510f对用户7510e进行摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后照相机7510c的摄像和通过前照相机7510f的摄像既可以同时进行,也可以交替地进行。
图45是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7511d、7511i与上述同样,接收来自光源7511b、7511g的信号,推测自身的位置和朝向,推测用户7511e、7511j的视线方向。此外,接收机7511d、7511i基于接收到的数据,从服务器取得周边的物体7511a~7511c、7511f~7511h的信息。接收机7511d、7511i以从用户观察时如同透过接收机7511d、7511i看到面向的一侧的物体的方式,使显示器的显示变化。接收机7511d、7511i根据显示器上显示的内容,显示7511k那样的AR(扩展现实)对象。当用户7511j的视线超过照相机的摄像的摄像范围时,接收机7511i如7511l那样显示是范围外。或者,在范围外的区域中显示AR对象或其他信息。或者,将范围外区域与过去摄像时的图像接合而显示。
图46是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7512c与上述同样,接收来自光源7512a的信号,推测自身的位置和朝向,推测用户7512d的视线方向。接收机7512c进行与处于用户7512d的视线方向上的物体7512b有关的处理。例如,将与物体7512b有关的信息显示在画面上。当用户7512h的视线方向从物体7512f向接收机7512g移动时,接收机7512g判断用户7512h的兴趣在于物体7512f,继续进行与物体7512f有关的处理。例如,保持将物体7512f的信息显示在画面上的原状。
图47是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7513a亮度较高,不论在作为发送信号而亮度较高(HI)时和亮度较低(LO)时,都在由接收机摄像的情况下超过上限的明亮度,如7513b那样不出现亮线。所以,如7513c所示,通过具备如散光板或棱镜那样使光发散或减弱的部分7513d而使亮度下降,接收机能够如7513e那样对亮线进行摄像。
图48是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7514a由于光源不是均匀的,所以摄像图像如7514b那样,在亮度中发生不匀,引起接收错误。所以,如7514c 所示,通过具备如散光板或棱镜那样使光发散的部分7514d而使得亮度变均匀,能够抑制接收错误。
图49是表示本实施方式的接收方法的应用例的图。
发送机7515a、7515b的中心部分的亮度较高,在接收机的摄像图像中不出现亮线,在周边部分出现亮线。接收机虽然因亮线中断而不能从7515d的部分接收信号,但能够从7515c的部分接收信号。接收机通过以7515e的路径读取亮线,能够从比7515c的部分多的亮线接收信号。
图50是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7516a、7516b、7516c、7516d与7513a同样,亮度较高,在用接收机摄像时不易产生亮线。所以,通过具备散光板-棱镜7516e、反射板7516f、反射板-半反射镜7516g、反射板7516h或散光板-棱镜7516j,能够使光发散而使产生亮线的部分变大。这些发送机将摄像图像以如7515a那样在周围产生亮线的形式进行摄像。接收机由于使用摄像图像上的发送机的大小推测接收机与发送机之间的距离,所以通过将光发散的部分作为光源的大小,并与发送ID建立关联存储到服务器等中,接收机能够正确地推测到发送机的距离。
图51是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7517a与7513a同样亮度较高,在由接收机摄像时不易产生亮线。所以,通过具备反射板7517b,能够使光发散而使产生亮线的部分变大。
图52是表示本实施方式的发送机的应用例的图。
发送机7518a通过使来自光源的光被7518c反射,接收机能够将亮线在大范围中摄像。发送机7518d通过将光源朝向散光板或棱镜7518e,接收机能够将亮线在大范围中摄像。
图53是表示本实施方式的接收机的动作的另一例的图。
接收机通过上述那样的合成图像或中间图像等来显示亮线图样。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学变焦,显示该亮线图样的部位被扩大的合成图像或中间图像。通过进行这样的光学变焦,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学变焦,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学变焦,也能够进行较快的接收。
(本实施方式的总结)
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别出现上述亮线的部位的空间位置的方式,显示映照出上述被拍摄对象和该被拍摄对象的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。
例如,将图7~图9及图13所示那样的合成图像或中间图像作为显示用图像显示。此外,在映照出被拍摄对象和该被拍摄对象的周围的显示用图像中,将出现亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化来发送信号的被拍摄对象。
此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被拍摄对象和该被拍摄对象的周围以上述较长的曝光时间进行摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中出现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。
例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图8、图9及图13所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化来发送信号的被拍摄对象。
此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得映照出上述被拍摄对象的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。
例如,如图7所示,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可见光通信图像并合成等的处理,能够实现处理的简略化。
此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过由上述第2图像传感器与上述第1图像传感器的摄影同时地进行摄影,取得上述亮线图像。
例如,如图9所示,将通常摄影图像和作为亮线图像的可见光通信图像通过各自的照相机取得。因而,与用1个照相机取得通常摄影图像和可见光通信图像的情况相比,能够更快地取得这些图像,能够使处理高速化。
此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的出现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续规定的时间以上抵按在上述部位上的操作,持续规定的时间以上使视线朝向上述部位的状态的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖抵按在上述部位上的操作,或通过触碰接触传感器而将显示在上述显示用图像上的指针对准于上述部位的操作。
例如,如图15~图20、图25~图34所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。
此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影仪显示上述显示用图像。
由此,例如如图23~图30所示,能够简单地向用户提示信息。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中对多个上述被拍摄对象进行摄影,取得包含多个出现上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照每个上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被拍摄对象各自的位置;上述信息通信方法还包括基于所取得的多个上述被拍摄对象各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。
由此,例如如图22所示,根据多个照明体等的被拍摄对象的亮度变化,能够正确地推测包括图像传感器的接收机的位置。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,提示所取得的上述信息;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。
由此,例如如图35A~图36B所示,能够根据用户是否进行被提示的手势来进行对于该用户的认证等,能够提高方便性。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被拍摄对象分别对应的亮线,通过按照上述被拍摄对象将由与该被拍摄对象对应的亮线的样式确定的数据解调,来取得信息。
由此,例如如图42所示,即使是多个照明体等的被拍摄对象分别亮度变化的情况,也能够从被拍摄对象分别取得适当的信息。
此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被拍摄对象的位置的位置推测步骤。
由此,例如如图43所示,能够基于亮度分布推测适当的被拍摄对象的位置。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:第1决定步骤,通过对发送对象的第1信号进行调制来决定亮度变化的第1样式;第2决定步骤,通过对发送对象的第2信号进行调制来决定亮度变化的第2样式;发送步骤,通过由发光体交替地进行按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化,来发送上述第1及第2信号。
由此,例如如图37A所示,能够将第1信号和第2信号分别没有延迟地发送。
此外,也可以是,在上述发送步骤中,当使亮度变化在按照上述第1样式的亮度变化和按照上述第2样式的亮度变化之间切换时,隔开缓冲时间来切换。
由此,例如如图37B所示,能够抑制第1信号和第2信号的混信。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1数据对应的前导码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前导码和与上述第2数据对应的检验信号。
由此,例如如图38所示,不论是需要消隐期间的接收机、还是不需要消隐期间的接收机,都能够适当地取得数据。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过由多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,发送频率或协议相互不同的信号。
由此,例如如图40所示,能够抑制来自多个发送机的信号的混信。
此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过有多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号混信的方式发送其他信号。
由此,例如如图41所示,能够抑制来自多个发送机的信号的混信。
(实施方式3)
在本实施方式中,对使用上述实施方式1或2的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各应用例进行说明。
图54是表示实施方式3的接收机的动作的一例的流程图。
首先,接收机用照度传感器接收信号(8101)。接着,接收机基于接收到的信号,从服务器取得位置信息等的信息(8102)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动(8103)。接着,接收机用图像传感器将信号的一部分或全部接收,确认该一部分或全部是否是与由照度传感器接收到的信号相同的信号(8104)。接着,接收机根据摄像图像(摄影图像)中的发送机的位置、来自接收机中具备的9轴传感器的信息和发送机的位置信息,推测接收机的位置(8105)。这样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到信号的情况下,将图像传感器起动。并且,接收机利用该图像传感器的摄像进行位置推测。由此,能够在抑制耗电的同时,高精度地推测接收机的位置。
图55是表示实施方式3的接收机的动作的另一例的流程图。
接收机根据照度传感器的传感器值,识别亮度的周期性的变化(8111)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动,接收信号(8112)。即,与上述同样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到亮度的周期性的变化的情况下,将图像传感器起动。并且,接收机通过该图像传感器的摄像,接收正确的信号。由此,能够在抑制耗电的同时接收正确的信号。
图56A是表示实施方式3的发送机的一例的框图。
发送机8115具备电源部8115a、信号控制部8115b、发光部8115c和发光部8115d。电源部8115a向信号控制部8115b供给电力。信号控制部8115b将从该电源部8115a供给的电力向发光部8115c及发光部8115d分配,控制发光部8115c及发光部8115d的亮度变化。
图56B是表示实施方式3的发送机的另一例的框图。
发送机8116具备电源部8116a、信号控制部8116b、发光部8116c和发光部8116d。电源部8116a向发光部8116c及发光部8116d供给电力。这里,信号控制部8116b通过控制从电源部8116a供给的电力,控制发光部8116c及发光部8116d的亮度变化。这样,通过由信号控制部8116b控制向发光部8116c及发光部8116d分别供给电力的电源部8116a,能够提高电力的使用效率。
图57是表示实施方式3的包括多个发送机的系统的结构例的图。
该系统具备集中控制部8118、发送机8117及发送机8120。集中控制部8118控制通过发送机8117及发送机8120各自的亮度变化进行的信号的发送。例如,集中控制部8118从发送机8117及发送机8120分别以相同的定时发送相同的信号,或仅对某一方的发送机使该发送机发送固有的信号。
发送机8120具备两个发送单元8121及8122、信号变更部8123、信号存储部8124、同步信号输入部8125、同步控制部8126和受光部8127。
两个发送单元8121及8122分别具有与图56A所示的发送机8115同样的结构,通过亮度变化来发送信号。具体而言,发送单元8121具备电源部8121a、信号控制部8121b、发光部8121c及发光部8121d。发送单元8122具备电源部8122a、信号控制部8122b、发光部8122c及发光部8122d。
信号变更部8123将发送对象的信号调制为表示亮度变化的样式的信号。信号存储部8124存储有表示其亮度变化的样式的信号。发送单元121的信号控制部8121b将保存在信号存储部8124中的信号读出,根据该信号而使发光部8121c及发光部8121d亮度变化。
同步信号输入部8125根据集中控制部8118的控制而取得同步信号。同步控制部8126如果取得该同步信号,则使发送单元8121和发送单元8122的亮度变化同步。即,同步控制部8126通过控制信号控制部8121b及信号控制部8122b,使发送单元8121和发送单元8122的亮度变化同步。这里,受光部8127检测来自发送单元8121和发送单元8122的发光。同步控制部8126根据由该受光部8127检测到的光,进行向信号控制部8121b及信号控制部8122b的反馈控制。
图58是表示实施方式3的发送机的另一例的框图。
发送机8130具备通过亮度变化来发送信号的发送单元8131、和不进行信号的发送而发光的非发送单元8132。
发送单元8131具有与图56A所示的发送机8115同样的结构,具备电源部8131a、信号控制部8131b及发光部8131c~8131f。此外,非发送单元8132具备电源部8132a及发光部8132c~8132f,不具备信号控制部。即,在包含电源的单元是多个、在这些单元间不能进行亮度变化的同步控制的情况下,如图58所示的结构那样,仅在某1个单元中具备信号控制部,仅使该1个单元亮度变化。
这里,在这样的发送机8130中,发送单元8131的发光部8131c~8131f被连续地配置为一列。即,在发光部8131c~8131f的集合中,不会混杂非发送单元8132的发光部8132c~8132f的某个。由此,亮度变化的发光体的尺寸变大,所以接收机能够容易地接收通过该亮度变化发送的信号。
图59A是表示实施方式3的发送机的一例的图。
发送机8134例如构成为标牌,具备3个发光部(发光区域)8134a~8134c。另外,来自这些发光部8134a~8134c的光不会相互干涉。这里,在能够仅使发光部8134a~8134c中的某1个亮度变化而发送信号的情况下,如图59A的(a)所示,优选的是使处于中央的发光部8134b亮度变化。此外,在能够使发光部8134a~8134c中的两个亮度变化的情况下,如图59A的(b)所示,优选的是使处于中央的发光部8134b和处于端部的发光部8134a或发光部8134c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图59B是表示实施方式3的发送机的一例的图。
发送机8135例如构成为标牌,具备3个发光部8135a~8135c。另外,来自这些发光部8135a~8135c中的彼此相邻的发光部的光相互干涉。这里,在能够仅使发光部8135a~8135c中的某1个亮度变化而发送信号的情况下,如图59B的(a)所示,优选的是使配置在端部的发光部8135a或发光部8135c亮度变化。由此,能够抑制用来发送信号的亮度变化与来自其他发光部的光干涉。此外,在能够使发光部8135a~8135c中的两个亮度变化的情况下,如图59B的(b)所示,优选的是使处于中央的发光部8135b和处于端部的发光部8135a或发光部8135c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图59C是表示实施方式3的发送机的一例的图。
发送机8134在能够使3个发光部8134a~8134c中的两个亮度变化的情况下,如图59C所示,也可以使处于两端的发光部8134a及发光部8134c亮度变化。在此情况下,在通过接收机的摄像中,能够扩大摄像有亮度变化的部位的摄像范围。
图60A是表示实施方式3的发送机的一例的图。
发送机8137例如构成为标牌,通过字符部分“A Shop”和发光部8137a亮度变化来发送信号。发光部8137a例如形成为在水平方向上较长的矩形状而均匀地亮度变化。通过该发光部8137a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图60B是表示实施方式3的发送机的一例的图。
发送机8138例如构成为标牌,通过字符部分“AShop”和发光部8138a亮度变化来发送信号。发光部8138a例如沿着标牌的边缘而形成为框状,均匀地亮度变化。即,该发光部8138a形成为,使得当将发光部射影到任意的直线上时连续的射影部分的长度为最大。通过该发光部8138a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。
图61是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
例如构成为智能电话的接收机8142取得表示自己的位置的位置信息,将该位置信息向服务器8141发送。另外,接收机8142例如利用GPS等,在接收到其他信号时取得其位置信息。服务器8141将与由该位置信息表示的位置建立了对应的ID列表向接收机8142发送。在ID列表中,按照“abcd”等的ID,包括该ID和与该ID建立了对应的信息。
接收机8142例如从构成为照明设备的发送机8143接收信号。此时,接收机8142有只能接收ID的一部分(例如“b”)作为上述信号的情况。在此情况下,接收机8142从ID列表中检索包括该ID的一部分的ID。在找不到唯一的ID的情况下,接收机8142还从发送机8143接收包括该ID的其他部分的信号。由此,接收机8142取得该ID中的更多的部分(例如“bc”)。并且,接收机8142从ID列表再次检索包含该ID的一部分(例如“bc”)的ID。通过进行这样的检索,接收机8142即使仅能够取得ID的一部分,也能够确定ID的全部。另外,接收机8142当从发送机8143接收信号时,不仅是ID的一部分,还接收CRC(Cyclic Redundancy Check)等的检验部分等。
图62是表示实施方式3的接收机,发送机及服务器的处理动作的一例的图。
例如构成为智能电话的接收机8152取得表示自己的位置的位置信息。另外,接收机8152例如利用GPS等,在接收到其他信号时取得其位置信息。进而,接收机8152从例如构成为照明设备的发送机8153接收信号。此时,在该信号中,仅包含ID中的该ID的一部分(例如“b”)。这里,接收机8152将该位置信息和ID的一部分向服务器8151发送。
服务器8151从与由该位置信息表示的位置建立了对应的ID列表中,检索包含该ID的一部分的ID。在找不到唯一的ID的情况下,服务器8151将ID的确定失败向接收机8152通知。
接着,接收机8152从发送机8153接收包含该ID的另一部分的信号。由此,接收机8152取得该ID中的更多的部分(例如“be”)。并且,接收机8152将该ID的一部分(例如“be”)和位置信息向服务器8151发送。
服务器8151从与由该位置信息表示的位置建立了对应的ID列表中,检索包含该ID的一部分的ID。如果找到唯一的ID,则服务器8151将该ID(例如“abef”)被确定的情况向接收机8152通知,并将与该ID建立了对应的信息向接收机8152发送。
图63是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。
接收机8152也可以不是将ID中的仅一部分、而是将其全部与位置信息一起向服务器8151发送。此时,在该完全的状态的ID(例如“wxyz”)没有包含在ID列表中的情况下,服务器8151向接收机8152通知错误。
图64A是用来说明实施方式3的多个发送机的同步的说明图。
发送机8155a及发送机8155b通过亮度变化来发送信号。这里,发送机8155a通过将同步信号向发送机8155b发送,与该发送机8155b同步而进行亮度变化。此外,发送机8155a和发送机8155b分别从发信源取得信号,进行与该信号对应的亮度变化。这里,有在从发信源向发送机8155a的信号发送中花费的时间(第1延迟时间)和在从发信源向发送机8155b的信号发送中花费的时间(第2延迟时间)不同的情况。所以,测量这些发送机8155a、8155b与发信源之间的信号的往复时间,将它们的往复时间的1/2确定为上述第1或第2延迟时间。发送机8155a通过发送同步信号以将这些第1或第2延迟时间的差消除,进行与发送机8155b同步的亮度变化。
图64B是用来说明实施方式3的多个发送机的同步的说明图。
受光传感器8156检测来自发送机8155a及发送机8155b的光,将其结果作为检测信号向发送机8155a及发送机8155b输出。发送机8155a及发送机8155b如果接收到来自该受光传感器8156的检测信号,则基于该检测信号进行相互同步的亮度变化,或进行信号的强度的调整。
图65是表示实施方式3的发送机及接收机的动作的一例的图。
例如构成为电视机的发送机8165从控制部8166取得图像和与该图像建立了对应的ID(ID 1000)。并且,发送机8165将该图像显示,并通过亮度变化,将该ID(ID 1000)向接收机8167发送。接收机8167通过摄像来接收该ID(ID 1000),并显示与该ID(ID 1000)建立了对应的信息。这里,控制部8166将向发送机8165输出的图像变更为其他图像。此时,控制部8166将向发送机8165输出的ID也变更。即,控制部8166与其他图像一起,将与其他图像建立了对应的其他ID(ID 1001)也向发送机8165输出。由此,发送机8165将其他图像显示,并通过亮度变化将其他ID(ID 1001)向接收机8167发送。接收机8167通过摄像而将其他ID(ID1001)接收,并显示与其他ID(ID 1001)建立了对应的信息。
图66是表示实施方式3的发送机及接收机的动作的一例的图。
发送机8170例如构成为标牌,将图像切换而显示。并且,发送机8170在将图像显示时,将与显示的图像对应的ID和表示显示该图像的时刻的ID时刻信息通过亮度变化向接收机8171发送。例如,发送机8170在时刻t1,显示表示圆图形的图像,并将与该图像对应的ID(ID:1000)和表示该图像被显示的时刻(TIME:t1)的ID时刻信息发送。
这里,发送机8170不仅将与当前显示的图像对应的ID时刻信息、还将与过去显示的图像对应的ID时刻信息发送至少1个。例如,发送机8170在时刻t2,显示表示四方的图形的图像,并将与该图像对应的ID(ID:1001)和表示该图像被显示的时刻(TIME:t2)的ID时刻信息发送。进而,此时,发送机8170将与表示圆图形的图像对应的ID(ID:1000)和表示该图像被显示的时刻(TIME:t1)的ID时刻信息发送。同样,在时刻t3,发送机8170将表示三角形的图形的图像显示,并将与该图像对应的ID(ID:1002)和表示该图像被显示的时刻(TIME:t3)的ID时刻信息发送。进而,此时,发送机8170将与表示四方的图形的图像对应的ID(ID:1001)、和表示该图像被显示的时刻(TIME:t2)的ID时刻信息发送。即,发送机8170将多个ID时刻信息以相同的定时发送。
例如,用户为了得到与表示四方的图形的图像关联的信息,在显示有表示该四方的图形的图像的时刻t2,将接收机8171的图像传感器罩向发送机8170,开始通过接收机8171的摄像。
这里,接收机8171有虽然在时刻t2开始摄像、但在表示该四方的图形的图像显示在发送机8170上的期间中不能取得与该图像对应的ID时刻信息的情况。即使是这样的情况,如上述那样,由于将与过去显示的图像对应的ID时刻信息也从发送机8170发送,所以接收机8171在时刻t3,不仅能取得与表示三角形的图形的图像对应的ID时刻信息(ID:1002,TIME:t3),还能够取得与表示四方的图形的图像对应的ID时刻信息(ID:1001,TIME:t2)。并且,接收机8171从这些ID时刻信息中,选择表示被罩向发送机8170的时刻(t2)的ID时刻信息(ID:1001,TIME:t2),确定由该ID时刻信息表示的ID(ID:1001)。由此,接收机8171在时刻t3,能够基于该确定的ID(ID:1001),从例如服务器等得到关于表示四方的图形的图像的信息。
另外,上述时刻并不限于绝对的时刻,也可以是取得接收机8171被罩向发送机8170的时刻与接收机8171取得ID时刻信息的时刻之间的时间(所谓相对时刻)。此外,发送机8170将与过去显示的图像对应的ID时刻信息和与当前显示的图像对应的ID时刻信息一起发送,但也可以发送与未来计划显示的图像对应的ID时刻信息。此外,发送机8170在接收机8171的接收处于困难的状况的情况下,也可以增加被发送的过去或未来的ID时刻信息的数量。
此外,发送机8170在不是标牌而构成为电视机的情况下,发送机8170也可以代替ID时刻信息而发送表示与显示的图像对应的频道的信息。即,在将广播的电视机节目的图像实时地用发送机8170显示的情况下,由发送机8170显示的图像的显示时刻能够按照频道唯一地确定。因而,接收机8171能够基于通过摄像得到的图像和其频道,确定接收机8171被罩向发送机8170的时刻、即接收机8171开始摄像的时刻。并且,接收机8171能够基于频道和其时刻,从例如服务器等得到关于通过摄像得到的图像的信息。另外,发送机8170也可以代替ID时刻信息而发送表示显示的图像的显示时刻的信息。在此情况下,接收机8171从此时广播的全部的电视机节目中检索包括通过摄像得到的图像的电视机节目,能够基于该电视机节目的频道和其显示时刻从服务器等得到与该图像关联的信息。
图67是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
如图67的(a)所示,接收机8176通过将发送机8175摄像而取得包含亮线的图像,从该图像确定(取得)发送机8175的ID。进而,接收机8176将该ID向服务器8177发送,从服务器8177取得与该ID建立了关联的信息。
另一方面,如图67的(b)所示,接收机8176也可以通过将发送机8175摄像,取得包括亮线的图像,将该图像作为摄像数据向服务器8177发送。此外,接收机8176也可以对包含亮线的图像进行图像的信息量变少那样的前处理,将进行前处理后的图像作为摄像数据向服务器8177发送。该前处理例如是图像的二值化处理等。服务器8177如果取得该摄像数据,则根据由摄像数据表示的图像确定(取得)发送机8175的ID。进而,服务器8177将与该ID建立了关联的信息向接收机8176发送。
图68是表示实施方式3的发送机及接收机的动作的一例的图。
当用户处于位置A时,接收机8183通过取得从亮度变化的发送机8181发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围8183a一起显示。
接着,如果用户从位置A移动而到达位置B,则接收机8183成为不能从发送机8181取得信号的状态。此时,接收机8183通过使用装备在自身上的9轴传感器等,推测自己的位置。并且,接收机8183将表示该推测出的位置的点8183b与该位置的误差范围8183a一起显示。此时,由于该位置是由9轴传感器推测的,所以将误差范围8183a较大地显示。
接着,如果用户从位置B移动而到达位置C,则接收机8183通过取得从亮度变化的其他发送机8182发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围 8183a一起显示。这里,接收机8183不将表示使用9轴传感器推测的位置的点8183b及误差范围8183a直接切换为如上述那样确定的位置及误差范围而显示,而是使它们平滑地移动而切换。此外,此时误差范围8183a变小。
图69是表示实施方式3的接收机的外观的一例的图。
接收机8183例如构成为智能电话(高性能便携电话),如图69的(a)所示,在接收机8183的前表面上,配置有图像传感器8183c、照度传感器8183d及显示器8183e。图像传感器8183c通过将如上述那样亮度变化的被拍摄对象摄像,取得包含亮线的图像。照度传感器8183d检测上述被拍摄对象的亮度变化。因而,照度传感器8183d根据被拍摄对象的状态或状况,能够作为图像传感器8183c的替代物使用。显示器8183e显示图像等。这里,接收机8183也可以具备作为亮度变化的被拍摄对象的功能。在此情况下,接收机8183通过使显示器8183e亮度变化来发送信号。
此外,如图69的(b)所示,在接收机8183的背面上,配置有图像传感器8183f、照度传感器8183g及闪光发光部8183h。图像传感器8183f与上述图像传感器8183c相同,通过如上述那样将亮度变化的被拍摄对象摄像,取得包含亮线的图像。照度传感器8183g与上述照度传感器8183d相同,检测被拍摄对象的亮度变化。因而,照度传感器8183g根据被拍摄对象的状态或状况,能够作为图像传感器8183f的替代物使用。闪光发光部8183h为了摄像而发出闪光。这里,接收机8183也可以不具备作为亮度变化的被拍摄对象的功能,在此情况下,通过使闪光发光部8183h亮度变化而发送信号。
图70是表示实施方式3的发送机、接收机及服务器的动作的一例的图。
例如构成为智能电话的发送机8185通过使显示器8185a中的除了条码部分8185b以外的部分亮度变化,即通过可见光通信,将例如表示“优惠券减去100日元”的信息发送。此外,发送机8185不使条码部分8185b亮度变化,而使该条码部分8185b显示条码。该条码表示与通过上述可见光通信发送的信息相同的信息。进而,发送机8185在显示器8185a中的除了条码部分8185b以外的部分上,显示表示通过可见光通信发送的信息的字符或图画,例如字符“优惠券减去100日元”。通过将这样的字符或图画显示,发送机8185的用户能够容易地掌握发送了怎样的信息。
接收机8186通过摄像,取得通过可见光通信发送的信息和由条码表示的信息,将这些信息向服务器8187发送。服务器8187判断这些信息是否一致或关联,在判断为一致或关联时,执行按照这些信息的处理。或者,服务器8187将该判断结果向接收机8186发送,使接收机8186执行遵循这些信息的处理。
另外,发送机8185也可以将由条码表示的信息中的一部分通过可见光通信发送。此外,也可以在条码中表示服务器8187的URL。此外,发送机8185也可以作为接收机而取得ID,通过将该ID向服务器8187发送,取得与该ID建立了对应的信息。与该ID建立了对应的信息与通过上述可见光通信发送的信息、或由条码表示的信息相同。此外,服务器8187也可以经由接收机8186将与从发送机8185发送的信息(可见光通信的信息或条码的信息)建立了对应的ID向发送机8185发送。
图71是表示实施方式3的发送机及接收机的动作的一例的图。
例如构成为智能电话的发送机8185通过使显示器8185a亮度变化而发送信号。接收机8188具备有遮光性的圆锥状的容器8188b和照度传感器8188a。照度传感器8188a被收存在容器8188b的内部,配置在该容器8188b的前端附近。在从发送机8185通过可见光通信发送信号的情况下,接收机8188的容器8188b的开口部(底部)被朝向显示器8185a。由此,来自显示器8185a的光以外的光不进入到容器8188b内,所以接收机8188的照度传感器8188a能够不受作为噪声的光的影响,而将来自显示器8185a的光适当地受光。结果,接收机8188能够将来自发送机8185的信号适当地接收。
图72是表示实施方式3的发送机及接收机的动作的一例的图。
发送机8190例如构成为公共汽车停靠站的标识塔,通过亮度变化,将表示公共汽车的运行状况等的运行信息向接收机8183发送。例如,将表示公共汽车的前往地、该前往地的公共汽车到达公共汽车停靠站的时刻、和该公共汽车的当前地等的运行信息向接收机8183发送。接收机8183如果接收到该运行信息,则将由该运行信息表示的内容向显示器显示。
这里,例如在相互不同的前往地的公共汽车停在该公共汽车停靠站的情况下,发送机8190将关于这些前往地的公共汽车的运行信息发送。接收机8183如果接收到这些运行信息,则从这些运行信息中,选择由用户利用的频度较高的前往地的公共汽车的运行信息,将由该运行信息表示的内容向显示器显示。具体而言,接收机8183例如通过使用GPS等,确定由用户利用过的公共汽车的前往地,将该前往地的履历记录。接收机8183通过参照该履历,选择由用户利用的频度较高的前往地的公共汽车的运行信息。或者,接收机8183也可以将由通过用户的操作从这些运行信息中选择的运行信息表示的内容向显示器显示。或者,接收机8183也可以将通过用户的操作选择的频度较高的前往地的公共汽车的运行信息优先地显示。
图73是表示实施方式3的发送机及接收机的动作的一例的图。
例如构成为标牌的发送机8191通过亮度变化,将多个店铺的信息向接收机8183发送。该信息是将关于多个店铺的信息汇集的信息,不是各店铺所固有的信息。因而,接收机8183如果通过摄像接收到该信息,则不仅是1个店铺、能够显示关于多个店铺的信息。这里,接收机8183在这些关于多个店铺的信息中,选择关于摄像范围中包含的店铺(例如“Bshop”)的信息,将该选择的信息显示。此外,接收机8183在将该信息显示时,将用来表示该信息的语言翻译为预先登记的语言,用该翻译后的语言显示该信息。此外,在发送机8191中,也可以通过字符等显示敦促通过接收机8183的图像传感器(照相机)的摄像的消息。具体而言,如果使专用的应用程序起动而用照相机进行摄像,则将通知能够接受信息的提供的消息(例如“用照相机GET信息”等)向发送机8191显示。
图74是表示实施方式3的发送机及接收机的动作的一例的图。
例如,接收机8183将包括多个人物8197及路灯8195的被拍摄对象摄像。路灯8195具备通过亮度变化发送信息的发送机8195a。通过该摄像,接收机8183取得将发送机8195a的像表示为上述亮线图样的图像。进而,接收机8183例如从服务器等取得与由该亮线图样表示的ID建立了关联的AR对象8196a。并且,接收机8183将该AR对象8196a叠加到通过通常摄影得到的通常摄影图像8196上,将叠加了该AR对象8196a的通常摄影图像8196显示。
图75A是表示由实施方式3的发送机发送的信息的结构的一例的图。
例如,由发送机发送的信息由前导码部、固定长的数据部和检验部构成。接收机使用检验部进行数据部的检验,将由这些各部分构成的信息正常地接收。这里,接收机将前导码部和数据部接收,当不能接收到检验部时,将使用该检验部的检验省略。即使是将这样的检验省略的情况,接收机也能够正常地接收由这些各部分构成的信息。
图75B是表示由实施方式3的发送机发送的信息的结构的另一例的图。
例如,由发送机发送的信息由前导码部、检验部和可变长的数据部构成。由发送机发送的下个信息也由前导码部、检验部和可变长的数据部构成。这里,接收机当在接收中接收到前导码部、再接收到下个前导码部时,将从前个前导码部到下个前导码部的紧接着之前的信息作为构成1个意思的信息来识别。此外,接收机也可以通过使用检验部来确定在该检验部的下个被接收的数据部的末端。在此情况下,接收机即使不能接收上述下个前导码部(前导码部的全部或一部分),也能够将之前发送的形成1个意思的信息适当地接收。
图76是表示实施方式3的发送机的4值PPM调制方式的一例的图。
发送机通过4值PPM调制方式,将发送对象的信号调制为亮度变化的样式。此时,发送机不论发送对象的信号是怎样的信号,都能够将亮度变化的光的明亮度保持为一定。
例如在将明亮度保持为75%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为连续的4个时隙中的某1个表示亮度L(Low)、其余的3个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调制为第1个时隙表示亮度L、第2~第4个时隙表示亮度H的亮度变化的样式(L,H,H,H)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第2个时隙表示亮度L、第1、第3及第4个时隙表示亮度H的亮度变化的样式(H,L,H,H)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
此外,在将明亮度保持为50%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某两个表示亮度L(Low)、其余的两个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1及第4个时隙表示亮度L、第2及第3个时隙表示亮度H的亮度变化的样式(L,H,H,L)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1及第2个时隙表示亮度L、第3及第4个时隙表示亮度H的亮度变化的样式(L,L,H,H)。或者,发送机将发送对象的信号“01”调制为第2及第4个时隙表示亮度L、第1及第3个时隙表示亮度H的亮度变化的样式(H,L,H,L)。即,在这些亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
此外,在将明亮度保持为25%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某3个表示亮度L(Low)、其余的1个表示亮度H(High)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1、第3及第4个时隙表示亮度L、第2个时隙表示亮度H的亮度变化的样式(L,H,L,L)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1、第2及第4个时隙表示亮度L、第3个时隙表示亮度H的亮度变化的样式(L,L,H,L)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。
发送机通过上述那样的4值PPM调制方式,能够抑制闪变,并且能够将明亮度阶段性地容易地调节。此外,接收机通过确定亮度的上升的位置,能够将该亮度变化的样式适当地解调。另外,接收机将由4个时隙构成的时隙群与下个时隙群之间的边界处的亮度的上升的有无不用于亮度变化的样式的解调而忽视。
图77是表示实施方式3的发送机的PPM调制方式的一例的图。
发送机与图76所示的4值PPM调制方式同样,将发送对象的信号调制为亮度变化的样式,但也可以不按照时隙将亮度切换为L和H而进行PPM调制。即,发送机通过将图76所示的连续的4个时隙的时间宽度(以下称作单位时间宽度)中的亮度的上升位置根据发送对象的信号切换来进行PPM调制。例如,发送机如图77所示,将发送对象的信号“00”调制为在单位时间宽度中的25%的位置处亮度上升那样的亮度变化的样式。与此同样,发送机如图77所示,将发送对象的信号“01”调制为在单位时间宽度中的50%的位置处亮度上升那样的亮度变化的样式。
此外,发送机在将明亮度保持为75%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置处表示亮度L、在25~100%的位置处表示亮度H的亮度变化的样式。这里,发送机在将明亮度保持为99%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的24~25%的位置处表示亮度L、在0~24%的位置及25~100%的位置处表示亮度H的亮度变化的样式。同样,发送机在将明亮度保持为1%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置及26~100%的位置处表示亮度、在25~26%的位置处表示亮度H的亮度变化的样式。
这样,通过不按照时隙将亮度切换为L和H、而在单位时间宽度的任意的位置处将亮度切换为L和H,能够将明亮度连续地调节。
图78是表示实施方式3的发送机的PPM调制方式的一例的图。
发送机与图77所示的PPM调制方式同样进行调制,但不论发送对象的信号是怎样的信号,都将该信号调制为在单位时间宽度的最初必定表示亮度H、并且在单位时间宽度的最后必定表示亮度L的亮度变化的样式。由此,在单位时间宽度与下个单位时间宽度的边界发生亮度的上升,接收机能够适当地确定该边界。因而,接收机及发送机能够将时钟的偏差修正。
图79A是表示实施方式3的与头(前导码部)对应的亮度变化的样式的一例的图。
发送机例如在发送图75A及图75B所示的头(前导码部)的情况下,按照图79A所示的样式而进行亮度变化。即,在头由7个时隙构成的情况下,发送机按照由L,H,L,H,L,H,H表示的样式而进行亮度变化。此外,在头由8个时隙构成的情况下,发送机按照由H,L,H,L,H,L,H,H表示的样式而进行亮度变化。这些样式由于能够与图76所示的亮度变化的样式区别,所以能够使接收机明确地知道由这些样式表示的信号是头。
图79B是表示实施方式3的亮度变化的样式的一例的图。
如图76所示,在4值PPM调制方式中,在将明亮度保持为50%的状态下将数据部中包含的发送对象的信号“01”调制的情况下,发送机将该信号调制为两个样式中的某个样式。即,调制为由L,L,H,H表示的第1样式、或者由H,L,H,L表示的第2样式。
这里,在与头对应的亮度变化的样式是图79A所示那样的样式的情况下,发送机优选的是将上述发送对象的信号“01”调制为由L,L,H,H表示的第1样式。例如将在上述数据部中包含的发送对象的信号“11,01,11”在使用上述第1样式的情况下调制为“H,H,L,L,L,L,H,H,H,H,L,L”的样式。另一方面,在使用上述第2样式的情况下,将在上述数据部中包含的发送对象的信号“11,01,11”调制为“H,H,L,L,H,L,H,L,H,H,L,L”的样式。在此情况下,在该样式“H,H,L,L,H,L,H,L,H,H,L,L”中,包含与图79A所示的、由7个时隙构成的头的样式相同的样式。因而,为了使头与数据部的区别变明确,优选的是将上述发送对象的信号“01”调制为第1样式。
图80A是表示实施方式3的亮度变化的样式的一例的图。
如图76所示,在4值PPM调制方式中,在将发送对象的信号“11”调制的情况下,发送机将该信号调制为“H,H,H,L”的样式、“H,H, L,L”的样式或“H,L,L,L”的样式,以使得不发生亮度的上升。但是,如图80A所示,发送机也可以为了调整明亮度而将发送对象的信号“11”调制为“H,H,H,H”的样式或“L,L,L,L”的样式。
图80B是表示实施方式3的亮度变化的样式的一例的图。
如图76所示,在4值PPM调制方式中,在将明亮度保持为75%、对发送对象的信号“11,00”进行调制的情况下,发送机将该信号调制为“H,H,H,L,L,H,H,H”的样式。但是,在亮度L要连续发生的情况下,也可以将连续的亮度L中的最后的亮度L以外的亮度变更为H,以使亮度L不连续。在此情况下,发送机将该信号“11,00”调制为“H,H,H,H,L,H,H,H”的样式。
由此,亮度L不连续,所以能够抑制发送机的负荷。此外,能够使发送机中具备的电容器的电容较小,能够使控制电路的容积变小。进而,由于发送机的光源的负荷较小,所以能够容易地制作光源。进而,能够提高发送机的电力效率。此外,由于保证了亮度L不连续,所以接收机能够容易地将该亮度变化的样式解调。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述亮度变化的样式是在预先设定的时间宽度中的任意的各位置出现相互不同的两个亮度值中的一方的样式;在上述决定步骤中,对于发送对象的相互不同的信号的每一个,以使上述时间宽度中的作为亮度的上升位置或下降位置的亮度变化位置相互不同的方式,决定上述亮度变化的样式、并且上述时间宽度中的上述发光体的亮度的积分值成为与预先设定的明亮度对应的相同的值。
例如,如图77所示,对于发送对象的相互不同的信号“00”、“01”、“10”及“11”,分别决定亮度变化的样式,以使亮度的上升位置(亮度变化位置)相互不同、并且预先决定的时间宽度(单位时间宽度)中的发光体的亮度的积分值成为与预先决定的明亮度(例如99%或1%等)对应的相同的值。由此,能够对于发送对象的信号分别将发光体的明亮度保持为一定,能够抑制闪变,并且将该发光体摄像的接收机能够基于亮度变化位置将该亮度变化的样式适当地解调。此外,亮度变化的样式由于是在单位时间宽度中的任意的各位置出现相互不同的两个亮度值(亮度H(High)或亮度L(Low))中的一方的样式,所以能够使发光体的明亮度连续地变化。
此外,也可以是,上述信息通信方法还包括将多个图像的分别依次切换而显示的图像显示步骤;在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与显示的图像对应的识别信息调制为上述发送对象的信号,决定与上述识别信息对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,来发送上述识别信息。
由此,例如如图65所示,每当显示图像,就发送与所显示的图像对应的识别信息,所以用户能够基于显示的图像容易地选择使接收机接收的识别信息。
此外,也可以是,在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体还按照对与过去显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,将上述识别信息发送。
由此,例如如图66所示,即使是因显示的图像切换而接收机不能接收到在切换前发送的识别信号的情况,由于与当前显示的图像对应的识别信息一起将与过去显示的图像对应的识别信息也发送,所以能够将在切换前发送的识别信息重新由接收机适当地接收。
此外,也可以是,在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与所显示的图像对应的识别信息和上述图像被显示的时刻调制为上述发送对象的信号,决定与上述识别信息及上述时刻对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送,还通过上述发光体按照对与过去显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送。
由此,例如如图66所示,由于每当显示图像时,就将多个ID时刻信息(由识别信息及时刻构成的信息)发送,所以接收机能够从接收到的多个ID时刻信息中,基于在该ID时刻信息的各自中包含的时刻而容易地选择在过去被发送而未能接收到的识别信号。
此外,也可以是,上述发光体具有分别发光的多个区域,上述多个区域中彼此相邻的区域的光相互干涉;在上述多个区域中的仅1个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,仅上述多个区域中的配置在端部的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,例如如图59B的(a)所示,由于仅配置在端部的区域(发光部)亮度变化,所以与仅配置在端部以外的区域亮度变化的情况相比,能够抑制由来自其他区域的光带来的向其亮度变化的影响。结果,接收机能够通过摄影适当地捕捉其亮度变化的样式。
此外,也可以是,在仅上述多个区域中的两个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,上述多个区域中的配置在端部的区域和与上述配置在端部的区域相邻的区域按照所决定的上述亮度变化的样式而进行亮度变化。
由此,例如如图59的(b)所示,由于配置在端部的区域(发光部)和与该配置在端部的区域相邻的区域(发光部)亮度变化,所以与相互离开的区域亮度变化的情况相比,能够将在空间上连续而进行亮度变化的范围的面积保持得较大。结果,接收机能够通过摄影适当地捕捉该亮度变化的样式。
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:信息发送步骤,发送表示在上述被拍摄对象的摄影中使用的图像传感器的位置的位置信息;列表接收步骤,接收与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;检索步骤,从上述ID列表中检索包含所取得的上述信息的识别信息。
由此,例如如图61所示,由于预先接收了ID列表,所以即使所取得的信息“bc”仅为识别信息的一部分,也能够基于ID列表确定适当的识别信息“abcd”。
此外,也可以是,在上述检索步骤中没有唯一确定包含所取得的上述信息的识别信息的情况下,通过反复进行上述图像取得步骤及上述信息取得步骤,取得新的信息;上述信息通信方法还包括从上述ID列表中检索包含所取得的上述信息和上述新的信息的识别信息的再检索步骤。
由此,例如如图61所示,即使是所取得的信息“b”仅为识别信息的一部分、仅通过该信息不能唯一确定识别信息的情况,由于取得新的信息“c”,所以能够基于该新的信息和ID列表确定适当的识别信息“abcd”。
本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;发送步骤,将所取得的上述识别信息和表示上述图像传感器的位置的位置信息发送;错误接收步骤,在与由上述位置信息表示的位置建立了对应的、包含多个识别信息的ID列表中没有所取得的上述识别信息的情况下,接收用来通知错误的错误通知信息。
由此,例如如图63所示,由于在ID列表中没有所取得的识别信息的情况下接收错误通知信息,所以接收到该错误通知信息的接收机的用户能够容易地掌握不能得到与该取得的识别信息建立了关联的信息的情况。
(实施方式4)
在本实施方式中,对使用上述实施方式1~3的智能电话等接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各个情形的应用例进行说明。
<情形:店前>
首先,使用图81~图85,对携带着接收机的用户处于悬挂着构成为发送机的广告用的招牌的店铺之前的应用例进行说明。
图81是表示店前的情形中的接收机的动作的一例的图。
例如,用户在携带着构成为智能电话的接收机8300(终端装置)而步行时,发现店铺的招牌8301。该招牌8301是如上述实施方式1~3的某种发送机那样通过亮度变化来发送信号的发送机(被拍摄对象)。这里,用户如果对该店铺有兴趣并且判断为该招牌8301正通过亮度变化来发送信号,则通过操作接收机8300,使该接收机8300的可见光通信用的应用软件(以下称作通信应用)启动。
图82是表示店前的情形中的接收机8300的动作的另一例的图。
接收机8300也可以不受理用户的操作,而使通信应用自动启动。例如,接收机8300通过利用GPS或9轴传感器等检测自己的当前地,判断该当前地是否进入了对招牌8301预先设定的特定区域。另外,该特定区域是招牌8301的周边区域。并且,接收机8300如果判断为接收机8300的当前地进入了该特定区域,则使通信应用启动。此外,接收机8300也可以通过利用内置的9轴传感器等来检测将该接收机8300伸出的动作或使接收机8300旋转的动作,来使通信应用启动。由此,能够省去用户的操作,能够提高使用方便性。
图83是表示店前的情形中的接收机8300的下个动作的一例的图。
如上述那样使通信应用启动后的接收机8300将构成为通过亮度变化来发送信号的发送机的招牌8301进行摄像(可见光摄影)。即,接收机8300与招牌8301进行可见光通信。
图84是表示店前的情形中的接收机8300的下个动作的一例的图。
接收机8300通过上述摄像,取得包含亮线的图像。并且,接收机8300通过对由该亮线的样式确定的数据进行解调,取得招牌8301的设备ID。即,接收机8300通过实施方式1~15的可见光摄影或可见光通信,从招牌8301取得设备ID。进而,接收机8300将该设备ID向服务器发送,从服务器取得与该设备ID建立了关联的广告信息(服务信息)。
另外,接收机8300也可以从事前保持的多个广告信息中取得与该设备ID建立了关联的广告信息。在此情况下,接收机8300在判断为接收机8300的当前地进入了上述特定区域时,将该特定区域或当前地向服务器通知,从服务器事前取得与该特定区域对应的全部的设备ID和与该设备ID分别建立了关联的广告信息,并将它们保持(高速缓存)。由此,接收机8300当在该特定区域内取得了招牌8301的设备ID时,不用特意向服务器请求与该设备ID对应的广告信息,就能够从与预先保持的各设备ID建立了关联的广告信息中,迅速地取得与该招牌8301的设备ID建立了关联的广告信息。
接收机8300如果取得与招牌8301的设备ID建立了关联的广告信息,则显示该广告信息。例如,接收机8300显示由招牌8301表示的店铺的优惠券、空席状况、和表示与它们相同的内容的条码。
这里,接收机8300也可以通过可见光通信,不仅取得设备ID,还从该招牌8301取得优惠数据。该优惠数据例如表示随机ID(随机数)、或者该优惠数据被发送的时刻或时间带等。接收机8300在取得了优惠数据时,将该优惠数据也与设备ID一起向服务器发送。并且,接收机8300从服务器取得与该设备ID及优惠数据建立了关联的广告信息。由此,接收机8300能够接受根据优惠数据而不同的广告信息。例如,如果将招牌8301摄像时的时间带是早晨,则接收机8300能够取得表示早晨折扣的优惠券的广告信息并显示。即,能够对相同招牌的广告赋予与优惠数据(时间带等)对应的变化。结果,用户能够接受与时间带等相适合的服务的提供。另外,在本实施方式中,将服务信息等信息向用户的提示(显示)称作服务的提供。
此外,接收机8300也可以通过可见光通信,从招牌8301将高精度(误差1m以内)地表示该招牌8301的空间上的配置的3维信息与设备ID一起取得。或者,接收机8300也可以从服务器取得与该设备ID建立了关联的3维信息。此外,接收机8300也可以代替3维信息或与3维信息一起,取得表示招牌8301的大小的尺寸信息。接收机8300如果取得该尺寸信息,则基于由该尺寸信息表示的招牌8301的大小与在通过摄像得到的图像中映照出的招牌8301的大小的差,计算从接收机8300到招牌8301的距离。
此外,接收机8300也可以在将通过可见光通信取得的设备ID向服务器发送时,将自己预先保持的保持信息(附属信息)与设备ID一起向服务器发送。例如,保持信息是接收机8300的用户的个人信息(性别或年龄等)或用户ID。与设备ID一起接收到这样的保持信息的服务器将与该设备ID建立了关联的至少1个广告信息中的与该保持信息(个人信息或用户ID)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与个人信息等匹配的店铺的广告信息或与用户ID对应的店铺的广告信息等。结果,用户能够接受更有益的服务的提供。
或者,保持信息表示对接收机8300事前设定的接收条件。该接收条件例如在店铺是饮食店的情况下是来客人数。与设备ID一起接收到这样的保持信息的服务器将与该设备ID建立了关联的至少1个广告信息中的与该接收条件(来客人数)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与来客人数匹配的店铺的广告信息,具体而言,能够获取表示与该来客人数对应的空席状况的信息。此外,店铺通过显示根据来店人数或周几、时间带而变更了折扣率的广告信息,能够实现吸引顾客和利益的最优化。
或者,保持信息表示由接收机8300事前检测到的当前地。与设备ID 一起接收到这样的保持信息的服务器不仅将与该设备ID建立了关联的广告信息、还将与该保持信息表示的当前地(当前地和其周边)对应的其他设备ID、和与其他设备ID建立了关联的广告信息向接收机8300发送。由此,接收机8300能够将其他设备ID和与其他设备ID建立了关联的广告信息高速缓存。因而,当接收机8300在该当前地(当前地和其周边)在与其他发送机之间进行可见光通信时,不用访问服务器就能够迅速地取得与其他发送机的设备ID建立了关联的广告信息。
图85是表示店前的情形中的接收机8300的下个动作的一例的图。
接收机8300如果如上述那样从服务器取得广告信息,则例如作为由该广告信息表示的空席状况,显示记述有“有空席”的按钮。这里,如果用户进行将手指对按钮“有空席”接触的操作,则接收机8300将该操作结果向服务器通知。服务器如果接受到该通知,则进行对招牌8301的店铺的临时预约,将该临时预约完成的情况向接收机8300通知。接收机8300如果从服务器接受到该通知,则代替按钮“有空席”而显示表示临时预约完成的字符串“临时预约”。接收机8300将包括由招牌8301表示的店铺的优惠券、证明已临时预约的字符串“临时预约”、和表示与它们相同的内容的条码在内的图像作为事前取得图像向存储器保存。
这里,服务器按照使用图84及图85说明的动作,能够将有关在招牌8301与接收机8300之间进行的可见光通信的信息进行记录。即,服务器能够将进行了可见光通信的发送机(招牌)的设备ID、进行了可见光通信的场所(接收机8300的当前地)、表示进行了可见光通信的时间带等的优惠数据、以及进行了可见光通信的接收机8300的用户的个人信息等进行记录。服务器能够使用所记录的这些信息中的至少1个,解析招牌8301的价值、即招牌8301对店铺的广告及宣传的贡献程度作为广告效果。
<情形:店内>
接着,使用图86~图94,对携带着接收机8300的用户进入了与显示的广告信息(服务信息)对应的店铺的情形中的应用例进行说明。
图86是表示店内的情形中的显示装置的动作的一例的图。
例如,与上述招牌8301进行了可见光通信的接收机8300的用户进入与所显示的广告信息对应的店铺。此时,接收机8300使用可见光通信检测用户进入了与所显示的广告信息对应的店铺(进店)。例如,接收机8300在与招牌8301进行可见光通信后,从服务器取得表示与招牌8301的设备ID建立了关联的店铺的所在地的店铺信息。并且,接收机8300判断利用GPS或9轴传感器等得到的接收机8300的当前地是否进入了由该店铺信息表示的店铺的所在地。这里,接收机8300通过判断为当前地进入了店铺的所在地,来检测上述进店。
并且,接收机8300如果检测到进店,则例如经由服务器等向显示装置8300b通知进店。或者,接收机8300通过可见光通信或无线通信向显示装置8300b通知进店。显示装置8300b如果接受到该通知,则取得表示由该店铺提供的商品或劳务的菜单等的商品劳务信息,显示由该商品劳务信息表示的上述菜单。另外,显示装置8300b既可以是由接收机8300的用户或店铺的店员携带的便携终端,也可以是装备在店铺中的装置。
图87是表示店内的情形中的显示装置8300b的下个动作的一例的图。
用户从显示在显示装置8300b上的菜单中,选择希望的商品。即,用户进行将手指对菜单中的显示有希望的商品的名称的部分接触的操作。由此,显示装置8300b受理商品选择的操作结果。
图88是表示店内的情形中的显示装置8300b的下个动作的一例的图。
受理了商品选择的操作结果的显示装置8300b将表示所选择的商品的图像及该商品的价格显示。由此,显示装置8300b促使用户确认所选择的商品。另外,上述表示商品的图像及表示商品的价格的信息等例如也可以包含在上述商品劳务信息中。
图89是表示店内的情形中的接收机8300的下个动作的一例的图。
被促使确认的用户进行用来订购该商品的操作。接收机8300如果被进行该操作,则将电子结算所需要的结算信息经由显示装置8300b或服务器向店铺的POS(Pint ofSale)系统通知。进而,接收机8300判断是否有利用与该店铺的招牌8301的可见光通信取得并保存的上述事前取得图像。接收机8300如果判断为有该事前取得图像,则显示该事前取得图像。
另外,在本情形中使用了显示装置8300b,但也可以不使用显示装置8300b,而接收机8300代之进行显示装置8300b的处理。在此情况下,接收机8300如果检测到进店,则从服务器取得表示由该店铺提供的商品或劳务的菜单等的商品劳务信息,将由该商品劳务信息表示的上述菜单显示。此外,接收机8300如果受理了用来订购商品的操作,则将订购的商品和电子结算所需要的结算信息经由服务器向店铺的POS系统通知。
图90是表示店内的情形中的接收机8300的下个动作的一例的图。
店铺的店员将POS系统的条码扫描仪8302罩在显示于该接收机8300上的事前取得图像的条码上。条码扫描仪8302将该事前取得图像的条码读取。结果,POS系统进行与由该条码表示的优惠券对应的电子结算。并且,POS系统的条码扫描仪8302将表示电子结算完成的结算完成信息通过亮度变化向接收机8300发送。即,条码扫描仪8302还具有作为可见光通信的发送机的功能。接收机8300如果通过可见光通信取得结算完成信息,则显示该结算完成信息。该结算完成信息例如表示“感谢购买”这样的消息和结算的金额。通过进行这样的电子结算,POS系统、服务器及接收机8300能够判断出,在与显示于店铺前的广告信息(服务信息)对应的店铺,用户利用了由该广告信息表示的服务。
如以上这样,通过图86~图90所示那样的接收机8300及POS系统等的动作,进行店内的商品的订购。因而,用户只要进入店铺,就能够从自动显示在显示装置8300b或接收机8300上的该店铺的菜单进行商品的订购。即,店铺的店员不需要给用户看菜单就直接从用户受理商品的订购。结果,能够大幅削减店员的负担。此外,在上述例子中,条码扫描仪8302将条码读入,但也可以不使用条码扫描仪8302。例如,接收机8300也可以将条码所表示的信息经由服务器向POS系统发送。并且,接收机8300也可以经由服务器从该POS系统取得结算完成信息。由此,能够将店员的作业进一步削减,用户能够不经由店员而进行商品的订购。或者,也可以是显示装置8300b和接收机8300以可见光通信将订购或核款的数据交换,或通过使用利用可见光通信交换的密钥的无线通信将上述数据交换。
此外,招牌8301也有由属于连锁店的多个店铺中的1个店铺发出的情况。在这样的情况下,使用与招牌8301的可见光通信取得的广告信息能够在属于连锁店的全部的店铺中利用。但是,即使在相同的连锁店中,也可以在发出招牌8301的店铺(广告店铺)和没有发出的店铺(非广告店铺)间、在用户接受的服务上设置差异。例如,在用户进入了非广告店铺的情况下,用户接受如事前取得图像所示的优惠券那样的折扣率(例如20%)的服务,在用户进入到广告店铺的情况下,接受比该优惠券的折扣率高的折扣率(例如30%)的服务。即,接收机8300在检测到向广告店铺的进店的情况下,从服务器取得表示10%的进一步折扣的附加性的服务信息,代替图89所示的事前取得图像而显示表示30%(20%+10%)的折扣率的图像。另外,接收机8300基于从服务器取得的上述店铺信息,检测用户进入了广告店铺中还是进入了非广告店铺中。在店铺信息中,与属于连锁店的多个店铺的各自的所在地一起示出这些店铺是广告店铺还是非广告店铺。
此外,在相同的连锁店中有多个非广告店铺的情况下,也可以在各个非广告店铺间在用户接受的服务上设置差异。例如,向进入到非广告店铺中的用户提供与从招牌8301的位置、或从与招牌8301进行可见光通信时的接收机8300的当前地到该非广告店铺为止的距离对应的服务。或者,向进入到该非广告店铺中的用户提供与接收机8300和招牌8301进行可见光通信的时刻与用户进入到非广告店铺中的时刻的差(时间差)对应的服务。即,接收机8300从服务器取得根据上述距离(招牌8301的位置)和时间差而不同的、表示进一步的折扣的附加性的服务信息,代替图89所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。另外,这样的服务由服务器或POS系统、或者由它们相互协同来决定。此外,这样的服务也可以没有广告店铺及非广告店铺的区别,而对属于连锁店的全部的店铺适用。
此外,在用户进入非广告店铺而进行了利用广告信息的订购的情况下,非公告店铺的POS系统也可以将通过订购得到的金额的一部分返还给广告店铺的POS系统。
进而,服务器在每当显示广告信息时,能够判定该广告信息是否已被利用,并通过将该判定出的结果累积,能够解析招牌8301的广告效果。此外,服务器还能够通过将招牌8301的位置、显示广告信息的时刻、利用广告信息的店铺的位置、利用广告信息的时刻及用户的进店时刻中的至少1个累积,来实现招牌8301的广告效果的解析精度的提高,并能够找到广告效果最高的招牌8301的位置。
此外,接收机8300也可以从服务器取得表示广告信息被利用于商品订购的利用次数量的进一步的折扣的附加性的服务信息,代替图89所示的事前取得图像而显示表示反映了该利用次数量的进一步的折扣的折扣率(例如30%)的图像。例如,服务器也可以与POS系统协同来进行利用次数越多则使折扣率越高那样的服务。
此外,服务器也可以在由接收机8300接收到与由店铺发出的全部的招牌8301的设备ID分别建立了关联的广告信息的情况(全部的广告信息的取得完成的情况)下,向进入到该招牌8301的店铺中的用户提供特别服务。特别服务例如是折扣率很高的服务、或将订购商品以外的商品免费提供的服务。即,如果接收机8300检测到用户的进店,则服务器对于与该店铺建立了关联的全部的招牌分别判断接收机8300是否进行了包括可见光通信等的处理。并且,在判断为进行了该处理的情况下,接收机8300从服务器取得表示进一步的折扣的附加性的服务信息作为上述特别服务,代替图89所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如50%)的图像。
此外,接收机8300也可以从服务器取得根据与招牌8301进行可见光通信而显示广告信息的时刻和用户进入到店铺中的时刻的差而不同的、表示进一步的折扣率的附加性的服务信息,代替图89所示的事前取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。例如,接收机8300从服务器取得该差越小则表示越高的折扣率的附加性的服务信息。
图91是表示店内的情形中的接收机8300的下个动作的一例的图。
结束了订购及电子结算的接收机8300接收从构成为店铺内的照明设备的发送机通过亮度变化发送的信号,通过将该信号向服务器发送,取得表示用户的座席位置(例如黑圈)的店铺内的导引图。进而,接收机8300与上述实施方式1~3的任一个同样,使用该接收到的信号确定接收机8300的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示到导引图中。由此,用户能够容易地掌握在店铺内怎样前进能到达自己的座席。
此外,接收机8300在用户移动时,也通过与构成为店铺内的照明设备的附近的发送机进行可见光通信,随时进行上述那样的接收机8300的位置的确定。因而,接收机8300将显示的接收机8300的位置(例如星号)依次更新。由此,能够将用户适当地导引到座席。
图92是表示店内的情形中的接收机8300的下个动作的一例的图。
如果用户到达座席,则接收机8300通过与构成为照明设备的发送机8303进行可见光通信,确定接收机8300的位置,判断为该位置处于用户的座席位置。并且,接收机8300将已到达座席的情况与用户名或昵称一起经由服务器向店铺内的终端通知。由此,店员能够掌握哪个用户坐在哪个座席。
图93是表示店内的情形中的接收机8300的下个动作的一例的图。
发送机8303通过亮度变化,发送包括顾客ID和通知订购商品已备好的消息的信号。另外,接收机8300例如在从服务器取得表示商品的菜单等的商品劳务信息时,从服务器也取得并保持上述顾客ID。接收机8300通过将发送机8303可见光摄影,接收上述信号。进而,接收机8300判断该信号中包含的顾客ID是否与预先保持的顾客ID一致。这里,接收机8300如果判断为一致,则将在该信号中包含的消息(例如“商品已备好”)显示。
图94是表示店内的情形中的接收机8300的下个动作的一例的图。
将订购商品送达用户的座席的店员为了证明送达了该订购商品,将手持终端8302a朝向接收机8300。手持终端8302a构成为发送机,将表示送达了订购商品的信号通过亮度变化向接收机8300发送。接收机8300通过将手持终端8302a摄像而接收该信号,将由该信号表示的消息(例如“请用餐”)显示。
<情形:寻找店铺>
接着,使用图95~图97,对携带着接收机8300的用户寻找有兴趣的店铺的情形中的应用例进行说明。
图95是表示寻找店铺的情形中的接收机8300的动作的一例的图。
用户发现登载着有兴趣的饮食店的标牌8304。此时,用户如果判断为该标牌8304正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。
图96是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标牌8304的整体或标牌8304中的登载着用户有兴趣的饮食店的部分进行摄像,接收用来识别该标牌8304或该饮食店的ID。
图97是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。
接收机8300如果接收到上述ID,则将该ID向服务器发送,从服务器取得与该ID建立了关联的广告信息(服务信息)并显示。此时,接收机8300也可以将进入饮食店的预定人数(附属信息)与该ID一起向服务器通知。由此,接收机8300能够取得与该人数对应的广告信息。例如,接收机8300能够取得表示在该饮食店中是否有该通知的人数量的空席的广告信息。
<情形:电影广告>
接着,使用图98~图101,对携带着接收机8300的用户处于登载着有兴趣的电影广告的标牌前的情形中的应用例进行说明。
图98是表示电影广告的情形中的接收机8300的动作的一例的图。
用户发现登载着有兴趣的电影广告的标牌8305、和例如构成为液晶显示器且显示电影广告用的运动图像的标牌8306。标牌8305例如具备描绘有表示电影广告的图像的透射性的薄膜、和配置在该薄膜的背面侧并将该薄膜照明的多个LED。即,该标牌8305通过多个LED的发光,将描绘在薄膜上的图像作为静止图像明亮地显示。此外,该标牌8305构成为通过亮度变化来发送信号的发送机。
这里,用户如果判断该标牌8305正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。
图99是表示电影广告的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标牌8305摄像,取得该标牌8305的ID。并且,接收机8300将该ID向服务器发送,将与该ID建立了关联的电影广告用的运动图像数据作为服务信息从服务器下载并再现。
图100是表示电影广告的情形中的接收机8300的下个动作的一例的图。
通过如上述那样下载的运动图像数据的再现而显示的运动图像,例如与由标牌8306显示的运动图像相同。因而,用户在想要观看电影广告用的运动图像的情况下,不用站立在标牌8306前而能够在任意的场所观看该运动图像。
图101是表示电影广告的情形中的接收机8300的下个动作的一例的图。
接收机8300不仅将运动图像数据,还可以与该运动图像数据一起将表示电影的上映时间等的上映信息也作为服务信息下载。由此,接收机8300能够将上映信息的内容显示并向用户通知,并且能够与其他终端(其他智能电话等)共享该上映信息。
<情形:美术馆>
接着,使用图102~图107,对携带着接收机8300的用户进入美术馆鉴赏馆内的各展示物的情形中的应用例进行说明。
图102是表示美术馆的情形中的接收机8300的动作的一例的图。
用户例如在要向美术馆入馆时,发现挂在该美术馆的入口处的导引公告板8307。此时,用户如果判断为该导引公告板8307正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。
图103是表示美术馆的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将导引公告板8307摄像,取得该导引公告板8307的ID。并且,接收机8300将该ID向服务器发送,作为与该ID建立了关联的服务信息而将该美术馆的导引用应用程序(以下称作美术馆应用)从服务器下载并使其启动。
图104是表示美术馆的情形中的接收机8300的下个动作的一例的图。
如果美术馆应用启动,则接收机8300按照该美术馆应用,显示美术馆内的导引图。进而,接收机8300与上述实施方式1~3的某一个同样,确定接收机8300的美术馆中的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示在导引图中。
接收机8300为了如上述那样确定位置,例如在下载美术馆应用时,从服务器取得表示导引公告板8307的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的导引公告板8307的大小及形状、和在通过上述摄像得到的图像中映照出的导引公告板8307的大小及形状,按照三角测量的方法等,确定接收机8300相对于导引公告板8307的相对位置。
图105是表示美术馆的情形中的接收机8300的下个动作的一例的图。
如上述那样启动了美术馆应用的接收机8300,如果用户进入到美术馆内,则通过与处于美术馆内的构成为照明设备的近处的发送机进行可见光通信,随时进行接收机8300的位置的确定。例如,接收机8300通过将构成为照明设备的发送机8308摄像,从该发送机8308取得发送机8308的ID。并且,接收机8300从服务器取得与该ID建立了关联的表示发送机8308的位置的位置信息、和表示发送机8308的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的发送机8308的大小及形状、和在通过上述摄像得到的图像中映照出的发送机8308的大小及形状,按照三角测量的方法等,推测接收机8300相对于发送机8308的相对位置。此外,接收机8300基于从服务器取得的位置信息所表示的发送机8308的位置、和如上述那样推测出的接收机8300的相对位置,确定接收机8300在美术馆中的位置。
并且,接收机8300每当进行了接收机8300的位置的确定,就使显示的星号移动到所确定的最新的位置。由此,进入到美术馆中的用户只要看到显示在接收机8300上的导引图和星号,就能够容易地掌握自己处于美术馆的何处。
图106是表示美术馆的情形中的接收机8300的下个动作的一例的图。
进入到美术馆内的用户如果发现有兴趣的展示物8309,则进行将该接收机8300罩向展示物8309的动作,以使接收机8300能够将该展示物8309摄像。这里,展示物8309被照明设备8310的光照亮。此外,照明设备8310是对于展示物8309专用的,构成为通过亮度变化来发送信号的发送机。因而,展示物8309被亮度变化的光照亮,将来自照明设备8310的信号间接地发送。
接收机8300如果基于来自例如内置的9轴传感器的输出而检测到将接收机8300罩向展示物8309的动作,则通过将该展示物8309摄像,接收来自照明设备8310的信号。该信号例如表示展示物8309的ID等。并且,接收机8300从服务器取得与该ID建立了关联的展示物8309的介绍信息(服务信息)。该介绍信息表示用来介绍展示物8309的图,并将用于介绍的文章通过日语、英语及法语等的各国语言表示。
接收机8300如果从服务器取得介绍信息,则将由该介绍信息表示的图和文章显示。这里,接收机8300在将文章显示时,从各国语言的文章中,提取由用户预先设定的语言的文章,仅显示该语言的文章。此外,接收机8300也可以通过用户的选择操作来变更该语言。
图107是表示美术馆的情形中的接收机8300的下个动作的一例的图。
接收机8300如果通过用户的操作结束了介绍信息的图及文章的显示,则再次通过与构成为照明设备的近处的发送机(例如照明设备8311)进行可见光通信,进行接收机8300的位置的确定。并且,接收机8300如果确定了接收机8300的新的位置,则使显示的星号移动到该确定的新的位置。由此,鉴赏完展示物8309的用户通过观看显示在接收机8300上的导引图和星号,能够容易地向下个想要鉴赏的展示物移动。
<情形:公共汽车停靠站>
接着,使用图108~图109,对携带着接收机8300的用户处于公共汽车停靠站的情形中的应用例进行说明。
图108是表示公共汽车停靠站的情形中的接收机8300的动作的一例的图。
用户例如为了乘公共汽车而来到公共汽车停靠站。在此,用户如果判断为处于该公共汽车停靠站的标识塔8312正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。
图109是表示公共汽车停靠站的情形中的接收机8300的下个动作的一例的图。
接收机8300通过将标识塔8312摄像,取得该标识塔8312所处的公共汽车停靠站的ID。并且,接收机8300将该ID向服务器发送,从服务器取得与该ID建立了关联的运行状况信息。另外,该运行状况信息是表示交通状况的信息,是表示向用户提供的服务的服务信息。
这里,服务器通过从在包括该公共汽车停靠站的地域中运行的各公共汽车收集信息,管理这些公共汽车的运行状况。因而,服务器当从接收机8300取得了公共汽车停靠站的ID时,基于管理的运行状况,推测公共汽车到达该ID的公共汽车停靠站的时间,将表示该推测出的时间的运行状况信息向接收机8300发送。
取得了运行状况信息的接收机8300将由该运行状况信息表示的时间如例如“还有10分钟到达”那样显示。由此,用户能够容易地掌握公共汽车的运行状况。
(补充)
在摄像侧的扫描方向是便携终端的垂直方向(上下方向)的情况下,如果使曝光时间较短而摄像,则对于LED的照明装置整体的开启/关闭,如图110的(a)那样,能够在与扫描方向相同的方向上摄像出作为黑白的样式的亮线。在图110的(a)中,由于将纵长的LED照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像(便携终端的左右方向),所以能够在与扫描方向相同的方向上摄像出许多黑白样式的亮线。即,能够使能够发送接收的信息量变大。另一方面,如图110的(b)那样,在将纵长的LED照明装置以相对于摄像侧的扫描方向为平行的方式摄像的情况(便携终端的上下方向),能够摄像的黑白样式的亮线变少。即,能够发送的信息量变少。
这样,根据相对于摄像侧的扫描方向的LED照明装置的朝向,产生能够摄像出许多黑白样式的亮线的情况(将纵长的LED照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像的情况)、和仅能够摄像出少量的黑白样式的亮线的情况(使纵长的LED照明装置的长边方向相对于摄像侧的扫描方向为平行的情况)。
在本实施方式中,说明即使在仅能够摄像少量的黑白样式的亮线的情况下也能够摄像许多亮线的照明装置的控制方法。
在图111中表示在纵向上配设有多个LED的照明装置和其驱动信号的一例。图111的(a)是在纵向上配设有多个LED的照明装置。设各LED元件相当于将可见光通信信号编码的横条纹的最小单位,相当于编码后的开启/关闭信号。这样,生成黑白的样式,通过将各LED元件开启/关闭而照明,摄像侧的扫描方向与纵长的LED照明装置的长边方向是并行的,能够将LED元件单位的黑白样式摄影。
图111的(c)及(d)表示生成黑白的样式、将各LED元件开启/关闭而照明的例子。在照明装置中,如果作为黑白的样式照明,则尽管是短时间但有光亮中发生不匀的情况。因此,表示生成反相位的样式并交替地照明的例子的为图111的(c)及(d)。在图111的(c)中为开启的元件在图111的(d)中为关闭,在图111的(c)中为关闭的元件在图111的(d)中为开启。通过这样将黑白的样式将正相位的样式和反相位的样式依次交替而照明,不会发生光亮的不匀,并且不受摄像侧的扫描方向与照明装置的朝向的关系的影响,在可见光通信中能够收发较多的信息。此外,并不限于交替地生成正相位的样式、反相位的样式这两种样式而照明的情况,也可以考虑生成3种以上的样式而照明的情况。图112表示将4种样式依次照明的例子。
通常,也可以考虑LED照明整体进行闪烁(图111的(b))、以规定时间生成黑白样式而以LED元件单位照明的结构。例如,可以考虑在规定的数据单位的收发的时间中LED照明整体进行闪烁、然后在短时间中以LED元件单位照明黑白样式的结构。这里,规定的数据单位例如是指从第1头到接下来的第2头的数据单位。此时,在图110的(a)的方向上摄像的情况下从将LED照明整体的闪烁进行了摄像的亮线接收信号,在图110的(b)的方向上接收的情况下从LED元件单位的发光样式接收信号。
另外,本实施方式并不限定于LED照明装置,只要是与LED元件同样能够以较小的元件单位控制开启/关闭的元件,是怎样的元件都可以。此外,并不限于照明装置,也可以是电视机、投影仪、或标牌等装置。
此外,在本实施方式中,对以黑白样式照明的例子进行了说明,但也可以不是黑白样式而使用颜色。例如,也可以使RGB中的RG总是点灯、仅使用B来闪烁。与R及G相比,仅使用B时不易被人辨识,能够抑制闪变。作为另一例,也可以代替黑白样式而使用在加法混色中为互补色的颜色(红和青绿的样式、绿和洋红的样式、黄和蓝的样式等)来显示开启/关闭。通过使用在加法混中为互补色的颜色,能够抑制闪变。
此外,在本实施方式中,使用将LED元件1维地配置的例子进行了说明,但也可以不是将LED元件1维地排列,而是2维地配置,如2维条码那样进行显示。
(本实施方式的总结)
本实施方式的服务提供方法,使用具备具有多个曝光线的图像传感器的终端装置向上述终端装置的用户提供服务,包括:图像取得步骤,将上述图像传感器的各曝光线的曝光依次在不同的时刻开始,并且以1/480秒以下的曝光时间进行被拍摄对象的摄影以使上述各曝光线的曝光时间在与相邻的曝光线之间具有局部的时间上的重叠,由此取得图像数据;可见光通信步骤,通过将上述图像数据中出现的、与上述各曝光线对应的亮线样式解调,取得上述被拍摄对象的识别信息;以及服务提示步骤,将与上述被拍摄对象的识别信息建立了关联的服务信息向上述用户提示。
由此,利用被拍摄对象及终端装置分别作为发送机及接收机而相互通信,向终端装置的用户提示与被拍摄对象关联的服务信息,所以能够将对于用户而言有益的信息作为服务以多种形态向该用户提供。例如,在上述服务提示步骤中,将与上述被拍摄对象关联的店铺的广告、表示空席状况或预约状况的信息、表示商品或劳务的价格的折扣率的信息、电影广告用的运动图像、表示上映时间的信息、用来在建筑物内部导引的信息、用来介绍展示物的信息、和表示交通状况的信息中的至少1个作为上述服务信息提示。
此外,也可以是,上述服务提供方法还包括:识别信息发送步骤,上述终端装置将上述被拍摄对象的识别信息向服务器发送;以及服务取得步骤,上述终端装置从上述服务器取得与上述被拍摄对象的识别信息建立了关联的上述服务信息;在上述服务提示步骤中,上述终端装置将所取得的上述服务信息向上述用户提示。
由此,能够将服务信息与被拍摄对象的识别信息建立关联而使服务器管理,所以能够使服务信息的更新等的维护变容易。
此外,也可以是,在上述识别信息发送步骤中,与上述被拍摄对象的识别信息一起将附属信息向上述服务器发送;在上述服务取得步骤中,取得与上述被拍摄对象的识别信息和上述附属信息建立了关联的上述服务信息。
由此,能够提供与附属信息对应的、对于用户而言更适当的服务。例如,如使用图84及图97说明的动作那样,在上述识别信息发送步骤中,将上述用户的个人信息、上述用户的识别信息、表示包括上述用户的组的人数的人数信息或表示上述终端装置的位置的位置信息作为上述附属信息发送。
此外,也可以是,上述服务提供方法还包括:位置发送步骤,上述终端装置将表示上述终端装置的位置的位置信息向服务器发送;以及事前取得步骤,上述终端装置从上述服务器取得并保持处于包括由上述位置信息表示的位置的规定的范围中的至少1个设备的识别信息、和与上述识别信息分别建立了关联的至少1个服务信息;在上述服务提示步骤中,上述终端装置从在上述事前取得步骤中保持的上述至少1个服务信息之中,选择与上述被拍摄对象的上述识别信息建立了关联的服务信息,将该服务信息向上述用户提示。
由此,例如如使用图82说明的动作那样,当终端装置取得了被拍摄对象的识别信息时,其后不用与服务器等通信就能够从预先保持的至少1个服务信息之中取得与该被拍摄对象的识别信息建立了关联的服务信息并提示。因而,能够使服务的提供高速化。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及商品劳务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置从服务器取得关于上述店铺的商品或劳务的商品劳务信息,并向上述用户提示。
由此,如使用例如图86~图90说明的动作那样,如果用户进入到店铺中,则能够将店铺的菜单等作商品劳务信息自动地向用户提示。因而,店铺的店员不需要将菜单等向用户提示,用户便能够对店铺简单地进行订购。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述被拍摄对象的位置及上述服务信息被提示的时刻中的至少一方而不同的上述店铺的附加性的服务信息。
由此,如使用例如图86~图90说明的处理那样,被拍摄对象距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻(或进行了被拍摄对象的摄影的时刻)越接近,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。具体而言,有属于连锁店的多个店铺分别是与在服务提示步骤中提示的服务信息对应的店铺、由这些店铺中的1个店铺(广告店铺)发出了作为被拍摄对象的招牌的情况。在这样的情况下,属于上述连锁店的多个店铺中的广告店铺典型地处于距该被拍摄对象(招牌)最近的位置。因而,被拍摄对象距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻越接近,用户进入的店铺是广告店铺的可能性越高。所以,在用户进入到广告店铺中的可能性较高的情况下,能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述用户在上述店铺中利用了由上述服务信息表示的服务的次数而不同的上述店铺的附加性的服务信息。
由此,如使用例如图86~图90说明的动作那样,服务的利用次数越多,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。例如可以是,如果表示商品价格的20%折扣的服务信息的利用次数超过阈值,则将表示10%的进一步的折扣的附加性的服务信息向用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;完全判断步骤,当在上述进店判别步骤中判别为上述用户进入到了上述店铺中时,判断是否对与上述店铺建立了关联的上述被拍摄对象以外的全部的其他被拍摄对象分别也进行了包括上述图像取得步骤、上述可见光通信步骤以及上述服务提示步骤的处理;以及附加服务提示步骤,当在上述完全判断步骤中判断为进行了上述处理时,上述终端装置向上述用户提示上述店铺的附加性的服务信息。
由此,如使用例如图86~图90说明的动作那样,例如店铺将一些被拍摄对象作为招牌发出,在对这些招牌的全部进行了图像取得步骤、可见光通信步骤及服务提示步骤的情况下,能够将对于用户而言最有益的服务信息作为附加性的服务信息向该用户提示。
此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述服务信息被提示的时刻与上述用户进入到上述店铺中时刻的差而不同的上述店铺的附加性的服务信息。
由此,如使用例如图86~图90说明的动作那样,服务信息被提示的时刻(或进行了被拍摄对象的摄影的时刻)与用户进入到店铺中的时刻的差越小,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。即,能够对从通过被拍摄对象的摄像接受服务信息的提示起到进店为止的时间较短的用户附加地提供更有益的服务。
此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;以及解析步骤,每当上述服务信息被提示,就将在上述利用判断步骤中判断的结果累积,基于累积的内容解析上述被拍摄对象的广告效果。
如使用例如图86~图90说明的动作那样,在服务信息中示出商品价格的20%折扣等的服务的情况下,判断该服务是否通过例如电子结算而被利用。即,每当在被拍摄对象的摄像时向用户提供服务,就判断该服务是否被利用。结果,例如在判断为被利用的情况较多的情况下,能够解析为被拍摄对象的广告效果较高。即,能够基于利用结果适当地解析被拍摄对象的广告效果。
此外,也可以是,在上述解析步骤中,与在上述利用判断步骤中判断出的结果一起,将上述被拍摄对象的位置、上述服务信息被提示的时刻、上述店铺的位置及上述用户进入到上述店铺中的时刻中的至少1个累积,基于累积的内容解析上述被拍摄对象的广告效果。
由此,能够将被拍摄对象的广告效果更详细地解析。例如在改变了被拍摄对象的位置的情况下,能够将改变位置的前后的广告效果比较,结果,能够将被拍摄对象发出到广告效果较高的位置。
此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与在上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;店铺判断步骤,当在上述利用判断步骤中判断为利用了上述服务时,判断作为利用了上述服务的店铺的利用店铺是否是与上述被拍摄对象建立了关联的特定店铺;以及返还步骤,当在上述店铺判断步骤中判断为上述利用店铺不是上述特定店铺时,将在上述利用店铺中利用上述服务而结算的金额的至少一部分使用电子商务交易向上述特定店铺返还。
由此,即使如使用例如图86~图90说明的动作那样,即使在没有在特定店铺(例如发出作为被拍摄对象的招牌的广告店铺)利用服务的情况下,特定店铺也能够作为例如对作为被拍摄对象的招牌的设置的补偿而得到利益。
此外,也可以是,在上述服务提示步骤中,在上述图像取得步骤中摄影了被亮度变化的光照射的上述被拍摄对象的情况下,上述终端装置向上述用户提示用来介绍上述被拍摄对象的上述服务信息,在上述图像取得步骤中将亮度变化的照明设备作为上述被拍摄对象摄影的情况下,上述终端装置向上述用户提示用来在配置有上述被拍摄对象的建筑物内部进行导引的上述服务信息。
由此,如使用例如图105及图106说明的动作那样,能够将例如美术馆等的馆内的导引服务和作为被拍摄对象的展示物的介绍服务适当地向用户提供。
此外,本实施方式的信息通信方法,从具有多个发光元件的被拍摄对象取得信息,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的亮线;图像取得步骤,上述图像传感器在设定的上述曝光时间中摄影按照用来表示第1信息的亮度变化的样式而上述多个发光元件的全部以相同的方式亮度变化的上述被拍摄对象,由此取得作为包含上述亮线的图像的亮线图像;第1信息取得步骤,将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据进行解调,由此取得上述第1信息;以及第2信息取得步骤,将上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光的上述被拍摄对象摄影,将由通过摄影得到的图像中表示的、沿着与上述曝光线平行的方向的亮度的明暗的排列确定的数据进行解调,由此取得第2信息。
或者,本实施方式的信息通信方法,通过亮度变化来发送信号,包括:决定步骤,通过将发送对象的第1信号调制,决定亮度变化的样式;第1发送步骤,按照所决定的上述亮度变化的样式,发光体具有的多个发光元件的全部以相同的方式亮度变化,由此发送上述第1信号;以及第2发送步骤,上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光,在配置有上述发光体的空间上呈现亮度的明暗的排列,由此将发送对象的第2信号发送。
由此,如使用例如图110~图112说明的动作那样,即使作为被拍摄对象或发光体的照明装置是具备排列为一列的多个LED的细长的结构,接收机也能够与摄影的朝向无关地适当地取得来自该照明装置的信息或信号。即,在接收机所具备的图像传感器的曝光线(摄像侧的操作方向)与多个LED的排列方向不平行的情况下,接收机能够根据照明装置的整体的亮度变化,适当地取得信息或信号。进而,接收机在曝光线与上述排列方向平行的情况下,接收机也能够根据沿着与曝光线平行的方向的亮度的明暗的排列,适当地取得信息或信号。换言之,能够抑制摄像的朝向对于信息的接收的依赖性。
(实施方式5)
在本实施方式中,对使用上述实施方式1~4的智能电话等的接收机、和作为LED或有机EL等的闪烁样式发送信息的发送机的应用例进行说明。
图113是表示实施方式5的发送机的动作的一例的图。
发送机8321、发送机8322及发送机8323分别具备与上述实施方式1~4的任一种发送机同样的功能,构成为通过亮度变化而发送信号(可见光通信)的照明设备。此外,这些发送机8321~8323通过分别以相互不同的频率进行亮度变化来发送信号。例如,发送机8321通过以频率a(例如9200Hz)进行亮度变化来发送该发送机8321的ID“1000”,发送机8322通过以频率b(例如9600Hz)进行亮度变化来发送该发送机8322的ID“2000”,发送机8323通过以频率c(例如10000Hz)进行亮度变化来发送该发送机8323的ID“3000”。
接收机以这些发送机8321~8323全部包含在视角中的方式,将发送机8321~8323与上述实施方式1~4同样地摄像(可见光摄影)。在通过该摄像得到的图像中,显现与各发送机对应的亮线样式。另外,根据亮线样式,能够确定与该亮线样式对应的发送机的亮度变化的频率。
这里,假如在发送机8321~8323各自的频率相同的情况下,根据与发送机分别对应的亮线样式确定的频率也相同。进而,在这些亮线样式相互相邻的情况下,根据这些亮线样式确定的频率也相同,所以难以将这些亮线样式区别。
所以,如上述那样,通过发送机8321~8323以相互不同的频率进行亮度变化,接收机能够将这些亮线样式容易地区别,通过将由各自的亮线样式确定的数据解调,能够适当地取得发送机8321~8323各自的ID。即,接收机能够将来自发送机8321~8323的信号适当地区别。
另外,发送机8321~8323各自的频率既可以由遥控器设定,也可以随机地设定。此外,也可以是发送机8321~8323分别与旁边的发送机通信,自动地设定自身发送机的频率以使其与旁边的通信机的频率不同。
图114是表示实施方式5的发送机的动作的一例的图。
在上述例子中,发送机以分别不同的频率进行亮度变化,但在有5个以上的发送机的情况下,也可以不以分别不同的频率进行亮度变化。即,5个以上的发送机只要分别以4种频率中的某1个频率进行亮度变化就可以。
例如,如图114所示,即使是与5个以上的发送机分别对应的亮线样式(图114中的矩形区域)相邻的状况,频率的种类也不是需要发送机的数量,而是只要有4种(频率a、b、c、d),就能够使相互相邻的亮线样式的频率可靠地不同。这由四色问题或四色定理给出理由。
即,在本实施方式中,多个发送机分别以至少4种频率中的某1个频率进行亮度变化,多个发送机中的两个以上的发光体以相同的频率进行亮度变化。此外,在向接收机的图像传感器的受光面投影该多个发送机的情况下,该多个发送机分别亮度变化,以使得在该受光面上相互相邻的全部的发送机(作为发送机的像的亮线样式)间亮度变化的频率不同。
图115是表示实施方式5的发送机的动作的一例的图。
发送机通过按照预先设定的时间单位(时隙)输出较高的亮度的光(H)或较低的亮度的光(L)而亮度变化,通过该亮度变化发送信号。这里,发送机按照由头(header)和主体(body)构成的块发送信号。头例如如图79A所示那样使用7个时隙表现为(L,H,L,H,L,H,H)。并且,主体由多个符号(00,01,10或11)构成,各符号使用4个时隙(4值PPM)表现。此外,块使用预先设定的数量(在图115的例子中是19)的时隙来表现。此外,ID是通过将例如包含在4个块的各自中的主体结合而得到的。另外,块也可以使用33个时隙表现。
通过接收机的摄像得到的亮线样式包括与该头对应的样式(pattern) (头样式)和与主体对应的样式(数据样式)。在数据样式中不包括与头样式相同的样式。因而,接收机能够根据亮线样式容易地找出头样式,能够计测头样式与下个头样式之间的像素数(与块对应的曝光线的数量)。接收机由于1块的时隙数(在图115的例子中是19)不论频率如何都被设定为固定的数量,所以能够根据该计测的像素数确定发送机的频率(1时隙的时间幅度的倒数)。即,接收机像素数越多则确定越低的频率,像素数越少则确定越高的频率。
这样,接收机能够通过发送机的摄像取得该发送机的ID,并且能够确定该发送机的频率。这里,接收机能够利用这样确定的频率,判断所取得的ID是否是适当的,即能够进行ID的错误检测。具体而言,接收机计算与ID对应的散列值,将该散列值与所确定的频率比较。接收机在该散列值与频率一致的情况下,判断所取得的ID是适当的,在不一致的情况下,判断所取得的ID是不适当的(错误)的。例如,接收机将ID除以预先设定的除数而得到的余数作为散列值来处理。反言之,发送机通过以与对应于发送对象的ID的散列值相同的值的频率(1个时隙的时间幅度的倒数)进行亮度变化,发送该发送对象的ID。
图116是表示实施方式5的发送机及接收机的动作的一例的图。
发送机也可以不使用如上述那样与散列值相同的值的频率,而使用任意的频率以该任意的频率进行亮度变化。在此情况下,发送机将表示与该发送机的ID不同的值的信号发送。例如,在发送机的ID是“100”、该发送机作为任意的频率而使用2kHz的情况下,发送机发送组合了ID和频率的信号“1002”。同样,在其他发送机的ID是“110”、其他发送机作为任意的频率而使用1kHz的情况下,其他发送机发送组合了ID和频率的信号“1101”。
在此情况下,接收机将从发送机发送而取得的信号中的下数第一位的数值用于错误检测,将其余的位的数值作为发送机的ID提取。并且,接收机将根据亮度样式确定的频率与在所取得的信号中包含的上述下数第一位的数值比较。接收机在该下数第一位的数值与频率一致的情况下,判断为提取出的ID是适当的,在不一致的情况下,判断为所提取的ID是不适当的(错误)。
由此,在接收机中能够进行错误检测,并且能够增加发送机中的亮度变化的频率的设定自由度。
图117是表示实施方式5的接收机的动作的一例的图。
如图117所示,在通过接收机的摄像(可见光摄影)得到的图像中,有亮线样式8327a和亮线样式8327b的各自的一部分重叠的情况。在这样的情况下,接收机从亮线样式8327a和亮线样式8327b重叠的部分8327c不进行数据的解调,而从亮线样式8327a和亮线样式8327b的各自的部分8327c以外的部分进行数据的解调。由此,接收机能够从亮线样式8327a和亮线样式8327b分别取得适当的ID。
图118是表示实施方式5的接收机的动作的一例的图。
发送机如图118的(a)所示,例如按照块切换用来将该块发送的亮度变化的频率。由此,接收机能够更容易地判别块与块的划分。
此外,发送机如图118的(b)所示,例如使用来对块的头进行发送的亮度变化的频率与用来对该块的主体进行发送的亮度变化的频率不同。由此,能够抑制在主体中出现与头相同的样式。结果,接收机能够更适当地判断头和主体的区别。
图119是表示实施方式5的具有发送机、接收机及服务器的系统的动作的一例的图。
本实施方式的系统具备发送机8331、接收机8332和服务器8333。发送机8331具备与上述实施方式1~4的某个发送机同样的功能,构成为将发送机8331的ID通过亮度变化进行发送(可见光通信)的照明设备。接收机8332具备作为上述实施方式1~4的某个接收机的功能,通过将发送机8331摄像(可见光摄影),从该发送机8331取得发送机8331的ID。服务器8333与发送机8331及接收机8332经由例如因特网等网络进行通信。
另外,在本实施方式中,发送机8331的ID不变更而被固定。另一方面,在发送机8331的亮度变化(可见光通信)中使用的频率可以通过设定而任意地变更。
在这样的系统中,发送机8331首先将在亮度变化(可见光通信)中使用的频率向服务器8333登记。具体而言,发送机8331将自身ID、表示其频率的登记频率信息、以及与发送机8331关联的关联信息向服务器8333发送。服务器8333如果接收到发送机8331的ID、登记频率信息和关联信息,则将它们建立关联而记录。即,将发送机8331的ID、在发送机8331的亮度变化中使用的频率、以及关联信息相互建立关联而记录。由此,将在发送机8331的亮度变化中使用的频率登记。
接着,发送机8331通过该登记的频率的亮度变化,将发送机8331的ID发送。接收机8332通过将发送机8331摄像,取得该ID,并且与上述同样,确定该发送机8331的亮度变化的频率。
接着,接收机8332将该取得的ID和表示所确定的频率的确定频率信息向服务器8333发送。服务器8333如果接收到由接收机8332发送的ID及确定频率信息,则检索与该ID建立关联记录的频率(由登记频率信息表示的频率),判断该记录的频率与由确定频率信息表示的频率是否一致。这里,如果判断为一致,则服务器8333将与该ID及频率建立关联记录的关联信息(数据)向接收机8332发送。
由此,如果由接收机8332确定的频率与登记在服务器8333中的频率不一致,则不会从服务器8333向接收机8332发送关联信息。因而,通过将登记到服务器8333中的频率随时变更,能够防止只要接收机8332从发送机8331即便一次取得ID、接收机8332就成为总是能够从服务器8333获取关联信息的状态的情况。即,发送机8331通过将登记在服务器8333中的频率(即在亮度变化中使用的频率)变更,能够将由在变更前取得了ID的接收机8332进行的关联信息的取得禁止。换言之,通过频率的变更,能够对关联信息的取得设定有效期限。例如,在接收机8332的用户住宿在设有发送机8331的旅馆中的情况下,在住宿后旅馆的管理者将频率变更。由此,接收机8332仅在该用户住宿的日子能够取得关联信息,在住宿后能够禁止该接收机8332取得关联信息。
另外,服务器8333也可以将多个频率与1个ID建立关联而登记。例如,服务器8333每当从接收机8332取得登记频率信息,就总是将由最新的4个登记频率信息表示的频率与ID建立关联而登记。由此,即使是过去取得了ID的接收机8332,直到频率被变更3次,也能够从服务器8333取得关联信息。此外,服务器8333也可以按照登记的每个频率,管理该频率被设定给发送机8331的时刻或时间带。在此情况下,服务器8333当从接收机8332接受到ID及确定频率信息时,通过确认对于由该确定频率信息表示的频率管理的时间带等,能够确定该接收机8332取得了ID的时间带。
图120是表示实施方式5的发送机的结构的框图。
发送机8334具备与上述实施方式1~4的某个发送机同样的功能,并且具备频率存储部8335、ID存储部8336、检验值存储部8337、检验值比较部8338、检验值计算部8339、频率计算部8340、频率比较部8341、发送部8342及错误报告部8343。
频率存储部8335存储有在亮度变化(可见光通信)中使用的频率。ID存储部8336存储有发送机8334的ID。检验值存储部8337存储有用来判断存储在ID存储部8336中的ID是否适当的检验值。
检验值计算部8339将存储在ID存储部8336中的ID读出,通过对该ID应用规定的函数,计算与该ID对应的检验值(计算检验值)。检验值比较部8338将存储在检验值存储部8337中的检验值读出,将该检验值与通过检验值计算部8339计算出的计算检验值比较。检验值比较部8338如果判断为计算检验值与检验值不同,则将错误向错误报告部8343通知。例如,检验值存储部8337将表示存储在ID存储部8336中的ID是偶数的值“0”作为检验值存储。检验值计算部8339通过将存储在ID存储部8336中的ID读出并除以值“2”,计算其余数作为计算检验值。并且,检验值比较部8338将检验值“0”和作为上述除法的余数的计算检验值进行比较。
频率计算部8340将存储在ID存储部8336中的ID经由检验值计算部8339读出,根据该ID计算频率(计算频率)。例如,频率计算部8340通过将ID除以预先设定的值,计算其余数作为频率。频率比较部8341将存储在频率存储部8335中的频率(存储频率)与计算频率进行比较。频率比较部8341如果判断为计算频率与存储频率不同,则将错误向错误报告部8343通知。
发送部8342通过以由频率计算部8340计算出的计算频率进行亮度变化,将存储在ID存储部8336中的ID发送。
错误报告部8343当被从检验值比较部8338及频率比较部8341中的至少一方通知了错误时,通过蜂鸣音、闪烁或点灯等来报告错误。具体而言,错误报告部8343具备灯以用于错误的报告,通过使该灯点灯或闪烁来报告错误。或者,错误报告部8343当发送机8334的电源开关被切换为ON时,通过使为了发送ID等信号而亮度变化的光源在规定的期间(例如10秒)以人能够辨别的周期闪烁来报告错误。
由此,检验存储在ID存储部8336中的ID和根据该ID计算的频率是否适当,所以能够防止错误的ID的发送和错误的频率下的亮度变化。
图121是表示实施方式5的接收机的结构的框图。
接收机8344具备与上述实施方式1~4的某个接收机同样的功能,并且具备受光部8345、频率检测部8346、ID检测部8347、频率比较部8348及频率计算部8349。
受光部8345例如具备图像传感器,通过将亮度变化的发送机摄像(可见光摄影),取得包括亮线样式的图像。ID检测部8347从该图像中检测发送机的ID。即,ID检测部8347通过将由该图像中包含的亮线样式确定的数据解调,取得发送机的ID。频率检测部8346根据该图像来检测发送机的亮度变化的频率。即,频率检测部8346如使用图115说明的例子那样,根据该图像中包含的亮线样式确定发送机的频率。
频率计算部8349根据由ID检测部8347检测到的ID,例如如上述那样对ID进行除法,由此计算发送机的频率。频率比较部8348将由频率检测部8346检测出的频率与由频率计算部8349计算出的频率比较。这里,频率比较部8348在这些频率不同的情况下,判断为检测到的ID是错误的,使ID检测部8347重新进行ID的检测。由此,能够防止取得错误的ID。
图122是表示实施方式5的发送机的动作的一例的图。
发送机也可以通过在预先设定的时间单位中使有亮度变化的位置不同,将符号“00,01,10,11”分别区别而发送。
例如在将符号“00”发送时,发送机通过仅在时间单位中的最初的区间即第1区间中亮度变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过仅在时间单位中的第二个区间即第2区间中亮度变化,将该符号“01”发送。同样,当发送符号“10”时,发送机通过仅在时间单位中的第三个区间即第3区间中亮度变化,将该符号“10”发送,在将符号“11”发送时,发送机通过仅在时间单位中的第四个区间即第4区间中亮度变化,将该符号“11”发送。
这样,在本实施方式中,在将哪个符号发送时,在1个区间内都亮度变化,所以与使1个区间(时隙)的整体为较低的亮度的上述发送机相比,能够抑制闪变。
图123是表示实施方式5的发送机的动作的一例的图。
发送机也可以通过在预先设定的时间单位中使亮度变化的有无不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位中亮度不变化,发送该符号“0”。此外,在将符号“1”发送时,发送机通过在时间单位中亮度变化,将该符号“1”发送。
图124是表示实施方式5的发送机的动作的一例的图。
发送机也可以通过使预先设定的时间单位中的亮度变化的剧烈度(频率)不同,来将符号“00,01,10,11”分别区别而发送。例如,在将符号“00”发送时,发送机通过在时间单位中亮度不变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过在时间单位中亮度变化(以较低的频率亮度变化),将该符号“01”发送。此外,在将符号“10”发送时,发送机通过在时间单位中剧烈地亮度变化(以较高的频率亮度变化),将该符号“10”发送。并且,在将符号“11”发送时,发送机通过在时间单位中更剧烈地亮度变化(以更高的频率亮度变化),将该符号“11”发送。
图125是表示实施方式5的发送机的动作的一例的图。
发送机也可以通过使预先设定的时间单位中的亮度变化的相位不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位以预先设定的相位进行亮度变化,将该符号“0”发送。此外,在将符号“1”发送时,发送机通过在时间单位中以与上述相位相反的相位进行亮度变化,将该符号“1”发送。
图126是表示实施方式5的发送机的动作的一例的图。
发送机在将ID等信号发送时,也可以按照例如红色、绿色及蓝色等的每个颜色而亮度变化。由此,对于能够识别每个颜色的亮度变化的接收机,发送机能够将更多的信息量的信号发送。此外,也可以将某种颜色的亮度变化用于时钟对准。例如也可以将红色的亮度变化用于时钟对准。在此情况下,红色的亮度变化作为头发挥作用。结果,在红色以外的颜色(绿色及蓝色)的亮度变化中不需要使用头,能够抑制冗长的数据的发送。
图127是表示实施方式5的发送机的动作的一例图。
发送机例如也可以通过将红色、绿色及蓝色等多个颜色合成来表现合成色(例如白色)的亮度。即,发送机通过按照红色、绿色及蓝色等每个颜色进行亮度变化,表现合成色的亮度变化。通过该合成色的亮度变化,与上述可见光通信同样,将发送对象的信号发送。这里,也可以将红色、绿色及蓝色中的某1个以上的颜色的亮度在用来表现合成色的预先设定的亮度的调整用中使用。由此,能够通过合成色的亮度变化发送信号,并能够通过红色、绿色及蓝色中的某两个颜色的亮度变化来发送信号。即,发送机对于仅能够识别上述那样的合成色(例如白色)的亮度变化的接收机也能够发送信号,并且对于红色、绿色及蓝色等各色都能够识别的接收机能够将更多的信号例如作为附带信息进行发送。
图128是表示实施方式5的发送机的动作的一例的图。
发送机具备4个光源。这4个光源(例如LED电灯)分别发出在图128表示的CIExy色度图中由相互不同的位置8351a、8351b、8352a、8352b 表示的颜色的光。
发送机通过切换第1点灯发送和第2点灯发送来发送各信号。这里,第1点灯发送是在4个光源中、通过使发出位置8351a的颜色的光的光源和发出位置8351b的颜色的光的光源点灯、来发送信号“0”的处理。此外,第2点灯发送是通过使发出位置8352a的颜色的光的光源和发出位置8352b的颜色的光的光源点灯、来发送信号“1”的处理。接收机的图像传感器由于能够识别由位置8351a、8351b、8352a、8352b分别表示的颜色,所以接收机能够将信号“0”和信号“1”适当地接收。
这里,在进行第1点灯发送时,在CIExy色度图中由处于位置8351a、8351b的中间的位置表示的颜色映入人的眼中。同样,在进行第2点灯发送时,在CIExy色度图中由处于位置8352a、8352b的中间的位置表示的颜色映入人的眼中。因而,通过将4个光源的颜色及亮度适当地调整,能够使处于位置8351a、8351b的中间的位置和处于位置8352a、8352b的中间的位置(与位置8353)一致。由此,即使切换第1点灯发送和第2点灯发送,在人的眼中也映照为发送机的发光色被固定,所以能够抑制人感到闪变。
图129是表示实施方式5的发送机及接收机的动作的一例的图。
发送机具备ID存储部8361、随机数生成部8362、加法部8363,加密部8364及发送部8365。ID存储部8361存储有发送机的ID。随机数生成部8362每一定时间生成不同的随机数。加法部8363将由随机数生成部8362生成的最新的随机数对存储在ID存储部8361中的ID进行组合,将其结果作为编辑ID输出。加密部8364通过对该编辑ID进行加密而生成加密编辑ID。发送部8365通过亮度变化而将该加密编辑ID向接收机发送。
接收机具备接收部8366、解码部8367及ID取得部8368。接收部8366通过将发送机摄像(可见光摄影),从发送机接收加密编辑ID。解码部8367通过将该接收到的加密编辑ID解码,将编辑ID复原。ID取得部8368通过从复原后的编辑ID中提取ID,取得该ID。
例如,ID存储部8361存储有ID“100”,随机数生成部8362生成最新的随机数“817”(例1)。在此情况下,加法部8363通过将随机数“817”对ID“100”组合,生成编辑ID“100817”并输出。加密部8364通过对该编辑ID“100817”进行加密,生成加密编辑ID“abced”。接收机的解码部8367通过将该加密编辑ID“abced”解码,将编辑ID“100817”复原。并且,ID取得部8368从复原后的编辑ID“100817”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
接着,随机数生成部8362生成新的随机数“619”(例2)。在此情况下,加法部8363通过将随机数“619”对ID“100”组合,生成编辑ID“100619”并输出。加密部8364通过对该编辑ID“100619”进行加密,生成加密编辑ID“difia”。发送机的解码部8367通过将该加密编辑ID“difia”解码,将编辑ID“100619”复原。并且,ID取得部8368从复原后的编辑ID“100619”中提取ID“100”。换言之,ID取得部8368通过将编辑ID的下3位删除而取得ID“100”。
这样,发送机不是将ID单纯地加密,而是将组合了按每一定时间被变更的随机数而得到的值进行加密,所以能够防止根据从发送部8365发送的信号简单地解读ID。即,在将单纯被加密的ID从发送机向接收机多次发送的情况下,即使该ID被加密,由于只要该ID相同,从发送机向接收机发送的信号也相同,所以也有可能将该ID解读。但是,在图129所示的例子中,将按每一定时间被变更的随机数与ID组合,将组合了该随机数的ID加密。因而,即使是将相同的ID向接收机多次发送的情况,只要这些ID的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止ID被容易地解读。
图130是表示实施方式5的发送机及接收机的动作的一例的图。
发送机具备ID存储部8371、计时部8372、加法部8373、加密部8374及发送部8375。ID存储部8371存储有发送机的ID。计时部8372计时,输出当前日期时间(当前的年月日及时刻)。加法部8373对于存储在ID存储部8371中的ID,将从计时部8372输出的当前日期时间作为发送日期时间进行组合,将其结果作为编辑ID输出。加密部8374通过对该编辑ID 进行加密而生成加密编辑ID。发送部8375通过亮度变化,将该加密编辑ID向接收机发送。
接收机具备接收部8376、解码部8377、有效判断部8378及计时部8379。接收部8376通过将发送机摄像(可见光摄影),从发送机接收加密编辑ID。解码部8377通过将该接收到的加密编辑ID解码,将编辑ID复原。计时部8379计时,输出当前日期时间(当前的年月日及时刻)。有效判断部8378通过从复原后的编辑ID中提取ID而取得该ID。进而,有效判断部8378从复原后的编辑ID中提取发送日期时间,通过将该发送日期时间与从计时部8379输出的当前日期时间进行比较,判断该ID的有效性。例如,有效判断部8378在发送日期时间与当前日期时间的差比预先设定的时间长的情况下,或在发送日期时间比当前日期时间新的情况下,判断为该ID是无效的。
例如,ID存储部8371存储有ID“100”,计时部8372将当前日期时间“201305011200”(2013年5月1日12时0分)作为发送日期时间输出(例1)。在此情况下,加法部8373通过对ID“100”组合发送日期时间“201305011200”,生成编辑ID“100201305011200”并输出。加密部8374通过对该编辑ID“100201305011200”进行加密,生成加密编辑ID“ei39ks”。接收机的解码部8377通过将该加密编辑ID“ei39ks”解码,将编辑ID“100201305011200”复原。并且,有效判断部8378从复原后的编辑ID“100201305011200”中提取ID“100”。换言之,有效判断部8378通过将编辑ID的下12位删除而取得ID“100”。进而,有效判断部8378从复原后的编辑ID“100201305011200”中提取发送日期时间“201305011200”。并且,如果发送日期时间“201305011200”比从计时部8379输出的当前日期时间早、该发送日期时间与当前日期时间的差例如是10分钟以内,则有效判断部8378判断为该ID“100”是有效的。
另一方面,ID存储部8371存储有ID“100”,计时部8372将当前日期时间“201401011730”(2014年1月1日17时30分)作为发送日期时间输出(例2)。在此情况下,加法部8373通过对ID“100”组合发送日期时间“201401011730”,生成编辑ID“100201401011730”并输出。加密部8374通过对该编辑ID“100201401011730”进行加密,生成加密编辑ID“002jflk”。接收机的解码部8377通过将该加密编辑ID“002jflk”解码,将编辑ID“100201401011730”复原。并且,有效判断部8378从复原后的编辑ID“100201401011730”中提取ID“100”。换言之,有效判断部8378通过将编辑ID的下12位删除而取得ID“100”。进而,有效判断部8378从复原后的编辑ID“100201401011730”中提取发送日期时间“201401011730”。并且,如果发送日期时间“201401011730”比从计时部8379输出的当前日期时间新,则有效判断部8378判断为该ID“100”是无效的。
这样,发送机不是将ID单纯地加密,而是将组合了按每一定时间被变更的当前日期时间而得到的值进行加密,所以能够防止从发送部8375发送的信号简单地解读ID。即,在将单纯被加密的ID从发送机向接收机多次发送的情况下,即使该ID被加密,由于只要该ID相同,从发送机向接收机发送的信号也相同,所以也有可能将该ID解读。但是,在图130所示的例子中,将按每一定时间被变更的当前日期时间与ID组合,将组合了该当前日期时间的ID加密。因而,即使是将相同的ID向接收机多次发送的情况,也只要这些ID的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止ID被容易地解读。
进而,通过将加密编辑ID被发送的发送日期时间与当前日期时间进行比较,判断所取得的ID是否有效,所以能够基于发送接收的时间来管理ID的有效性。
另外,也可以是,图129及图130所示的接收机如果取得加密编辑ID,则将该加密编辑ID向服务器发送,从该服务器取得ID。
(车站中的导引)
图131是表示电车的站台中的本发明的利用形态的一例的图。用户使便携终端面向电子公告板或照明,通过可见光通信,取得显示在电子公告板上的信息、或者设置有电子公告板的车站的电车信息/车站的站内信息等。这里,既可以将显示在电子公告板上的信息自身通过可见光通信向便携终端发送,也可以将与电子公告板对应的ID信息向便携终端发送,便携终端通过将所取得的ID信息向服务器查询,取得显示在电子公告板上的信息。服务器在从便携终端发送来ID信息的情况下,基于ID信息,将显示在电子公告板上的内容向便携终端发送。将保存在便携终端的存储器中的电车的车票信息与显示在电子公告板上的信息对比,在与用户的车票对应的车票信息显示在电子公告板上的情况下,在便携终端的显示器上,显示表示向用户计划乘坐的电车到达的站台的前往地的箭头。也可以在下车时显示到出口或距换乘路径较近的车辆的路径。在座席指定的情况下,也可以显示到该座席的路径。当显示箭头时,通过使用与地图或电车导引信息中的电车的路线的颜色相同的颜色来显示箭头,能够更容易理解地显示。此外,也可以与箭头的显示一起而显示用户的预约信息(站台号码、车辆号码、发车时刻、座席号码)。通过将用户的预约信息一起显示,能够防止误识别。在车票信息保存在服务器中的情况下,通过从便携终端向服务器查询而取得车票信息并对比、或者在服务器侧将车票信息与显示在电子公告板上的信息对比,能够取得与车票信息关联的信息。也可以是,根据用户进行了换乘检索的履历推测目标路线并显示路径。此外,也可以不仅取得显示在电子公告板上的内容,还取得设置有电子公告板的车站的电车信息/站内信息并进行对比。对于显示器上的电子公告板的显示,也可以将与用户关联的信息强调显示,也可以改写显示。在用户的乘车计划不明的情况下,也可以显示向各路线的乘车处的导引的箭头。在取得了车站的站内信息的情况下,也可以将向小卖店/洗手间等进行导引的箭头显示在显示器上。也可以构成为,将用户的行动特性预先用服务器管理,在用户在车站站内顺便到小卖店/洗手间的情况较多的情况下,将向小卖店/洗手间等进行导引的箭头显示到显示器上。由于仅对具有顺便到小卖店/洗手间的行动特性的用户显示向小卖店/洗手间等导引的箭头,对于其他用户不进行显示,所以能够减少处理量。也可以将向小卖店/洗手间等导引的箭头的颜色设为与对向站台的前往地进行导引的箭头不同的颜色。当将两者的箭头同时显示时,通过设为不同的颜色,能够防止误识别。另外,在图131中表示了电车的例子,但如果是飞机或汽车等,也能够以同样的结构进行显示。
(导引招牌的翻译)
图132表示从设置在飞机场或车站内、观光地或医院等中的电子导引显示板、通过可见光通信取得信息的情况下的一例。通过可见光通信,从电子导引显示板取得显示内容的信息,在将显示内容的信息翻译为对便携终端设定的语言信息后,在便携终端的显示器上进行显示。由于翻译为用户的语言而显示,所以用户能够容易地理解信息。语言的翻译既可以在便携终端内进行,也可以在服务器中进行。在服务器中进行翻译的情况下,可以将通过可见光通信取得的显示内容的信息和便携终端的语言信息向服务器发送,在服务器中进行翻译,并向便携终端进行发送,在便携终端的显示器上进行显示。此外,也可以构成为,在从电子导引显示板取得了ID信息的情况下,将ID信息向服务器发送,从服务器取得与ID信息对应的显示内容信息。进而,也可以基于保存在便携终端中的国籍信息、车票信息或随身行李寄存信息,显示向用户接着要前往的场所进行导引的箭头。
(优惠券的弹出)
图133是表示如果用户接近店铺则显示通过可见光通信取得的优惠券信息、或者在便携终端的显示器上显示弹出消息的一例的图。用户使用便携终端,通过可见光通信从电子公告板等取得店铺的优惠券信息。接着,如果用户进入距店铺为规定距离的范围内,则显示店铺的优惠券信息或弹出消息。用户是否进入距店铺为规定距离的范围内,使用便携终端的GPS信息和优惠券信息中包含的店铺信息来判断。并不限于优惠券信息,也可以是票券信息。由于如果能够利用优惠券或票券的店铺等接近则自动地报信,所以用户能够将优惠券或票券适当地利用。
图134是表示在收款机或检票处等在便携终端的显示器上显示优惠券信息/票券信息或弹出消息的一例的图。通过可见光通信从设置在收款机或检票处的照明取得位置信息,在所取得的位置信息与在优惠券信息/票券信息中包含的信息一致的情况下进行显示。另外,也可以是,条码读取器具有发光部,通过与发光部进行可见光通信来取得位置信息,也可以从便携终端的GPS取得位置信息。也可以是,在收款机附近设置有发送机,用户通过使接收机面向该发送机,在接收机的显示器上显示优惠券或支付信息,也可以是接收机与服务器通信来进行支付处理。此外,也可以是,在优惠券信息/票券信息中包含设置在店铺等中的Wi-Fi信息,在用户的便携终端取得了与在优惠券信息/票券信息中包含的Wi-Fi信息相同的信息的情况下进行显示。
(操作用应用的起动)
图135是表示用户使用便携终端通过可见光通信从家电取得信息的一例的图。在通过可见光通信从家电取得了ID信息或关于该家电的信息的情况下,用来操作该家电的应用自动地启动。在图135中,表示使用电视机的例子。通过这样的结构,仅通过使便携终端面向家电,就能够将用来操作家电的应用起动。
(在条码读取器的动作中停止发送)
图136是表示当条码读取器8405a将商品的条码读取时、在条码读取器8405a的附近将可见光通信用的数据通信中止的一例的图。通过在条码读取时将可见光通信停止,能够防止条码读取器8405a将条码误识别。条码读取器8405a当条码读取按钮被按下时将发送停止信号向可见光信号发送机8405b发送,当手指从按钮离开时、或者当手指从按钮离开且经过规定的时间时,将发送再开始信号向可见光信号发送机8405b发送。发送停止信号和发送再开始信号通过有线/无线通信或红外线通信、声波的通信来进行。条码读取器8405a也可以是,当根据条码读取器8405a中具备的加速度传感器的计测值而推测出条码读取器8405a被移动时将发送停止信号发送,当推测出条码读取器8405a在规定的时间中没有被移动时将发送再开始信号发送。条码读取器8405a也可以是,当根据条码读取器8405a中具备的静电传感器或照度传感器的计测值而推测出条码读取器8405a被握住时将发送停止信号发送,当推测出手离开时将发送再开始信号发送。条码读取器8405a也可以是,根据设在条码读取器8405a的接地面上的开关从按下状态被释放而检测到条码读取器8405a被抬起,将发送停止信号发送,根据上述按钮被按下而检测到条码读取器8405a被放下,将发送再开始信号发送。条码读取器8405a也可以根据条码读取器放置处的开关或红外线传感器的计测值检测出条码读取器8405a被抬起而将发送停止信号发送,检测到条码读取器8405a被放回而将发送再开始信号发送。收款机8405c也可以在开始操作时将发送停止信号发送,在进行精算操作时将发送再开始信号发送。
例如构成为照明体的发送机8405b在接收到发送停止信号时将信号发送停止,此外,进行动作以使100Hz~100kHz的波动(亮度变化)变小。或者,使信号样式的亮度变化变小而继续信号发送。或者,使输送波的周期比条码读取器8405a的条码的读取时间长,或使输送波的周期比条码读取器8405a的曝光时间短。由此,能够防止条码读取器8405b的误动作。
如图137所示,例如构成为照明体的发送机8406b用人感传感器或照相机检测到人处于条码读取器8406a的附近,将信号发送停止。或者,进行与上述发送机8405b接收到发送停止信号时同样的动作。发送机8406b在检测出在条码读取器8406a的附近不再有人时再次开始信号发送。发送机8406b也可以检测条码读取器8406a的动作音,在规定的时间中停止信号发送。
(从个人计算机的信息发送)
图138是表示本发明的利用形态的一例的图。
例如构成为个人计算机的发送机8407a经由所装备的显示器、所连接的显示器或投影仪等显示装置发送可见光信号。发送机8407a将浏览器正在显示的网站的URL、剪贴板的信息或由具有焦点的应用决定的信息发送。例如,将由网站取得的优惠券信息发送。
(数据库)
图139是表示管理发送机发送的ID的服务器所保持的数据库的结构的一例的图。
数据库具有保持对以ID为关键字的查询提供的数据的ID-数据表、和保存以ID为关键字的查询记录的访问日志表。ID-数据表具有发送机发送的ID、对以ID为关键字的查询提供的数据、提供数据的条件、存在以ID为关键字的访问的次数、将条件取消而提供了数据的次数。在提供数据的条件中,有日期时间、访问次数、访问成功次数、查询源的终端的信息(终端的机种、进行了查询的应用、终端的当前位置等)、以及查询源的用户信息(年龄、性别、职业、国籍、使用语言、信教等)。通过以访问成功次数为条件,能够实现“每访问1次1日元,但以100日元为上限,在这以后不返回数据”的服务的方法。日志表当存在以ID为关键字的访问时,记录该ID、请求的用户的ID、时刻、其他附带信息、是否将条件取消而提供了数据、以及提供的数据的内容。
(接收开始的手势)
图140是表示使通过本通信方式的接收开始的手势动作的一例的图。
用户通过使例如构成为智能电话的接收机伸出,并使手腕左右旋转的动作而开始接收。接收机根据9轴传感器的计测值检测该动作,开始接收。接收机也可以在检测到该动作的至少某一方的情况下开始接收。在使接收机伸出的动作中,由于接收机向发送机接近,发送机被更大地摄像,有接收速度及精度提高的效果。在使手腕左右旋转的动作中,通过使接收机的角度变化,将本方式的角度依存性消除,有能够稳定进行接收的效果。
另外,该动作也可以仅在主画面为前景时进行。由此,能够防止在使用其他应用的过程中违背用户的意图而进行本通信。
另外,也可以是,在接收机被伸出的动作的检测时将图像传感器启动,若没有将手腕左右摇晃的动作则停止接收。图像传感器的启动需要几百毫秒到2秒左右的时间,因此能够进一步提高响应性。
(通过电力线进行的发送机的控制)
图141是表示本发明的发送机的一例的图。
信号控制部8410g控制发送机8410a的发送状态(发送的信号的内容、发送的有无、在发送中使用的亮度变化的强度等)。信号控制部8410g将发送机8410a的控制内容向配电控制部8410f传送。配电控制部8410f通过使向发送机8410a的电源部8410b供给的电压、电流或频率变化,以变化的大小或变化的时刻的形式传递控制内容。电源部8410b由于不受电压、电流及频率的多少的变化影响而进行固定的输出,所以通过用超过电源部8410b的稳定化能力的变化、例如将电力供给切断的定时或时间幅度表现信号来传递信号。亮度控制部8410d考虑由电源部8410b进行的变换,获取配电控制部8410f发送的内容,使发光部的亮度变化样式变化。
(编码方式)
图142是说明可见光通信图像的编码方式之一的图。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,具有人不易感到闪变的优点。
(从斜向摄像的情况下也能够受光的编码方式)
图143是说明可见光通信图像的编码方式之一的图。
图像1001a是将白和黑的行用均匀的宽度显示的图像。如果将该图像1001a从斜向摄像,则在通过该摄像得到的图像1001b中,将左方的行较细表示,将右方的行较粗地表示。此外,在将图像1001a投影到曲面上的情况下,在通过该摄像得到的图像1001i中,表示不同粗细的行。
所以,通过以下的编码方式制作可见光通信图像。可见光通信图像1001c从左起,由白行、白行的3倍的粗细的黑行、该黑行的3分之1的粗细的白行构成。这样,将前导码编码为左邻行的3倍的粗细的行,左邻行的3分之1的粗细的行连续的图像。如可见光通信图像1001d、1001e那样,将与左邻行相同粗细的行编码为“0”。如可见光通信图像1001f、1001g那样,将左邻行的2倍的粗细或左邻行的一半的粗细的行编码为“1”。即,在使编码对象行的粗细与左邻行的粗细不同的情况下,将该编码对象行编码为“1”。作为使用该编码方式的例子,将接着前导码并包含“010110001011”的信号通过可见光通信图像1001h那样的图像表现。另外,这里,将与左邻行相同粗细的行编码为“0”,将与左邻行不同粗细的行编码为“1”,但也可以将与左邻行相同粗细的行编码为“1”,将与左邻行不同粗细的行编码为“0”。此外,并不限于与左邻行的对比,也可以进行与右邻行的对比。即也可以是,在编码对象行的粗细与右邻行的粗细的对比中,根据粗细相同还是不同而编码“1”、“0”。这样,在发送机侧,通过是与编码对象行不同的颜色、并且使邻接的行的粗细与编码对象行的粗细相同从而编码“0”,通过设为不同的粗细而编码“1”。
在接收机侧,将可见光通信图像摄像,在摄像的可见光通信图像中检测白行或黑行的粗细。在是与解码对象的行不同的颜色、并且将与解码对象的行相邻(左邻或右邻)的行的粗细与解码对象的行的粗细比较而粗细相同的情况下,将解码对象行解码为“0”,在粗细不同的情况下将解码对象行解码为“1”。也可以在粗细相同的情况下解码为“1”,在粗细不同的情况下解码为“0”。基于进行解码后的1、0的数据列,最终进行数据的解码。
该编码方式使用局部的行的粗细的关系。如在图像1001b及图像1001i中可看到那样,由于旁边的行的粗细不较大地变化,所以即使是从斜向摄像的情况或投影到曲面上的情况下,也能够将以该编码方式制作的可见光通信图像正确地解码。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,有人不易感到闪变的优点。此外,该编码方式由于没有白黑的分别,所以有即使是正相信号和反相信号的任一方的可见光通信图像也能够以相同的算法解码的优点。
此外,有代码的追加较容易的优点。例如,可见光通信图像1001j是左邻的4倍的粗细的行和左邻的4分之1的行的组合。这样,如“左邻的5倍和5分之1”、“左邻的3倍和3分之2”那样,存在许多唯一的样式,能够定义为具有特别的意义的信号。例如,可以考虑可见光通信图像虽然能够用多张表示一个数据,但作为显示因为发送的数据被变更而到此为止接收到的数据的一部分成为无效这一情况的取消信号,使用可见光通信图像1001j。另外,关于颜色,并不限于白、黑,只要是不同的颜色,是怎样的颜色都可以。例如也可以使用互补色。
(根据距离而信息量不同的编码方式)
图144、图145是说明可见光通信图像的编码方式之一的图。
如图144的(a-1)那样,若通过使被划分为四个的图像中的一个部分为黑、使其余的部分为白来表现2位的信号,则该图像的平均亮度在设白为100%、黑为0%的情况下为75%。如图144的(a-2)那样,若使白和黑的部分相反,则平均亮度成为25%。
图像1003a是将用图143的编码方式制作出的可见光通信图像的白的部分用图144的(a-1)的图像表现、将用图144的编码方式制作出的可见光通信图像的黑的部分用图143的(a-2)的图像表现的可见光通信图像。该可见光通信图像表示用图143的编码方式编码的信号A和用图144的(a-1)及(a-2)编码的信号B。如果近处的接收机1003b将可见光通信图像1003a摄像,则得到精细的图像1003d,能够接收信号A和信号B两者。如果远处的接收机1003c将可见光通信图像1003a摄像,则得到较小的图像1003e。在图像1003e中不能确认详细的部分,由于成为图144的(a-1)的部分变白、图144的(a-2)的部分变黑的图像,所以仅能够接收信号A。由此,可见光通信图像与接收机的距离越近,能够传递越多的信息。作为将信号B编码的方式,也可以使用图144的(b-1)和(b-2)的组合或图144的(c-1)和(c-2)的组合。
通过使用信号A和信号B,能够用信号A表示基本而重要的信息,用信号B表示附加性的信息。此外,在接收机将信号A、B作为ID信息向服务器发送、服务器将与ID信息对应的信息向接收机发送的情况下,能够根据信号B的有无使服务器发送的信息变化。
(将数据分割的编码方式)
图146是说明可见光通信图像的编码方式之一的图。
将发送的信号1005a分割为多个数据片1005b、1005c、1005d。对各数据片附加表示该数据片的位置的地址,还附加前导码、错误检测/校正码、帧类型记述等,构成帧数据1005e、1005f、1005g。对帧数据进行编码,制作可见光通信图像1005h、1005i、1005j并显示。在显示区域足够大的情况下,显示将多个可见光通信图像连结而得到的可见光通信图像1005k。
另外,如图146所示,作为在影像中插入可见光通信图像的方法,在使用固体光源的显示设备的情况下,通常通过先显示可见光通信信号图像、仅在显示的期间使固定光源点灯、在其以外的期间将固体光源灭灯的方法来实现,从而能够应用宽幅的显示装置,例如使用DMD的投影仪、使用以LCOS为代表的液晶的投影仪、具有MEMS的显示装置。此外,在将图像显示分割为子帧来显示的类型的显示装置、例如PDP或EL等不使用背光灯等光源的显示设备中,通过将一部分子帧置换为可见光通信图像,也能够应用。另外,作为固体光源,可以想到半导体激光器、LED光源等。
(将反相图像插入的效果)
图147和图148是说明可见光通信图像的编码方式之一的图。
如图147的(1006a)那样,发送机向影像与可见光通信图像(正相图像)之间插入黑图像。由接收机对其摄像后的图像成为图147的(1006b)所示的图像那样。对于接收机而言,由于被同时曝光的像素的行是黑一色的部分的搜索较容易,所以能够将可见光通信图像被摄像的位置容易地确定为在其下个定时被曝光的像素的位置。
如图147的(1006a)那样,发送机在将可见光通信图像(正相图像)显示后,显示使白黑反转的反相的可见光通信图像。接收机通过求出正相图像与反相图像的像素值的差,能够得到仅利用正相图像的情况的2倍的SN比。相反,在确保相同的SN比的情况下,能够将白黑的亮度差抑制为一半,能够抑制人看到时的闪变。此外,如图148的(1007a)及(1007b)那样,影像与可见光通信图像的亮度的差的期望值的移动平均在正相图像和反相图像中被消除。由于人的视觉的时间分辨能力是1/60秒左右,所以通过使显示可见光通信图像的时间成为这以下,对于人而言能够感到没有显示可见光通信图像。
如图147的(1006c)所示,发送机可以还向正相图像与反相图像之间插入黑图像。在此情况下,通过接收机的摄像,得到图147的(1006d)所示的图像。在图147的(1006b)所示的图像中,由于正相图像的样式和反相图像的样式相邻,所以在边界部分有像素值被平均化的情况,但在图147的(1006d)所示的图像中不发生这样的问题。
(超解像)
图149是说明可见光通信图像的编码方法之一的图。
如图149的(a)那样,在影像数据和以可见光通信发送的信号数据被分离的情况下,对影像数据进行超解像处理,在得到的超解像图像上叠加可见光通信图像。即,对于可见光通信图像不进行超解像处理。在如图149的(b)那样在影像数据中已经叠加有可见光通信图像的情况下,进行超解像处理,以使得:(1)将可见光通信图像的边缘(通过白黑等颜色的差异表示数据的部分)保持陡峭不变;(2)可见光通信图像的正相图像和反相图像的平均图像成为一样的亮度。这样,通过根据在影像数据中是否叠加有可见光通信图像来变更对于可见光通信图像的处理,能够更适当地进行可见光通信(使错误率降低)。
(对应于可见光通信的显示)
图150是说明发送机的动作之一的图。
发送机8500a将对应于可见光通信的信息叠加到投影或显示的图像中而显示。该显示例如仅在将发送机8500a起动后的规定时间的期间中显示。
发送机8500a将自身对应于可见光通信这一情况向所连接的设备8500c发送。设备8500c显示发送机8500a对应于可见光通信。例如,在设备8500c的显示器上,显示发送机8500a对应于可见光通信。设备8500c在所连接的发送机8500a对应于可见光通信的情况下,将可见光通信用的数据向发送机8500a发送。发送机8500a对应于可见光通信这一情况的显示,既可以在设备8500c被连接到发送机8500a上时显示,也可以在从设备8500c对发送机8500a发送了可见光通信用数据的情况下显示。在从设备8500c发送了可见光通信用数据时显示的情况下,也可以是,发送机8500a从数据中取得表示可见光通信的识别信息,在识别信息表示在数据中包含有可见光通信用数据的情况下,显示发送机8500a对应于可见光通信。
这样,通过在投影画面或设备的显示器上进行发送机(照明、投影仪、影像显示设备)对应于可见光通信这一情况或表示是否对应的显示,用户能够容易地掌握发送机是否对应于可见光通信。因而,即使从设备对发送机发送了可见光通信用的数据,也能够防止成为无法进行可见光通信的误动作。
(使用可见光通信信号的信息取得)
图151是说明可见光通信的应用例之一的图。
发送机8501a从设备8501c接收影像数据和信号数据,将可见光通信图像8501b显示。接收机8501d将可见光通信图像8501b摄像,接收包含在可见光通信图像中的信号。接收机8501d根据接收信号中包含的信息(地址或口令等)与设备8501c进行通信,将发送机8501a显示的影像本身及其附带信息(影像ID、URL、口令、SSID、翻译数据、声音数据、散列标签、商品信息、购买信息、优惠券、空席信息等)接收。也可以是,设备8501c将向发送机8501a的发送状况向服务器8501e发送,接收机8501d从服务器8501e得到上述信息。
(数据格式)
图152是说明可见光通信数据的格式之一的图。
图152的(a)所示的数据具有在存储域中表示影像数据的位置的影像地址表、和表示通过可见光通信发送的信号数据的位置的位置地址表。在不对应于可见光通信的影像显示装置中,由于仅参照影像地址表,所以即使在输入中包含信号地址表和信号数据,也不给影像显示带来影响。由此,保持对于不与可见光通信对应的影像显示装置的后方互换性。
在图152的(b)所示的数据的格式中,将表示后续的数据是影像数据的识别码配设在影像数据之前,将表示后续的数据是信号数据的识别码配设在信号数据之前。通过设为识别码,仅在有影像数据或信号数据的情况下向数据插入,所以能够使整体的代码量变小。此外,也可以配设表示是影像数据还是信号数据的识别信息。进而,也可以在节目信息中包含表示是否包含可见光通信用数据的识别信息。通过在节目信息中包含表示是否包含可见光通信用数据的识别信息,用户在节目检索时能够判断是否能够可见光通信。另外,包含在节目信息中的也可以是表示包含可见光通信用数据的识别码。进而,通过按每个数据附加识别码/识别信息,能够进行每个数据的亮度的切换及超解像的切换等处理的切换,能够降低可见光通信时的错误率。
图152的(a)所示的数据的格式适合于从光盘等储存型介质将数据读出的状况,图152的(b)所示的数据的格式适合于电视广播等流型的数据。另外,在信号数据中,包括通过可见光通信发送的信号的值、发送开始时刻、发送结束时刻、显示器或投影面上的发送中利用的场所、可见光通信图像的亮度、可见光通信图像的条码的朝向等信息。
(推测立体形状并接收)
图153和图154是说明可见光通信的应用例之一的图。
如图153所示,例如构成为投影仪的发送机8503a除了影像和可见光通信图像以外,还将测距用图像投影。在测距用图像中表示的点样式是任意的点的附近的规定数量的点的位置关系与其他任意的组合的点的位置关系不同的点样式。接收机通过将测距用图像摄像,能够确定局部的点样式,推测投影面8503b的立体形状。接收机根据投影面的立体形状将畸变的可见光通信图像向平面图像复原而接收信号。另外,测距用图像或可见光通信图像也可以用人不能感知的红外线投影。
如图154所示,例如构成为投影仪的发送机8504a具备用红外线将测距用图像投影的红外线投影装置8504b。接收机根据测距用图像推测投影面8504c的立体形状,将可见光通信图像的畸变复原而接收信号。另外,发送机8504a也可以将影像用可见光投影,将可见光通信图像用红外线投影。另外,红外线投影装置8504b也可以将可见光通信图像用红外线投影。
(立体投影)
图155和图156是说明可见光通信图像的显示方法之一的图。
在进行立体投影的情况、或在圆筒状的显示面上显示可见光通信图像的情况下,如图155所示,通过显示可见光通信图像8505a~8505f,能够进行从较大的角度的接收。通过显示可见光通信图像8505a、8505b,能够在水平方向上从较大的角度接收。通过将可见光通信图像8505a与8505b组合,即使将接收机倾斜也能够接收。既可以将可见光通信图像8505a和可见光通信图像8505b交替地显示,也可以显示将这些图像合成后的图像即可见光通信图像8505f。进而,通过添加可见光通信图像8505c和可见光通信图像8505d,能够在垂直方向上从较大的角度接收。也可以通过如可见光通信图像8505e那样设置以中间色投影的部分及不投影的部分,来表现可见光通信图像的划分。通过使可见光通信图像8505a~8505f旋转,能够从更大的角度接收。另外,在图155中,在圆筒状的显示面上显示可见光通信图像,但也可以在圆柱的显示面上显示可见光通信图像。
在进行立体投影的情况下、或在球状的显示面上显示可见光通信图像的情况下,如图156所示,通过显示可见光通信图像8506a~8506d,能够进行从较大的角度的接收。在可见光通信图像8506a中,虽然水平方向上的可接收区域较大,但垂直方向上的可接收区域较小,所以与具有相反性质的可见光通信图像8506b组合来显示可见光通信图像8506a。既可以将可见光通信图像8506a和可见光通信图像8506b交替地显示,也可以显示将这些图像合成后的图像即可见光通信图像8506c。如可见光通信图像8506a的上部那样条码集中的部分显示较细,将信号误接收的可能性较高。所以,通过如可见光通信图像8506d那样将该部分用中间色显示或什么都不投影,能够防止接收错误。
(按每个区段(zone)而不同的通信协议)
图157是表示实施方式5的发送机和接收机的动作的一例的图。
接收机8420a从基站8420h获取区段信息,识别自身位于哪个区段,选择接收协议。基站8420h构成为例如便携电话的通信基站、Wi-Fi接入点、IMES发送机、扬声器或无线发送机(Bluetooth(注册商标)、ZigBee、特定小电力无线站等)。另外,接收机8420a也可以基于从GPS等得到的位置信息来确定区段。作为例子,假设决定为在区段A中以9.6kHz的信号频率进行通信,在区段B中顶棚照明以15kHz的信号频率进行通信,标牌以4.8kHz的信号频率进行通信。接收机8420a在位置8420j处,根据基站8420h的信息识别出当前地是区段A,以9.6kHz的信号频率进行接收,将发送机8420b/8420c发送的信号接收。接收机8420a在位置8420l处,根据基站8420i的信息识别出当前地是区段B,进而因为内部照相机被朝向上方所以推测为要接收来自顶棚照明的信号,以15kHz的信号频率进行接收,将发送机8420e/8420f发送的信号接收。接收机8420a在位置8420m处,从基站8420i的上方识别出当前地是区段B,进而根据使外部照相机伸出的运动,推测要接收标牌发送的信号,以4.8kHz的信号频率进行接收,将发送机8420g发送的信号接收。接收机8420a在位置8420k处,接收基站8420h和基站8420i两者的信号,不能判断出当前地是区段A和区段B的哪个,所以以9.6kHz和15kHz两者进行接收处理。另外,也可以是,根据区段而协议不同的部分不仅是频率,还可以使发送信号的调制方式、信号格式、查询ID的服务器也不同。另外,基站8420h/8420i既可以将区段内的协议向接收机发送,也可以仅将表示区段的ID发送,接收机以区段ID为关键字从服务器获得协议信息。
发送机8420b~8420f将基站8420h/8420i发送的区段ID及协议信息接收,决定信号发送协议。能够接收基站8420h和基站8420i两者发送的信号的发送机8420d利用信号强度更强的基站的区段的协议,或交替地利用两者的协议。
(区段的识别和每区段的服务)
图158是表示实施方式5的接收机和发送机的动作的一例的图。
接收机8421a根据接收到的信号,识别自身的位置属于的区段。接收机8421a提供按每个区段设定的服务(优惠券的分发、点数的赋予、道路导引等)。作为一例,接收机8421a接收从发送机8421b的左侧发送的信号,识别出处于区段A中。这里,发送机8421b也可以根据发送方向而发送不同的信号。此外,发送机8421b也可以通过使用2217a那样的发光样式的信号来发送信号,以使得根据到接收机的距离而接收不同的信号。此外,接收机8421a也可以根据发送机8421b的被摄像的方向和大小来识别与发送机8421b的位置关系,识别自身位于的区段。
也可以使表示位于相同区段的信号的一部分共通。例如,使从发送机8421b和发送机8421c发送的表示区段A的ID前半为共通。由此,接收机8421a仅通过接收信号的前半,就能够识别自身位于的区段。
(本实施方式的总结)
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过将多个发送对象的信号分别调制,决定多个亮度变化的样式;发送步骤,通过多个发光体分别按照所决定的多个亮度变化的样式中的某1个样式而亮度变化,将与上述某1个样式对应的发送对象的信号发送;在上述发送步骤中,上述多个发光体中的两个以上的发光体分别按照对该发光体预先设定的每个时间单位而以相互不同的频率进行亮度变化,以输出相互亮度不同的两种光中的某一方的光、并且对上述两个以上的发光体分别预先设定的上述时间单位相互不同。
由此,如使用图113说明的动作那样,由于两个以上的发光体(例如构成为照明设备的发送机)分别以相互不同的频率进行亮度变化,所以从这些发光体接收发送对象的信号(例如发光体的ID)的接收机能够容易地将这些发送对象的信号区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别以至少4种频率中的某1个频率进行亮度变化,上述多个发光体中的两个以上的发光体以相同的频率进行亮度变化。例如,在上述发送步骤中,在向用来接收上述多个发送对象的信号的图像传感器的受光面投影上述多个发光体的情况下,上述多个发光体分别亮度变化,以使得在上述受光面上相互相邻的全部的发光体间亮度变化的频率不同。
由此,如使用图114说明的动作那样,如果在亮度变化中使用的频率至少有4种,则即使在以相同的频率亮度变化的发光体有两个以上的情况下,即,即使在频率的种类的数量比多个发光体的数量少的情况下,也能够基于四色问题或四色定理,在图像传感器的受光面上相互相邻的全部的发光体间使亮度变化的频率可靠地不同。结果,接收机能够将从多个发光体发送的发送对象的信号分别容易地区别并取得。
此外,也可以是,在上述发送步骤中,上述多个发光体分别通过以由发送对象的信号的散列值确定的频率进行亮度变化,发送上述发送对象的信号。
由此,如使用图113说明的动作那样,多个发光体分别以由发送对象的信号(例如发光体的ID)的散列值确定的频率进行亮度变化,所以接收机在接收到发送对象的信号时,能够判断根据实际的亮度变化确定的频率与通过散列值确定的频率是否一致。即,接收机能够判断在接收到的信号(例如发光体的ID)中是否有错误。
此外,也可以是,上述信息通信方法还包括:频率计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数,计算与该发送对象的信号对应的频率作为第1频率;频率判断步骤,判断存储在频率存储部中的第2频率与计算出的上述第1频率是否一致;频率错误报告步骤,在判断为上述第1频率与上述第2频率不一致的情况下,报告错误;在判断为上述第1频率与上述第2频率一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式以上述第1频率进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,如使用图120说明的动作那样,判断存储在频率存储部中的频率与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的频率是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,也可以是,上述信息通信方法还包括:检验值计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数计算第1检验值;检验值判断步骤,判断存储在检验值存储部中的第2检验值与计算出的上述第1检验值是否一致;检验值错误报告步骤,在判断为上述第1检验值与上述第2检验值不一致的情况下,报告错误;在判断为上述第1 检验值与上述第2检验值一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。
由此,如使用图120说明的动作那样,判断存储在检验值存储部中的检验值与根据存储在信号存储部(ID存储部)中的发送对象的信号计算出的检验值是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。
此外,本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象在设定的上述曝光时间中摄影,取得包含上述多个亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得信息;频率确定步骤,基于在所取得的上述亮线图像中包含的上述多个亮线的样式,确定上述被拍摄对象的亮度变化的频率。例如,在上述频率确定步骤中,确定在上述多个亮线的样式中包含的、作为为了分别表示头而预先设定的多个样式的多个头样式,将与上述多个头样式间的像素数对应的频率确定为上述被拍摄对象的亮度变化的频率。
由此,如使用图115说明的动作那样,由于被拍摄对象的亮度变化的频率被确定,所以在将亮度变化的频率不同的多个被拍摄对象摄影的情况下,能够将来自这些被拍摄对象的信息容易地区别并取得。
此外,也可以是,在上述图像取得步骤中,通过将分别亮度变化的多个被拍摄对象摄影,取得包含分别由多个亮线表示的多个样式的上述亮线图像;在上述信息取得步骤中,在所取得的上述亮线图像中包含的上述多个样式的各自的一部分重叠的情况下,通过将由从上述多个样式的各自中除了上述一部分以外的部分确定的数据解调,从上述多个样式分别取得信息。
由此,如使用图117说明的动作那样,由于从多个样式(多个亮线样式)重叠的部分不进行数据的解调,所以能够防止取得错误的信息。
此外,也可以是,在上述图像取得步骤中,通过将上述多个被拍摄对象在相互不同的定时摄影多次,取得多个亮线图像;在上述频率确定步骤中,按每个亮线图像,确定与该亮线图像中包含的上述多个样式分别对应的频率;在上述信息取得步骤中,从上述多个亮线图像中,检索被确定了相同的频率的多个样式,将检索出的上述多个样式结合,通过将由结合后的上述多个样式确定的数据解调,来取得信息。
由此,从多个亮线图像中检索被确定了相同的频率的多个样式(多个亮线样式),将检索出的多个样式结合,从结合后的多个样式取得信息,所以即使是多个被拍摄对象移动的情况,也能够将来自这些多个被拍摄对象的信息容易地区别并取得。
此外,也可以是,上述信息通信方法还包括:发送步骤,对于对识别信息分别登记了频率的服务器,发送在上述信息取得步骤中取得的信息中包含的上述被拍摄对象的识别信息、和表示在上述频率确定步骤中确定的频率的确定频率信息;关联信息取得步骤,从上述服务器取得与上述识别信息和由上述确定频率信息表示的频率建立了关联的关联信息。
由此,如使用图119说明的动作那样,取得与基于被拍摄对象(发送机)的亮度变化取得的识别信息(ID)和该亮度变化的频率建立了关联的关联信息。因而,通过将被拍摄对象的亮度变化的频率变更,将登记在服务器中的频率更新为变更后的频率,能够防止在频率的变更前取得了识别信息的接收机从服务器取得关联信息。即,通过匹配于被拍摄对象的亮度变化的频率的变更而将登记在服务器中的频率也变更,能够防止过去取得了被拍摄对象的识别信息的接收机无期限地成为能够从服务器取得关联信息的状态。
此外,也可以是,上述信息通信方法还包括:识别信息取得步骤,通过从在上述信息取得步骤中取得的上述信息中提取一部分,取得上述被拍摄对象的识别信息;设定频率确定步骤,将由在上述信息取得步骤中取得的上述信息中的上述一部分以外的其余的部分表示的数,确定为对于上述被拍摄对象设定的亮度变化的设定频率。
由此,如使用图116说明的动作那样,能够在从多个亮线的样式得到的信息中不相互依存地包含被拍摄对象的识别信息、和对被拍摄对象设定的亮度变化的设定频率,所以能够提高识别信息和设定频率的自由度。
(实施方式6)
在本实施方式中,对使用上述实施方式1~5的智能电话等的接收机和作为LED的闪烁样式发送信息的发送机的各应用例进行说明。
图159是表示实施方式6的发送信号的一例的图。
将发送信号D分割为规定的大小的数据片Dx(例如,Dx=D1、D2、D3),将根据各数据片计算出的错误检测-校正用的帧检验序列FCS和头Hdr向各数据片附加。进而,将根据原数据计算出的错误检测-校正用的帧检验序列FCS2和头Hdr2附加。由Hdr、Dx、FCS构成的数据是用来由图像传感器接收的结构。由于图像传感器适合于在短时间接收连续的数据,所以Hdr、Dx、FCS连续地发送。由Hdr2、Dx、FCS2构成的数据是用来由照度传感器接收的结构。由图像传感器接收的Hdr和FCS越短越好,但比由照度传感器接收的Hdr2和FCS2可以为更长的信号列。通过在Hdr2中使用较长的信号系列,能够提高头检测精度。通过使FCS2变长,能够采用能够将许多的位错误进行检测-校正的代码,能够使错误检测-校正的性能提高。另外,也可以不发送Hdr2和FCS2,而代之由照度传感器接收Hdr或FCS。照度传感器也可以接收Hdr和Hdr2的两者或FCS和FCS2的两者。
图160是表示实施方式6的发送信号的一例的图。
FCS2信号长较长,如果被频繁地插入,则图像传感器中的接收效率变差。所以,减小FCS2的插入频度,代之而插入表示FCS2的场所的信号PoFCS2。作为例子,在信号表现中使用每单位时间具有2位的信息量的4PPM的情况下,如果在FCS2中使用CRC32,则需要16单位的发送时间,但值域为0~3的PoFCS2能够在1单位时间中发送。通过比仅插入FCS2的情况缩短发送时间,能够使图像传感器接收的效率提高。照度传感器将接着发送信号D的PoFCS2接收,根据PoFCS2确定FCS2的发送时刻,接收FCS2。进而,接收接着FCS2的PoFCS2,确定下个FCS2的发送时刻,接收下个FCS2。如果先接收到的FCS2与后接收到的FCS2相同,则推测为接收机接收到相同的信号。
图161A~图161C是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
在图161A所示的摄像图像中,由于摄像较小,所以亮线的数量较少。因而,从该摄像图像一次仅能接收少量的数据。图161B所示的摄像图像是使用变焦摄像的图像,由于摄像较大,所以亮线的数量较多。因而,如果使用变焦摄像,则一次能接收大量的数据。此外,能够从远处接收数据,即使是较小的发送机的信号也能够接收。在变焦方法中,使用光学变焦或Ex变焦。光学变焦是通过使透镜的焦点距离变长实现的变焦。Ex变焦是在以比摄像元件的能力低的分辨率摄像的情况下、通过不是使用摄像元件的全部、而是仅使用一部分摄像来将摄像图像的一部分放大的变焦方法。图161C所示的摄像图像是使用电子变焦(图像的放大)摄像的图像。虽然摄像变大,但在通过电子变焦实现的放大中,亮线变粗,亮线的数量与变焦前没有变化,所以接收特性与变焦前没有变化。
图162A及图162B是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
图162A所示的摄像图像是将焦点对准于被拍摄对象而摄像的图像,图162B所示的摄像图像是将焦点偏离而摄像的图像。在图162B所示的摄像图中,由于模糊地摄像,所以在实际的发送机的周围能够观察到亮线,能够观察到更多的亮线。因而,如果将焦点偏离而摄像,则一次能够接收较多的数据,此外能够从更远处接收数据。通过使用微距模式摄像,也能够将与图162B所示的摄像图像同样的图像摄像。
图163A~图163C是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。
通过将曝光时间设定得比可见光通信模式长、比通常摄像模式短而摄像,能够得到图163A所示那样的图像。将能够得到这样的图像的摄像模式称作亮线检测模式(中间模式)。在图163A所示的图像中,在左中央能够观察到发送机的亮线,在其以外的部分显现较暗的通常的摄像图像。通过将该图像显示到接收机上,用户能够将接收机朝向目标的发送机而容易地摄像。在亮线检测模式中,由于比通常摄像模式更暗地摄像,所以通过以高感光度模式摄像,能够将与通常摄像模式接近的、人容易辨识的明亮度的图像摄像。如果将感光度设定得过高,则亮线的较暗的部分变得明亮,所以感光度设定为能够观察到亮线的程度。接收机转移到可见光通信模式,将在用户以接触图像等的手段指定的部分处摄像的发送机的发送信号接收。接收机也可以在摄像图像中找到了亮线(发送信号)的情况下自动转移到可见光通信模式而接收信号。
接收机根据摄像图像中的亮线找到发送信号,通过将该部分如图163B所示那样强调显示,能够将发送了信号的部分向用户容易理解地提示。亮线不仅是发送信号,有时通过被拍摄对象的图样也能够观察到。所以,也可以不是根据1张图像的亮线判断发送信号的有无,而是在多个图像中亮线的位置变化的情况下判断为有发送信号。
由于以亮线检测模式摄像的图像比以通常摄像模式摄像的图像暗而辨识性较差,所以也可以将通过图像处理提高了辨识性的图像显示。图163C所示的图像是提取边缘而将被摄像物的边界强调的图像的一例。
图164是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。具体而言,图164是将使信号发送的周期为1/9600秒的发送机用图的下部所示的曝光时间的比摄像的图。在比作为发送周期的1/9600秒短的曝光时间中,摄像图像大致相同,能够摄像鲜明的亮线。如果曝光时间变长,则亮线的轮廓模糊,但在该信号表现的例子中,只要是发送周期的约1.5 倍以内的曝光时间,亮线的样式就能够观察,就能够接收信号。此外,在该信号表现的例子中,只要是发送周期的约20倍以内的的曝光时间就能够观察亮线,能够使用该范围的曝光时间作为亮线检测模式的曝光时间。
在何种程度的曝光时间以内能够接收信号,根据信号表现的方法而不同。如果亮线较少、使用亮线间的间隔变长的信号表现规则,则传送效率下降,但通过更长的曝光时间也能够接收信号,此外,通过更长的曝光时间也能够观察亮线。
(中间摄像模式的曝光时间)
根据图164,只要曝光时间是调制周期的3倍左右以内,就能够观察出清晰的亮线。由于调制频率是480Hz左右,所以中间摄像模式(中间模式)的曝光时间优选的是1/160秒以下。
此外,在曝光时间为1/10000秒以下时,在照明光下即使以高感光度模式摄像,也难以看到非发光物,所以中间摄像模式的曝光时间优选的是1/10000秒以上。但是,今后通过摄像元件的感光度提高,该限制能够缓和。
图165是表示实施方式6的发送信号的一例的图。
接收机由于将接收到的多个数据片合并而接收一系列的信号,所以如果发送信号被突然变更,则变更前后的数据片混杂,不能将信号正确地合并。所以,如图165的(a)那样,发送机在发送信号变更时,作为缓冲带而在规定的时间的期间中进行通常点灯,不发送信号。接收机在比上述规定的时间T1短的规定的时间T2的期间中不能接收信号的情况下,通过将到此为止接收到的数据片丢弃,能够避免变更前后的数据片的混合。或者,如图165的(b)那样,发送机在发送信号变更时,将通知该情况的信号X反复发送。通过反复发送,防止发送信号变更通知X的漏接收。或者,如图165的(c)那样,发送机在发送信号变更时,将前导码反复发送。接收机在以比在通常的信号中前导码出现的周期短的周期接收到前导码的情况下,将到此为止接收到的数据片丢弃。
图166是表示实施方式6的接收机的动作的一例的图。
图166的(a)所示的图像是以合焦(just focus)将发送机摄像的图像。接收机通过将焦点偏离地摄像,能够摄像出图166的(b)那样的图像。如果进一步将焦点偏离,则摄像图像成为图166的(c)所示的图像那样。在图166的(c)中,多个发送机的亮线重叠,接收机不能接收信号。因此,接收机调整焦点以使多个发送机的亮线不重叠,进行摄像。在摄像范围中仅存在一个发送机的情况下,接收机调整焦点,以使得在摄像图像中发送机的大小为最大。
接收机也可以将摄像图像在与亮线平行的方向上压缩,但在与亮线垂直的方向上不进行图像压缩。或者,接收机使垂直的方向的压缩的程度变低。由此,能够防止通过压缩而亮线模糊、发生接收错误的情况。
图167及图168是表示在实施方式6的接收机的屏幕上显示的向用户的指示的一例的图。
接收机通过将多个发送机摄像,能够根据各发送机的位置信息、摄像图像中的各发送机的位置和大小及角度,以三角测量的原理推测接收机的位置。所以,在以仅一个发送机能够接收的形式摄像的情况下,用户通过改变接收机的方向、或者后退而摄像等而使多个发送机摄像,所以接收机通过显示包含箭头等的图像,能够进行摄像方向及移动方向的指示。图167的(a)是将接收机朝向右方而使右侧的发送机摄像的指示的显示例,图167的(b)是后退而使跟前的发送机摄像的指示的显示例。图168是因为对于接收机而言其他发送机的位置是不明的、所以将接收机摆动等而使其他发送机摄像的指示的显示例。优选的是在一张摄像图像中摄影多个发送机,但也可以使用图像处理或9轴传感器的传感器值来推测多张图像中的发送机的位置关系。接收机也可以使用从一个发送机接收到的ID,将周边的发送机的位置信息向服务器询问,向用户进行指示以将最容易摄像的发送机摄像。
接收机根据9轴传感器的传感器值检测用户使接收机移动的情况,在移动结束而经规定的时间后,进行基于最后接收到的信号的画面的显示。由此,能够防止当用户将接收机朝向想要的发送机时、在接收机的移动中接收到其他发送机的信号而进行基于不想要的发送机的发送信号的处理的情况。
接收机也可以在被移动的期间中也继续接收处理,进行基于接收到的信号的处理,例如以接收信号为关键字的来自服务器的信息取得等。在此情况下,在该处理后也继续接收处理,将基于最后接收到的信号的处理作为最终的处理。
接收机也可以将接收到规定的次数的信号处理或向用户通知。接收机也可以将在被移动的期间中最多次数能够接收到的信号处理。
接收机也可以具备当信号的接收成功时、或在摄像图像中检测到信号的存在时向用户通知的通知机构。通知机构通过声音、振动或显示器的更新(弹出显示等)等进行通知。由此,用户能够知道发送机的存在。
图169是表示实施方式6的信号发送方法的一例的图。
例如作为显示器构成的多个发送机被相邻地配置。多个发送机在发送相同的信号的情况下,使信号发送的定时同步,如图169的(a)那样,从整面发送信号。通过该结构,在接收机中多个显示器被作为一个大的发送机观察到,所以接收机能够更高速地、此外能够从更远距离接收信号。在多个发送机发送不同的信号的情况下,如图169的(b)那样,多个发送机设置不发送信号的缓冲带(非发送区域)而发送信号。通过该结构,接收机识别出多个发送机是隔开缓冲带的相互不同的发送机,能够接收各自的信号。
图170是表示实施方式6的信号发送方法的一例的图。
如图170的(a)所示,液晶显示器设置背灯灭灯期间,通过在背灯的灭灯中使液晶的状态变化,使状态变化中的图像不可视,能够提高动态分辨率。对于进行了这样的背灯控制的液晶显示器,如图170的(b)所示,匹配于背灯的点灯周期而叠加信号。通过将一连串的数据(Hdr、Data、FCS)连续发送,能够提高接收效率。此外,在背灯的点灯期间的最初和最后,发光部为明亮的状态(Hi)。这是因为,如果发光部较暗的状态(Lo)与背灯灭灯期间连续,则在接收机中不能进行是作为信号而发送了Lo、还是因背灯灭灯期间而处于较暗的状态的判断。
背灯灭灯期间也可以叠加使平均亮度变低的信号。
通过叠加信号,与不叠加的情况相比平均亮度变,所以将背灯点灯期间增减或使背灯点灯时的亮度升降而调整,以使平均亮度成为相等。
图171是表示实施方式6的信号发送方法的一例的图。
液晶显示器通过将背灯控制以按照位置而不同的定时进行,能够使画面整体的亮度变化降低。将其称作背灯扫描。背灯扫描通常如图171的(a)那样以从端部起依次使背灯点灯的方式进行。此时,能得到摄像图像8802a。但是,在摄像图像8802a中,亮线存在的部分被分断,有显示器的画面整体不能推测为一个发送机的情况。所以,如图171的(b)那样,通过在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴显示时,设定背灯扫描的顺序以使发光的(叠加了信号的)部分全部相连,能够得到摄像图像8802b。在摄像图像8802b中,亮线部分全部连结,能够容易地推测出是来自一个发送机的发送信号。此外,由于能够连续接收的亮线的数量增加,所以能够迅速地、从远处接收信号。此外,发送机的大小的推测也变得容易,所以能够根据摄像图像中的发送机的位置、大小、角度高精度地推测接收机的位置。
图172是表示实施方式6的信号发送方法的一例的图。
在时间分割背灯扫描中,在背灯的点灯期间较短、在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴的曲线图上不能将发光的(叠加了信号的)部分相连的情况下,在各自的发光部分中,与图170的情况同样,匹配于背灯的发光定时而叠加信号。此时,通过控制背灯以使其与曲线图上的其他背灯点灯部分的距离成为最大,能够防止相邻部分的亮线混杂。
图173是用来说明实施方式6的使用场景的图。本实施方式的系统由进行可见光通信的照明器具100、具有可见光通信功能的可穿戴设备101、智能电话102及服务器103构成。
本实施方式的目的在于,将用户使用可见光通信在店铺进行购物的情况下的一连串的工夫省去、将购物所花费的时间缩短。以往,在店铺中购买商品时,需要预先检索该店铺的站点而取得优惠券信息。此外,有在店内搜索作为该优惠券对象的商品的情况下花费时间的问题。
如图173所示,照明器具100在店铺(作为例子而设想家电量贩店)之前,定期地使用可见光通信发送本机的照明ID信息。用户的可穿戴设备101如果接收到该照明ID信息,则使用近距离无线通信,向智能电话102发送照明ID信息。智能电话102使用手机网络等向服务器103发送用户的信息和照明ID信息。智能电话102从服务器103获取处于用户的眼前的店铺的点信息或优惠券信息等。用户阅览从服务器103获取的信息用可穿戴设备101或智能电话102。用户能够将显示的店铺的商品信息现场购买、或接受指引直到店铺内的展示场所。以下,使用附图详细地说明。
图174是表示智能电话102向服务器103发送的信息表的图。除了保持在智能电话102中的该店铺的会员号码、店铺的ID信息、发送时刻、位置信息以外,智能电话102还发送储存在发送智能电话102中的用户的兴趣信息及生物体信息、检索履历或行动履历信息。
图175是服务器103的框图。收发部201接收从智能电话102发送的信息。控制部202进行整体的控制。在会员信息DB203中,保存有会员号码、该会员号码的用户的姓名及生年月日、积分信息、购买履历等。在店铺DB204中,保存有店铺ID、在该店铺中销售的商品信息、店铺的陈列信息、店铺的地图信息等店铺内的信息。通知信息生成部205生成遵循用户的兴趣的优惠券信息及推荐商品信息。
图176是表示上述系统的整体的处理的流程图。可穿戴设备101从照明器具100接收照明ID(S301)。接着,可穿戴设备101将照明ID使用Bluetooth(注册商标)等的近距离无线通信等向智能电话102发送(S302)。接着,智能电话102将图174所示的自身具有的用户的履历信息、会员号码和照明ID向服务器103发送(S303)。服务器103如果接收到数据,则将数据首先向控制部202发送(S304)。接着,控制部202将会员号码与会员信息DB203对照,取得会员信息(S305)。接着,控制部202将照明 ID与店铺DB204对照,取得店铺信息(S306)。在店铺信息中,包括在店铺中有库存的商品信息、作为店铺想要促进销售的商品的信息、优惠券信息及店铺的店内地图信息等。控制部202将会员信息和店铺信息向通知信息生成部发送(S307)。通知信息生成部205根据会员信息和店铺信息,生成适合于用户的广告信息,向控制部202发送(S308)。控制部202将会员信息和广告信息向收发部201发送(S309)。在会员信息中,包括用户的积分信息及有效期限信息等。收发部201将会员信息和广告信息向智能电话102发送(S310)。智能电话102将接收到的信息显示到显示画面上(S311)。
进而,智能电话102将从服务器103接受到的信息向可穿戴设备101转送(S312)。如果可穿戴设备101的通知设定是ON,则可穿戴设备101显示信息(S314)。另外,当可穿戴设备显示信息时,优选的是通过振动等向用户提示注意唤起。这是因为,由于用户不一定进入该店铺,所以有即使发送优惠券信息等、用户也注意不到的情况。
图177是表示服务器103向智能电话102发送的信息表的图。所谓店铺地图DB,是在店内的哪个位置陈列有哪个商品的店内的向导信息。所谓店铺的商品信息,是在该店铺中有库存的商品的信息及商品的价格信息等。所谓用户会员信息,是用户的积分信息及会员卡的有效期限信息等。
图178是表示从用户在店铺前从服务器103获取信息到实际购买商品的在可穿戴设备101上显示的画面流的图。在店铺前,显示有在用户来店的情况下赋予的积分和优惠券信息。如果用户将优惠券信息轻击,则显示从服务器103发送的、遵循用户的兴趣的信息。例如如果用户将电视机轻击,则显示推荐的电视机的信息。这里,如果按下购买按钮,则显示获取方法的选择画面,能够选择向自宅的配送还是店内的获取。在本实施方式中,由于知道用户处于哪个店铺中,所以有能够在店铺中获取的优点。如果在流程403中选择向卖场的引导,则可穿戴设备101向引导模式转移。该模式是使用箭头等将用户向特定的场所引导的模式,能够将用户向实际陈列有所选择的商品的场所引导。如果被导引到商品搁架之前,则可穿戴设备101向询问购买的要否的画面变迁。用户通过实际观看对应的商品,能够在尝试尺寸及颜色、使用方便性等之后进行商品的购买判断。
另外,本发明的可见光通信能够高精度地确定用户的位置。因此,例如在如图179那样用户要进入工厂内的危险地域的情况下还能够给出警告。进而,由于是否发出警告能够在可穿戴设备侧决定,所以能够构建例如向特定的年龄以下的儿童发出警告的自由度较高的警告系统。
(实施方式7)
图180是表示使用已经说明的实施方式所记载的接收方法的服务提供系统的图。
首先,对于管理服务器ex8002的企业A ex8000,其他企业B或个人ex8001委托向便携终端的信息的分发。例如委托对于与标牌可见光通信的便携终端发送详细的广告信息、优惠券信息或地图信息等。管理服务器的企业A ex8000与任意的ID信息对应而管理向便携终端分发的信息。便携终端ex8003通过可见光通信从被拍摄对象ex8004取得ID信息,将所取得的ID信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并将发送了与ID信息对应的信息的次数计数。管理服务器的企业A ex8000将与计数的次数对应的费用对委托的企业B或个人ex8001核款。例如,计数数越大,使核款的金额越大。
图181是表示服务提供的流程的流程图。
在步骤ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在步骤ex8001中,在企业A管理的服务器中,将接受到分发委托的信息与特定的ID信息建立关联。在步骤ex8002中,便携终端通过可见光通信从被拍摄对象接收特定的ID信息,向企业A管理的服务器发送。关于可见光通信方法的详细情况,由于在其他实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的ID信息对应的信息对便携终端发送。在步骤ex8003中,在服务器中,将信息分发的次数计数。最后,在步骤ex8004中,将与信息分发的计数数对应的费用对企业B核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业B核款。
图182是表示另一例的服务提供的流程图。关于与图181重复的步骤省略说明。
在步骤ex8008中,判断是否从信息分发的开始起经过了规定时间。如果判断为规定时间内,则在步骤ex8011中,不进行对企业B的核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8009中,将分发了信息的次数计数。并且,在步骤ex8010中,将与信息分发的计数对应的费用对企业B核款。这样,在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等后接受核款服务。
图183是表示另一例的服务提供的流程图。关于与图182重复的步骤省略说明。
在步骤ex8014中,将分发了信息的次数计数。在步骤ex8015中,在判断为从信息分发开始起没有经过规定期间的情况下,在步骤ex8016中不进行核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8017中进行分发了信息的次数是否为规定值以上的判断。在分发了信息的次数不到规定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到规定值的规定期间,对企业B不进行核款。在步骤ex8017中,如果计数数是规定值以上,则在步骤ex8018中将计数数复位一次,再次再开始计数。在步骤ex8019中,将与计数数对应的费用对企业B核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业B能够以适当的定时接受核款服务。此外,企业A也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业B提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的规定的期间短的期间。通过比初次的规定的期间短,能够使对于企业A的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。
另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在规定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的ID信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时点能够决定费用。
(实施方式8)
在本实施方式中,对使用了作为上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
(容易接收的调制方式)
图184A、图184B及图185是表示实施方式8的信号的编码的一例的图。
发送信号由头(H)和主体(Body)构成。在头中包含有唯一的信号样式。接收机从接收信号中找出该唯一的样式,以该位置为基准,识别接收信号的哪个部分表示头、主体,并接收数据。
当将发送信号用图184A的(a)的样式调制时,接收机在将头和随后的主体连续接收到时能够接收数据。接收机能够连续接收信号的时间长度由摄像图像(摄影图像)中摄入的发送机的大小决定。在发送机较小的情况或将发送机从远处摄像的情况下,接收机能够连续接收信号的时间较短。在接收机能够连续接收信号的时间(连续接收时间)与包括头和主体的1块的发送时间相同的情况下,仅在头的发送开始时点与接收开始时点相等的情况下接收机能够接收数据。图184A的(a)表示连续接收时间比包括头和主体的1块的发送时间稍长的情况。箭头线表示连续接收时间,在以由粗线表示的定时接收到信号的情况下能够接收数据,但在以由细线表示的定时接收到信号的情况下,由于在接收信号中头和主体不齐全,所以不能接收数据。
通过将发送信号用图184A的(b)的样式调制,能够以更宽泛的接收定时进行数据的接收。发送机发送以“主体-头-主体”为一组调制成的信号。这里,处于相同的组中的两个主体是相同的信号。接收机即使不将主体连续接收,也能够通过将头的前后的主体接合而将主体复原,所以只要能够将头中包含的全部的信号连续地接收,就能够接收数据。在图184A中,将能够接收数据的接收定时用粗线表示,可知在(b)的情况下,与(a)的情况相比能够以更宽泛的接收定时进行数据的接收。
在图184A的(b)的调制方式的情况下,只要主体的信号长是固定值,接收机就能够将主体复原。或者,只要在头中包含主体的信号长的信息,接收机就能够将主体复原。
即,如图184B所示,接收机首先从包含亮线的摄影图像(亮线图像)中寻找由唯一的亮线的样式构成的头。并且,接收机将接在该头之后(图184B中的(1)的方向)的主体的各信号依次读出。此时,接收机每当读出信号,就判断是否以主体的信号长的量读出了该主体的信号。即,判断是否已将主体中包含的全部的信号读出。当判断为没有读出时,接收机将在被读出的信号之后接着的信号读出。但是,在其之后没有接着的信号的情况下,接收机将在头之前(图184B中的(2)的方向)接续的主体的各信号依次读出。由此,将主体中包含的全部的信号读出。这里,如果主体的信号长是固定长,则接收机将该信号长预先保持,使用该信号长进行上述判断。或者,接收机根据头确定主体的信号长,使用该信号长进行上述判断。
此外,在主体的信号长是可变长的情况下,也通过设定调制方式以使相同的发送机调制的主体为相同的信号长,接收机能够根据两个头间的信号长推测主体的信号长并将主体复原。此时,在图184A的(b)的调制方式中,必须将两个头和两个主体的信号一次接收。但是,如果是图185所示的调制方式,则仅通过接收两个主体和一个信号就能够推测主体的信号长。另外,在图185中,是以“主体-头-主体-头2(H2)”为一组的调制方式,接收机只要能够将头中包含的全部的信号连续接收,就能够接收数据。
这样,本实施方式的发送机决定与作为发送对象的信号中的一部分的主体对应的第1亮度变化的样式、和表示用来确定该主体的头的第2亮度变化的样式,通过以第1亮度变化的样式、第2亮度变化的样式、该第1亮度变化的样式的顺序,按照各个样式进行亮度变化,将头及主体发送。此外,发送机也可以还决定表示与头不同的其他的头的第3亮度变化的样式,以第1亮度变化的样式、第2亮度变化的样式、第1亮度变化的样式、第3亮度变化的样式的顺序,按照各个样式而进行亮度变化,将头、主体及其他的头发送。
(基于亮线的通信和图像识别的并用)
图186是表示实施方式8的摄像图像的一例的图。
接收机能够从摄像图像中的亮线读取信号,并将亮线以外的部分通过图像处理进行解析。由此,作为例子,接收机从例如构成为数字标牌的发送机接收信号,即使在接收到相同的信号的情况下也能够根据此时映照在发送机的画面上的图像而显示不同的广告等。
亮线在图像处理中为噪声,所以也可以从亮线的左右的像素将亮线部分的像素值进行插补后进行图像处理。此外,也可以对除了亮线部分以外的图像进行图像处理。
(适合于可见光信号的接收的摄像元件的利用方法)
图187A~图187C是表示实施方式8的接收机的一例的图。
如图187A所示,8910a是接收机的摄像元件。摄像元件由作为将图像摄像的部分的有效像素、用于暗电流等的噪声测量的光学黑和无效区域8910b构成。在光学黑中,还有测量垂直方向的噪声的VOB和测量水平方向的噪声的HOB。由于亮线向8910c的方向(水平方向)产生,所以在对VOB或无效区域8910b曝光的时间中得不到亮线,不能接收信号。因此,在可见光通信时,通过切换为不利用VOB和无效区域8910b或以最小限度利用的摄像模式,能够增加能够接收信号的时间。
如图187B所示,通过不利用VOB和无效区域8910b,能够延长在作为包含有效像素的区域的有效像素区域中被曝光的时间。具体而言,如图187B的(a)所示,在通常摄影时,在时刻t0~t10、时刻t10~t20及时刻 t20~t30的各自的期间中取得1张摄影图像。此外,为了取得各个摄影图像,还利用VOB和无效区域8910b,所以在有效像素区域中被曝光的时间(电荷被读出的时间,图187B中的阴影部分)是时刻t3~t10、时刻t13~t20及时刻t23~t30。
另一方面,通过在可见光通信时不利用VOB和无效区域8910b,如图187B的(b)所示,能够将在有效像素区域中被曝光的时间延长不利用VOB和无效区域8910b的时间。即,能够增加能够以可见光通信接收的时间。结果,能够接收更多信号。
另外,如图187C的(a)所示,在通常摄影时,有效像素区域的各曝光线的曝光在相邻的曝光线的曝光开始起经过规定时间m后开始。另一方面,如图187C的(b)所示,在可见光通信时,如果将在有效像素区域中被曝光的时间延长,则有效像素区域的各曝光线的曝光在相邻的曝光线的曝光开始起经过规定时间n(n>m)后开始。
这样,本实施方式的接收机在进行通常摄影时,对于处于包含图像传感器的光学黑的区域中的多个曝光线,分别在从进行了对于该曝光线的相邻的曝光线的电荷的读出的时点起经过规定的时间后进行电荷的读出。并且,接收机在进行可见光通信时,不将光学黑用于电荷的读出,而对处于图像传感器的光学黑以外的区域中的多个曝光线分别从进行了对该曝光线的相邻的曝光线的电荷的读出的时点起经过比上述规定的时间长的时间后进行电荷的读出。
此外,在可见光通信时,通过设为纵向的像素数不会因去马赛克或剪裁等的处理而减少那样的摄像模式,能够进一步增加可接收信号的时间。
如果不利用VOB或无效区域8910b,而以不减少纵向的像素的模式摄像,则摄像图像的下端与下一帧的摄像图像的上端的曝光定时在时间上连续,能够将信号连续地接收。此外,即使在不能完全使VOB等无效的情况下,也能够通过以能够纠错的方式调制发送信号来将信号连续地接收。
在图187A中,由于将水平方向的光电二极管同时曝光,所以出现水平方向的亮线。在可见光通信时,通过将该曝光模式和将垂直方向的光电二极管同时曝光的曝光模式交替地重复,能够得到水平的亮线和垂直的亮线,所以不论发送机是怎样的形状,都能够稳定地接收信号。
(连续的信号接收)
图187D是表示实施方式8的信号接收方法的一例的图。
在摄像元件中,有作为以受光到的光的强度为图像的像素的有效像素、和不以受光到的光的强度为图像而例如作为暗电流的强度的基准使用的无效像素。因此,在通常摄像模式中,如(a)所示,存在仅无效像素受光的时间,在此期间中不能接收信号。所以,在可见光通信模式中,通过如(b)那样使仅无效像素受光的时间为最小限度、或如(c)那样设定为总是有效像素受光,能够更长地取得可接收的时间。此外,由此能够进行连续的接收。在(b)的情况下存在不能接收的时间,但通过在发送数据中使用错误校正码,在一部分的信号不能接收的情况下也能够推测整体的信号。
(来自较小地摄像的发送机的信号的接收方法)
图187E是表示实施方式8的信号接收方法的一例的流程图。
如图187E所示,在步骤9000a中开始,在步骤9000b中接收信号,在步骤9000c中检测头。在步骤9000d中确认接着头的主体的数据尺寸是否是已知的,在“是”的情况下向步骤9000f前进。在“否”的情况下向步骤9000e前进,将接着头的主体的数据尺寸从头读出,向步骤9000f前进。在步骤9000f中,确认是否能够将接着头而意味着主体的信号全部接收,在“是”的情况下向步骤9000g前进,从接着头接收到的信号将主体部分读出,在步骤9000p中结束。在“否”的情况下向步骤9000h前进,确认如果将接着头接收到的部分与在头之前接收到的部分的数据长加在一起是否足够主体的数据长,在“是”的情况下向步骤9000i前进,通过将接着头接收到的部分与在头之前接收到的部分连结,将主体部分读出,在步骤9000p中结束。在“否”的情况下向步骤9000j前进,确认是否有从发送机摄像许多亮线的手段,在“是”的情况下向步骤9000n前进,变更为能够将亮线较多摄像的设定,向步骤9000b返回。在“否”的情况下向步骤9000k前进,通知虽然发送机存在但摄像的大小不充分的情况,在步骤9000m中通知发送机的方向,通知只要向那里接近就能够接收,在步骤9000p中结束。
通过该方法,在摄像图像中的穿过发送机的曝光线较少的情况下,也能够稳定地接收信号。
(适合于可见光信号的接收的摄像图像尺寸)
图188及图189A是表示实施方式8的接收方法的一例的图。
在摄像元件的有效像素区域是4:3的情况下,如果以16:9摄像,则将图像的上下的部分裁剪。在亮线在水平方向上出现的情况下,通过该裁剪而亮线丢失,能够接收信号的时间变短。同样,在摄像元件的有效像素区域是16:9的情况下,如果以4:3摄像,则图像的左右的部分被裁剪,在亮线在垂直方向上出现的情况下能够接收信号的时间变短。所以,不发生裁剪的纵横比,即,在图188中将4:3、在图189A中将16:9作为可见光通信模式下的摄像纵横比。由此,能够使能够接收的时间取得较长。
即,本实施方式的接收机还设定通过图像传感器得到的图像的纵幅与横宽的比率。并且,接收机在进行可见光通信时,根据设定的比率盘点各图像中的与曝光线(亮线)垂直的方向的端部是否被裁剪,当判定为端部被裁剪时,将设定的比率变更为作为其端部没有被裁剪的比率的非裁剪比率。并且,接收机的图像传感器通过将亮度变化的被拍摄对象摄影,取得该非裁剪比率的亮线图像。
图189B是表示实施方式8的接收方法的一例的流程图。
在该接收方法中,将接收时间延长,设定用来接收来自较小的发送机的信号的摄像纵横比。
即,如图189B所示,在步骤8911Ba中开始,在步骤8911Bb中将摄像模式向可见光通信模式变更。在步骤8911Bc中确认摄像图像的纵横比设定是否为与有效像素的纵横比最近的设定。在“是”的情况下向步骤8911Bd前进,将摄像图像的纵横比设定设为与有效像素的纵横比最接近的设定。在步骤8911Be中结束。在“否”的情况下向步骤8911Be前进并结束。通过在可见光通信模式中这样设定纵横比,能够减少不能接收的时间。此外,能够接收来自较小的发送机或较远的发送机的信号。
图189C是表示实施方式8的接收方法的一例的流程图。
在该接收方法中,设定用来增加每单位时间的样本数的摄像纵横比。
即,如图189C所示,在步骤8911Ca中开始,在步骤8911Cb中将摄像模式向可见光通信模式变更。在步骤8911Cc中确认是否能够确认曝光线的亮线但每单位时间的样本数较少而不能接收信号。在“是”的情况下向步骤8911Cd前进,将摄像图像的纵横比设定设为与有效像素的纵横比最不同的设定。在步骤8911Ce中提高摄像帧速率,向步骤8911Cc返回。在“否”的情况下向步骤8911Cf前进,接收信号并结束。
在可见光通信模式中,也能够接收。
(利用变焦的可见光信号的接收)
图190是表示实施方式8的接收方法的一例的图。
接收机从摄像图像8913a中找到存在亮线的区域,进行变焦以便产生尽可能多的亮线。如摄像图像8913b那样,在与亮线的方向垂直的方向上亮线区域扩大至达到画面的上端下端,由此能够使亮线的数量成为最大。
此外,接收机也可以找到亮线被清晰显示的区域,如8913c那样进行变焦以使该部分被较大地映照。
另外,在摄像图像中存在多个亮线区域的情况下,也可以对各个亮线区域依次进行上述处理。此外,也可以对用户从摄像图像中指定的亮线区域进行上述处理。
(适合于可见光信号的接收的图像数据尺寸的压缩方法)
图191是实施方式8的接收方法的一例。
当将摄像图像(a)从摄像部向图像处理部传送时、或从摄像终端(接收机)向服务器发送时,在需要图像数据尺寸的压缩的情况下,如果如(c)那样对亮线在水平的方向上进行缩小或像素间隔剔除,则能够不减少亮线的信息量而将数据尺寸压缩。如果进行(b)或(d)那样的缩小或像素间隔剔除,则亮线的数量减少,或亮线的识别变困难。在图像压缩时,也通过在与亮线垂直的方向上不压缩、或者使垂直方向的压缩率比水平方向的压缩率小,能够防止接收效率的降低。另外,移动平均过滤器在垂直方向和水平方向上都可以使用,对于数据尺寸缩小和噪声降低的两者是有效的。
即,本实施方式的接收机还通过在与亮线图像中包含的多个亮线分别平行的方向上将该亮线图像压缩而生成压缩图像,将该压缩图像发送。
(接收错误检测精度较高的调制方式)
图192是表示实施方式8的信号调制方法的一例的图。
基于校验位的错误检测由于检测1位的接收错误,所以不能检测出“01”和“10”的弄错、和“00”和“11”的弄错。在(a)的调制方式中,“01”和“10”由于L的位置仅有一个不同,所以容易弄错,而在(b)的调制方式中,“01”和“10”、“00”和“11”的L的位置分别有两个不同。通过使用(b)的调制方式,能够以较高的精度检测接收错误。这在图76到图78的调制方式中也是同样的。
即,在本实施方式中,将亮度值(例如L)出现的定时相互不同的亮度变化的样式分别预先分配给相互不同的信号单位,以使得该定时相互相邻的两个亮度变化的样式不被分配给相同的奇偶性的信号单位(例如,“01”和“10”)。并且,本实施方式的发送机对发送对象的信号中包含的信号单位分别决定分配给该信号单位的亮度变化的样式。
(根据状况的差异进行的接收机的动作的变更)
图193是表示实施方式8的接收机的动作的一例的图。
接收机8920a根据开始接收的状况而进行不同的动作。例如在日本启动的情况下,接收以60kHz的相位偏移调制方式调制后的信号,以接收到的ID为关键字从服务器8920d下载数据。在美国启动的情况下,接收以50kHz的频率偏移调制方式调制后的信号,以接收到的ID为关键字从服务器8920e下载数据。使接收机的动作变更的上述状况包括,接收机8920a所存在的场所(国家或建筑物)、与接收机8920a通信的基站或无线接入点(Wi-Fi、Bluetooth(注册商标)、IMES等)、时刻等。
例如,接收机8920a将位置信息或最后接入的无线基站(载波通信网或Wi-Fi、Bluetooh(注册商标)、IMES等的基站)、或通过可见光通信最后接收到的ID向服务器8920f发送。服务器8920f基于接收到的信息推测接收机8920a的位置,将能够接收该位置附近的发送机的发送信号的接收算法和管理该位置附近的发送机的ID的ID管理服务器的信息(URI等)发送。接收机8920a使用接收到的算法接收发送机8920b或8920c的信号,向接收到的ID管理服务器8920d、8920e进行以ID为关键字的查询。
通过该方法,能够以国家、地域或建筑物的单位进行不同方式的通信。此外,本实施方式的接收机8920a也可以是,当接收到信号时,根据在该信号的调制中利用的频率,切换作为访问对象的服务器或切换接收算法,或切换图192所示的信号调制方法。
(向人通知可见光通信)
图194是表示实施方式8的发送机的动作的一例的图。
发送机8921a的发光部如图194的(a)所示,反复进行人能够辨识的闪烁(即亮灭)和可见光通信。通过进行人能够辨识的闪烁,能向人通知能够可见光通信的情况。用户通过发送机8921a的闪烁,注意到能够可见光通信,将接收机8921b朝向发送机8921a而进行可见光通信,进行发送机8921b的用户登记。
即,本实施方式的发送机交替地反复进行发光体通过亮度变化来发送信号的步骤、和进行闪烁以使发光体能够被人的眼睛辨识的步骤。
发送机也可以如图194的(b)那样将可见光通信部和闪烁部分别设置。
发送机使用图77、图78的调制方式,如图194的(c)那样动作,由此能够一边进行可见光通信,一边使人看到发光部正在闪烁。即,发送机交替地反复进行例如明亮度75%的高亮度可见光通信和明亮度1%的低亮度可见光通信。例如当在发送机中发生异常等而发送与通常不同的信号时,通过进行图194的(c)的动作,能够不停止可见光通信而向用户提起注意。
(基于散光板的接收范围的扩大)
图195是表示实施方式8的接收机的一例的图。
图195的(a)表示接收机8922a的通常模式的状况,图195的(b) 表示接收机8922a的可见光通信模式的状况。接收机8922a在摄像部之前具备散光板8922b。接收机8922a在可见光通信模式时使散光板8922b移动到摄像部之前,将光源扩散而摄像。此时,调整散光板8922b的位置以使来自多个光源的光不重叠。另外,也可以代替散光板8922b而使用微透镜或变焦透镜。由此,能够接收远处的发送机或较小的发送机的信号。
另外,也可以代替使散光板8922b移动而使摄像部的摄像方向移动。
另外,散光板8922b映照的图像传感器的区域,在通常摄像模式中不利用,仅在可见光通信模式中利用。由此,将散光板8922b和摄像部都不用移动便能够得到上述效果。
(从多个发送机的信号发送的同步方法)
图196和图197是表示实施方式8的发送系统的一例的图。
在为了投影映射等而使用多个投影仪的情况下,为了避免干扰,需要在一处的投影中只有一个投影仪发送信号、或者使多个投影仪的信号发送定时同步。图196表示用于发送定时的同步的机制。
对相同的投影面进行投影的投影仪A和投影仪B如图196那样发送信号。接收机将其摄像并接收,计算信号a与信号b的时间差,调整各投影仪的信号发送定时。
在动作开始时,由于投影仪A和投影仪B不同步,所以通过设置从哪一个都不发送信号的时间(全休止时间),来防止信号a和信号b重叠而不能接收。也可以随着投影仪的定时调整的进行而使投影仪发送的信号变化。例如,通过在动作开始时将全休止时间取较长、随着定时调整的进行而使全休止时间变短,能够高效率地进行定时调整。
为了正确地调整定时,优选的是在1张摄像图像中包含信号a和信号b。接收机的摄像帧速率为60fps到7.5fps的情况较多。通过使信号发送的周期为7.5分之1秒以下,能够将信号a和信号b包含在以7.5fps摄像的图像中。此外,通过使信号发送的周期为60分之1秒以下,能够可靠地将信号a和信号b包含在以30fps摄像的图像中。
图197是表示将由多个显示器构成的发送机同步的情况的图。同步的显示器进行摄像以包含于1张图像中,并进行定时调整。
(照度传感器和图像传感器的可见光信号的接收)
图198是表示实施方式8的接收机的动作的一例的图。
图像传感器由于与照度传感器相比消耗电力较高,所以接收机8940a在由照度传感器8940c检测到信号时将图像传感器8940b启动而接收信号。如图198的(a)所示,接收机8940a将发送机8940d发送的信号用照度传感器8940c接收。然后,接收机8940a将图像传感器8940b启动,用图像传感器将发送机8940d的发送信号接收,此外,识别发送机8940d的位置。此时,图像传感器8940b在接收到信号的一部分的时间点,如果该部分与由照度传感器8940c接收到的信号相同,则临时判断为接收到相同的信号,进行后段的处理、例如当前位置的显示等。在由图像传感器8940b接收完全部的信号的时间点,完成判断。
另外,在临时判断时,也可以显示判断没有完成的情况。例如,使当前位置的显示为半透明,或显示位置的误差。
另外,所谓上述信号的一部分,例如设定为整体的信号长度的20%、或错误检测码部分等。
在图198的(b)那样的状况下,在照度传感器8940c中,虽然信号干扰而不能接收,但能够识别出存在信号。例如在对照度传感器8940c的传感器值进行了傅立叶变换时,在发送信号的调制频率中出现峰值的情况下,可以推测为存在信号。接收机8940a当根据照度传感器8940c的传感器值推测为存在信号时,将图像传感器8940b启动,接收来自发送机8940e、8940f的信号。
(接收开始的触发)
图199是表示实施方式8的接收机的动作的一例的图。
如果将图像传感器或照度传感器(以下称作受光传感器)启动,则消耗电力,所以通过在不需要时停止、在需要时启动,能够使消耗电力效率提高。另外,由于照度传感器的消耗电力比图像传感器少,所以以下也可以设为照度传感器总是启动,而仅控制图像传感器。
在图199的(a)中,接收机8941a根据9轴传感器的传感器值检测移动,将受光传感器启动而开始接收。
在图199的(b)中,根据9轴传感器的传感器值检测将接收机放倒的动作,将朝向上方一侧的受光传感器启动,开始接收。
在图199的(c)中,根据9轴传感器的传感器值检测将接收机伸出的动作,将被伸出的方向的受光传感器启动,开始接收。
在图199的(d)中,根据9轴传感器的传感器值检测将接收机朝向上方的动作或摇晃的动作,将朝向上方的一侧的受光传感器启动,开始接收。
即,本实施方式的接收机还判定接收机(接收装置)是否以预先设定的形态运动,当判定为以预先设定的形态运动时,将图像传感器起动。
(接收开始的手势)
图200是表示本通信方式的开始接收的手势动作的一例的图。
例如构成为智能电话的接收机8942a根据9轴传感器的传感器值,检测将接收机竖起并在横向上滑动的动作、或反复向横向的滑动的动作。然后,接收机8942b开始接收,基于接收到的ID取得发送机的位置。然后,接收机8942b根据多个发送机8942b与自身的相对位置关系,取得自身的位置。接收机8942b通过被滑动,能够稳定地将多个发送机摄像,并通过三角测量的方法能够高精度地推测自己位置。
另外,该动作也可以仅在主画面为前台时进行。由此,能够防止在使用其他应用的过程中违背用户的意图而进行本通信。
(对汽车导航的应用例)
图201和图202是表示实施方式8的发送接收系统的应用例的一例的图。
例如构成为汽车导航的发送机8950b发送蓝牙(Bluetooth)的配对信息、Wi-Fi的SSID和口令、IP地址等用于向发送机8950b无线连接的信息。例如构成为智能电话的接收机8950a基于接收到的信息与发送机8950b建立无线连接,以后的交换经由该无线连接进行。
例如,用户向智能电话8950a输入目的地或要搜索的店铺信息等,智能电话8950a将经由无线连接而输入到汽车导航8950b中的信息传递,汽车导航8950b将路径信息进行显示。此外,例如使智能电话8950a作为汽车导航8950b的控制器动作,对汽车导航8950b要再现的音乐或影像进行控制。此外,例如由汽车导航8950b再现智能电话8950a保持的音乐或影像。此外,例如汽车导航8950b取得周边的店铺信息或道路的混杂信息,使智能电话8950a显示。此外,例如智能电话8950a当有来信时,使用无线连接的汽车导航8950b的麦克风和扬声器进行通话。另外,智能电话8950a也可以在有来信时建立无线连接而进行上述动作。
汽车导航8950b当被设定为无线连接的自动连接模式时,自动与登记的终端无线连接。汽车导航8950b当不是自动连接模式时,使用可见光通信发送连接信息,并等待连接。另外,汽车导航8950b也可以在自动连接模式时也使用可见光通信发送连接信息并等待连接。另外,汽车导航在被手动连接的情况下,既可以将自动连接模式解除,也可以将与自动连接的终端的连接切断。
(对内容保护的应用例)
图203是表示实施方式8的发送接收系统的应用例的一例的图。
例如构成为电视机的发送机8951b发送在自身或连接的设备8951c中保持的内容保护信息。例如构成为智能电话的接收机8951a接收上述内容保护信息,然后在规定的时间的期间中进行内容保护,以便能够将8951b或设备8951c的被内容保护信息保护的内容进行再现。由此,能够将保持在用户拥有的别的设备中的内容用接收机再现。
另外,也可以是,发送机8951b将内容保护信息保持在服务器中,接收机8951a以接收到的8951b的ID为关键字从服务器取得内容保护信息。
另外,接收机8951a也可以将所取得的内容保护信息再向其他设备发送。
(作为电子锁的应用例)
图204A是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8952a接收发送机8952b发送的ID,向服务器8952c发送。服务器8952c在从接收机8952a送来发送机8952b的ID的情况下,将门8952d解锁或将自动门打开,将向登记在接收机8952a中的层移动的电梯呼叫到接收机8952a所在的层。由此,接收机8952a起到钥匙的作用,能够在用户到达门8952d之前进行解锁等。
即,本实施方式的接收机通过将亮度变化的被拍摄对象(例如上述发送机)摄影,取得作为包含多个亮线的图像的第1亮线图像,通过将由所取得的第1亮线图像中包含的多个亮线的样式确定的数据解调,取得第1发送信息(例如被拍摄对象的ID)。并且,接收机通过在取得了第1发送信息后发送控制信号(例如被拍摄对象的ID),使门的开闭驱动设备将该门打开。
为了防止有恶意的操作,服务器8952c也可以利用接收机8952a的安全元件等的安全保护,确认通信对方是接收机8952a。此外,为了确认接收机8952a确实处于发送机8952b的附近,服务器8952c也可以在接收到发送机8952b的ID时向发送机8952b发出发送不同信号的命令,在从接收机8952a送来上述信号的情况下进行解锁。
此外,在构成为照明设备的发送机8952b沿着朝向门8952d的通路排列有多个的情况下,接收机8952a通过从这些发送机8952b接收ID,能够判定接收机8952a是否接近了门8952d。例如,在以取得了这些ID的顺序而由这些ID表示的值变小的情况下,判定为接收机接近了门。或者,接收机基于这些ID确定各个发送机8952b的位置,还基于这些发送机8952b的位置和摄入在摄影图像中的这些发送机8952b的位置推测自己的位置。并且,接收机通过将预先保持的门8952d的位置与推测出的自己的位置随时比较,判定是否接近了门8952d。并且,接收机当判定为接近了门8952d时,将所取得的某些ID对服务器8952c发送。结果,服务器8952c进行用来将门8952d打开的处理等。
即,本实施方式的接收机通过将亮度变化的其他被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像,通过将由在所取得的第2 亮线图像中包含的多个亮线的样式确定的数据解调,来取得第2发送信息(例如其他被拍摄对象的ID)。并且,接收机基于所取得的第1及第2发送信息判定接收机是否接近了门,当判定为接近了门时发送控制信号(例如某个被拍摄对象的ID)。
图204B是本实施方式的信息通信方法的流程图。
有关本发明的一形态的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括步骤SK21~SK24。
即,该信息通信方法包括:第1曝光时间设定步骤SK21,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象的摄影得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的多个亮线;第1亮线图像取得步骤SK22,通过上述图像传感器将亮度变化的上述第1被拍摄对象以设定的上述第1曝光时间摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤SK23,通过将由在所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据解调,取得第1发送信息;门控制步骤SK24,通过在取得上述第1发送信息后发送控制信号,使门的开闭驱动设备将上述门打开。
图204C是本实施方式的信息通信装置的框图。
本实施方式的信息通信装置K20,是通过亮度变化来发送信号的信息通信装置,具备构成要素K21~K24。
即,该信息通信装置K20具备:曝光时间设定部K21,设定上述图像传感器的曝光时间,以使得在通过图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的多个亮线;亮线图像取得部K22,具有图像传感器,上述图像传感器通过将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得作为包含上述多个亮线的图像的亮线图像;信息取得部K23,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得发送信息;门控制部K24,通过在取得上述发送信息后发送控制信号,使门的开闭驱动设备将上述门打开。
在这样的由图204B及图204C表示的信息通信方法及信息通信装置K20中,例如如图204A所示,能够将具备图像传感器的接收机如门的钥匙那样使用,能够不需要特别的电子锁。结果,能够在包括运算力较少那样的设备的多种多样的设备间进行通信。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。例如,程序使计算机执行由图204B的流程图表示的信息通信方法。
(作为来店信息传递的应用例)
图205是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8953a将发送机8953b发送的ID向服务器8953c发送。服务器8953c将与接收机8953a建立了关联的订购信息向店员8953d通知。店员8953d基于上述订购信息准备商品等。由此,在用户进入店铺等的时间点订购被准备,所以用户能够迅速地获取商品等。
(与场所对应的订购控制的应用例)
图206是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8954a仅在接收到发送机8954b的发送信号时显示能够进行订购的画面。由此,店铺能够避免不在附近的顾客的订购。
或者,接收机8954a将发送机8954b的ID添加到订购信息中而进行订购。由此,店铺能够掌握订购者的位置,掌握将商品送达的位置。或者,店铺能够推测订购者来店为止的时间。另外,接收机8954a也可以将根据移动速度计算出的到店铺的移动时间添加到订购信息中。此外,接收机根据当前位置判断,也可以对不自然的购买(例如,从当前位置的车站以外出发的乘车券的购入)不受理该购买。
(对道路指引的应用例)
图207是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8955a接收例如构成为指引板的发送机8955b的发送ID,从服务器取得显示在指引板上的地图的数据并显示。此时,也可以是,服务器发送适合于接收机8955a的用户的广告,接收机8955a将该广告信息也进行显示。接收机8955a显示从当前地点到用户指定的场所的路径。
(对所在地联络的应用例)
图208是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8956a接收例如构成为家庭或学校的照明的发送机8956b发送的ID,将以该ID为关键字而取得的位置信息向终端8956c发送。由此,持有终端8956c的保护者能够知道持有接收机8956a的儿童回到家中或到达了学校。此外,持有终端8956c的监督者能够掌握持有接收机8956a的作业者的当前位置。
(对利用日志储存和解析的应用例)
图209是表示实施方式8的发送接收系统的应用例的一例的图。
接收机8957a接收例如构成为招牌的发送机8957b发送的ID,从服务器取得优惠券信息并显示。接收机8957a向服务器8957c保存其后的用户的行动,例如将优惠券保存、移动到显示在优惠券上的店铺、或在该店铺进行了购物、没有将优惠券保存而离去等行动。由此,能够将从招牌8957b取得了信息的用户的其后的行动进行解析,能够估计招牌8957b的广告价值。
(对画面共享的应用例)
图210和图211是表示实施方式8的收发系统的应用例的一例的图。
例如构成为投影仪或显示器的发送机8960b发送用于向自身无线连接的信息(SSID、无线连接用口令、IP地址、用来操作发送机的口令)。或者,发送作为用于对这些信息进行访问的关键字的ID。例如构成为智能电话、平板电脑、笔记本电脑或照相机的接收机8960a接收从发送机8960b发送的信号并取得上述信息,建立与发送机8960b的无线连接。该无线连接既可以经由路由器连接,也可以通过Wi-FiDirect、Bluetooth或Wireless HomeDigital Interface等直接连接。接收机8960a发送在发送机8960b上显示的画面。由此,能够轻松地将接收机的图像显示到发送机上。
另外,发送机8960b当与接收机8960a连接时,为了画面显示,除了发送机发送的信息以外,也可以将需要口令之意向接收机8960a传送,在没有送来正确的口令的情况下不显示所发送的画面。此时,接收机8960a显示8960d那样的口令输入画面,供用户输入口令。
图211是经由接收机8960a使发送机8960b的画面显示发送机8961c的画面的例子的图。例如构成为笔记本电脑的发送机8961c发送用于向自身连接的信息或与该信息建立了关联的ID。接收机8960a接收从发送机8960b发送的信号和从发送机8961c发送的信号,建立与各发送机的连接,使得从发送机8961c传送用于显示到发送机8960b上的图像。发送机8960b和发送机8961c既可以直接通信,也可以经由接收机8960a或路由器通信。由此,即使在发送机8961c不能接收发送机8960b发送的信号的情况下也能够轻松地使发送机8960b显示发送机8961c的图像。
另外,接收机8960a也可以仅在接收到发送机8960b发送的信号的时刻与接收到发送机8961c发送的信号的时刻的差是规定的时间以下时进行上述动作。
另外,发送机8961c也可以仅在从接收机8960a接收到正确的口令的情况下将图像向发送机8960b发送。
(利用无线无线接入点的位置推测的应用例)
图212是表示实施方式8的发送接收系统的应用例的一例的图。
例如构成为智能电话的接收机8963a接收发送机8963b发送的ID。接收机8963a以接收到的ID为关键字取得发送机8963b的位置信息,根据摄像图像中的发送机8963b的位置和方向推测自身的位置。此外,接收机8963a接收来自例如构成为Wi-Fi接入点的电波发信机8963c的信号。接收机8963a根据信号中包含的电波发信机8963c的位置信息和电波发信方向信息,推测自身的位置。接收机8963a通过用多个手段推测自己位置,能够高精度地推测自己位置。
对利用无线发信机8963c的信息推测自己位置的方法进行说明。无线发信机8963c从多个天线向不同的方向发送同步的信号。此外,无线发信机8963c将信号发送的方向依次变更。接收机8963a将电波强度最强时的电波发信方向推测为从无线发信机8963c向自身的方向。此外,根据从别的天线发信、并分别穿过了路径8963d、8963e、8963f的电波的到达时间的差计算路径差,根据各电波发信角度差θ12、θ13、θ23计算无线发信机8963c与自身的距离。进而,通过利用周围的电场信息、电波反射物信息,能够更高精度地推测自己位置。
(基于可见光通信和无线通信的位置推测)
图213是表示进行基于可见光通信和无线通信的位置推测的结构的图。即,图213表示使用可见光通信和无线通信进行终端的位置推测的结构。
便携终端(智能电话末端)通过与发光部进行可见光通信,来取得发光部的ID。将所取得的ID向服务器问询,来取得发光部的位置信息。由此,便携终端取得作为MIMO(multiple-input and multiple-output)无线接入点与发光部之间的x方向和y方向的各自的距离即实距离L1和实距离L2。此外,如已经在其他实施方式中所说明的那样,便携终端使用陀螺仪传感器等来检测该便携终端的倾斜度θ1。
另一方面,在从MIMO无线接入点朝向便携终端被发送波束的情况下,波束形成的角度θ2是MIMO无线接入点设定的角度,是已知的值。因此,便携终端通过无线通信等来取得波束的角度θ2。
其结果,便携终端能够使用实距离L1和实距离L2、便携终端的倾斜度θ1和波束的角度θ2,来计算以MIMO无线接入点为基准的便携终端的坐标位置(x1,y1)。此外,MIMO无线接入点能够形成多个波束,所以通过利用多个波束,也能够进行精度更高的位置推测。
这样,根据本实施方式,通过使用基于可见光通信的位置推测和基于无线通信的位置推测的双方,能够进一步提高位置推测的精度。
以上,基于实施方式对一个或者多个方式的信息通信方法进行了说明,但本发明不限定于该实施方式。只要不脱离本发明的主旨,本领域技术人员可以想到的各种变形施加于本实施方式而得到的技术和/或将不同的实施方式的构成要素组合而构筑的形态也可以包含于一个或者多个方式的范围内。
此外,如图214、图215和图216所示那样,也可以应用本发明的一方式的信息通信方法。
图214是表示实施方式8的发送接收系统的应用例的一例的图。
作为可见光通信的接收机而构成的照相机以通常摄像模式进行摄像(步骤1)。通过该摄像,照相机取得由例如EXIF(Exchangeable image file format)等格式构成的图像文件。接着,照相机以可见光通信摄像模式进行摄像(步骤2)。照相机基于通过该摄像而得到的图像中的亮线的样式,从作为被拍摄对象的发送机取得通过可见光通信而发送的信号(可见光通信信息)(步骤3)。然后,照相机通过将该信号(接收信息)作为关键字而访问服务器,来从服务器取得与该关键字对应的信息(步骤4)。然后,照相机将从被拍摄对象通过可见光通信而发送的信号(可见光接收数据)、从服务器取得的信息、表示由图像文件所示的图像中的作为被拍摄对象的发送机所显示的位置的数据以及表示接收到通过可见光通信而发送的信号的时刻(动画中的时刻)的数据等分别作为上述的图像文件中的元数据而保存。此外,照相机在通过摄像而得到的图像(图像文件)中多个发送机作为被拍摄对象而显示的情况下,按每个发送机,将与该发送机对应的一些元数据保存于该图像文件。
作为可见光通信的发送机而构成的显示器或者投影仪在显示由上述图像文件所示的图像时,通过可见光通信来发送与该图像文件所包含的元数据相应的信号。例如,显示器或者投影仪可以通过可见光通信来发送元数据自身,也可以将与在图像中显示的发送机相关联的信号作为关键字而发送。
作为可见光通信的接收机而构成的便携终端(智能电话)通过对显示器或者投影仪的图像进行拍摄,来接收从显示器或者投影仪通过可见光通信而发送的信号。便携终端在该接收到的信号是上述关键字时,使用该关键字,从显示器、投影仪或者服务器取得与该关键字相关联的发送机的元数据。此外,便携终端在该接收到的信号是从实际的发送机通过可见光通信而发送的信号(可见光接收数据或者可见光通信信息)时,从显示器、投影仪或者服务器取得与该可见光受光数据或者可见光通信信息对应的信息。
图215是表示实施方式8的发送接收系统的照相机(接收机)的动作的流程图。
首先,照相机在检测到摄像按钮的按下时(步骤S901),以通常摄像模式进行摄像(步骤S902)。然后,照相机通过将快门速度提升到一定的速度以上,即通过设定比通常摄像模式短的曝光时间,进行可见光摄像模式的摄像(步骤S903)。由此,照相机取得从被拍摄对象通过可见光通信而发送的信号。
之后,照相机通过将通过可见光通信取得的信号(信息)作为关键字来处理,来从服务器取得与该关键字相关联的信息(步骤S904)。接着,照相机在通过通常摄像模式下的摄像而得到的图像文件的元数据区域(EXIF的存储大地坐标数据的区域等)保存该信号、各信息以及各数据(步骤S905)。即,照相机保存通过可见光通信而取得的信号、从服务器取得的信息以及表示作为通过可见光通信而发送信号的被拍摄对象的发送机的图像(通过通常摄像模式下的摄像而得到的图像)中的位置的位置数据等。
然后,照相机判断是否进行动画的摄像(步骤S906),在判断为进行动画的摄像的情况下(步骤S906的“是”),反复执行自步骤S902起的处理。另一方面,照相机在判断为不进行动画的摄像的情况下(步骤S906的“否”),结束摄像的处理。
图216是表示实施方式8的发送接收系统的显示器(发送机)的动作的流程图。
首先,显示器通过确认图像文件的元数据区域,来判断在由该图像文件所示的图像中显示的发送机是1个还是多个(步骤S911)。此处,显示器在判断为发送机是多个时(步骤S911的“多个”),进一步判断是否作为可见光通信的模式而设定了分割发送模式(步骤S912)。然后,显示器在判断为设定了分割发送模式时(步骤S912的“是”),对显示器的显示区域(发送部分)进行分割,从各自的显示区域发送信号(步骤S914)。具体而言,显示器按每个发送机,将显示有该发送机的区域或者显示了该发送机和其周边的区域作为显示区域而处理,通过可见光通信从该显示区域发送与该发送机对应的信号。
另一方面,在步骤S912中判断为没有设定为分割发送模式时(步骤S912的“否”),显示器从显示器的显示区域的整体,通过可见光通信发送与多个发送机的各个对应的信号(步骤S913)。即,显示器从画面整体发送与多个信息相关联的关键字。
此外,在步骤S911中判断为发送机是1个时(步骤S911的“1个”),显示器从显示器的显示区域的整体通过可见光通信发送与该1个发送机对应的信号(步骤S915)。即,显示器从画面整体进行发送。
然后,显示器在步骤S913~S915的任一个之后,例如从便携终端(智能电话)受理将通过可见光通信而发送的信号(发送信息)作为关键字而处理的访问时,将图像文件中的与该关键字对应的元数据交付给作为访问源的便携终端(步骤S916)。
(本实施方式等的总结)
本实施方式的信息通信方法,是从被拍摄对象取得信息的方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象进行摄影而得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各个曝光线对应的多个亮线;第1亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤,通过对由所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第1发送信息;以及门控制步骤,在取得了上述第1发送信息后,通过发送控制信号,使门的开闭驱动设备打开上述门。
由此,例如图204A所示,能够如门钥匙那样使用具有图像传感器的接收机,能够不需要特殊的电子锁。结果,能够在包括运算力较少的设备的多种多样的设备间进行通信。
此外,上述信息通信方法也可以包括:第2亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的第2被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像;第2信息取得步骤,通过对由所取得的上述第2亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第2发送信息;以及接近判定步骤,基于所取得的上述第1及第2发送信息,判定具备上述图像传感器的接收装置是否接近了上述门,在上述门控制步骤中,当判定为上述接收装置接近了上述门时,发送上述控制信号。
由此,例如图204A所示,能够仅在接收装置(接收机)靠近了门时,即,仅在适当的定时打开该门。
此外,上述信息通信方法也可以包括:第2曝光时间设定步骤,设定比上述第1曝光时间长的第2曝光时间;以及通常图像取得步骤,通过上述图像传感器以所设定的上述第2曝光时间对第3被拍摄对象进行摄影,取得显示了上述第3被拍摄对象的通常图像,在上述通常图像取得步骤中,针对上述图像传感器的处于包含光学黑的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时点起经过规定的时间后,进行电荷的读出;在上述第1亮线图像取得步骤中,不将上述光学黑用于电荷的读出,而是针对上述图像传感器中的处于上述光学黑以外的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时点起经过比上述规定的时间长的时间后,进行电荷的读出。
由此,例如图187A~图187E所示,在取得了第1亮线图像时,由于不进行针对光学黑的电荷的读出(曝光),所以能够使针对图像传感器中的除了光学黑以外的区域即有效像素区域的电荷的读出(曝光)所花费的时间变长。结果,能够使在该有效像素区域中接收信号的时间变长,能够取得较多的信号。
此外,上述信息通信方法也可以还包括:长度判定步骤,判定上述第1亮线图像中包含的上述多个亮线的样式的、与该多个亮线分别垂直的方向的长度是否小于预先决定的长度;帧速率变更步骤,在判定为上述样式的长度小于上述预先决定的长度的情况下,将上述图像传感器的帧速率变更为比取得了上述第1亮线图像时的第1帧速率慢的第2帧速率;第3亮线图像取得步骤,通过上述图像传感器以上述第2帧速率且以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含多个亮线的图像的第3亮线图像;以及第3信息取得步骤,通过对由所取得的上述第3亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得上述第1发送信息。
由此,例如图224A所示那样,由第1亮线图像中包含的亮线的样式(亮线区域)表示的信号长度小于所发送的信号的例如1个宏块的量的情况下,帧速率降低,亮线图像改为取得第3亮线图像。结果,能够使第3亮线图像中包含的亮线的样式的长度变长,能够取得一个宏块的量的所发送的信号。
此外,上述信息通信方法也可以还包括设定由上述图像传感器得到的图像的纵宽与横宽的比率的比率设定步骤;上述第1亮线图像取得步骤包括:裁剪判定步骤,判定是否根据所设定的上述比率裁剪上述图像中的与上述各曝光线垂直的方向的端部;比率变更步骤,当判定为上述端部被裁剪时,将在上述比率设定步骤中设定的上述比率变更为作为上述端部不被裁剪的比率的非裁剪比率;以及取得步骤,通过上述图像传感器对亮度变化的上述第1被拍摄对象进行摄影,取得上述非裁剪比率的上述第1亮线图像。
由此,例如图188以及图189A~图189C所示那样,在图像传感器的有效像素区域的横宽与纵宽的比率是4:3,图像的横宽与纵宽的比率设定为16:9,且呈现出亮线沿着水平方向的情况下,即,曝光线沿着水平方向的情况下,判定为上述图像的上端以及下端要被裁剪。即,判定为第1亮线图像的端部缺失。这种情况下,将该图像的比率变更为不被裁剪的比率即例如4:3。结果,能够防止第1亮线图像的端部的缺失,能够从第1亮线图像取得更多的信息。
此外,上述信息通信方法也可以还包括:压缩步骤,通过在与上述第1亮线图像中包含的上述多个亮线分别平行的方向上对上述第1亮线图像进行压缩,生成压缩图像;以及压缩图像发送步骤,发送上述压缩图像。
由此,例如图191所示那样,能够恰当压缩第1亮线图像,而不会缺失由多个亮线表示的信息。
此外,上述信息通信方法也可以还包括:手势判定步骤,判定具备上述图像传感器的接收装置是否被以预先决定的方式移动了;以及启动步骤,当判定为被以上述预先决定的方式移动了时,启动上述图像传感器。
由此,例如图199所示那样,能够仅在需要时简单地启动图像传感器,能够提高耗电效率。
(实施方式9)
在本实施方式中,对使用上述各实施方式的智能电话等的接收机、和作为LED或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图217是表示实施方式9的发送机和接收机的应用例的图。
机器人8970例如具有作为自行式的清扫机的功能和作为上述各实施方式的接收机的功能。照明设备8971a、8971b具有分别作为上述各实施方式的发送机的功能。
例如,机器人8970一边在室内移动一边进行清扫,并将照明其室内的照明设备8971a进行摄影。该照明设备8971a通过亮度变化而发送照明设备8971a的ID。结果,机器人8970与上述各实施方式同样,从照明设备8971a接收该ID,基于该ID推测自己的位置(自己位置)。即,机器人8970基于9轴传感器的检测结果、在通过摄影得到的图像中摄入的照明设备8971a的相对位置和通过ID确定的照明设备8971a的绝对位置,一边移动一边推测自己位置。
进而,机器人8970如果由于移动而从照明设备8971a离开,则对照明设备8971a发送命令灭灯的信号(灭灯命令)。例如,机器人8970如果从照明设备8971a离开了预先设定的距离则发送灭灯命令。或者,机器人8970当在通过摄影得到的图像中没有摄入该照明设备8971a时,或者如果其他照明设备摄入在该图像中,将灭灯命令向照明设备8971a发送。照明设备8971a如果从机器人8970接收到灭灯命令,则根据该灭灯命令而灭灯。
接着,机器人8970在移动而进行清扫的中途,基于推测出的自己位置,检测接近于照明设备8971b的情况。即,机器人8970保持表示照明设备8971b的位置的信息,当自己位置与该照明设备8971b的位置之间的距离成为预先设定的距离以下时,检测出接近于照明设备8971b的情况。并且,机器人8970对该照明设备8971b发送命令点灯的信号(点灯命令)。照明设备8971b如果接受到点灯命令,则根据该点灯命令而点灯。
由此,机器人8970一边移动一边仅使自己的周围变亮,能够容易地进行清扫。
图218是表示实施方式9的发送机的应用例的图。
例如,如图218的(a)所示,在显示器中排列显示多个发光区域A~F,通过该发光区域A~F分别进行亮度变化而发送信号。这里,在图218的(a)所示的例子中,发光区域A~F分别是矩形状,沿着水平方向及垂直方向排列。在这样的情况下,亮度不变化的非亮度变化区域沿着显示器的水平方向通过发光区域A、B、C与发光区域D、E、F之间而横贯该显示器。进而,亮度不变化的其他的非亮度变化区域沿着显示器的垂直方向通过发光区域A、D与发光区域B、E之间而横贯该显示器。进而,亮度不变化的其他的非亮度变化区域沿着显示器的垂直方向通过发光区域B、E与发光区域C、F之间而横贯该显示器。
因而,上述各实施方式的接收机如果以将接收机的曝光线朝向水平方向的状态下将该显示器摄影,则在通过该摄影得到的图像(摄影图像)的、与沿着水平方向的非亮度变化区域对应的部分中不显现亮线。即,在该摄影图像中,亮线显现的区域(亮线区域)变得不连续。此外,如果接收机在将该曝光线朝向垂直方向的状态下将该显示器摄影,则在摄影图像的与沿着垂直方向的两个非亮度变化区域对应的部分中不显现亮线。即,此时也在该摄影图像中亮线区域变得不连续。如果这样亮线区域变得不连续,则难以接收通过亮度变化发送的信号。
所以,本实施方式的显示器8972具有作为上述各实施方式的发送机的功能,将多个发光区域A~F分别错开而配置,以使亮线区域连续。
例如,如图218的(b)所示,显示器8972将上段的发光区域A、B、C和下段的发光区域D、E、F相互在水平方向上错开配置。或者,如图218的(c)所示,显示器8972分别显示平行四边形或菱形的发光区域A~F。由此,能够将沿着显示器8972的垂直方向通过发光区域A~F之间而横贯显示器8972的非亮度变化区域去除。结果,即使接收机在将该曝光线朝向垂直方向的状态下将显示器8972摄影,在摄影图像中也能够使亮线区域连续。
进而,如图218的(d)及(e)所示,显示器8972也可以将发光区域A~F分别在垂直方向上错开而配置。由此,能够将沿着显示器8972的水平方向通过发光区域A~F之间而横贯显示器8972的非亮度变化区域也去除。结果,即使接收机在将该曝光线朝向水平方向的状态下将显示器8972摄影,在摄影图像中也能够使亮线区域连续。
此外,如图218的(f)所示,显示器8972也可以将分别为六边形的发光区域A~F以各自的区域的边相互平行的方式显示。在这样的情况下,也与上述同样,能够将沿着显示器8972的水平方向及垂直方向通过发光区域A~F之间而横贯显示器8972的非亮度变化区域去除。结果,不论接收机是在将该曝光线朝向水平方向的状态下将显示器8972摄影,还是在将该曝光线朝向垂直方向的状态下将显示器8972摄影,在摄影图像中都能够使亮线区域连续。
图219是本实施方式中的信息通信方法的流程图。
本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括步骤SK11及SK12。
即,该信息通信方法包括:决定步骤SK11,通过对发送对象的信号进行调制,来决定亮度变化的样式;和发送步骤SK12,通过多个发光体按照所决定的亮度变化的样式而发生亮度变化,来发送上述发送对象的信号。并且,在配置有上述多个发光体的面中,以处于上述多个发光体外而不发生亮度变化的非亮度变化区域不会沿着上述面的垂直方向和水平方向中的至少一方通过上述多个发光体之间而横贯上述面的方式,将上述多个发光体配置于上述面上。
图220是本实施方式的信息通信装置的框图。
本实施方式的信息通信装置K10是通过亮度变化而发送信号的信息通信装置,具备构成要素K11和K12。
即,该信息通信装置K10具备:决定部K11,其通过对发送对象的信号进行调制,来决定亮度变化的样式;和发送部K12,其通过多个发光体按照所决定的亮度变化的样式而发生亮度变化,来发送上述发送对象的信号。并且,在配置有上述多个发光体的面中,以处于上述多个发光体外而不发生亮度变化的非亮度变化区域不会沿着上述面的垂直方向和水平方向中的至少一方通过上述多个发光体之间而横贯上述面的方式,将上述多个发光体配置于上述面上。
在由这样的图219和图220所示的信息通信方法和信息通信装置K10中,例如如图218所示,在通过利用接收机所具备的图像传感器对上述面(显示器)的摄影而取得的摄影图像中,能够使亮线区域连续。结果,能够容易地接收发送对象的信号,能够在包括运算力较少的设备的多种多样的设备间进行通信。
此外,在上述各实施方式中,各构成要素可以通过由专用的硬件来构成或者执行与各构成要素相适的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部读出并执行记录于硬盘或者半导体存储器等的记录媒体的软件程序来实现。例如程序使计算机执行由图219的流程图表示的信息通信方法。
图221A是表示实施方式9的发送机和接收机的应用例的图。
接收机8973构成为具有作为上述各实施方式的接收机的功能的智能电话。该接收机8973如图221A的(a)所示,将显示器8972进行摄影,试图读取在摄影图像中显现的亮线。这里,在显示器8972较暗的情况下,接收机8973有时不能将该亮线读取而不能接收来自显示器8972的信号。此时,接收机8973如图221A的(b)所示,以预先设定的节奏释放闪光。显示器8972如果接受到该闪光,则如图221A的(c)所示,进行将亮度提高的明亮的显示。结果,接收机8973能够将显现在摄影图像中的亮线读取,能够接收来自显示器8972的信号。
图221B是表示实施方式9的接收机8973的动作的流程图。
接收机8973首先判定是否受理了用于接收开始的用户的操作或手势(步骤S831)。这里,接收机8973如果判断为已受理(步骤S831的“是”),则开始通过使用图像传感器的摄影的接收(步骤S832)。接着,接收机8973判定是否没有接收完成而从接收开始经过了规定的时间(步骤S833)。这里,接收机8973如果判定为经过了规定的时间(步骤S833的“是”),则以预先设定的节奏使闪光闪烁(步骤S834),将从步骤S833起的处理反复执行。另外,在反复进行步骤S833的处理的情况下,接收机8973判定是否接收没有完成而从使闪光闪烁起经过了规定的时间。此外,在步骤S834中,接收机8973也可以代替使闪光闪烁,而产生人难以听到的频率的预先设定的声音、或将用来通知是接收等待的信号向作为显示器8972的发送机发送。
图222是表示实施方式9的发送机及接收机的应用例的图。
照明设备8974具有作为上述各实施方式的发送机的功能。该照明设备8974一边进行亮度变化一边对例如处于火车站中的路线公告板8975进行照明。由用户朝向了该路线公告板8975的接收机8973对该路线公告板8975进行摄影。由此,接收机8973取得该路线公告板8975的ID,取得作为与该ID建立了关联的信息、且关于记载在该路线公告板8975中的各路线的详细的信息。并且,接收机8973显示表示该详细的信息的导引图像 8973a。例如,导引图像8973a表示到记载在路线公告板8975中的路线的距离、朝向该路线的方向、和在该路线中下一电车到达的时刻。
这里,接收机8973如果被用户接触该导引图像8973a,则显示补充导引图像8973b。该补充导引图像8973b例如是用来将铁路的时刻表、关于与由导引图像8973a表示的路线不同的别的路线的信息、以及关于该车站的详细的信息中的某个根据用户的选择操作而显示的图像。
图223是表示实施方式9的发送机的应用例的图。
照明设备8976a~8976c分别具有作为上述各实施方式的发送机的功能,对店铺的招牌8977进行照明。这里,如图223的(a)所示,照明设备8976a~8976c也可以通过分别同步地进行亮度变化来发送相同的ID。此外,如图223的(b)所示,也可以通过仅配置在两端的照明设备8976a和照明设备8976c同步地进行亮度变化来发送相同的ID,配置在这些照明设备之间的照明设备8976b不通过亮度变化发送ID而对招牌8977进行照明。此外,也可以如图223的(c)所示,在该照明设备8976b没有发送ID的状态下,配置在两端的照明设备8976a和照明设备8976c通过亮度变化而发送相互不同的ID。在此情况下,由于处于照明设备8976a与照明设备8976c之间的照明设备8976b不进行用于ID的发送的亮度变化,所以能够防止来自照明设备8976a和照明设备8976c的各自的信号混信。另外,通过照明设备8976a发送的ID和通过照明设备8976c发送的ID相互不同,但也可以将相同的信息对于这些ID建立关联。
图224A是表示实施方式9的发送机及接收机的应用例的图。
照明设备8978具有作为上述各实施方式的发送机的功能,如图224A的(1)所示,总是通过亮度变化来发送信号。
本实施方式的接收机对该照明设备8978进行摄影。此时,如图224A所示,在接收机的摄影范围8979中,包含照明设备8978和该照明设备8978以外的部分。即,在该摄影范围8979的上侧的范围a和下侧的范围c的各自中包含照明设备8978以外的部分,在摄影范围8979的中央的范围b中包含照明设备8978。
接收机如图224A的(2)及(3)所示,通过照明设备8978的摄影取得包含通过照明设备8978的亮度变化产生的多个亮线的摄影图像(亮线图像)。在该亮线图像中,在与上述上侧的范围a及下侧的范围c对应的部分不出现亮线,仅在与中央的范围b对应的部分出现亮线。
这里,在接收机以例如30fps的帧速率将照明设备8978摄影的情况下,如图224A的(2)所示,亮线图像中的亮线区域的长度b较短,在接收机以例如15fps的帧速率将照明设备8978摄影的情况下,如图224的(3)所示,亮线图像中的亮线区域的长度b较长。另外,亮线区域(亮线的样式)的长度是与该亮线区域中包含的各亮线垂直的方向的长度。
因而,本实施方式的接收机例如以30fps的帧速率将照明设备8978摄影,判定亮线图像中的亮线区域的长度b是否不到预先设定的长度。预先设定的长度例如是与通过照明设备8978的亮度变化发送的信号的1块对应的长度。并且,接收机如果判定为不到预先设定的长度,则将该帧速率变更为例如15fps。由此,接收机能够将1块的信号从照明设备8978一起接收。
图224B是表示实施方式9的接收机的动作的流程图。
接收机首先判定在摄影图像中是否包含亮线,即,是否摄影了由曝光线形成的条纹(步骤S841)。这里,接收机如果判定为摄影了(步骤S841的“是”),则判断被设定为哪个摄像模式(摄影模式)(步骤S842)。接收机如果判断摄像模式是中间摄像模式(中间模式)或通常摄像模式(通常摄影模式),则将该摄像模式变更为可见光摄像模式(可见光通信模式)(步骤S843)。
接着,接收机判断亮线区域(亮线的样式)中的与亮线垂直的方向的长度是否是规定的长度以上(步骤S844)。即,接收机判定是否在与曝光线垂直的方向上有规定的大小以上的条纹的区域。这里,如果判定为不是规定的长度以上(步骤S844的“否”),则接收机判定是否能够利用光学变焦(步骤S845)。这里,如果判定为能够利用光学变焦(步骤S845的“是”),则接收机进行光学变焦,以使亮线区域变长,即条纹的区域扩大(步骤 S846)。另一方面,如果判定为不能利用光学变焦(步骤S845的“否”),则接收机判定为是否能够利用Ex变焦(Ex光学变焦)(步骤S847)。这里,如果判定为能够利用Ex变焦(步骤S847的“是”),则进行Ex变焦,以使亮线区域变长,即条纹的区域扩大(步骤S848)。另一方面,如果判定为不能利用Ex变焦(步骤S847的“否”),则接收机使摄像帧速率变低(步骤S849)。并且,接收机通过以设定的帧速率将照明设备8978摄影而接收信号(步骤S850)。
另外,在图224B所示的例子中,在不能利用光学变焦及Ex变焦的情况下降低帧速率,但也可以在能够利用这些变焦的情况下降低帧速率。此外,所谓Ex变焦,是限定图像传感器的使用区域而使摄影像角变窄、使看起来的焦点距离成为望远的功能。
图225是表示实施方式9的接收机的动作的图。
接收机在摄影图像8980a中较小地摄像出作为发送机的照明设备8978的情况下,通过使用光学变焦或Ex变焦,能够取得较大地摄像出照明设备8978的摄影图像8980b。即,接收机通过使用光学变焦或Ex变焦,能够取得在与亮线垂直的方向上具有较长的亮线区域的亮线图像(摄影图像)。
图226是表示实施方式9的发送机的应用例的图。
发送机8981具有作为上述各实施方式的发送机的功能,例如与操作面板8982通信。操作面板8982具备发送开关8982a和电源开关8982b。
如果将发送开关8982a开启,则操作面板8982向发送机8981指示以进行可见光通信。发送机8981如果受理了该指示,则通过亮度变化来发送信号。此外,如果将发送开关8982a关闭,则操作面板8982向发送机8981指示以停止可见光通信。发送机8981如果受理了该指示,则不进行亮度变化而停止信号的发送。
如果将电源开关8982b开启,则操作面板8982向发送机8981指示以将发送机8981的电源开启。发送机8981如果受理了该指示,则将自己的电源开启。例如,在发送机8981构成为照明设备的情况下,发送机8981 通过电源开启而将周边照亮,在发送机8981构成为电视机的情况下,发送机8981通过电源开启而显示影像等。此外,如果将电源开关8982b关闭,则操作面板8982向发送机8981指示以将发送机8981的电源关闭。发送机8981如果受理了该指示,则将自己的电源关闭而成为待机状态。
图227是表示实施方式9的接收机的应用例的图。
构成为智能电话的接收机8973具有例如作为上述各实施方式的发送机的功能,从服务器8983取得认证ID及有效期限。接收机8973如果现时点是该有效期限内,则例如通过使显示器亮度变化,将该认证ID向周边设备8984发送。周边设备8984例如是照相机、条码读取器或个人计算机。
周边设备8984如果从接收机8973接收到该认证ID,则将该认证ID向服务器8983发送,委托进行对照。服务器8983将从周边设备8984发送的认证ID与自己保持而向接收机8973发送的认证ID对照,如果一致则将一致的情况向周边设备8984通知。周边设备8984如果从服务器8983接受到一致的通知,则将对自己设定的锁止解除或进行电子结算的支付处理,或进行登入等的处理。
图228A是表示实施方式9的发送机的动作的一例的流程图。
本实施方式的发送机具有作为上述各实施方式的发送机的功能,例如构成为照明设备或显示器。这样的发送机例如判定调光等级(明亮度的等级)是否低于规定的等级(步骤S861a)。这里,发送机如果判定为低于规定的等级(步骤S861a的“是”),则将通过亮度变化来发送信号的动作停止(步骤S861b)。
图228B是表示实施方式9的发送机的动作的一例的流程图。
本实施方式的发送机判定调光等级(明亮度的等级)是否高于规定的等级(步骤S862a)。这里,发送机如果判定为高于规定的等级(步骤S862a的“是”),则开始通过亮度变化来发送信号的动作(步骤S862b)。
图229是表示本实施方式的发送机的动作的一例的流程图。
本实施方式的发送机判定是否选择了规定的模式(步骤S863a)。例如,规定的模式是节能模式或节电模式等。这里,发送机如果判定为选择了规定的模式(步骤S863a的“是”),则停止通过亮度变化来发送信号的动作(步骤S863b)。另一方面,发送机如果判定为没有选择规定的模式(步骤S863a的“否”),则开始通过亮度变化来发送信号的动作(步骤S863c)。
图230是表示实施方式9的摄像设备的动作的一例的流程图。
本实施方式的摄像设备例如是摄像机,判定是否是录像中(步骤S864a)。这里,摄像设备如果判定为是录像中(步骤S864a的“是”),则对于通过亮度变化来发送信号的发送机发送可见光发送停止命令(步骤S864b)。接受到该可见光发送停止命令的发送机将通过亮度变化的信号的发送(可见光发送)停止。另一方面,摄像设备如果判定不是录像中(步骤S864a的“否”),则判定是否停止了录像停止,即是否是录像后(步骤S864c)。这里,摄像设备如果判定为停止了录像(步骤S864c的“是”),对于上述发送机发送可见光发送开始命令(步骤S864d)。接受到该可见光发送开始命令的发送机开始通过亮度变化的信号的发送(可见光发送)。
图231是表示实施方式9的摄像设备的动作的一例的流程图。
本实施方式的摄像设备例如是数字静像照相机,判定摄像按钮(快门按钮)是否被半按下、或是否进行了对焦(步骤S865a)。接着,摄像设备判定在沿着该摄像设备所具备的图像传感器的曝光线的方向上是否出现了浓淡(步骤S865b)。这里,如果判定为出现了浓淡(步骤S865b的“是”),则有可能通过亮度变化来发送信号的发送机处于摄像设备的附近。所以,摄像设备对于该发送机发送可见光发送停止命令(步骤S865c)。接着,摄像设备通过进行摄像而取得摄影图像(步骤S865d)。并且,摄像设备对于上述发送机发送可见光发送开始命令(步骤S865e)。由此,摄像设备能够不受发送机的亮度变化的影响而取得摄影图像。此外,通过亮度变化的信号的发送被停止的期间被限定于由摄像设备进行摄像的很短的期间,所以能够抑制不能仅可见光通信的期间。
图232是表示由实施方式9的发送机发送的信号的一例的图。
本实施方式的发送机具有作为上述各实施方式的发送机的功能,通过按照时隙将较高的亮度的光(Hi)或较低的亮度的光(Lo)输出来发送信号。具体而言,时隙是104.2μs的时间单位。此外,发送机通过输出Hi而发送表示1的信号,通过输出Lo而发送表示0的信号。
图233是表示由实施方式9的发送机发送的信号的一例的图。
上述发送机通过按照时隙输出Hi或Lo,将作为信号单位的PHY(physical layer)帧依次发送。PHY帧包括由8时隙构成的前导码、由2时隙构成的FCS(Frame CheckSequence)、和由20时隙构成的主体。另外,将PHY帧中包含的各部分以前导码、FCS、主体的顺序发送。
前导码相当于PHY帧的头,例如包括“01010111”。另外,前导码也可以由7时隙构成。在此情况下,前导码包括“0101011”。FCS在主体中包含的1的数量是偶数的情况下包含“01”,在主体中包含的1的数量是奇数的情况下包含“11”。主体包含5个由4时隙构成的码元。码元在4PPM调制的情况下包括“0111”、“1011”、“1101”或“1110”。
图234是表示由实施方式9的发送机发送的信号的一例的图。
将上述码元通过接收机变换为2比特的值。例如,码元“0111”、“1011”、“1101”及“1110”分别被变换为“00”、“01”、“10”及“11”。因而,PHY帧的主体(20时隙)被变换为10比特的信号。该10比特的主体包括由表示PHY帧的类别的3比特构成的TYPE、由表示PHY帧或主体的地址的2比特构成的ADDR、和由表示数据的实体的5比特构成的DATA。例如在PHY帧的类别是TYPE1的情况下,TYPE表示“000”。ADDR表示“00”、“01”、“10”或“11”。
在接收机中,将在4个PHY帧的各自的主体中包含的DATA结合。在该结合中利用上述ADDR。即,接收机通过将在具有ADDR“00”的PHY帧的主体中包含的DATA、在具有ADDR“01”的PHY帧的主体中包含的DATA、在具有ADDR“10”的PHY帧的主体中包含的DATA和在具有ADDR“11”的PHY帧的主体中包含的DATA结合,生成由20比特构成的数据。由此,将4个PHY帧解码。该生成的数据包含由16比特构成的有效DATA和由4比特构成CRC(CyclicRedundancyCheck)。
图235是表示由实施方式9的发送机发送的信号的一例的图。
在上述PHY帧的类别中,有TYPE1、TYPE2、TYPE3及TYPE4。按照这些类别,主体的长度、ADDR的长度、DATA的长度、连结的DATA的数量(连结数)、有效DATA的长度及CRC的类别不同。
例如在TYPE1的情况下,TYPE(TYPE BIT)表示“000”,主体的长度是20时隙,ADDR的长度是2比特,DATA的长度是5比特,连结数是4个,有效DATA的长度是16比特,CRC的类别是CRC-4。另一方面,在TYPE2的情况下,TYPE(TYPEBIT)表示“001”,主体的长度是24时隙,ADDR的长度是4比特,DATA的长度是5比特,连结数是8个,有效DATA的长度是32比特,CRC的类别是CRC-8。
通过这样的图232~图235所示的信号,能够适当地进行可见光通信。
图236是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
本实施方式的系统具备具有与上述各实施方式的发送机同样的功能的发送机8991、例如构成为智能电话的接收机8973、内容共享服务器8992和ID管理服务器8993。
例如,内容创造者将表示用来介绍商品的静止图像或运动图像的音频视频数据等的内容、表示关于该商品的制造商、产地、原料或规格等的商品信息上载到内容共享服务器8992中。并且,内容共享服务器8992与用来识别该内容的内容ID建立关联而将商品信息登录到ID管理服务器8993中。
接着,发送机8991根据用户的操作,从内容共享服务器8992将内容和内容ID下载,显示内容,并通过亮度变化即通过可见光通信将内容ID发送。用户视听该内容,在对由该内容介绍的商品有兴趣的情况下,将接收机8973朝向发送机8991而进行摄影。接收机8973通过将显示在发送机8991上的内容摄影而接收内容ID。
接着,接收机8973向ID管理服务器8993访问,对ID管理服务器8993进行关于该内容ID的查询。由此,接收机8973从ID管理服务器8993取得与该内容ID建立了关联的商品信息,显示该商品信息。这里,接收机8973如果受理了敦促与该商品信息对应的商品的购买的操作,则向该商品的制造商访问,执行用来购买商品的处理。
接着,ID管理服务器将表示对内容ID进行的查询的数量或访问的数量等的查询信息向由与该内容ID建立了关联的商品信息表示的制造商通知。制造商如果接受到查询信息,则将与由该查询信息表示的查询的数量等对应的分属报偿金向由内容ID确定的内容创造者经由ID管理服务器8993及内容共享服务器8992通过电子结算支付。
图237是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
在图236所示的例子的情况下,内容共享服务器8992如果被进行内容和商品信息的上载,则与内容ID建立关联而将商品信息登录到ID管理服务器8993中,但也可以不进行这样的登录。例如,如图237所示,内容共享服务器8992从ID管理服务器中检索用来识别被上载的商品信息的商品的商品ID,将该商品ID向被上载的内容植入。
接着,发送机8991根据用户的操作,从内容共享服务器8992将植入了商品ID的内容和内容ID下载,显示内容,并通过亮度变化即通过可见光通信,将内容ID及商品ID发送。用户将该内容视听,在对由该内容介绍的商品有兴趣的情况下,将接收机8973朝向发送机8991而进行摄影。接收机8973通过将显示在发送机8991上的内容摄影,接收内容ID及商品ID。
接着,接收机8973向ID管理服务器8993访问,对ID管理服务器8993进行关于该内容ID及商品ID的查询。由此,接收机8973从ID管理服务器8993取得与该商品ID建立了关联的商品信息,显示该商品信息。这里,接收机8973如果受理了敦促与该商品信息对应的商品的购买的操作,则向该商品的制造商访问,执行用来购买商品的处理。
接着,ID管理服务器将表示对内容ID及商品ID进行的查询的数量或访问的数量等的查询信息向由与该商品ID建立了关联的商品信息表示的制造商通知。制造商如果接受到查询信息,则将与由该查询信息表示的查询的数量等对应的分属报偿金向由内容ID确定的内容创造者经由ID管理服务器8993及内容共享服务器8992通过电子结算支付。
图238是表示实施方式9的包括发送机和接收机的系统结构的一例的图。
本实施方式的系统代替图237所示的内容共享服务器8992而具备内容共享服务器8992a,还具备SNS服务器8994。该SNS服务器8994是进行社交网络服务的服务器,进行由图237所示的内容共享服务器8992进行的处理的一部分。
具体而言,SNS服务器8994取得从内容创造者上载的内容和商品信息,进行与该商品信息对应的商品ID的检索,向该内容植入商品ID。并且,SNS服务器8994将植入了该商品ID的内容向内容共享服务器8992a转送。内容共享服务器8992a获取从SNS服务器8994转送的内容,将植入了该商品ID的内容和内容ID向发送机8991发送。
即,在图238所示的例子中,包括SNS服务器8994和内容共享服务器8992a的单元起到作为图237所示的内容共享服务器8992的作用。
在这样的图236~图238所示的系统中,对于使用可见光通信进行了查询的广告(内容)能够适当地支付适当的分属报偿金。
以上,关于有关一个或多个形态的信息通信方法基于实施方式进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。
以下,对本实施方式进行补充。
(混合调制方式)
图239和图240是表示实施方式9的发送机的动作的一例的图。
如图239那样,发送机将发送信号以多个调制方式调制,将调制出的信号交替地或同时发送。
通过将相同的信号以多个调制方式调制并发送,即使是仅对应于某个调制方式的接收机也能够接收。此外,例如通过并用传送速度较快的调制方式、对于噪声耐受性较强的调制方式及通信距离较长的调制方式,能够匹配于接收侧的环境而用最优的方法进行接收。
在接收机对应于多个调制方式的接收的情况下,接收机将用多个方法调制的信号接收。发送机在将相同的信号调制的情况下赋予相同的信号ID而发送调制信号。由此,接收机通过确认信号ID,能够识别出相同的信号被用不同的调制方式调制,通过从多个种类的调制信号将具有相同的信号ID的信号合成,能够迅速而正确地接收信号。
例如,发送机具备信号分割部和调制部1~3。信号分割部将发送信号分割成部分信号1和部分信号2,并且使信号ID附随于该部分信号1,使其他信号ID附随于部分信号2。调制部1通过对附随有信号ID的部分信号1进行频率调制来生成表示正弦波的信号。调制部2通过对附随有信号ID的部分信号1进行与调制部1不同的频率调制来生成表示矩形波的信号。另一方面,调制部3通过对附随有其他的信号ID的部分信号2进行脉冲位置调制来生成表示矩形波的信号。
如图240那样,发送机将用多个调制方式调制出的信号一起发送。在图240的例子中,接收机通过将曝光时间设定得较长,能够仅接收用使用较低的频率的频率调制方式调制的信号。此外,接收机通过将曝光时间设定得较短,能够接收使用较高的频带的脉冲位置调制方式。此时,接收机通过在与亮线垂直的方向上取亮度的平均,将受光的光的强度在时间上平均化,能够得到曝光时间较长的情况下的信号。
(发送信号的验证和数字调制)
图241和图242是表示实施方式9的发送机的结构和动作的一例的图。
如图241所示,发送机具备信号存储部、信号验证部、信号调制部、发光部、异常报告部、原密钥存储部以及密码生成部。信号存储部将发送信号、和使用后述的验证密钥将发送信号变换后的信号变换值存储。在该变换中使用单向函数。原密钥存储部例如作为电阻值或时间常数等的电路常数等而存储作为密钥的来源的值的原密钥。密钥生成部根据原密钥生成验证密钥。
信号验证部通过使用验证密钥将存储在信号存储部中的发送信号变换,得到信号变换值。根据这里得到的信号变换值与存储在信号存储部中的信号变换值是否相等,验证在信号中是否有篡改。由此,仅单单将信号存储部的信号复制到其他发送机中时,由于在其他发送机中验证密钥不同,所以不能发送信号,能够进行发送机的防伪造。
在信号中有篡改的情况下,异常报告部显示该消息。作为其方法,例如有以人能够辨识的周期使发光部闪烁、鸣响声音的方法。通过将异常报告仅限于电源刚投入后的规定的时间,即使是在信号中有异常的情况,也能够将发送机用于发送以外的用途。
在信号中没有篡改的情况下,信号调制部将信号向发光样式调制。在该调制方式中可以使用各种各样的调制方式。在这里能够使用的调制方式中,例如有振幅偏移调制(ASK)、相位偏移调制(PSK)、频率偏移调制(FSK)、直角相位振幅调制(QAM)、德尔塔调制(DM)、最小偏位调制(MSK)、互补型符号调制(CCK)、正交频分多路复用方式(OFDM)、振幅调制(AM)、频率调制(FM)、相位调制(PM)、脉冲宽度调制(PWM)、脉冲振幅调制(PAM)、脉冲密度调制(PDM)、脉冲位置调制(PPM)、脉冲符号调制(PCM)、频率跳变波谱扩散(FHSS)、直接序列展频扩散(DSSS)等,匹配于发送信号的性质(模拟还是数字、是否是连续数据发送等)及被要求的性质(传送速度、耐噪声性或传送距离)而选择。进而,可以使用将它们组合的调制方式。
另外,实施方式1至9在使用用这里所述的调制方式调制成的信号的情况下也能够得到同样的效果。
如图242所示那样,发送机也可以取代信号验证部而具备信号解调部。在该情况下,信号存储部保持使用与由密码生成部生成的解码密钥成对的加密密钥来使发送信号加密化了的加密化发送信号。在信号解调部中,使用解码密钥来对加密化发送信号进行解码。通过该构成,使得难以进行发送机的伪造、即发送任意的信号的发送机的作成。
(实施方式10)
在本实施方式中,对使用上述各实施方式的智能电话等的接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
(多个受光部的从多个方向的信号的接收)
图243是表示搭载有光传感器的时钟的图。
此时时钟作为可见光通信的接收机而构成,具备多个光传感器和与多个光传感器的各个对应的聚光透镜。具体而言,如图243的横剖视图所示,在光传感器的上面配置有聚光透镜。在图243中,聚光透镜配置成具有规定的倾斜度。聚光透镜的形状不限于此,只要是能够聚光的形状,也可以是其他形状。通过这样的结构,光传感器能够通过透镜将来自外界的光源的光聚光而受光。因而,即使是搭载于时钟的较小的光传感器,也能够进行可见光通信。在图243中构成为,划分为12个区域而搭载12个光传感器,在各光传感器的上面配置聚光透镜。这样,通过将时钟内部分为多个区域而配置多个光传感器,能够取得来自多个光源的信息。例如,在图243中,能够用第1光传感器接受来自光源1的光,用第2光传感器接受来自光源2的光。此外,作为光传感器,也可以使用太阳光能电池。通过作为光传感器而使用太阳能电池,能够用单一的光传感器在进行太阳能发电的同时进行可见光通信,所以能够削减成本并且做成紧凑的形状。进而,在配置多个光传感器的情况下,能够同时取得来自多个光源的信息,所以能够提高位置推测精度。在本实施方式中,采用在时钟中设置光传感器的结构,但并不限定于此,只要是便携电话或便携终端等可移动的终端,也可以将光传感器设置于其他的装置。
图244是表示实施方式10的接收机的一例的图。
例如构成为手表的接收机9020a具备多个接收部。例如,接收机9020a如图244所示,具备在支承手表的长针和短针的旋转轴的上端部配置的受光部9020b和在手表的周缘部的表示12点钟的文字附近配置的受光部9020c。受光部9020b接受沿着上述的旋转轴的方向朝向受光部9020b的光,受光部9020c接受沿着将该旋转轴和表示12点钟的文字连结的方向朝向受光部9020c的光。由此,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020b能够接受来自上方向的光。结果,接收机9020a能够接收来自顶棚照明的信号。进而,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020c能够接受来自正面方向的光。结果,接收机9020a能够接收来自处于正面的标牌等的信号。
通过这些受光部9020b和9020c具有指向性,即使在较近的位置有多个发送机的情况下也能够不混信地接收信号。
图245是表示实施方式10的接收机的一例的图。
例如,如图245的(a)所示,构成为手表的接收机9021具备17个受光元件(受光部)。这些受光元件配置于文字盘上。此外,这些受光元件中的12个受光元件配置于与文字盘上的1~12点钟分别对应的位置,剩余的5个配置于文字盘上的中央部分。此外,这17个受光元件分别具有互不相同的指向性,接受与各自相关联的方向的光(信号)。这样,通过配置多个具有指向性的受光元件,接收机9021能够推测接收到的信号的方向。此外,如图245的(b)所示,也可以在受光元件的跟前,配置将光引导至受光元件的棱镜。即,接收机9021具备等间隔地配置于文字盘上的周缘部的8个受光元件和向这些受光元件中的至少一个引导光的多个棱镜。通过具备这样的棱镜,即使是较少数量的受光元件,也能够推测发送机的精细的方向。例如,在8个受光元件中仅受光元件9021d接受到光的情况下,接收机9021能够推测为在将文字盘的中心和棱镜9021a连结的方向上存在发送机,在受光元件9021d和受光元件9021e接收了同一信号的情况下,能够推测为在将文字盘的中心和棱镜9021b连结的方向上存在发送机。此外,也可以给手表的防风玻璃加入指向性的功能和/或棱镜的功能。
图246A是本发明的一方式的信息通信方法的流程图。
本发明的一方式的信息通信方法是便携终端取得信息的信息通信方法,包含步骤SE11和SE12。
即,该信息通信方法包括:受光步骤(SE11),便携终端所具备的分别具有指向性的多个太阳能电池中的至少1个太阳能电池接受沿着与该太阳能电池的指向性相应的方向发出的可见光;和信息取得步骤(SE12),通过对由接受到的可见光确定的信号进行解调来取得信息。
图246B是本发明的一方式的便携终端的框图。
本发明的一方式的便携终端E10是取得信息的便携终端,具备分别具有指向性的多个太阳能电池E11和信息取得部E12。信息取得部E12在多个太阳能电池E11中的至少1个太阳能电池E11接受到沿着与该太阳能电池E11的指向性相应的方向发出的可见光的情况下,通过对由接受到的可见光确定的信号进行解调来取得信息。
在这样的由图246A和图246B所示的信息通信方法和便携终端E10中,能够在将太阳能电池E11用作用于可见光通信的光传感器的同时,也将其利用于发电,所以既能抑制取得信息的便携终端E10的成本,又能实现便携终端E10的紧凑化。此外,多个太阳能电池E11分别具有指向性,所以能够基于接受到可见光的太阳能电池E11的指向性,来推测发出该可见光的发送机所存在的方向。进而,多个太阳能电池E11分别具有指向性,所以能够分别区分地接受从多个发送机发出的可见光,能够从多个发送机分别适当地取得信息。
进而,在上述受光步骤(SE11)中,如图245的(b)所示,太阳能电池E11(9021d、9021e)也可以接受透过便携终端E10(9021)所具备的棱镜(9021a、9021b或者9021c)的可见光。由此,既能抑制便携终端E10所具备的太阳能电池E11的数量,又能以高的精度推测发出可见光的发送机所处的方向。进而,如图245所示,便携终端E10也可以是手表,多个太阳能电池E11(受光元件)也可以分别沿着手表的文字盘的周缘配置,由多个太阳能电池E11分别接受的可见光的朝向彼此不同。由此,能够通过手表适当地取得信息。
(手表型接收机与智能电话的协同)
图247是表示实施方式10的接收系统的一例的图。
例如构成为手表的接收机9022b经由Bluetooth(注册商标)等的无线通信与智能电话9022a或眼镜型显示器9022c连接。接收机9022b在接收到信号的情况或能够确认存在信号的情况下,将表示接收了该信号的情况向显示器9022c显示。接收机9022b将接收到的信号(接收信号)向智能电话9022a传递。智能电话9022a从服务器9022d取得与接收信号建立了联系的数据,将所取得的数据向眼镜型显示器9022c显示。
(手表型显示器的道路导引)
图248是表示实施方式10的接收系统的一例的图。
例如构成为手表的接收机9023b经由Bluetooth(注册商标)等的无线通信与智能电话9023a连接。接收机9023b的字符盘由液晶等的显示器构成,能够显示时刻以外的信息。智能电话9022a根据接收机9023b接收到的信号识别当前地,将到目的地的路径及距离显示到接收机9023b的显示面上。
(频率偏移调制和频率多路复用调制)
图249A、图249B以及图249C是表示实施方式10的调制方式的一例的图。
图249A的(a)将特定的信号表达为特定的调制频率。接收侧进行光样式(光源的亮度变化的样式)的频率解析来求出支配性的调制频率,将信号复原。
通过如图249C的(a)那样,使调制频率在时间上变化,能够表达大量的值。一般的图像传感器的摄像帧速率是30fps,所以通过将一个调制频率持续30分之1秒以上,能够可靠地接收。此外,通过如图249C的(b)那样,在使频率变化时在其间设置不叠加信号的时间,接收机能够容易地识别调制频率的变化。不叠加信号的时间的光样式可以通过使明亮度为一定或设为特定的调制频率,来与信号叠加部分区别。作为在这里使用的特定的调制频率,如果设定为30Hz的整数倍的频率,则在差分图像中不易表达,成为接收处理的妨碍。通过将不叠加信号的时间的长度设为与信号所使用的光样式中最长的周期的信号相同的长度以上,接收变容易。作为例子,如果最低的调制频率的光样式是100Hz,则不叠加信号的时间为100 分之1秒以上。
图249A的(b)将特定的位和特定的调制频率相关联,是将光样式表达为叠加了对应的位为1的调制频率的波形的例(1)。具体而言,在发送第1位是1的信息的情况下,发送机以频率f1=1000Hz的光样式进行亮度变化。此外,在发送第2位是1的信息的情况下,发送机以频率f2=1100Hz的光样式进行亮度变化。此外,在发送第3位是1的信息的情况下,发送机以频率f3=1200Hz的光样式进行亮度变化。因此,在发送例如包括“110”的位列的信息的情况下,发送机在时间T2以频率f2的光样式进行亮度变化,在比时间T2长的时间T1以频率f1的光样式亮度变化。此外,在发送例如包括“111”的位列的信息的情况下,发送机在时间T2以频率f2的光样式进行亮度变化,在比时间T2短的时间T3以频率f3的光样式进行亮度变化,进而,在时间T1以频率f1的光样式进行亮度变化。在该情况下,与(a)的调制方式相比较,变得需要高的CN比(Carrier to Noise Ratio),但能够表达更多的值。在例(1)中,在成为激活的位的数多的情况下,即,成为包含多的频率的波形的情况下,每一个频率的能量变少,存在需要更高的CN比的问题。
于是,在表达光样式的例(2)中,将波形所包含的频率的数限定为规定的数以下,即,设为能够使频率的数在规定的数以下变动。此外,在表达光样式的例(3)中,将波形所包含的频率的数限定为规定的数。由此,能够避免上述的问题。在例(3)中,所包含的频率的数已决定,所以信号与噪声的分离能够比例(1)和例(2)更容易地进行,成为最耐噪声的方法。
在使用n种频率来表达信号的情况下,在例(1)中,能够表达2n-1通信号,进而,在将频率的种类限定为m种类的例(2)中,能够表达Σ(k=1~m)nCk)-1通信号,在(3)中,能够表达nCm通信号。
作为将多个调制频率叠加的方法,存在如下方法:(i)将各个波形单纯相加的方法,(ii)进行对各个波形赋予权重的加权平均的方法,(iii)使各个频率的波形依次反复的方法。在接收侧进行离散余弦级数展开等的频率解析的情况下,存在越是高频率则峰值越变小的倾向,所以在(ii)中,优选以各频率的峰值成为同程度的大小的方式进行调节而进行加权平均。即,优选频率越高,则赋予的权重越大。在(iii)中,并非一次一次(1个周期1个周期)地反复输出各频率的波形输出,而是调整输出次数(周期数)的比率,由此能够调整接收时的频率峰值的大小。可以越是高频率则越增加输出的周期数,也可以越是高频率则越加长输出的时间。通过该调整,能够容易地使频率峰值的大小相一致而进行接收处理,通过对频率峰值的大小的差异赋予意义,还能够表达附加的信息。例如,在对频率峰值的大小的顺序赋予了意义的情况下,若所包含的频率为n种类,则能够附加log2(n!)位的信息量。可以每1周期变更频率,也可以每1周期或者半周期变更频率,还可以每半周期的定数倍变更频率,也可以每一定时间变更频率。变更频率的定时可以是亮度变为最高时,也可以是最低时,还可以是成为任意的值时。通过使变更频率前后的亮度相等(=连续变更亮度),能够抑制闪变。因而,在所发送的各频率的半波长的整数倍的长度的时间输出其频率即可。此时,输出各频率的时间不同。此外,通过在半周期的整数倍的长度的时间输出某频率的信号,即使在数字输出的情况下,也能够在接收侧通过频率解析来容易地识别其频率包含于信号。与连续送出相同频率相比,非连续输出的闪变更难以被人眼和/或照相机捕捉。例如,在以2次周期T1、2次T2、1次T3的比例输出的情况下,T1T2T3T2T1比T1T1T2T2T3更好。也可以不反复进行规定的顺序的输出,而是一边变更顺序一边输出。通过对该顺序赋予意义,还能够表达附加的信息。频率峰值中虽然不体现该顺序,但是通过进行频率的顺序的解析,能够取得该信息。与频率峰值的解析相比进行频率的顺序的解析的情况下,更需要将曝光时间设定为短,所以可以仅在需要附加信息的情况下将曝光时间设定为短,也可以设为只有能够将曝光时间设定得短的接收机能够取得该附加信息。
图249B示出以2值的光样式表达图249A的信号的情况。作为叠加频率的方式,(i)(ii)的方法中,模拟波形成为复杂的形状,即使将该模拟波形2值化,也不能表达复杂的形状。因而,接收机不能得到准确的频率峰值,接收错误增加。(iii)的方法中,模拟波形不会成为复杂的形状,所以由2值化引起的影响少,能够得到比较准确的频率峰值。因而,在使用以2值和/或少数的值数字化后的光样式的情况下,(iii)的方法优异。该调制方法若着眼于以光样式的频率表达信号这一点,则能够解释为频率调制的一种,若着眼于通过调整脉冲的时间宽度的长短来表达信号这一点,则也能够解释为PWM调制的一种。
通过将亮度变化的时间的单位设为离散值,能够与脉冲调制同样地发送接收。通过不局限于发送的频率的周期的长度,将亮度低的区间设为最短的时间单位,能够提高平均亮度。此时,发送频率的周期长的话平均亮度变高,所以通过增多该周期长的频率的输出次数,能够提高平均亮度。即使亮度低的区间为相同长度,通过将亮度高的区间的长度设为从发送频率的周期减去亮度低的区间的长度而得到的长度,在进行频率解析时,发送频率会出现频率峰值。因此,即使不将接收机的曝光时间设定得那么短,通过使用离散余弦变换等频率解析手法,也能够接收信号。
如图249C的(C)所示,通过与图249C的(a)同样使调制频率的叠加在时间上变化,能够表达许多值。
较高的调制频率的信号如果不将曝光时间设定得较短就不能接收,但在某种程度之高的调制频率以内不设定曝光时间就能够利用。通过将使用从较低的调制频率到较高的调制频率的频率进行调制后的信号发送,全部的终端能够接收以较低的调制频率表达的信号,在能够将曝光时间设定得较短的终端的情况下,通过接收到较高的调制频率的信号,能够从同一发送机迅速地接收更多的信息。或者,也可以设为在通常摄像模式下寻找到低频率的调制信号的情况下,接收在可见光通信模式下包含高频率的调制信号的整体的发送信号。
频率偏移调制方式或频率多路复用调制方式与通过脉冲位置表达信号相比,具有即使在使用较低的调制频率的情况下也不使人的眼睛感到闪变的效果,所以能够使用较多的频带。
另外,实施方式1到10在使用由这里所述的接收方式―调制方式调制后的信号的情况下也能够得到同样的效果。
(混合信号的分离)
图249D和图249E是表示实施方式10的混合信号的分离的一例的图。
接收机具备图249D的(a)的功能。受光部接受光样式。频率解析部通过将光样式傅立叶变换,将信号映射到频率域中。峰值检测部检测光样式的频率成分的峰值。在没有由峰值检测部检测出峰值的情况下,将以后的处理中断。峰值时间变化解析部将峰值频率的时间变化解析。信号源确定部在检测出多个频率峰值的情况下,确定从相同的发送机发送的信号的调制频率是哪个组合。
由此,在多个发送机配置在附近的情况下也能够避免信号的混信而进行接收。此外,当接受来自发送机的光从地面、墙壁或顶棚等反射后的光时,来自多个发送机的光多数情况下被混合,但在这样的情况下,也能够避免信号的混信而进行接收。
作为例子,接收机在接收到发送机A的信号和发送机B的信号混合的光样式的情况下,得到图249D的(b)那样的频率峰值。由于fA1消失而出现fA2,所以能够确定fA1和fA2是来自相同的发送机的信号。同样,能够确定fA1、fA2和fA3是来自相同的发送机的信号,fB1、fB2和fB3是来自相同的发送机的信号。
通过使一个发送机变更调制频率的时间间隔设为一定,能够容易地确定来自相同的发送机的信号。
在多个发送机的调制频率变化的定时相等时,通过上述方法不能确定来自相同的发送机的信号。所以,通过按照发送机的个体使变更发送机的调制频率的时间间隔不同,能够避免多个发送机的调制频率变化的定时总相等的状况,能够确定来自相同的发送机的信号。
如图249D的(c)所示,通过将从发送机变更调制频率开始到下次变更为止的时间设为根据当前的调制频率和变更前的调制频率求出的值,即使是多个发送机在相同的定时使调制频率变化的情况,也能够确定哪个调制频率的信号从相同的发送机发送。
发送机也可以识别其他发送机的发送信号,进行调整以使调制频率变化的定时不相等。
以上的方法不仅是一个发送信号由一个调制频率构成的频率偏移调制的情况,在一个发送信号由多个调制频率构成的情况下,也能够用同样的方法得到同样的效果。
如图249E的(a)所示,在以频率多路复用调制方式使光样式在时间上不变化的情况下,虽然不能确定来自相同的发送机的信号,但如图249E的(b)所示,通过包含没有信号的区间、或变化为特定的调制频率,能够根据峰值的时间变化确定来自相同的发送机的信号。
图249F是示出实施方式10的信息处理程序的处理的流程图。
该信息处理程序是用于使上述发送机的发光体(或者发光部)以图249A的(b)或者图249B的(b)所示的光样式进行亮度变化的程序。
即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理该发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行决定步骤SA11和输出步骤SA12,决定步骤SA11通过将发送对象的信息编码来决定亮度变化的频率,输出步骤SA12输出表示所决定的亮度变化的频率的信号,以使得通过发光体按照所决定的亮度变化的频率而发生亮度变化,来发送发送对象的信息。在决定步骤SA11中,将第1频率(例如频率f1)和与第1频率不同的第2频率(例如频率f2)分别决定为亮度变化的频率。在输出步骤SA12中,以使得发光体在第1时间(例如时间T1)按照第1频率进行亮度变化,在经过第1时间后,在与第1时间不同的第2时间(例如时间T2)按照第2频率进行亮度变化的方式,将表示第1频率和第2频率的信号作为表示所决定的亮度变化的频率的信号而输出。
由此,能够通过第1频率和第2频率的可见光信号适当地发送发送对象的信息。此外,通过使第1时间和第2时间不同,能够进行与各种各样的状况相符的发送。结果,使得能够在各种各样的设备间进行通信。
例如,如图249A和图249B所示,第1时间是与第1频率的一周期量相当的时间。此外,第2时间是与第2频率的一周期量相当的时间。
此外,在输出步骤SA12中,也可以以表示第1频率的信号和表示第2频率的信号各自的输出次数不同的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。由此,能够进行与各种各样的状况相符的发送。
此外,在输出步骤SA12中,也可以以表示第1频率和第2频率的信号中低频率的信号的输出次数比高频率的信号的输出次数多的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。
由此,在发光体按照由所输出的各信号表示的频率发生亮度变化的情况下,发光体能够以亮的亮度发送发送对象的信息。例如,假定按照作为低频率的第1频率的亮度变化与按照作为高频率的第2频率的亮度变化之间,暗的亮度持续的时间相同。在该情况下,在按照第1频率(即低频率)的亮度变化中,与按照第2频率(即高频率)的亮度变化相比,亮的亮度持续的时间长。因此,通过多输出表示第1频率的信号,发光体能够以亮的亮度对发送对象的信息进行发送。
此外,在输出步骤SA12中,也可以以表示第1频率和第2频率的信号中高频率的信号的输出次数成为比低频率的信号的输出次数多的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。例如,如图249A和图249B所示,频率f2的信号的输出次数变得比频率f1的信号的输出次数多。
由此,在发光体按照由所输出的各信号表示的频率而发生亮度变化的情况下,能够提高通过其亮度变化而发送的信息的接收效率。例如,在通过由多个频率表达的可见光信号而向接收机发送发送对象的信息的情况下,接收机通过对通过摄像得到的图像进行傅里叶变换等频率解析,来检测该可见光信号所包含的频率的峰值。此时,越是高的频率,则越难以进行峰值检测。于是,如上述那样,以表示第1频率和第2频率的信号中高频率的信号的输出次数比低频率的信号的输出次数多的方式输出各信号,所以能够容易地进行高频率的峰值检测。结果,能够提高接收效率。
此外,在输出步骤SA12中,也可以以表示相同频率的信号不被连续输出的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。例如,如图249A和图249B所示,表示频率f1的信号不被连续地输出,表示频率f2的信号也不被连续地输出。
由此,在发光体按照由所输出的各信号表示的频率而发生亮度变化的情况下,能够使来自该发光体的光的闪变不容易被人眼和/或照相机捕捉。
图249G是实施方式10的信息处理装置的框图。
该信息处理装置A10是用于使上述的发送机的发光体以图249A的(b)或者图249B的(b)所示的光样式发生亮度变化的装置。
即,该信息处理装置A10是为了通过亮度变化发送发送对象的信息而处理发送对象的信息的装置。具体而言,信息处理装置A10具备:频率决定部A11,其通过将发送对象的信息编码,来决定亮度变化的频率;和输出部A12,其输出表示所决定的亮度变化的频率的信号,以使得通过发光体按照所决定的亮度变化的频率发生亮度变化来发送发送对象的信息。此处,频率决定部A11将第1频率和与第1频率不同的第2频率分别决定为亮度变化的频率。输出部A12以使得发光体在第1时间按照第1频率发生亮度变化,在经过第1时间后,在与第1时间不同的第2时间按照第2频率发生亮度变化的方式,将表示第1频率和第2频率的信号作为表示所决定的亮度变化的频率的信号而输出。在这样的信息处理装置A10中,能够起到与上述的信息处理程序同样的效果。
(经由通过可见光通信的照明的家电的操作)
图250A是表示实施方式10的可见光通信系统的一例的图。
例如构成为顶棚照明(照明设备)的发送机具备Wi-Fi或Bluetooth(注册商标)等的无线通信功能。发送机通过可见光通信发送用来通过无线通信连接到发送机的信息(发光机ID和识别ID等)。例如构成为智能电话(便携终端)的接收机A基于接收到的信息与发送机进行无线通信。接收机A既可以使用其他信息与发送机连接,在此情况下也可以不具有接收功能。接收机B构成为例如电灶等的电子设备(控制对象设备)。发送机将配对的接收机B的信息向接收机A发送。接收机A作为可操作的设备而显示接收机B的信息。接收机A将接收机B的操作命令(控制信号)经由无线通信向发送机传递,发送机经由可见光通信将操作命令向接收机B传递。由此,用户能够经由接收机A操作接收机B。此外,经由因特网等与接收机A连接的设备能够经由接收机A操作接收机B。
通过接收机B具备发送功能、发送机具备接收功能,能够进行双向通信。发送功能既可以作为发光的可见光实现,也可以进行基于声音的通信。例如,发送机具备集音部,通过识别接收机B发出的声音,能够识别接收机B的状态。例如,识别接收机B的运转结束音,向接收机A传递,接收机A通过将接收机B的运转结束显示到显示器上,能够向用户通知。
接收机A和接收机B具备NFC。接收机A接收来自发送机的信号,接着经由NFC与接收机B进行通信,将接收机B能够接收来自发送了刚刚接收到的信号的发送机的信号这一情况,登记于接收机A和发送机。将其称作发送机和接收机B的配对。接收机A在接收机B移动了的情况下等,将配对的解除登记于发送机。在接收机B与别的发送机配对了的情况下,新配对的发送机将该信息传递给之前配对的发送机,解除之前的配对。
图250B是用来说明实施方式10的使用场景的图。使用该图250B,叙述使用了采用本发明的PPM方式或者FDM方式FSK方式或者频率分配方式的调制方式的接收部1028的情况下的实施方式。
首先叙述作为照明设备的发光机1003的发光动作。在安装在顶棚或墙壁上的照明器具或TV监视器等的发光机1003中,首先使用按照时间变化的随机数发生部1012,由认证ID发生部1010产生认证ID。对于发光机1003的ID和该认证ID1004,在没有中断处理(步骤1011)的情况下,判断为发光机1003没有从便携终端1020发送的“发送数据列”,将(1)发光机ID、(2)认证ID、和用来识别是否存在从作为控制对象设备的电子设备1040经由便携终端1020送来的发送数据列1009的识别码即(3)发送数据列标志=0这3个,从LED等的发光部1016连续或间歇地向外部发送光信号。
送出的光信号被电子设备1040的光传感器1041接收(步骤1042),电子设备1040在步骤1043中确认电子设备1040的设备ID和认证ID(设备认证ID和发光机ID)是否是正规的。如果确认的结果是“是”(正规),则电子设备1040检验是否发送数据列标志=1(步骤1051)。仅在检验结果为“是”的情况下(发送数据列标识=0),电子设备1040执行发送数据列的数据、例如料理的烹饪法执行等的用户命令(步骤1045)。
这里,叙述电子设备1040的使用本发明的光调制方式进行光发送的机制。电子设备1040将设备ID、用来认证设备的认证ID、以及如上述那样电子设备1040接收到的即能够可靠地接收的发光机1003的发光机ID使用显示部1047的LED背灯部1050等发送(步骤1046)。
从电灶或POS机等的液晶等的显示部1047,将本发明的光信号以没有闪变的60Hz以上的调制频率以PPM、FDM或FSK方式发送,所以对于一般消费者而言不知道发送了光信号。所以在显示部1047上能够进行例如电灶的菜单等的独立的显示。
(电子设备1040能够接收的发光机1003的ID检测方法)
要使用电灶等的使用者用便携终端1020的内照相机部1017获取来自发光机1003的光信号,在内照相机处理部1026中,预先接收发光机ID和发光机认证ID(步骤1027)。也可以是,电子设备1040的能够受光的发光机ID记录在使用3G等的便携电话的电波或Wi-Fi的位置信息和云1032或便携终端内部中,检测存在于该位置的发光机ID(步骤1025)。
使用者如果将便携终端1020的外照相机1019朝向例如电灶1040的显示部1047,则能够将本发明的光信号1048使用MOS照相机解调。如果加快快门速度,则能够接收更高速的数据。在接收部1028中,接收电子设备1040的设备ID、认证ID、服务ID或从服务ID变换后的服务提供用的云的URL、或设备的状况。
在步骤1029中,经由3GWi-Fi通信部1031使用处于终端的内部或接收到的URL向处于外部的云1032连接,发送服务ID、设备ID。在云1032中,检索处于数据库1033中的与设备ID、服务ID分别对应的数据,向便携终端1020发送。基于该数据,在便携终端的画面上显示视频数据或命令的按钮等。看到该显示的使用者通过将画面的按钮按下等输入方法输入希望的命令(步骤1030)。在“是”(输入)的情况下,BTLE(Blue Tooth(注册商标)Low Energy)收发部1021的发送机1022将包括电子设备1040等的设备ID、设备认证ID、发光机ID、发光机认证ID、步骤1030的用户命令等的发送数据列发送。
发光机1003由BTLE收发部1004的接收部1007接收“发送数据列”,当由中断处理部1011检测出接收到“发送数据列”(步骤1013的“是”)时,用本发明的调制部将“发送数据列+ID+发送数据标志=1”的数据调制,从LED等发光部1016进行光发送。在没有接收到“发送数据列”的情况下(步骤1013的“否”的情况下),将发光机ID1003等连续地发送。
如上述那样,该电子设备1040已经实际接收并确认了能够接收来自发光机1003的信号,所以能够可靠地接收。
在此情况下,在中断处理部1011中,由于在发送数据列中包含发光机ID,所以可知在该ID的发光机的光照射范围内存在发送对象的电子设备。因而,不从其他发光机发送信号,而仅从处于电子设备所处的很狭小的位置的发光机发送,所以能够将电波空间有效率地使用。
在不采用该方式的情况下,由于蓝牙信号达到较远处,所以从处于与电子设备不同的其他位置的发光机送来光信号。因而,在某个发光机发光期间中,不能进行向想要发送的其他电子设备的光发送,或者带来妨碍,所以该方式的解决对策是有效的。
接着叙述电子设备的误动作对策。
在光传感器1041中,在步骤1042中接收光信号。首先,为了检验发光机ID而能够将别的发光机ID的发光信号除去,所以误动作减少。
在本发明中,在发送数据列1009中包含要接收的电子设备的设备ID和设备认证ID。因而,在步骤1043中检验设备认证ID和设备ID是否是该电子设备1040的ID,所以不进行误动作。电子设备1040具有能够防止将由向别的电子设备发送的信号误处理而引起的电灶等的误动作的效果。
叙述防止用户命令的执行的误动作的方法。
在步骤1044中数据标志=1时,判断为有用户命令,在数据标志=0时停止。在数据标志=1时,在将用户数据列的设备ID、认证ID认证后,执行用户命令等的发送数据列,例如,电子设备1040将烹饪法取出而显示到画面上,如果使用者将按钮按下,则没有误动作地开始烹饪法即将600w进行3分钟、将200w进行1分钟、将蒸烹进行2分钟的动作。
如果执行用户命令,则在电灶的情况下,产生2.4GHz的电磁噪声。为了减轻该情况,在经由智能电话以蓝牙或Wi-Fi接受命令而动作的情况下,由间歇驱动部1061间歇地例如在两秒钟内以100ms的程度将电灶的输出停止。在此期间中能够进行蓝牙或Wi-Fi802.11n等的通信。例如在不将电灶停止时,妨碍从智能电话以BTLE向发光机1003发送停止命令。另一方面,在本发明中不受到妨碍电波的影响而发送,能够通过光信号将电灶停止,或进行电灶的烹饪法的变更。
本实施方式的特长是,仅通过将1个几日元左右的成本的光传感器1041追加到带有显示部的电子设备中,就能够与和云协同的智能电话进行双向的通信,所以具有能够实现搭载在低成本的白家电中而智能家电化的效果。但是,虽然作为实施方式而使用白家电,但也可以是带有显示部的POS终端,超级市场的电子价签或个人计算机也能够得到同样的效果。
此外,在该实施方式中,仅能够从处于电子设备的上部的照明器接收发光机ID。由于接收区域较狭小,所以通过按照每个发光机规定Wi-Fi等的较小的区ID、在各个区中分配位置的下述ID,还有能够减少发光部的ID的位数的效果。在此情况下,通过本发明的使用上述PPM、FSK或FDM发送的发光机的ID的位数减少,具有能够从较小的光源接收光信号、或较快地取得ID、或能够接收较远的光源的数据等的效果。
图250C是示出实施方式10的信号发送接收系统的一例的图。
信号发送接收系统具备作为多功能便携电话的智能电话(智能手机)、作为照明设备的LED发光机、冰箱等家电设备以及服务器。LED发光机进行使用BTLE(Bluetooth(注册商标)Low Energy)的通信,并且进行使用LED(Light Emitting Diode)的可见光通信。例如,LED发光机通过BTLE控制冰箱,与空调进行通信。此外,LED发光机通过可见光通信来控制电灶、空气清洁剂或者电视机(TV)等的电源。
电视机例如具备太阳能发电元件,将该太阳能发电元件作为光传感器加以利用。即,在LED发光机通过亮度变化来发送信号时,电视机根据由太阳能发电元件发出的电力的变化,来检测该LED发光机的亮度变化。然后,电视机通过对由该检测出的亮度变化表示的信号进行解调,来取得从LED发光机发送的信号。电视机在该信号为表示电源ON的命令的情况下,将自己的主电源切换为ON,在该信号为表示电源OFF的命令的情况下,将自己的主电源切换为OFF。
此外,服务器经由路由器和特定小功率无线站(特小)与空调进行通信。并且,空调能够经由BTLE与LED发光机进行通信,所以服务器能够与LED发光机进行通信。因此,服务器能够经由LED发光机将TV的电源切换为ON和OFF。此外,智能电话通过与服务器经由例如Wi-Fi(Wireless Fidelity)等进行通信,能够经由服务器控制TV的电源。
如图250A~图250C所示,本实施方式中的信息通信方法包括:无线通信步骤,便携终端(智能电话)通过与可见光通信不同的无线通信(BTLE或者Wi-Fi等)将控制信号(发送数据列或者用户指令)发送到照明设备(发光机);可见光通信步骤,照明设备通过根据该控制信号而发生亮度变化,进行可见光通信;以及执行步骤,控制对象设备(电灶等)检测该照明设备的亮度变化,通过对由检测到的亮度变化而确定的信号进行解调来取得控制信号,执行与该控制信号相应的处理。由此,便携终端即使不能进行用于可见光通信的亮度变化,也能够通过无线通信,取代便携终端而使照明设备发生亮度变化,能够适当地控制控制对象设备。此外,便携终端也可以不是智能电话而是手表。
(排除了干涉的接收)
图251是表示实施方式10的排除了干涉的接收方法的流程图。
首先,在步骤9001a中开始,在步骤9001b中确认在受光的光的强度中是否存在周期性变化,在“是”的情况下进入步骤9001c。在“否”的情况下进入步骤9001d,使受光部的透镜成为广角而接受大范围的光,返回步骤9001b。在步骤9001c中确认是否能够接收信号,在“是”的情况下进入步骤9001e,接收信号,在步骤9001g中结束。在“否”的情况下进入步骤9001f,使受光部的透镜成为望远,接受小范围的光,返回步骤9001c。
通过该方法,既能排除来自多个发送机的信号的干涉,又能接收来自处于较广的方向的发送机的信号。
(发送机的方位的推测)
图252是表示实施方式10中的发送机的方位的推测方法的流程图。
首先,在步骤9002a中开始,在步骤9002b中使受光部的透镜成为最大望远,在步骤9002c中确认接受的光的强度是否存在周期性变化,在“是”的情况下进入步骤9002d。在“否”的情况下进入步骤9002e,使受光部的透镜成为广角而接受大范围的光,返回步骤9002c。在步骤9002d中接收信号,在步骤9002f中使受光部的透镜成为最大望远,使受光方向以沿着受光范围的边界的方式变化,检测受光强度为最大的方向,推测为发送机处于该方向,在步骤9002d中结束。
通过该方法,能够推测发送机存在的方向。此外,也可以最初设为最大广角,逐渐设为望远。
(接收的开始)
图253是示出实施方式10的接收的开始方法的流程图。
首先,在步骤9003a中开始,在步骤9003b中确认是否接收到来自Wi-Fi、Bluetooth(注册商标)或IMES等基站的信号,在“是”的情况下,进入步骤9003c。在“否”的情况下返回步骤9003b。在步骤9003c中确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9003d,开始信号的接收,在步骤9003e中结束。在“否”的情况下返回步骤9003b。
通过该方法,即使用户不进行接收开始的操作也能够开始接收。此外,与总是进行接收相比能够抑制消耗电力。
(并用其他媒体的信息的ID的生成)
图254是表示实施方式10的并用其他媒体的信息的ID的生成方法的流程图。
首先,在步骤9004a中开始,在步骤9004b中,将连接的载波通信网、Wi-Fi或Bluetooth(注册商标)等的ID或从上述ID得到的位置信息或从GPS等得到的位置信息向高位位ID索引服务器发送。在步骤9004c中,从高位位ID索引服务器接收可见光ID的高位位,在步骤9004d中,接收来自发送机的信号作为可见光ID的低位位。在步骤9004e中,将可见光ID的高位位和低位位加在一起而向ID解决服务器发送,在步骤9004f中结束。
通过该方法,能够得到在接收机的附近的场所共通地使用的高位位,能够使发送机发送的数据量变少。此外,能够提高接收机接收的速度。
另外,发送机也可以发送高位位和低位位双方。在该情况下,使用该方法的接收机能够在接收到低位位的时刻将ID合成,不使用该方法的接收机从发送机接收ID整体而得到ID。
(基于频率分离的接收方式的选择)
图255是表示实施方式10的基于频率分离的接收方式的选择方法的流程图。
首先,在步骤9005a中开始,在步骤9005b中,将接收到的光信号施加给频率滤波电路,或进行离散傅立叶级数展开而进行频率分解。在步骤9005c中确认是否存在低频率成分,在“是”的情况下进入步骤9005d,将用频率调制等的低频率区域表现的信号解码,进入步骤9005e。在“否”的情况下进入步骤9005e。在步骤9005e中,确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9005f,将用脉冲位置调制等的高频率区域表现的信号解码,进入步骤9005g。在“否”的情况下进入步骤9005g。在步骤9005g中开始信号的接收,在步骤9005h中结束。
通过该方法,能够接收用多个调制方式调制成的信号。
(曝光时间较长的情况下的信号接收)
图256是表示实施方式10的曝光时间较长的情况下的信号接收方法的流程图。
首先,在步骤9030a中开始,在步骤9030b中,在能够设定感光度的情况下将感光度设定为最高。在步骤9030c中,在能够设定曝光时间的情况下设定为比通常摄影模式短的时间。在步骤9030d中,对两张图像进行拍摄,求出亮度的差分。在对两张图像进行拍摄的期间中摄像部的位置或方向变化了的情况下,将该变化消除,生成如同从相同的位置方向摄像那样的图像,求出差分。在步骤9030e中,求出将差分图像或与摄像图像的曝光线平行的方向的亮度值平均后的值。在步骤9030f中,将上述平均后的值在与曝光线垂直的方向上排列而进行离散傅立叶变换,在步骤9030g中识别在规定的频率的附近是否有峰值,在步骤9030h中结束。
通过该方法,在不能设定曝光时间的情况或对通常图像同时进行拍摄的情况下等曝光时间较长的情况下,也能够接收信号。
在使曝光时间为自动设定的情况下,如果将照相机朝向构成为照明的发送机,则通过自动曝光修正功能将曝光时间设定为60分之1秒到480分之1秒左右。在不能进行曝光时间的设定的情况下,以该条件接收信号。在实验中,在使照明周期性地闪烁的情况下,只要1周期的时间是曝光时间的约16分之1以上,就能够在与曝光线垂直的方向上辨识条纹,能够通过图像处理识别闪烁的周期。此时,由于拍摄有照明的部分亮度过高而难以确认条纹,所以优选的是根据照明光反射的部分求出信号的周期。
在使用如频率偏移调制方式或频率多路复用调制方式那样使发光部周期性地点亮、灭灯的方式的情况下,与使用脉冲位置调制方式的情况相比,即使是相同的调制频率,对人而言也不易辨识到闪变,此外,在由摄像机摄影的运动图像中也不易出现闪变。因此,能够将较低的频率作为调制频率使用。人的视觉的时间分辨能力是60Hz左右,所以可以使用该频率以上的频率作为调制频率。
另外,当调制频率为接收机的摄像帧速率的整数倍时,由于两张图像的相同位置的像素在发送机的光样式相同的相位的时刻进行摄像,所以在差分图像中不会出现亮线,难以进行接收。接收机的摄像帧速率通常是30fps,所以如果调制频率设定为30Hz的整数倍以外则容易进行接收。此外,由于接收机的摄像帧速率存在各种各样的值,所以通过将互质的两个调制频率分配给相同的信号,发送机将这两个调制频率交替使用来进行发送,接收机通过接收至少一个信号就能够容易地将信号复原。
图257是表示发送机的调光(调整明亮度)方法的一例的图。
通过调整亮度高的区间和亮度低的区间的比例,平均亮度变化,能够调整明亮度。此时,通过将使亮度的高低反复的周期T1保持为一定,能够将频率峰值保持为一定。例如,图257的(a)、(b)、(c)均为,变得比平均亮度亮的第1亮度变化与第2亮度变化之间的时间T1保持一定,同时在将发送机调光为暗时,缩短比平均亮度亮地照明的时间。另一方面,在将发送机调光为亮时,加长比平均亮度亮地照明的时间。图257的(b)、(c)被调光成比(a)暗,图257的(c)被调光成最暗。由此,能够一边发送具有同一意义的信号一边进行调光。
也可以通过使亮度高的区间的亮度或者亮度低的区间的亮度或者其双方的亮度的值变化,来使平均亮度变化。
图258是表示构成发送机的调光功能的方法的一例的图。
由于构成零件的精度存在极限,所以即使进行了相同调光设定,与其他的发送机相比明亮度也稍微地不同。但是,在将发送机排列地配置的情况下,若相邻的发送机的明亮度不同,则会感到不自然。于是,用户通过操作调光修正操作部,来调整发送机的明亮度。调光修正部保持修正值,调光控制部按照修正值控制发光部的明亮度。在用户操作调光操作部从而调光的程度变化了的情况下,调光控制部以变化后的调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。此外,调光控制部通过连动调光部向其他发送机传递调光设定值。在从其他设备通过连动调光部而传递了调光设定值的情况下,调光控制部以该调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。
根据本发明的一实施方式,也可以是控制通过使发光体亮度变化来发送信号的信息通信装置的控制方法,包括:决定步骤,通过使信息通信装置的计算机调制包含多个不同信号的发送对象的信号,来按不同的信号决定不同的频率的亮度变化的样式;和发送步骤,以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式,使发光体亮度变化,由此来发送发送对象的信号。
例如,在与单一频率相符的时间包含调制了多个信号的亮度变化的样式的情况下,随着时间经过,亮度变化的波形变得复杂,难以适当地接收。但是,通过以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式进行控制,能够在接收时更适当地进行接收。
根据本发明的一实施方式,也可以决定步骤中,在规定的时间内,以使得发送多个不同的信号中的一个信号的发送次数与发送其他信号的发送次数不同的方式决定发送次数。
通过使发送一个信号的发送次数与发送其他信号的发送次数不同,能够防止发送时的闪变。
根据本发明的一个实施方式,也可以在决定步骤中,在规定的时间内,使与高频率相符的信号的发送次数比其他信号的发送次数多。
在接收侧进行频率变换时,与高频率相符的信号虽然亮度变小,但通过使发送次数增多,能够加大进行频率变换时的亮度值。
根据本发明的一个实施方式,亮度变化的样式也可以是,随着时间经过的亮度变化的波形成为矩形波、三角波、锯齿波的任一个的样式。
通过设为矩形波等,能够更适当地进行接收。
根据本发明的一个实施方式,也可以在加大发光体的平均亮度的值的情况下,在与单一频率相符的时间内,将发光体的亮度成为比规定的值大的时间设为比使所述发光体的平均亮度的值变小的情况长。
通过在与单一频率相符的时间内,调整发光体的亮度变得比规定的值大的时间,能够发送信号且调整发光体的平均亮度。例如,在使用发光体作为照明的情况下,能够一边将整体的明亮度设为暗或者设为亮,一边发送信号。
接收机通过利用设定曝光时间的API(应用程序编程接口的省略,指用于利用OS的功能的手段),能够将曝光时间设定为规定的值,能够稳定地接收可见光信号。此外,接收机通过利用设定感光度的API,能够将感光度设定为规定的值,即使在发送信号的明亮度暗的情况或亮的情况下也能够稳定地接收可见光信号。
(实施方式11)
在本实施方式中,对于使用上述各实施方式中的智能电话等接收机和作为LED和/或有机EL的闪烁样式发送信息的发送机的各应用例进行说明。
(曝光时间的设定)
图259A~图259D是表示实施方式11的接收机的动作的一例的流程图。
为了使用本发明的方式而由图像传感器接收可见光信号,需要将曝光时间设定为比规定的时间短的时间。规定的时间根据可见光信号的调制方式和调制频率而决定。通常,调制频率越高,越需要缩短曝光时间。
随着缩短曝光时间,亮线能够被清晰地观察到,另一方面,若曝光时间变短,则因为受光量减少,所以摄像图像整体变暗。即,信号强度衰减。因而,通过能够在可检测到可见光信号的存在的范围内缩短曝光时间,能够提高接收性能(接收速度和/或错误率)。
如图259A所示,接收机首先将摄像模式设为可见光摄像模式(步骤S9201)。此时,接收机判定是否具有黑白摄像功能且接收仅以亮度信息调制了的信号(步骤S9202)。这里,在判定为具有黑白摄像功能且接收仅以亮度信息调制了的信号时(步骤S9202的“是”),接收机将摄像模式中与颜色相关的模式设定为使用该黑白摄像功能的黑白摄像模式(步骤S9203)。由此,在接收仅以亮度信息调制了的信号的情况下,即,接收仅由亮度变化表示信息的可见光信号的情况下,不处理彩色信息,由此能够提高处理速度。另一方面,在步骤S9202中,判定为不具有黑白摄像功能或不接收仅以亮度信息调制了的信号时(步骤9202的“否”),即,在利用颜色信息表达可见光信号的情况下,接收机将摄像模式中的与颜色相关的模式设定为彩色摄像模式(步骤S9204)。
接着,接收机判定上述的包含图像传感器的摄像部是否具备指定曝光时间的功能(步骤S9205)。此处,若判定为具备(步骤S9205的“是”),则接收机以摄像图像中显示亮线的方式使用该功能而将曝光时间设定为比上述的规定的时间短的时间(步骤S9206)。另外,接收机也可以在摄像图像中,以在可看到发送可见光信号的发送机的范围内尽量缩短曝光时间的方式,设定其曝光时间。
另一方面,若在步骤S9205中判定为不具备指定曝光时间的功能(步骤S9205的“否”),则接收机进一步判定摄像部是否具备设定感光度的功能(步骤S9207)。此处,若判定为具备设定感光度的功能(步骤S9207的“是”),则接收机通过该功能,将感光度设定为最大(步骤S9208)。结果,若以该设为最大的感光度进行摄像而得到摄像图像,则该摄像图像变亮。于是,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,以曝光处于一定范围内的方式,将曝光时间设定得短。另外,在自动曝光中,每当进行摄像时,通过该摄像而得到的摄像图像被用于自动曝光的输入,基于该摄像图像,以曝光处于一定范围内的方式随时调整曝光时间。对于自动曝光的详情后面详述。
然后,接收机判定摄像部是否具备设定F值(光圈)的功能(步骤S9209)。这里,若判定为具备设定F值的功能(步骤S9209的“是”),则接收机通过该功能,将F值设定为最小(开放光圈)(步骤S9210)。结果,若通过以该被设为最小的F值进行摄像来得到摄像图像,则该摄像图像变亮。于是,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,以曝光处于一定范围内的方式将曝光时间设定得短。
然后,接收机判定摄像部是否具备指定曝光修正的值的功能(步骤S9211)。这里,若判定为具备指定曝光修正的值的功能(步骤S9211的“是”),则接收机通过该功能,将曝光修正的值设定为最小(步骤S9212)。结果,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,为了使曝光降低而将曝光时间设定得短。
此外,用于拍摄以高速运动的被拍摄对象的场景模式(高速场景模式)一般以“运动”和/或“行动”的名称来定义。
如图259B所示,接收机在步骤S9211或者步骤S9212后,判定是否满足如下条件:摄像部具备设定为高速场景模式的功能,且没有通过设为高速场景模式而将感光度设定为比场景模式设定前低,或者将F值设定为比场景模式设定前高,或者将曝光修正的值设定为比场景模式设定前高(步骤S9213)。这里,若判定为满足上述条件(步骤S9213的“是”),则接收机将场景模式设定为高速场景模式(步骤S9214)。结果,在接收机中,若将自动曝光设定为了有效,则为了以不抖动的方式对高速运动的被拍摄对象进行拍摄,通过该自动曝光,将曝光时间设定得短。
接着,接收机将自动曝光设定为有效(步骤S9215),拍摄被拍摄对象(步骤S9216)。
如图259C所示,接收机在步骤S9215后,判定摄像部是否具备变焦功能(步骤S9217)。此处,若判定为具备变焦功能(步骤S9217的“是”),则接收机进而判定是否能够指定变焦的中心位置,即,判定是否能够将其中心位置设为摄像图像内的任意的位置(步骤S9218)。若判定为能够指定中心位置(步骤S9218的“是”),则接收机通过将变焦的中心位置指定为摄像图像内的亮的部分,以与该亮的部分对应的被拍摄对象能够在中央被较大地拍摄的方式进行变焦(步骤S9219)。另一方面,若判定为不能指定中心位置(步骤S9218的“否”),则接收机判定摄像图像的中心是否比规定的值的明亮度亮,或者判定是否比摄像图像中的规定的各部位的平均的明亮度亮(步骤S9220)。这里,若判定为亮(步骤S9220的“是”),则接收机进行变焦(步骤S9221)。即,此时,与亮的部分对应的被拍摄对象能够在中央被较大地拍摄。
通常,具备摄像部的装置大多在测光方式中使用中央重点测光,所以若在摄像图像内亮的部分处于中央,则即使在不将测光位置指定为其他的位置的情况下也以亮的部分为基准来调整曝光。由此,将曝光时间设定得短。此外,因为通过变焦而亮的部分的面积增大,以更亮的画面为基准调整曝光,所以曝光时间被设定得短。
接着,接收机判定是否具有指定测光位置或者焦点位置的功能(步骤S9222)。这里,若判定为具有该功能(步骤S9222的“是”),则接收机进行用于在摄像图像中找出亮的场所的处理。即,接收机进行用于从摄像图像中找出具有比规定的明亮度亮的具有规定的形状和大小的区域的场所的处理。具体而言,接收机首先判定用于自动曝光的曝光评价的计算式是否为已知(步骤S9224)。在判定为已知的情况下(步骤S9224的“是”),接收机通过使用与该已知的计算式相同的计算式,来评价摄像图像中的各区域的明亮度,由此来寻找上述的亮的区域的场所(步骤S9226)。另一方面,在判定为曝光评价的计算式为未知的情况下(步骤S9224的“否”),接收机使用计算规定的形状和大小的区域中的各像素的明亮度的平均值的规定的计算式,评价摄像图像中的各区域的明亮度,由此找出上述的亮的区域的场所(步骤S9225)。此外,规定的形状例如是矩形、圆形或者十字形状等。此外,该区域也可以由非连续的多个区域构成。此外,在计算上述平均值时,也可以不使用单纯的平均,而是使用越是中心部则赋予越大的权重的加权平均。
接收机判定找到的所有的亮的区域的合计的面积是否比规定的面积小(步骤S9227)。此处,若判定为小(步骤S9227的“是”),则接收机以该亮的区域的合计的面积为规定的面积以上的大小拍摄的方式进行变焦(步骤S9228)。接着,接收机判定是否能够指定测光位置(步骤S9229)。在判定为能够指定测光位置的情况下(步骤S9229的“是”),接收机将最亮的区域的场所指定为测光位置(步骤S9230)。在自动曝光中,因为以测光位置的明亮度来调整曝光,所以通过将最亮的区域的场所指定为测光位置,能够通过自动曝光来将曝光时间设定得短。另一方面,在步骤S9229中判定为不能够指定测光位置的情况下(步骤S9229的“否”),即,在能够指定焦点位置的情况下,接收机将最亮的区域的场所指定为焦点位置。接收机能够搭载各种摄像部,在该各种摄像部中的一部分的摄像部的自动曝光中,以焦点位置的明亮度来调整曝光。因此,通过将最亮的区域的场所指定为焦点位置,通过自动曝光将曝光时间设定得短。这里指定的场所也可以与明亮度的评价或者计算所使用的区域的场所不同,与摄像部的设定方式相应地设定。作为例子,若指定的形式是指定中心点的形式,则接收机指定最亮的区域的中心,若指定的形式是指定矩形区域的形式,则接收机指定包含最亮的区域的中心的矩形区域。
接着,接收机判定在摄像图像中是否存在比被指定为测光位置或者焦点位置的场所的区域还亮的区域(步骤S9232)。这里,若判定为存在该区域(步骤S9232的“是”),则接收机反复执行自步骤S9217起的处理。另一方面,若判定为无该区域(步骤S9232的“否”),则接收机拍摄被拍摄对象(步骤S9233)。
接着,接收机判定是否应该基于由步骤S9233的摄像而得到摄像图像结束自动曝光,或者判定是否在将自动曝光设定为有效之后经过了一定时间(步骤S9234)。这里,在例如判定为不应该结束自动曝光的情况下(步骤S9234的“否”),接收机进而基于由步骤S9233的摄像得到的摄像图像,判定是否摄像部的位置或者摄像方向发生了变化(步骤S9235)。在判定为摄像部的位置或者摄像方向变化了的情况下(步骤S9235的“是”),接收机再次进行自步骤S9217起的处理。由此,即使在指定为测光位置和/或焦点位置的场所在摄像图像中移动了的情况下,也能够在该时刻重新指定最亮的区域的场所。另一方面,在步骤S9235中判定为摄像部的位置或者摄像方向没有变化的情况下(步骤S9235的“否”),接收机反复进行自步骤S9232起的处理。此外,接收机也可以在每当通过摄像取得1张摄像图像时检索最亮的区域,重新指定测光位置和/或焦点位置。
此外,在步骤S9234中判定为应该结束自动曝光的情况下,判定为曝光时间不再变化的情况下或者判定为经过了一定时间的情况下(步骤S9234的“是”),或者,在步骤S9206中设定了曝光时间的情况下,接收机将自动曝光设定为无效(步骤S9236),拍摄被拍摄对象(步骤S9237)。然后,接收机判定是否通过该摄像接收到可见光信号(步骤S9238)。这里,在判定为没有接收到可见光信号的情况下(步骤S9238的“否”),接收机还判定是否经过了预定的时间(步骤S9239)。在判定为没有经过预定的时间的情况下(步骤S9239的“否”),接收机反复执行自步骤S9237起的处理。另一方面,在判定为经过了预定的时间的情况下(步骤S9239的“是”),即,在即使经过预定的时间也没能接收到可见光信号的情况下,接收机反复执行自步骤S9232起的处理,由此重新进行最亮的区域的检索。
另外,接收机在利用变焦功能的情况下,也可以在任意的定时关闭变焦。即,接收机也可以在变焦关闭时,检测在变焦期间没有被拍摄但若不变焦则可被拍摄的范围内是否存在亮的被拍摄对象。此外,该亮的被拍摄对象很可能是通过亮度变化来发送可见光信号的发送机。由此,能够接收来自处于大范围内的发送机的信号。
这里,对于自动曝光和测光方法进行说明。
以下,对图259A~图259D中的自动曝光进行说明。自动曝光是接收机的摄像部调节曝光时间、感光度以及光圈,将测光结果自动地调整为规定的值的动作、处理或者功能。
在用于得到测光结果的测光方法中,存在平均测光(全面测光)、中央重点测光、点测光(部分测光)和分割测光等方式。在平均测光中,计算通过摄像而得到的图像全体的平均的明亮度。在中央重点测光中,计算越接近图像的中央(或者指定部分)则越增加权重的明亮度的加权平均值。在点测光中,计算以图像的中央或者指定部分为中心而定义的规定的一处(或者数处)的范围的明亮度的平均值(或者加权平均值)。在分割测光中,将图像分为多个部分而在各个部分进行测光,计算综合的明亮度的值。
在具有自动曝光的功能的摄像部中,即使不能直接将曝光时间设定得短,也能够通过该自动曝光的功能,间接地设定曝光时间。例如,若将感光度设定得高(例如最大值),则在其他条件相同的情况下,通过摄像而得到的图像变亮,所以能够通过自动曝光将曝光时间设定得短。此外,若以打开(即开放)光圈的方式进行设定,则同样能够将曝光时间设定得短。此外,若将表示曝光修正的水平的值设定得低(例如最小值),则通过自动曝光根据摄像而得到的图像变暗。即,曝光时间被设定得短。通过将图像内的最亮的场所指定为测光位置,由此能够将曝光时间设定得短。此外,若能够指定测光方法,则通过指定点测光,能够将曝光时间设定得短。若能够指定测光范围,则通过将测光范围指定为最小,能够将曝光时间设定得短。在图像内的亮的部分的面积大的情况下,以不超过该部分的方式尽量在大范围内指定测光范围,能够将曝光时间设定得短。若能够指定多个测光位置,则通过多次指定相同场所作为测光位置,能够将曝光时间设定得短。通过变焦将摄像图像内的亮的场所拍摄得较大,将该场所指定为测光位置,由此能够将曝光时间设定得短。
此处,对于EX变焦进行说明。
图260是用来说明EX变焦的图。
图259C中的变焦、即得到大的像的方法中,存在调整透镜的焦点距离来使映在摄像元件的像的大小变化的光学变焦、以数字处理插补映在摄像元件的像来得到大的像的数字变焦、以及通过变更使用于摄像的多个摄像元件来得到大的像的EX变焦。EX变焦能够利用于与摄像图像的分辨率相比包含于图像传感器的摄像元件的数量多的情况。
例如,在图260所示的图像传感器10080a中,32×24个摄像元件排列成矩阵状。即,摄像元件配置成横32个、纵24个。通过该图像传感器10080a的摄像,在得到横16×纵12的分辨率的图像的情况下,如图260的(a)所示,图像传感器10080a所包含的32×24个的摄像元件中,只有在图像传感器10080a中整体均匀地分散配置的16×12个摄像元件(例如,图260的(a)中的图像传感器1080a中由黑色方形表示的摄像元件)用于摄像。即,在纵方向和横方向分别排列的多个摄像元件中仅第奇数个或者第偶数个的摄像元件用于摄像。由此,可得到期望的分辨率的图像10080b。另外,在图260中,图像传感器1008a中显示了被拍摄对象,但这是为了使得各摄像元件和通过摄像而得到的图像的对应关系容易理解。
具备该图像传感器10080a的接收机在通过拍摄大的范围来探索发送机或者接收来自多个发送机的信息的情况下,仅使用图像传感器10080a中整体均匀地分散配置的一部分的摄像元件来进行摄像。
此外,接收机在进行EX变焦时,如图260的(b)所示,仅将在图像传感器10080a中局部紧密地配置的一部分的摄像元件(例如,图260的(b)中的图像传感器1080a中由黑色方形表示的16×12个的摄像元件)用于摄像。由此,图像10080b中与该一部分的摄像元件对应的部分被进行变焦,来得到图像10080d。通过这样的EX变焦,将发送机拍摄得较大,由此变得能够长时间接收可见光信号,接收速度提高,此外能够从远处接收可见光信号。
在数字变焦中,不能增加接受可见光信号的曝光线的数量,可见光信号的接收时间也不会增加,所以尽可能使用其他变焦比较好。光学变焦需要透镜和/或图像传感器的物理性的移动时间,而EX变焦仅进行电子设定变更,所以具有变焦所花费的时间短这一优点。从该观点来看,各变焦的优先顺序是(1)EX变焦、(2)光学变焦、(3)数字变焦。接收机也可以根据该优先顺序和变焦倍率的必要性,来选择并使用某一个或者多个变焦。此外,在图260的(a)和(b)所示的摄像方法中,通过使用没有使用的摄像元件,能够抑制图像噪声。
图261A是表示实施方式11的接收程序的处理的流程图。
该接收程序是使接收机所具备的计算机执行例如图259A~图260所示的处理的程序。
即,该接收程序是用于从发光体接收信息的接收程序。具体而言,该接收程序使计算机执行:曝光时间设定步骤SA21,使用自动曝光设定图像传感器的曝光时间;亮线图像取得步骤SA22,通过以设定的曝光时间使图像传感器拍摄亮度变化的发光体,来取得包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像;以及信息取得步骤SA23,其通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。此外,在曝光时间设定步骤SA21中,如图259A的步骤S9208所示,将图像传感器的感光度设定为针对该图像传感器预先决定的范围中的最大值,通过自动曝光设定与最大值的感光度相应的曝光时间。
由此,即使不能直接设定图像传感器的曝光时间,也能够利用搭载于一般的照相机的自动曝光的功能,来设定可取得适当的亮线图像的程度的短的曝光时间。即,在自动曝光中,基于通过图像传感器的摄像而取得的图像的明亮度调整曝光。于是,若图像传感器的感光度被设定为大的值,则该图像变亮,所以为了抑制曝光,将图像传感器的曝光时间设定得短。若将图像传感器的感光度设定为最大值,则能够将曝光时间设定得短,能够取得适当的亮线图像。即,能够适当地接收来自发光体的信息。结果,能够在多种设备之间进行通信。另外,感光度例如是ISO感光度。
此外,在曝光时间设定步骤SA21中,如图259A的步骤S9212所示,将表示图像传感器的曝光修正的水平的值设定为针对该图像传感器预先决定的范围中的最小值,通过自动曝光来设定为与最大值的感光度和最小值的水平的曝光修正相应的曝光时间。
由此,因为表示曝光修正的水平的值被设定为最小值,所以通过想要抑制曝光的自动曝光的处理,能够将曝光时间设定得更短,能够取得更适当的亮线图像。另外,表示曝光修正的水平的值的单位例如是EV。
此外,在曝光时间设定步骤SA21中,如图259C所示,在通过包含发光体的被拍摄对象的图像传感器的摄像而取得的第1图像中确定比其他部分亮的部分。然后,通过光学变焦来放大与该亮的部分对应的被拍摄对象的一部分。进而,将通过图像传感器对放大后的被拍摄对象的一部分的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤SA22中,以设定的曝光时间使图像传感器拍摄放大后的被拍摄对象的一部分,来取得亮线图像。
由此,与第1图像的亮的部分对应的被拍摄对象的一部分通过光学变焦而被放大,即,亮的发光体通过光学变焦被放大,所以能够使得第2图像整体上比第1图像亮。并且,该亮的第2图像被用于自动曝光的输入,所以能够通过想要抑制曝光的自动曝光的处理,来将曝光时间设定得短,能够取得适当的亮线图像。
此外,在曝光时间设定步骤SA21中,如图259C所示,判定通过包含发光体的被拍摄对象的图像传感器的摄像而取得的第1图像的中央部分是否比第1图像中的多个位置的平均的明亮度亮。并且,在中央部分被判定为亮的情况下,通过光学变焦放大与中央部分对应的被拍摄对象的一部分。进而,将通过图像传感器对放大后的被拍摄对象的一部分的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤SA22中,通过以设定的曝光时间使图像传感器拍摄放大后的被拍摄对象的一部分,来取得亮线图像。
由此,因为与第1图像的亮的中央部分对应的被拍摄对象的一部分被通过光学变焦而放大,即,亮的发光体通过光学变焦被放大,所以能够使第2图像整体上比第1图像亮。而且,因为该亮的第2图像被用于自动曝光的输入,所以通过想要抑制曝光的自动曝光的处理,能够将曝光时间设定得更短,能够取得适当的亮线图像。此外,光学变焦若不能任意地设定放大的中心位置,则放大视角或者图像的中央部分。因此,即使在不能任意地设定其中心位置的情况下,若第1图像的中央部分亮,则通过利用光学变焦,能够使第2图像整体亮。进而,在第1图像的中央部分暗的情况下,若进行由光学变焦实现的放大,则第2图像变暗,曝光时间变长。于是,如上述那样,仅在判定为中央部分亮的情况下,通过进行由光学变焦实现的放大,能够防止曝光时间变长。
此外,在曝光时间设定步骤SA21中,如图260所示,在通过仅由图像传感器所包含的K个(K为3以上的整数)的摄像元件中的图像传感器内均匀分散配置的N个(N为不足K且2以上的整数)的摄像元件对包含发光体的被拍摄对象的摄像而取得的第1图像中,确定比其他部分亮的部分。进而,将通过仅由图像传感器所包含的K个摄像元件中与亮的部分对应的密集的N个摄像元件进行的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤SA22中,通过仅使图像传感器所包含的密集的N个摄像元件以设定的曝光时间拍摄,来取得亮线图像。
由此,通过所谓的EX变焦,即使第1图像中的亮的部分不在中央,也能够使第2图像整体亮,能够将曝光时间设定得更短。
此外,在曝光时间设定步骤SA21中,如图259C所示,设定通过图像传感器拍摄被拍摄对象而取得的图像内的测光位置,通过自动曝光来设定与所设定的测光位置的明亮度相应的曝光时间。
由此,若在通过摄像而取得的图像内将亮的部分设定为测光位置,则通过想要抑制曝光的自动曝光的处理,能够将曝光时间设定得更短,能够取得适当的亮线图像。
此外,接收程序也可以还使计算机执行将图像传感器的摄像模式从用于通过摄影取得彩色图像的彩色摄像模式切换为用于通过摄影取得黑白图像的黑白摄像模式的摄像模式设定步骤。在该情况下,在曝光时间设定步骤SA21中,将通过黑白摄像模式取得的图像使用于自动曝光的输入,来设定曝光时间。
由此,通过黑白摄像模式而取得的图像被用于自动曝光的输入,所以能够不受颜色的信息影响,而设定适当的曝光时间。此外,在通过黑白摄像模式设定曝光时间的情况下,通过按照该模式的摄像来取得亮线图像。因此,在仅通过亮度变化从发光体发送信息的情况下,能够适当地取得该信息。
此外,在曝光时间设定步骤SA21中,在每当通过图像传感器对发光体的摄像来取得图像时,将所取得的图像使用于自动曝光的输入,来更新图像传感器的曝光时间。这里,例如如图259D的步骤S9234所示,在随时更新的曝光时间的变动幅度成为了预定的范围以下时,结束通过自动曝光实现的曝光时间的更新,来设定曝光时间。
由此,在曝光时间的变动稳定时,即,在通过摄像取得的图像的明亮度通过自动曝光而处于被设为目标的明亮度时,将此时的曝光时间使用于用于取得亮线图像的摄像。因此,能够取得适当的亮线图像。
图261B是表示实施方式11中的接收装置的框图。
该接收装置A20是例如执行图259A~图260所示的处理的上述的接收机。
即,该接收装置A20是用于从发光体接收信息的装置,具备:曝光时间设定部A21,其使用自动曝光来设定图像传感器的曝光时间;摄像部A22,其通过以设定的曝光时间使图像传感器拍摄发生亮度变化的发光体,来取得包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像;以及解码部A23,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。曝光时间设定部A21将图像传感器的感光度设定为针对该图像传感器预先决定的范围中的最大值,通过自动曝光设定与最大值的感光度相应的曝光时间。在该接收装置A20中,能够起到与上述的接收程序同样的效果。
(实施方式12)
在本实施方式中,对于使用上述各实施方式中的智能电话等的接收机和作为LED和/或有机EL的闪烁样式发送信息的发送机的各应用例进行说明。
在本实施方式中,按每个曝光线或者每个摄像元件来设定曝光时间。
图262、图263、图264是表示实施方式12的信号接收方法的一例的图。
如图262所示,在作为接收机所具备的摄像部的图像传感器10010a中,按每个曝光线设定曝光时间。即,对规定的曝光线(图262中白色的曝光线)设定通常摄像用的长的曝光时间,对其他曝光线(图262中黑色的曝光线),设定可见光摄像用的短的曝光时间。例如,针对在垂直方向排列的各曝光线,交替设定长的曝光时间和短的曝光时间。由此,在通过亮度变化来拍摄发送可见光信号的发送机时,能够几乎同时进行通常摄像和可见光摄像(可见光通信)。另外,两个曝光时间可以按每1行交替地设定,也可以按每数行进行设定,还可以在图像传感器10010a的上部与下部分别设定曝光时间。通过这样使用2个曝光时间,分别汇集通过被设定成相同曝光时间的多个曝光线的摄像而得到的数据,可得到通常摄像图像10010b 和表示多个亮线的样式的亮线图像即可见光摄像图像10010c。通常,在摄像图像10010b中,因为缺少没有以长的曝光时间摄像的部分(即,与被设定为短的曝光时间的多个曝光线对应的图像),所以通过插补该部分,能够显示预览图像10010d。此处,能够在预览图像10010d中叠加根据可见光通信而得到的信息。该信息是与通过对可见光摄像图像10010c所包含的多个亮线的样式进行解码而得到的可见光信号相关联的信息。另外,接收机也可以将通常摄像图像10010b或者对该通常摄像图像10010b进行了插补的图像保存为摄像图像,将接收到的可见光信号或者与该可见光信号相关联的信息作为附加信息,附加于保存的摄像图像。
如图263所示,也可以取代图像传感器10010a而使用图像传感器10011a。在图像传感器1011a中,不是按每个曝光线,而是按每个包括沿着与曝光线垂直的方向排列的多个摄像元件的列(以下,称作垂直行),设定曝光时间。即,对规定的垂直行(图263中白色的垂直行)设定通常摄像用的长的曝光时间,对其他垂直行(图263中黑色的垂直行)设定可见光摄像用的短的曝光时间。在该情况下,在图像传感器10011a中,与图像传感器10010a同样,在按每个曝光线而彼此不同的定时开始曝光,但在各曝光线中,该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10011a的摄像,来得到通常摄像图像10011b和可见光摄像图像10011c。进而,接收机基于该通常摄像图像10011b和与从可见光摄像图像10011c得到的可见光信号相关联的信息,生成并显示预览图像10011d。
在该图像传感器10011a中,与图像传感器10010a不同,能够对可见光摄像使用所有曝光线。结果,在通过图像传感器10011a得到的可见光摄像图像10011c中,包含比可见光摄像图像10010c多的亮线,所以能够提高可见光信号的接收精度。
此外,如图264所示,也可以取代图像传感器10010a而使用图像传感器10012a。在图像传感器10012a中,以沿水平方向和垂直方向对各摄像元件不连续设定相同曝光时间的方式,按每个摄像元件设定曝光时间。即,以设定长的曝光时间的多个摄像元件和设定短的曝光时间的多个摄像元件分布为格子状或者相间方格图案那样的方式,对各摄像元件设定曝光时间。在该情况下,也与图像传感器10010a同样,在按每个曝光线彼此不同的定时开始曝光,但在各曝光线中该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10012a的摄像,来得到通常摄像图像10012b和可见光摄像图像10012c。进而,接收机基于该通常摄像图像10012b和与从可见光摄像图像10012c得到的可见光信号相关联的信息,生成并显示预览图像10012d。
通过图像传感器10012a而得到的通常摄像图像10012b持有配置成格子状或者均匀配置的多个摄像元件的数据,所以能够与通常摄像图像10010b和通常摄像图像10011b相比更准确地进行插补和/或调节。此外,可见光摄像图像10012c通过使用图像传感器10012a的所有曝光线的摄像而生成。即,在该图像传感器10012a中,与图像传感器10010a不同,能够在可见光摄像中使用所有曝光线。结果,通过图像传感器10012a而得到的可见光摄像图像10012c中,与可见光摄像图像10011c同样地,与可见光摄像图像10010c相比包含更多亮线,所以能够高精度地进行可见光信号的接收。
此处,对预览图像的交叉显示进行说明。
图265是表示实施方式12的接收机的画面显示方法的一例的图。
具备上述的图262所示的图像传感器10010a的接收机每隔规定的时间将对第奇数个曝光线(以下,称作奇数行)设定的曝光时间与对第偶数个曝光线(以下,称作偶数行)设定的曝光时间调换。例如,如图265所示,接收机在时刻t1,对奇数行的各摄像元件设定长的曝光时间,对偶数行的各摄像元件设定短的曝光时间,进行使用这些设定的曝光时间的摄像。进而,接收机在时刻t2,对奇数行的各摄像元件设定短的曝光时间,对偶数行的各摄像元件设定长的曝光时间,进行使用这些设定的曝光时间的摄像。然后,接收机在时刻t3,进行使用与时刻t1时同样地设定的各曝光时间的摄像,在时刻t4,进行使用与时刻t2时同样地被设定的各曝光时间的摄像。
此外,接收机在时刻t1,取得包含通过摄像而从多个奇数行分别得到的图像(以下,称作奇数行像)和通过摄像而从多个偶数行分别得到的图像(以下,称作偶数行像)的Image1。此时,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机通过对多个奇数行像进行像素值的插补,生成多个插补行像。然后,接收机取代多个偶数行像而显示包含多个插补行像的预览图像。即,预览图像中,交替排列有奇数行像和插补行像。
接收机在时刻t2,取得包含通过摄像而得到的多个奇数行像和偶数行像的Image2。此时,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image2的奇数行像,而显示包含Image1的奇数行像的预览图像。即,预览图像中,交替排列有Image1的奇数行像和Image2的偶数行像。
进而,接收机在时刻t3,通过摄像取得包含多个奇数行像和偶数行像的Image3。此时,与时刻t1时同样,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image3的偶数行像,而显示包含Image2的偶数行像的预览图像。即,预览图像中,交替排列有Image2的偶数行像和Image3的奇数行像。然后,接收机在时刻t4,通过摄像取得包含多个奇数行像和偶数行像的Image4。此时,与时刻t2时同样,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代Image4的奇数行像,而显示包含Image3的奇数行像的预览图像。即,预览图像中交替排列有Image3的奇数行像和Image4的偶数行像。
这样,接收机进行显示包含所取得的定时互不相同的偶数行像和奇数行像的Image的所谓的交叉表示。
这样的接收机能够一边进行可见光摄像一边显示精细的预览图像。此外,设定相同曝光时间的多个摄像元件可以是图像传感器10010a那样沿着与曝光线水平的方向排列的多个摄像元件,也可以是图像传感器10011a那样沿着与曝光线垂直的方向排列的多个摄像元件,还可以是图像传感器 10012a那样呈相间方格图案排列的多个摄像元件。此外,接收机也可以将预览图像保存为摄像数据。
接着,对通常摄像和可见光摄像的空间比率进行说明。
图266是表示实施方式12的信号接收方法的一例的图。
在接收机所具备的图像传感器10014b中,与上述的图像传感器10010a同样,按每个曝光线设定长的曝光时间或者短的曝光时间。在该图像传感器10014b中,设定长的曝光时间的摄像元件的数量和设定短的曝光时间的摄像元件的数量的比是1:1。另外,该比是通常摄像与可见光摄像的比,以下,称作空间比率。
但是,在本实施方式中,其空间比率不需要是1:1。例如,接收机也可以具备图像传感器10014a。在该图像传感器10014a中,短的曝光时间的摄像元件比长的曝光时间的摄像元件多,空间比率是1:N(N>1)。此外,接收机也可以具备图像传感器10014c。在该图像传感器10014c中,短的曝光时间的摄像元件比长的曝光时间的摄像元件少,空间比率是N(N>1):1。此外,接收机也可以取代图像传感器10014a~10014c,而具备按上述的垂直行设定曝光时间,分别具有1:N、1:1或者N:1的空间比率的图像传感器10015a~10015c中的任一个。
在这样的图像传感器10014a、10015a中,短的曝光时间的摄像元件多,所以能够提高可见光信号的接收精度或者接收速度。另一方面,在图像传感器10014c、10015c中,长的曝光时间的摄像元件多,所以能够显示精细的预览图像。
此外,接收机也可以使用图像传感器10014a、10014c、10015a、10015c,如图265所示,进行交叉显示。
接着,对通常摄像和可见光摄像的时间比率进行说明。
图267是表示实施方式12的信号接收方法的一例的图。
接收机也可以如图267的(a)所示,按每个帧将摄像模式切换为通常摄像模式和可见光摄像模式。通常摄像模式是对接收机的图像传感器的所有摄像元件设定通常摄像用的长的曝光时间的摄像模式。可见光摄像模式是对接收机的图像传感器的所有摄像元件设定可见光摄像用的短的曝光时间的摄像模式。这样,通过切换曝光时间的长/短,既能通过短的曝光时间的摄像接收可见光信号,又能通过长的曝光时间的摄像来显示预览图像。
另外,接收机也可以在通过自动曝光决定长的曝光时间的情况下,无视通过短的曝光时间的摄像而得到的图像,仅以通过长的曝光时间的摄像而得到的图像的明亮度为基准而进行自动曝光。由此,能够将长的曝光时间决定为适当的时间。
此外,接收机也可以如图267的(b)所示,按每个具有多帧的组将摄像模式切换为通常摄像模式和可见光摄像模式。在曝光时间的切换花费时间的情况和/或到曝光时间稳定为止花费时间的情况下,如图267的(b)所示,通过按每个具有多帧的组使曝光时间变化,能够使可见光摄像(可见光信号的接收)和通常摄像同时成立。此外,组所包含的帧的数量越多,则曝光时间的切换的次数越少,所以能够抑制接收机的电力消耗和发热。
此处,通过以通常摄像模式下的长的曝光时间的摄像而连续生成的至少1个帧的数量和通过以可见光摄像模式下的短的曝光时间的摄像而连续生成的至少1个帧的数量的比(以下,称作时间比率)也可以不是1:1。即,在图267的(a)和(b)所示的情况下,时间比率是1:1,但其时间比率也可以不是1:1。
例如,接收机也可以如图267的(c)所示,将可见光摄像模式的帧设为比通常摄像模式的帧多。由此,能够使可见光信号的接收速度变快。若预览图像的帧速率为规定的速率以上,则由帧速率引起的预览图像的不同不会被人的眼识别。在摄像的帧速率充分高的情况,例如其帧速率为120fps的情况下,接收机对连续的3帧设定可见光摄像模式,对接下来的1帧设定可见光摄像模式。由此,接收机能够一边以比上述的规定的速率足够高的30fps的帧速率显示预览图像,一边高速地接收可见光信号。此外,因为切换的次数变少,所以还可得到图267的(b)所说明的效果。
此外,接收机也可以如图267的(d)所示,将通常摄像模式的帧设为比可见光摄像模式的帧多。这样,通过使通常摄像模式的帧即通过以长的曝光时间的摄像而得到的帧变多,能够平顺地显示预览图像。此外,因为进行可见光信号的接收处理的次数减少,所以具有省电力效果。此外,因为切换的次数变少,所以还可得到图267的(b)所说明的效果。
此外,接收机如图267的(e)所示,首先与图267的(a)所示的情况同样,按每个帧切换摄像模式,接着,当可见光信号的接收完成时,也可以与图267的(d)所示的情况同样,使通常摄像模式的帧变多。由此,在可见光信号的接收完成后,既能平顺地显示预览图像,又能继续是否存在新的可见光信号的探索。此外,因为切换的次数少,所以还可得到图267的(b)所说明的效果。
图268是表示实施方式12的信号接收方法的一例的流程图。
接收机开始接收可见光信号的处理即可见光接收(步骤S10017a),将曝光时间长短设定比设定为用户所指定的值(步骤S10017b)。曝光时间长短设定比是上述的空间比率与时间比率中的至少一个。用户可以仅指定空间比率、仅指定时间比率或者指定该空间比率和时间比率的双方的值,接收机也可以与用户的指定无关地自动设定。
接着,接收机判定接收性能是否为规定的值以下(步骤S10017c)。若判定为规定的值以下(步骤S10017c的“是”),则接收机将短的曝光时间的比率设定得高(步骤S10017d)。由此,能够提高接收性能。此外,短的曝光时间的比率在空间比率的情况下是设定短的曝光时间的摄像元件的数量相对于设定长的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以可见光摄像模式连续生成的帧的数量相对于以通常摄像模式连续生成的帧的数量的比率。
接着,接收机接收可见光信号的至少一部分,判定是否对该接收到的可见光信号的至少一部分(以下,称作接收信号)设定了优先度(步骤S10017e)。另外,在设定有优先度的情况下,表示优先度的识别码包含于接收信号。接收机在判定为设定有优先度时(步骤S10017e的“是”),按照该优先度设定曝光时间长短比(步骤S10017f)。即,优先度越高,接收机将短的曝光时间的比率设定得越高。例如,通过构成为发送机的紧急灯发生亮度变化,来发出表示高的优先度的识别码。在该情况下,接收机通过提高短的曝光时间的比率来提升接收速度,能够快速地显示避难路径等。
接着,接收机判定可见光信号的所有接收是否已完成(步骤S10017g)。这里,在判定为没有完成时(步骤S10017g的“否”),接收机反复执行来自步骤S10017c的处理。另一方面,在判定为已完成时(步骤S10017g的“是”),接收机将长的曝光时间的比率设定得高,转移至省电力模式(步骤S10017h)。此外,长的曝光时间的比率在空间比率的情况下,是被设定长的曝光时间的摄像元件的数量相对于被设定短的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以通常摄像模式连续生成的帧的数量相对于以可见光摄像模式连续生成的帧的数量的比率。由此,能够不进行不必要的可见光接收,而平顺地显示预览图像。
接着,接收机判定是否发现了其他可见光信号(步骤S10017i)。此处,在判定为发现了时(步骤S10017i的“是”),接收机反复执行自步骤S10017b起的处理。
接着,对可见光摄像和通常摄像的同时执行进行说明。
图269是表示实施方式12的信号接收方法的一例的图。
接收机也可以对图像传感器设定2个以上的曝光时间。即,如图269的(a)所示,图像传感器所包含的曝光线的各个以所设定的2个以上的曝光时间中最长的曝光时间连续曝光。接收机按每个曝光线,在上述的所设定的2个以上的曝光时间分别经过了的时刻,读出通过该曝光线的曝光而得到的摄像数据。这里,接收机在经过最长的曝光时间之前,不重置所读出的摄像数据。因此,接收机能够通过预先记录所读出的摄像数据的累积值,仅以最长的曝光时间的曝光得到多个曝光时间下的摄像数据。另外,图像传感器可以进行摄像数据的累积值的记录,也可以不进行。在图像传感器不进行的情况下,从图像传感器读出数据的接收机的构成要素进行累积的计算,即摄像数据的累积值的记录。
例如,在设定了2个曝光时间的情况下,如图269的(a)所示,接收机读出通过短的曝光时间的曝光而生成的包含可见光信号的可见光摄像数据,接着读出通过长的曝光时间的曝光而生成的通常摄像数据。
由此,能够同时进行用于接收可见光信号的摄像即可见光摄像和通常摄像,能够一边接收可见光信号一边进行通常的摄像。此外,通过使用多个曝光时间的数据,能够识别采用定理以上的信号频率,能够进行高频信号和/或高密度调制信号的接收。
进而,接收机在输出摄像数据时,如图269(b)所示,输出包含该摄像数据作为摄像数据主体的数据列。即,接收机通过将包含表示摄像模式(可见光摄像或者通常摄像)的摄像模式识别码、用于确定摄像元件或者摄像元件所属的曝光线的摄像元件识别码、表示摄像数据主体是第几个曝光时间的摄像数据的摄像数据号码以及表示摄像数据主体的大小的摄像数据长在内的附加信息附加于摄像数据主体,来生成并输出上述的数据列。在使用图269的(a)来说明的摄像数据的读出方法中,各个摄像数据不限于按曝光线的顺序输出。于是,通过附加图269的(b)所示的附加信息,能够确定摄像数据是哪个曝光线的摄像数据。
图270A是表示实施方式12的接收程序的处理的流程图。
该接收程序是使接收机所具备的计算机执行例如图262~图269所示的处理执行的程序。
即,该接收程序是用于从发生亮度变化的发光体接收信息的接收程序。具体而言,该接收程序使计算机执行步骤SA31、步骤SA32和步骤SA33。在步骤SA31中,对图像传感器所包含的K个(K为4以上的整数)摄像元件中的一部分的多个摄像元件设定第1曝光时间,对K个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。在步骤SA32中,通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。在步骤SA33中,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。
由此,因为通过被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件来进行摄像,所以能够在图像传感器的1次摄像中,取得通常图像和亮线图像。即,能够同时进行通常图像的摄像和可见光通信的信息的取得。
此外,在曝光时间设定步骤SA31中,可以对图像传感器所包含的L个(L为4以上的整数)摄像元件列中一部分的多个摄像元件列设定第1曝光时间,对L个摄像元件列中剩余的多个摄像元件列设定第2曝光时间。这里,L个摄像元件列分别包括图像传感器所包含的排列成一列的多个摄像元件。
由此,能够不对作为小单位的摄像元件分别单独设定曝光时间,而按每个作为大单位的摄像元件列设定曝光时间,减轻处理负担。
例如,L个摄像元件列分别如图262所示,是图像传感器所包含的曝光线。或者,L个摄像元件列分别如图263所示,包括沿着与图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。
此外,如图265所示,在曝光时间设定步骤SA31中,可以对图像传感器所包含的L个摄像元件列中处于第奇数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的一方,对L个摄像元件列中处于第偶数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方。然后,在反复进行曝光时间设定步骤SA31、图像取得步骤SA32和信息取得步骤SA33的情况下,在反复进行的曝光时间设定步骤SA31中,将在前一曝光时间设定步骤SA31中对第奇数列的摄像元件列分别设定的曝光时间与对第偶数列的摄像元件列分别设定的曝光时间调换。
由此,每当进行通常图像的取得时,能够将用于该取得的多个摄像元件列切换成第奇数列的多个摄像元件列和第偶数列的多个摄像元件列。结果,能够通过交叉来分别显示依次取得的通常图像。此外,通过相互补充连续取得的2个通常图像,能够生成包含第奇数列的多个摄像元件列的图像和第偶数列的多个摄像元件列的图像的新的通常图像。
此外,如图266所示,在曝光时间设定步骤SA31中,也可以将设定模式切换为通常优先模式和可见光优先模式,在被切换为通常优先模式的情况下,使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量多。此外,在被切换为可见光优先模式的情况下,可以使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量少。
由此,在设定模式被切换为通常优先模式的情况下,能够提高通常图像的画质,在被切换为可见光优先模式的情况下,能够提高来自发光体的信息的接收效率。
此外,也可以如图264所示那样,在曝光时间设定步骤SA31中,以被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分布为相间方格图案(Checkeredpattern)那样的方式按图像传感器所包含的每个摄像元件设定该摄像元件的曝光时间。
由此,因为被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分别均匀地分布,所以能够取得在水平方向和垂直方向上无画质的偏倚的通常图像和亮线图像。
图270B是实施方式12的接收装置的框图。
该接收装置A30是执行例如图262~图269所示的处理的上述的接收机。
即,该接收装置A30是从发生亮度变化的发光体接收信息的接收装置,具备多个曝光时间设定部A31、摄像部A32以及解码部A33。多个曝光时间设定部A31对图像传感器所包含的K个(K为4以上的整数)摄像元件中一部分的多个摄像元件设定第1曝光时间,对K个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。摄像部A32通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,来取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。解码部A33通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。在这样的接收装置A30中,能够起到与上述的接收程序同样的效果。
接着,对与所接收到的可见光信号相关的内容的显示进行说明。
图271和图272是示出接收到可见光信号时的接收机的显示的一例的图。
如图271的(a)所示,接收机在拍摄发送机10020d时,显示映出了该发送机10020d的图像10020a。进而,接收机通过对图像10020a叠加对象10020e,来生成并显示图像10020b。对象10020e是表示存在该发送机10020d的像的场所和接收到来自该发送机10020d的可见光信号的图像。对象10020e也可以是根据可见光信号的接收状态(接收中的状态、探索发送机的状态、进行接收的程度、接收速度或者错误率等)而不同的图像。例如,接收机使对象1020e的颜色、线的粗细、线的种类(单线、双重线或者虚线等)或者虚线的间隔等变化。由此,能够使用户识别接收状态。接着,接收机通过将表示取得数据的内容的图像作为取得数据图像10020f而叠加于图像10020a,来生成并显示图像10020c。取得数据是接收到的可见光信号或者与由接收到的可见光信号所表示的ID相关联的数据。
接收机在显示该取得数据图像10020f时,如图271的(a)所示那样,如来自发送机10020d的对白框那样显示取得数据图像10020f,或者在发送机10020d的附近显示取得数据图像10020f。此外,接收机也可以如图271的(b)所示那样,以取得数据图像10020f从发送机10020d逐渐向接收机侧靠近的方式显示该取得数据图像10020f。由此,能够使用户识别出取得数据图像10020f是基于从哪个发送机接收到的可见光信号的图像。此外,接收机也可以如图272所示,以取得数据图像10020f从接收机的显示器的端部逐渐出现的方式,显示该取得数据图像10020f。由此,能够使用户容易地认识到在此时取得了可见光信号。
接着,对AR(Augmented Reality)进行说明。
图273是表示取得数据图像10020f的显示的一例的图。
接收机在显示器内发送机的像移动了的情况下,使取得数据图像10020f与发送机的像的移动相应地移动。由此,能够使用户认识到取得数据图像10020f与该发送机相对应。此外,接收机也可以使取得数据图像10020f不与该发送机的像而是与其他东西相关联地显示。由此,能够进行AR显示。
接着,对取得数据的保存和丢弃进行说明。
图274是表示保存或者丢弃取得数据的情况下的操作的一例的图。
例如,接收机在如图274的(a)所示那样,由用户对取得数据图像10020f进行向下侧的滑动时,保存由该取得数据图像10020f表示的取得数据。接收机将保存的表示取得数据的取得数据图像10020f配置在其他已经保存的1个或者多个表示取得数据的取得数据图像的顶端或末端。由此,能够使用户识别由取得数据图像10020f表示的取得数据是最后保存的取得数据。例如,接收机如图274的(a)所示那样,将取得数据图像10020f配置成在多个取得数据图像中最靠跟前。
此外,接收机在如图274的(b)所示那样,由用户对取得数据图像10020f进行向右侧的滑动时,丢弃由该取得数据图像10020f表示的取得数据。或者,接收机也可以在通过用户移动接收机来使发送机的像从显示器退出(frame out)时,丢弃由取得数据图像10020f表示的取得数据。另外,滑动的方向是上下左右的哪一个都可以得到与上述同样的效果。接收机也可以显示与保存或者丢弃对应的滑动的方向。由此,能够使用户认识到能够通过该操作来进行保存或者丢弃。
接着,对取得数据的阅览进行说明。
图275是表示阅览取得数据时的显示例子的图。
接收机如图275的(a)所示,将所保存的多个取得数据的取得数据图像在显示器的下端重叠地较小地显示。此时,若用户点击显示的取得数据图像的一部分,则接收机如图275的(b)所示,将多个取得数据图像分别较大地显示。由此,仅在需要各取得数据的阅览时,将这些取得数据图像较大地显示,在非必要时,能够将显示器有效利用于其他显示。
若在图275的(b)所示的状态下,用户点击想要显示的取得数据图像,则接收机如图275的(c)所示那样,将该点击的取得数据图像更大地显示,在该取得数据图像中显示较多的信息。此外,若用户点击背面显示按钮10024a,则接收机显示取得数据图像的背面,显示与该取得数据相关联的其他的数据。
接着,对使事故位置推测时的手抖动修正关闭进行说明。
接收机通过使手抖动修正无效(关闭)或者与手抖动修正的修正方向和修正量对应地变换摄像图像,能够取得准确的摄像方向,准确地进行自身位置推测。另外,摄像图像是通过接收机的摄像部的摄像而得到的图像。此外,自身位置推测是接收机推测自身的位置。在自身位置推测中,具体而言,接收机基于所接收到的可见光信号来确定发送机的位置,基于映在摄像图像的发送机的大小、位置或者形状等,来确定接收机与发送机之间的相对的位置关系。然后,接收机基于发送机的位置、接收机与发送机之间的相对的位置关系,来推测接收机的位置。
此外,在图262等所示的仅使用一部分的曝光线来进行摄像的部分读出时,即进行图262等所示的摄像时,因接收机的稍稍的抖动,发送机就会退出。这样的情况下,接收机通过将手抖动修正设为有效,能够持续接收信号。
接着,对使用非对称形的发光部的自身位置推测进行说明。
图276是表示实施方式12的发送机的一例的图。
上述的发送机具备发光部,通过使该发光部发生亮度变化来发送可见光信号。在上述的自身位置推测中,接收机基于摄像图像中的发送机(具体而言发光部)的形状,作为接收机与发送机之间的相对的位置关系,求出接收机与发送机之间的相对角度。这里,例如在如图276所示那样,发送机具备旋转对称的形状的发光部10090a的情况下,不能如上述那样基于摄像图像中的发送机的形状,准确地求出发送机与接收机之间的相对角度。于是,优选发送机具备非旋转对称的形状的发光部。由此,接收机能够准确地求出上述的相对角度。即,由于在用于取得角度的方位传感器中计测结果的误差大,所以接收机通过使用由上述的方法求出的相对角度,能够进行准确的自身位置推测。
这里,发送机也可以如图276所示那样,具备非完全的旋转对称的形状的发光部10090b。该发光部10090b的形状虽然相对于90°的旋转是对称形状,但并非完全的旋转对称。在该情况下,接收机利用方位传感器求出大致的角度,进而通过使用摄像图像中的发送机的形状,能够唯一地限定接收机与发送机之间的相对角度,能够进行准确的自身位置推测。
此外,发送机也可以具备图276所示的发光部10090c。该发光部10090c的形状基本上是旋转对称的形状。但是,通过在该发光部10090c的一部分设置导光板等,使得发光部10090c的形状成为非旋转对称的形状。
此外,发送机也可以具备图276所示的发光部10090d。该发光部10090d具备分别旋转对称的形状的照明。但是,通过将它们组合配置而构成的发光部10090d的整体形状不是旋转对称的形状。因此,接收机能够通过拍摄该发送机,来进行准确的自身位置推测。此外,并非发光部10090d所包含的所有照明需要是为了发送可见光信号而发生亮度变化的可见光通信用的照明,也可以仅一部分的照明是可见光通信用的照明。
此外,发送机也可以具备图276所示的发光部10090e和物体10090f。这里,物体10090f是构成为与发光部10090e之间的位置关系不变化的物体(例如,火灾报知机和/或配管等)。因为发光部10090e与物体10090f的组合的形状不是旋转对称的形状,所以接收机能够通过拍摄发光部10090e和物体10090f,来准确地进行自身位置推测。
接着,对自身位置推测的时序处理进行说明。
接收机在每当摄像时,能够根据摄像图像中的发送机的位置和形状,进行自身位置推测。结果,接收机能够推测摄像中的接收机的移动方向和距离。此外,接收机通过进行使用多个帧或者图像的三角测量,能够进行更准确的自身位置推测。通过综合使用多个图像的推测结果和/或使用不同组合的多个图像的推测结果,接收机能够更准确地进行自身位置推测。此时,接收机通过将根据最近的摄像图像推测的结果比较看重地进行综合,能够更准确地进行自身位置推测。
接着,对光学黑体的跳过进行说明。
图277是表示实施方式12的接收方法的一例的图。另外,图277所示的表的横轴表示时刻,纵轴表示图像传感器内的各曝光线的位置。进而,该曲线图的实线箭头表示开始图像传感器内的各曝光线的曝光的时刻(曝光定时)。
接收机在通常摄像时,如图277的(a)所示那样,读出图像传感器的水平光学黑体的信号,但也可以如图277的(b)所示那样,跳过水平光学黑体的信号。由此,能够接收连续的可见光信号。
水平光学黑体是与曝光线水平方向的光学黑体。此外,垂直光学黑体是光学黑体中的水平光学黑体以外的部分。
接收机通过从光学黑体读出的信号来进行黑水平的调整,所以能够在可见光摄像开始时与通常摄像时同样地使用光学黑体,来调整黑水平。在能够利用垂直光学黑体的情况下,接收机通过仅使用垂直光学黑体来进行黑水平调整,能够进行连续接收和黑水平调整。在可见光摄像继续时,接收机也可以每隔规定的时间使用水平光学黑体来调整黑水平。接收机在交替进行通常摄像和可见光摄像的情况下,在连续进行可见光摄像时,跳过水平光学黑体的信号,在其以外时,读出水平光学黑体的信号。然后,接收机通过基于该读出的信号来进行黑水平的调整,能够连续地接收可见光信号,同时进行黑水平的调整。接收机也可以将可见光摄像图像的最暗的部分作为黑来进行黑水平的调整。
这样,通过将读出信号的光学黑体仅设为垂直光学黑体,能够进行连续的可见光信号的接收。此外,通过具备跳过水平光学黑体的信号的模式,能够在通常摄像时进行黑水平调整,在可见光摄像时根据需要进行连续通信。此外,通过跳过水平光学黑体的信号,开始曝光线间的曝光的定时的差变大,所以还能够接收来自仅被拍摄得较小的发送机的可见光信号。
接着,对表示发送机的种类的识别码进行说明。
发送机也可以将表示发送机的种类的发送机识别码附加于可见光信号而进行发送。在该情况下,接收机能够在接收到发送机识别码的时刻,进行与该发送机的种类相应的接收动作。例如,在发送机识别码表示数字标牌的情况下,发送机除了用于进行发送机的个体识别的发送机ID之外,还将表示当前正在显示哪个内容的内容ID作为可见光信号发送。接收机通过基于发送机识别码将这些ID分开处理,能够显示与发送机当前显示的内容相符的信息。此外,例如,在发送机识别码表示数字标牌和/或紧急灯的情况下,接收机能够提高感光度而摄像,由此减低接收错误。
(实施方式13)
在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
首先,对本实施方式的头样式进行说明。
图278是表示本实施方式的头样式的例子的图。
发送机将发送的数据分割成数据包地发送。数据包例如由头和主体构成。头的亮度变化的样式,即头样式需要是主体中不存在的亮度变化的样式。由此,能够在连续发送的数据中确定数据包的位置。
例如,所发送的数据通过4PPM的调制方式而被调制。具体而言,在该4PPM中,所发送的数据被调制成4时隙中的1个时隙表示“0”,剩余的3个时隙表示“1”的亮度变化的样式。因此,若连续发送的数据被调制,则表示“0”的时隙连续的数量是2以下,在4时隙和接下来的4时隙中,表示“0”的时隙的数量是2以下。
于是,在本实施方式中,头样式被表达为图278的(a)所示的“111111111000”、(b)所示的“111111110001”、(c)所示的“111111101001”或者(d)所示的“111111100101”。由此,能够识别头和连续发送的数据(即主体)。即,在图278的(a)所示的头样式中,若只看头样式的后面的4时隙“1000”,则能够识别该4时隙是头的一部分。在该情况下,在头中表示“0”的时隙的数量是3,表示“0”的时隙所连续的最大的数量是4,所以接收机容易识别其亮度变化。即,接收机能够容易地接收来自小的发送机或者远的发送机的数据。
此外,在图278的(b)所示的头样式中,若只看头样式的后面的5时隙“10001”,则能够识别该5时隙是头的一部分。在该情况下,表示“0”的时隙所连续的最大的数量是3,比图278的(a)的情况少,所以能够抑制由其亮度变化引起的闪变。结果,能够抑制对发送机的回路的负担或者设计要求。即,能够减小电容器,能够抑制消耗电力、发热量或者对电源的负担。
此外,在图278的(c)或者(d)所示的头样式中,若只看头样式的后面的6时隙“101001”或者“100101”,则能够识别该6时隙是头的一部分。在该情况下,表示“0”的时隙所连续的最大的数量是2,比图278的(b)的情况更少,所以能够进一步抑制由该亮度变化引起的闪变。
图279是用来说明本实施方式的通信协议的数据包的结构的例子的图。
发送机将所发送的数据分割成数据包而发送。数据包由头、地址部、数据部以及错误订正码部构成。通过将头的亮度变化的样式设为在其他部分中不存在的亮度变化的样式,能够确定连续数据中的数据包的位置。在数据部中存储有分割的数据的一部分,地址部存储有表示数据部的数据是整体的哪个部分的地址。错误订正码部存储有用于检测或者订正数据包的一部分或者全部的接收错误的码(具体而言是图279所示的ECC1、ECC2或者ECC3,将它们合起来称作错误订正码)。
ECC1是地址部的错误订正码。通过不是设置数据包整体的错误订正码,而是设置地址部的错误订正码,能够与全体的可靠性相比使地址部的可靠性更高。由此,在接收到多个数据包时,通过比较相同地址的数据包的数据部,能够进行数据部的验证,能够降低接收错误率。即使使地址部的错误订正码比数据部的错误订正码长,也可得到同样的效果。
ECC2和ECC3是数据部的错误订正码。错误订正码部的数量也可以是2个以外。通过将数据部的错误订正码分成多个,能够使用到能够接收为止的错误订正码来进行错误订正,即使不接收数据包整体也能够接收可靠性高的数据。
发送机也可以发送规定的数量以下的数量的错误订正码。由此,接收机能够高速地接收数据。该发送方法对于例如射灯那样发光部的大小小且亮度高的发送机是有效的。这是因为,在亮度高的情况下,错误发生概率低,所以无需较多的错误订正码。在没有发送ECC3的情况下,在ECC2之后发送下一个头,所以亮度高的状态持续4时隙以上,接收机能够识别该部分不是ECC3。
另外,如图279的(b)所示那样,头、地址部以及ECC1以比数据部、ECC2和ECC3低的频率被发送。反而言之,数据部、ECC2和ECC3以比头、地址部以及ECC1高的频率被发送。由此,能够降低对头等数据的接收错误率,并且能够快速地发送数据部大的数据。
此处,对比较相同地址的数据部的接收方法进行说明。
图280是表示本实施方式的接收方法的一例的流程图。
接收机接收数据包(步骤S10101),进行错误订正(步骤S10102)。然后,接收机判定是否已经接收到与所接收的数据包的地址相同地址的数据包(步骤S10103)。这里,在判定为接收到了的情况下(步骤10103的“是”),接收机对这些数据进行比较。即,接收机判定数据部是否相等(步骤S10104)。这里,在判定为不相等的情况下(步骤S10104的“否”),接收机进一步判定多个数据部的差异是否为规定的数量以上,具体而言不同的位的数量或者亮度状态不同的时隙的数量是否为规定的数量以上(步骤S10105)。这里,若判定为规定的数量以上(步骤S10105的“否”),则接收机丢弃已经接收到的数据包(步骤S10106)。由此,在开始从其他发送机接收数据包时,能够避免与从以前的发送机接收到的数据包的混信。另一方面,若判定为不是规定的数量以上(步骤S10105的“否”),则接收机将具有相等数据部的数据包最多的数据部的数据设为该地址的数据(步骤S10107)。或者,接收机将相等的位最多的位设为该地址的该位的值。或者,接收机将相等的亮度状态最多的亮度状态设为该地址的该时隙的亮度状态,对该地址的数据进行解调。
这里,对于从多个数据包解调数据部的数据的接收方法进行说明。
图281是表示本实施方式的接收方法的一例的流程图。
首先,接收机接收数据包(步骤S10111),进行地址部的错误订正(步骤S10112)。此时,接收机不进行数据部的解调,原样保持通过摄像得到的像素值。然后,接收机判定在已经接收到的多个数据包中,是否存在规定数量以上的相同地址的数据包(步骤S10113)。这里,若判定为存在(步骤S10113的“是”),则接收机与相当于具有相同地址的多个数据包的数据部的部分的像素值相配合地进行解调处理。接收到多个数据包的定时分别不同,所以数据部的像素值成为反映了各自稍微不同的时刻的发送机的亮度的值。因此,如上述那样进行解调处理的部分会包含比单一数据包的数据部多的数据量(样本数)。由此,能够更准确地解调数据部。此外,通过样本数的增加,能够解调以更高的调制频率调制的信号。
如图279的(b)所示那样,数据部和其错误订正码部以比头部、地址部和地址部的错误订正码部更高的频率被调制。通过上述的解调方法,即使数据部以后以高的调制频率被调制也能够进行解调,所以根据该结构,能够缩短数据包整体的发送时间,即使从更远处,从更小的光源,也能够更快速地接收可见光信号。
接着,对接收可变长地址的数据的接收方法进行说明。
图282是表示本实施方式的接收方法的一例的流程图。
接收机接收数据包(步骤S10121),判定是否接收到数据部所有的位成为0的数据包(以下,称作0末端数据包)(步骤S10122)。这里,若判定为接收到了,即判定为存在0末端数据包(步骤S10122的“是”),则接收机判定该0末端数据包的地址以下的地址的数据包是否全部聚齐,即判定是否接收到了该0末端数据包的地址以下的所有的地址的数据包(步骤S10123)。另外,对于地址而言,针对通过对所发送的数据进行分割而生成的数据包的各个,按照这些数据包的发送顺序而被设为变大的值。接收机在判定为全部聚齐时(步骤S10123的“是”),判断为0末端数据包的地址是从发送机发送的数据包的最后的地址。然后,接收机通过将到0末端数据包为止的各地址的数据包的数据相关联,来复原数据(步骤 S10124)。然后,接收机进行复原了的数据的错误检验(步骤S10125)。由此,在不知道被发送的数据被分割成几部分的情况下,即,地址不是固定长而是可变长的情况下,也能够发送接收可变长地址的数据,能够以高的效率发送接收比固定长地址的数据多的ID。
接着,对使用比调制频率的周期长的曝光时间的接收方法进行说明。
图283和图284是用于对本实施方式的接收机使用比调制频率的周期(调制周期)长的曝光时间的接收方法进行说明的图。
例如如图283的(a)所示那样,若曝光时间被设定为与调制周期相等的时间,则有时不能正确地接收可见光信号。另外,调制周期是上述的1个时隙的时间。即,在这样的情况下,反映某时隙的亮度的状态的曝光线(图283中以黑表示的曝光线)少。结果,在这些曝光线的像素值偶然包含较多噪声的情况下,难以推测发送机的亮度。
另一方面,例如如图283的(b)所示那样,若曝光时间被设定为比调制周期长的时间,则能够正确地接收可见光信号。即,在这样的情况下,反映某时隙的亮度的曝光线多,所以能够根据较多的曝光线的像素值推测发送机的亮度,耐噪声强。
此外,若曝光时间过长,则反而不能正确地接收可见光信号。
例如,如图284的(a)所示那样,在曝光时间与调制周期相等的情况下,由接收机接收的亮度变化(即,各曝光线的像素值的变化)跟随用于发送信号的亮度变化。但是,如图284的(b)所示那样,在曝光时间为调制周期的3倍的情况下,由接收机接收的亮度变化不能充分地跟随用于发送信号的亮度变化。此外,如图284的(c)所示那样,在曝光时间为调制周期的10倍的情况下,由接收机接收的亮度变化完全不能跟随用于发送信号的亮度变化。即,曝光时间较长时能够根据较多的曝光线推测亮度,所以噪声耐性变高,但若曝光时间变长,则识别余裕下降,或者识别余裕变小,由此噪声耐性变低。通过他们的平衡,将曝光时间设为调制周期的2~5倍左右,能够使噪声耐性最高。
接着,对数据包的分割数量进行说明。
图285是表示相对于发送数据的大小的有效的分割数量的图。
在发送机通过亮度变化发送数据的情况下,若将所发送的所有数据(发送数据)包含于1个数据包,则该数据包的数据大小较大。但是,若如使用图279所说明那样,将该发送数据分割成多个部分数据,将这些部分数据包含于各数据包,则各个数据包的数据大小较小。这里,接收机通过摄像来接收该数据包。但是,数据包的数据大小越大,则接收机越难以通过一次摄像接收该数据包,需要反复进行摄像。
因此,发送机优选如图285的(a)和(b)所示那样,发送数据的数据大小越大则使该发送数据的分割数量越多。但是,若分割数过多,则若不全部接收这些部分数据则不能复原发送数据,所以反而接收效率下降。
因此,如图285的(a)所示那样,若在地址的数据大小(地址大小)可变、发送数据的数据大小为2-16位、16-24位、24-64位、66-78位、78-128位、128位以上的情况下,将发送数据分别分割成1-2个、2-4个、4个、4-6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。此外,如图285的(b)所示那样,在地址的数据大小(地址大小)固定为4位、发送数据的数据大小为2-8位、8-16位、16-30位、30-64位、66-80位、80-96位、96-132位、132位以上的情况下,将发送数据分别分割成1-2个、2-3个、2-4个、4-5个、4-7个、6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。
此外,发送机依次进行基于包含多个部分数据的各个的各数据包的亮度变化。例如,发送机按照各数据包的地址顺序,进行基于该数据包的亮度变化。进而,发送机也可以以与地址顺序不同的顺序,再次进行基于该多个部分数据的亮度变化。由此,能够使接收机可靠地接收各部分数据。
接着,对接收机的通知动作的设定方法进行说明。
图286A是表示本实施方式的设定方法的一例的图。
首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10131)。此处,通知动作是在包含多个部分数据的各个的各数据包通过亮度变化被发送而被接收机接收到时,向接收机的用户通知接收到这些数据包的接收机的动作。例如,该动作是声音的鸣动、振动或者画面显示等。
接着,接收机接收包含数据包化了的可见光信号、即多个部分数据的各个的各数据包(步骤S10132)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10133)。
然后,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10134)。另外,预先设定于接收机的通知动作识别码例如通过用户的操作而设定。
然后,接收机选择预先设定的通知动作识别码和在步骤S10131和步骤S10133中分别取得的通知动作识别码中优先度最高的识别码(步骤S10135)。接着,接收机通过重新自身设定所选择的通知动作识别码,来进行通过所选择的通知动作识别码表示的动作,向用户通知可见光信号的接收(步骤S10136)。
另外,接收机也可以不进行步骤S10131和步骤S10133的任一方,而从2个通知动作识别码中选择优先度高的通知动作识别码。
另外,也可以将从设置于剧场或者美术馆等的服务器发送的通知动作识别码的优先度或者在这些设施内发送的可见光信号所包含的通知动作识别码的优先度设定得高。由此,能够与用户的设定无关,在该设施内,不使用于接收通知的声音鸣响。此外,在其他设施中,通过使通知动作识别码的优先度低,由此接收机能够通过与用户的设定相应的动作来通知接收。
图286B是表示本实施方式的设定方法的另一例的图。
首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10141)。接着,接收机接收包含数据包化了的可见光信号,即多个部分数据的各个的各数据包(步骤S10142)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10143)。
进而,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤S10144)。
然后,接收机判定在预先设定的通知动作识别码和在步骤S10141和步骤S10143中分别取得的通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码(步骤S10145)。这里,若判定为包含(步骤S10145的“是”),则接收机鸣响用于通知接收完成的通知音(步骤S10146)。另一方面,若判定为不包含(步骤S10145的“否”),则接收机通过例如振动等,通知用户接收完成(步骤S10147)。
另外,接收机也可以不进行步骤S10141和步骤S10143的任一方,而判定在2个通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码。
此外,接收机也可以基于通过摄像而得到的图像来进行自身位置推测,通过与推测出的位置或者处于该位置的设施相关联的动作,通知用户接收。
图287A是表示实施方式13的信息处理程序的处理的流程图。
该信息处理程序是用于使上述的发送机的发光体按照图285所示的分割数而发生亮度变化的程序。
即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行以下步骤:编码步骤SA41,通过将发送对象的信息编码而生成编码信号;分割步骤SA42,在所生成的编码信号的位数处于24~64位的范围的情况下将编码信号分割为4个部分信号;以及输出步骤SA43,依次输出4个部分信号。另外,这些部分信号作为图279的(a)所示的数据包而输出。此外,信息处理程序也可以使计算机确定编码信号的位数,基于该确定出的位数,决定部分信号的数量。在该情况下,信息处理程序使计算机通过将编码信号分割,来生成该决定出的数量的部分信号。
由此,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割成4个部分信号而输出。结果,若按照所输出的4个部分信号而发光体发生亮度变化,则该4个部分信号分别作为可见光信号而发送并被接收机接收。这里,所输出的信号的位数越多,则接收机越难以通过摄像适当地接收该信号,接收效率下降。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有小的信号,则不能接收原来的信号,所以接收效率下降。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此能够以最高的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。
此外,在输出步骤SA43中,也可以按照第1顺序输出4个部分信号,然后按照与第1顺序不同的第2顺序再次输出4个部分信号。
由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过该变其顺序,能够抑制产生那样的情况。
此外,也可以如图286A和图286B所示那样,在输出步骤SA43中,还使通知动作识别码附随于4个部分信号而输出。通知动作识别码是用于识别在4个部分信号通过亮度变化被发送而被接收机接收时通知接收机的用户接收到4个部分信号的接收机的动作的识别码。
由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够接收机的通知动作。
此外,也可以如图286A和图286B所示那样,在输出步骤SA43中,还使用于识别通知动作识别码的优先度的优先度识别码附随于4个部分信号而输出。
由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其他通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其他通知动作识别码而识别的通知动作中的一方。
图287B是实施方式13的信息处理装置的框图。
该信息处理装置A40是用于按照图285所示的分割数使上述的发送机的发光体(发光部)发生亮度变化的装置。
即,该信息处理装置A40是为了通过亮度变化来发送发送对象的信息,而处理发送对象的信息的装置。具体而言,该信息处理装置A40具备:编码部A41,其通过将发送对象的信息编码而生成编码信号;分割部A42,其在所生成的编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号;以及输出部A43,其依次输出该4个部分信号。在这样的信息处理装置A40中,能够起到与上述信息处理程序同样的效果。
接着,对电子设备的网络连接的登录进行说明。
图288是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备构成为例如洗衣机等电子设备的发送机10131b、构成为例如智能电话的接收机10131a以及构成为无线接入点或者路由器的通信装置10131c。
图289是表示本实施方式的发送接收系统的处理动作的流程图。
发送机10131b在按下开始按钮时(步骤S10165),将SSID、口令、IP地址、MAC地址或者加密密钥等用于与自身连接的信息经由Wi-Fi、Bluetooth(注册商标)或者以太网(注册商标)等而发送(步骤S10166),等候连接。发送机10131b可以直接发送这些信息,也可以间接发送这些信息。在间接发送的情况下,发送机10131b发送与这些信息相关联的ID。接收到该ID的接收机10131a例如从服务器等下载与该ID相关联的信息。
接收机10131a接收该信息(步骤S10151),向发送机10131b连接,将用于向构成为无线接入点和/或路由器的通信装置10131c连接的信息(SSID、口令、IP地址、MAC地址或者加密密钥等)向发送机10131b发送(步骤S10152)。接收机10131a将发送机10131b用于向通信装置10131c连接的信息(MAC地址、IP地址或者加密密钥等)向通信装置10131c登记,使通信装置10131c等候连接。然后,接收机10131a通知发送机10131b从发送机10131b向通信装置10131c的连接准备完成(步骤S10153)。
发送机10131b切断与接收机10131a的连接(步骤S10168),向通信装置10131c连接(步骤S10169)。若连接成功(步骤S10170的“是”),则发送机10131b经由通信装置10131c通知接收机10131a连接成功,通过画面显示、LED的状态、声音等通知用户连接成功(步骤S10171)。若连接失败(步骤S10170的“否”),则发送机10131b通过可见光通信通知接收机10131a连接失败,与成功时同样地通知用户(步骤S10172)。此外,也可以通过可见光通信通知连接成功。
接收机10131a与通信装置10131c连接(步骤S10154),若无连接成功或失败的通知(步骤S10155的“否”,且步骤S10156的“否”),则确认是否能够经由通信装置10131c来访问发送机10131b(步骤S10157)。若不能(步骤S10157的“否”),则接收机10131a使用从发送机10131b接收到的信息来判定是否向发送机10131b进行了规定次数以上的连接(步骤S10158)。这里,若判定为没有进行规定次数以上(步骤S10158的“否”),则接收机10131a反复进行自步骤S10152起的处理。另一方面,若判定为进行了规定次数以上(步骤S10158的“是”),则接收机10131a通知用户处理失败(步骤S10159)。此外,接收机10131a若在步骤S10156中判定为产生了连接成功的通知(步骤S10156的“是”),则通知用户处理成功(步骤S10160)。即,接收机10131a通过画面显示、声音等通知用户发送机10131b是否成功地与通信装置10131c连接。由此,即使用户不进行复杂的输入,也能够使发送机10131b向通信装置10131c连接。
接着,对电子设备的网络连接的登录(经由其他电子设备来连接的情况)进行说明。
图290是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备:空调10133b、构成为与空调10133b连接的无线适配器等电子设备的发送机10133c、构成为例如智能电话的接收机10133a、构成为无线接入点或者路由器的通信装置10133d以及构成为例如无线适配器、无线无线接入点或者路由器等的其他电子设备10133e。
图291是表示本实施方式的发送接收系统的处理动作的流程图。另外,以下,将空调10133b或者发送机10133c称作电子设备A,将电子设备10133e称作电子设备B。
首先,电子设备A在按下开始按钮时(步骤S10188),发送用于与自身连接的信息(个体ID、口令、IP地址、MAC地址或者加密密钥等)(步骤S10189),等候连接(步骤S10190)。电子设备A可以将这些信息与上述同样地直接发送,也可以间接发送。
接收机10133a从电子设备A接收该信息(步骤S10181),向电子设备B发送该信息(步骤S10182)。电子设备B在接收到该信息时(步骤S10196),按照该接收到的信息向电子设备A连接(步骤S10197)。然后,电子设备B判定与电子设备A的连接是否成立(步骤S10198),将该是否成立通知给接收机10133a(步骤S10199或者步骤S101200)。
电子设备A若在规定的时间的期间内与电子设备B连接(步骤S10191的“是”),则经由电子设备B通知接收机10133a连接成功(步骤S10192),若没有连接(步骤S10191的“否”),则通过可见光通信通知接收机10133a连接失败(步骤S10193)。另外,电子设备A通过画面显示、发光状态、声音等,通知用户连接是否成功。由此,即使用户不进行复杂的输入,也能够使电子设备A(发送机10133c)向电子设备B(电子设备10133e)连接。此外,图290所示的空调10133b和发送机10133c可以一体构成,同样通信装置10133d和电子设备10133e也可以一体构成。
接着,对适当的摄像信息的发送进行说明。
图292是用来说明本实施方式的发送接收系统的应用例的图。
该发送接收系统具备构成为例如数字静态照相机和/或数字摄影机的接收机10135a和构成为例如照明的发送机10135b。
图293是表示本实施方式的发送接收系统的处理动作的流程图。
首先,接收机10135a向发送机10135b发送摄像信息发送命令(步骤S10211)。接着,发送机10135b在接收到摄像信息发送命令的情况下、按下了摄像信息发送按钮的情况下、摄像信息发送开关接通的情况下、接入了电源的情况下(步骤S10221的“是”),发送摄像信息(步骤S10222)。摄像信息发送命令是用于发送摄像信息的命令,摄像信息表示例如照明的色温度、光谱分布、照度或者配光。发送机10135b与上述同样,可以直接发送摄像信息,也可以间接发送摄像信息。在间接发送的情况下,发送机10135b发送与摄像信息相关联的ID。接收到该ID的接收机10135a例如从服务器等下载与该ID相关联的摄像信息。此时,发送机10135b也可以发送用于向自身发送发送停止命令的方法(传送发送停止命令的电波、红外线或者音波的频率或者用于向自身连接的SSID、口令或IP地址等)。
接收机10135a在接收到摄像信息时(步骤S10212),将发送停止命令向发送机10135b发送(步骤S10213)。这里,发送机10135b在从接收机10135a接收到发送停止命令时(步骤S10223的),停止摄像信息的发送,均匀地发光(步骤S10224)。
进而,接收机10135a按照在步骤S10212中接收到的摄像信息设定摄像参数(步骤S10214),或者,通知用户摄像信息。摄像参数例如是白平衡、曝光时间、焦点距离、感光度或者场景模式。由此,能够与照明相应地以最佳的设定进行摄像。接着,接收机10135a在停止来自发送机10135b的摄像信息的发送之后(步骤S10215的“是”),进行摄像(步骤S10216)。由此,能够消除由信号发送引起的被拍摄对象的明亮度的变化而进行摄像。另外,接收机10135a也可以在步骤S10216后,将促进开始发送摄像信息的发送开始命令向发送机10135b发送(步骤S10217)。
接着,对充电状态的显示进行说明。
图294是用来说明本实施方式的发送机的应用例的图。
构成为例如充电器的发送机10137b具备发光部,将表示蓄电池的充电状态的可见光信号从发光部发送。由此,即使不具备高价的显示装置,也能够通知蓄电池的充电状态。另外,在作为发光部使用了小的LED的情况下,若不从附近拍摄该LED,则不能接收可见光信号。此外,在该LED的附近存在突起部的发送机10137c中,突起部成为妨碍而难以近拍LED。因此,与来自发送机10137c的可见光信号相比,来自在LED的附近无突起部的发送机10137b的可见光信号能够更容易接收。
(实施方式14)
在本实施方式中,对使用上述各实施方式的智能电话等接收机和LED和/或作为有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
首先,对演示模式时和故障时的发送进行说明。
图295是说明本实施方式的发送机的动作的一例的图。
发送机在产生了错误的情况下,能够通过发送表示产生了错误的信号或者与错误码对应的信号,来传递接收机产生了错误和/或错误内容。接收机能够通过与错误内容相应地表示适当的对应,来修复错误或者向服务中心适当地报告错误内容。
发送机在成为演示模式的情况下,发送演示码。由此,在例如店面处进行作为商品的发送机的演示的情况下,来店者能够接收演示码,取得与演示码相关联的商品说明。是否处于演示模式的判断能够根据发送机的动作设定成为了演示模式、插入了店面用CAS卡、没有插入CAS卡、没有插入记录用媒体这些点来判断。
接着,对来自遥控器的信号发送进行说明。
图296是说明本实施方式的发送机的动作的一例的图。
在例如构成为空调的遥控器的发送机接收了本体信息时,通过发送机发送本体信息,接收机能够从位于附近的发送机接收远处的本体的信息。接收机也能够从越过网络等而存在于不能进行可见光通信的场所的本体接收信息。
接着,对仅在处于亮的场所时发送的处理进行说明。
图297是说明本实施方式的发送机的动作的一例的图。
发送机在周围的明亮度为一定以上时进行发送,在成为一定以下时停止发送。由此,构成为例如电车的广告的发送机能够在车辆入库时自动停止动作,能够抑制电池的消耗。
接着,对与发送机的显示相符的内容分发(相关联的变更/调度)进行说明。
图298是说明本实施方式的发送机的动作的一例的图。
发送机与显示的内容的显示定时相配合,将想要使接收机取得的内容与发送ID相关联。每当变更显示内容时,将相关联的变更向服务器登记。
发送机在显示内容的显示定时为已知的情况下,以与显示内容的变化定时相配合而将其他内容交付给接收机的方式设定服务器。服务器在接收机要求与发送ID相关联的内容时,将与所设定的计划相符的内容向接收机发送。
由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
接着,对与发送机的显示相符的内容分发(时刻的同步)进行说明。
图299是说明本实施方式的发送机的动作的一例的图。
对于与规定的ID相关联的内容取得的要求,以根据时刻而交付不同内容的方式,预先向服务器登记。
发送机与服务器同步时刻,以在规定的时刻显示规定的部分的方式调整定时而显示内容。
由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
接着,对与发送机的显示相符的内容分发(显示时刻的发送)进行说明。
图300是说明本实施方式的发送机和接收机的动作的一例的图。
发送机除了发送机的ID之外,还发送显示中的内容的显示时刻。内容显示时刻是能够确定当前显示的内容的信息,例如能够表现为自内容的开始时刻起的经过时刻等。
接收机从服务器取得与所接收到的ID相关联的内容,与所接收到的显示时刻相符地显示内容。由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。
此外,接收机随着时间的经过,变更显示的内容。由此,即使在发送机的显示内容变化时不再次接收信号,也可显示与显示内容相符的内容。
接着,对与用户的许诺状况相符的数据的上传进行说明。
图301是说明本实施方式的接收机的动作的一例的图。
接收机在用户进行了账户登录的情况下,将账户登录时等用户进行了访问许可的信息(接收机的位置、电话号码、ID、安装的应用、用户的年龄、性别、职业、喜好等)与接收到的ID相配合地向服务器发送。
在没有进行账户登录的情况下,若用户允许上述那样的信息的上传,则同样向服务器发送,在没有许可的情况下,仅将所接收到的ID向服务器发送。
由此,用户能够接收与接收时的状况和/或自身的个性相符的内容,此外,服务器能够通过得到用户的信息而有助于数据解析。
接着,对内容再现应用的起动进行说明。
图302是说明本实施方式的接收机的动作的一例的图。
接收机从服务器取得与所接收到的ID相关联的内容。在起动中的应用能够处理取得内容(能够显示或者再现)的情况下,通过起动中的应用来显示/再现取得内容。在不能处理的情况下,确认可处理的应用是否安装于接收机,在安装有可处理的应用的情况下,起动该应用而进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。
由此,能够适当地处理取得内容(进行显示/再现等)。
接着,对指定应用的起动进行说明。
图303是说明本实施方式的接收机的动作的一例的图。
接收机从服务器取得与所接收到的ID相关联的内容和指定要起动的应用的信息(应用ID)。在起动中的应用为指定应用的情况下,显示/再现所取得的内容。在指定应用安装于接收机的情况下,起动指定应用来进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。
接收机也可以从服务器仅取得应用ID,起动指定应用。
接收机也可以进行所指定的设定。接收机也可以设定所指定的参数,起动所指定的应用。
接着,对流播放接收和通常接收的选择进行说明。
图304是说明本实施方式的接收机的动作的一例的图。
接收机在所接收到的数据的规定的地址的值是规定的值的情况和/或所接收到的数据包含规定的识别码的情况下,判断为信号被流播放分发,以流播放数据的接收方法进行接收。在不是这样的情况下,以通常的接收方法来接收。
由此,以流播放分发和通常分发的任一方法发送信号都能够进行接收。
接着,对私人数据进行说明。
图305是说明本实施方式的接收机的动作的一例的图。
接收机在所接收到的ID的值处于规定的范围内的情况和/或包含规定的识别码的情况下,在应用内参照表格,若接收ID存在于表格,则取得由该表格指定的内容。在不是这样的情况下,从服务器取得被设为了接收ID的内容。
由此,即使不向服务器进行登录也能够接收内容。此外,因为不进行与服务器的通信,所以可得到迅速的回应。
接着,对与频率相符的曝光时间的设定进行说明。
图306是说明本实施方式的接收机的动作的一例的图。
接收机检测信号,识别信号的调制频率。接收机与调制频率的周期(调制周期)相应地设定曝光时间。例如,通过设为与调制周期同程度的曝光时间,能够容易地接收信号。此外,例如,通过将曝光时间设定成调制周期的整数倍或者与其接近的值(大致±30%左右),能够通过卷积解码容易地接收信号。
接着,对发送机的最佳参数设定进行说明。
图307是说明本实施方式的接收机的动作的一例的图。
除了从发送机接收的数据之外,接收机还将与当前位置信息和/或用户关联的信息(住所、性别、年龄、喜好等)向服务器发送。服务器与所接收的信息相应地,将用于使发送机最佳地动作的参数向接收机发送。接收机在能够对发送机设定所接收到的参数的情况下进行设定。在不能设定的情况下,显示参数,促使用户对发送机设定该参数。
由此,例如,能够与使用发送机的地域的水的性质最适化地使洗衣机动作,或者以最适合于用户所使用的米的种类的方法来煮饭的方式使电饭锅动作。
接着,对表示数据的结构的识别码进行说明。
图308是说明本实施方式的发送数据的结构的一例的图。
发送的信息包含识别码,接收机能够根据其值来得知后续的部分的结构。例如,能够确定数据的长度、错误订正码的种类和/或长度、数据的分割点等。
由此,发送机能够根据发送机和/或通信路的性质来变更数据本体和/或错误订正码的种类和/或长度。此外,发送机通过除了发送机的ID之外,还发送内容ID,能够使接收机取得与内容ID相应的ID。
(实施方式15)
在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为LED和/或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图309A是用来说明本实施方式的发送机的图。
本实施方式的发送机例如构成为液晶显示器的背光源,具备蓝色LED2303和包括绿色荧光成分2304和红色荧光成分2305的荧光体2310。
蓝色LED2303发出蓝色(B)的光。荧光体2310在接受从蓝色LED2303发出的蓝色的光作为激发光时呈黄色(Y)地发光。即,荧光体2310发出黄色的光。详细而言,荧光体2130由于包括绿色荧光成分2301和红色荧光成分2305,所以通过这些荧光成分的发光而发出黄色的光。这2个荧光成分中的绿色荧光成分2304在接受从蓝色LED2303发出的蓝色的光作为激发光时,呈绿色地发光。即,绿色荧光成分2304发出绿色(G)的光。上述2个荧光成分中的红色荧光成分2305在接受从蓝色LED2303发出的蓝色的光作为激发光时,呈红色地发光。即,红色荧光成分2305发出红色(R)的光。由此,发出RGB或者Y(RG)B的各个光,所以发送机输出白色光作为背光源。
该发送机通过使蓝色LED2303与上述各实施方式同样地发生亮度变化,来发送白色光的可见光信号。此时,通过白色光的亮度发生变化,来输出具有规定的输送频率的可见光信号。
这里,条码阅读器向条码照射红色激光,基于从条码反射的红色激光的亮度变化,来读取该条码。该红色激光的条码的读取频率有时与从当前实用化的一般的发送机输出的可见光信号的输送频率一致或者近似。因此,在这样的情况下,条码阅读器有时在想要读取被来自该一般的发送机的可见光信号即白色光照射的条码时,有时因该白色光所包含的红色的光的亮度变化,该读取失败。即,因可见光信号(尤其是红色的光)的输送频率与条码的读取频率的干涉,产生条码的读取错误。
于是,本实施方式的红色荧光成分2305中,使用残光的持续时间比绿色荧光成分2304长的荧光材料。即,本实施方式的红色荧光成分2305以比蓝色LED2303和绿色荧光成分2304的亮度变化的频率足够低的频率发生亮度变化。换言之,红色荧光成分2305比可见光信号所包含的红色的亮度变化的频率慢。
图309B是表示RGB各自的亮度变化的图。
来自蓝色LED2303的蓝色的光如图309B的(a)所示那样,包含于可见光信号而被输出。绿色荧光成分2304如图309B的(b)所示那样,在接受来自蓝色LED2303的蓝色的光时,发出绿色光。该绿色荧光成分2304的残光的持续时间短。因此,在该蓝色LED2303发生亮度变化时,绿色荧光成分2304发出以与该蓝色LED2303的亮度变化的频率(即可见光信号的输送频率)大致相同的频率进行亮度变化的绿色的光。
红色荧光成分2305如图309B的(c)所示那样,在接受来自蓝色LED2303的蓝色的光时,发出红色光。该红色荧光成分2305的残光的持续时间长。因此,在该蓝色LED2303发生亮度变化时,红色荧光成分2305发出以比该蓝色LED2303的亮度变化的频率(即可见光信号的输送频率)低的频率进行亮度变化的红色的光。
图310是表示本实施方式的绿色荧光成分2304和红色荧光成分2305的残光特性的图。
绿色荧光成分2304在例如蓝色LED2303不发生亮度变化地点亮的情况下,不发生亮度变化地发出强度I=I0的绿色的光(即亮度变化的频率f=0的光)。此外,即使蓝色LED2303以低频率发生亮度变化,绿色荧光成分2304也发出以与该低频率大致相同频率f发生亮度变化的强度I=I0的绿色的光。但是,在蓝色LED2303以高频率发生亮度变化时,以与该高频率大致相同频率f发生亮度变化的从绿色荧光成分230发出的绿色的光的强度I因绿色荧光成分2304的残光的影响,而变得比强度I0小。结果,从绿色荧光成分2304发出的绿色的光的强度I如图310的虚线所示那样,在该光的亮度变化的频率f不足阈值fb的情况下,保持为I=I0,但在频率f超过阈值fb而变高时,逐渐变小。
此外,本实施方式的红色荧光成分2305的残光的持续时间比绿色荧光成分2304的残光的持续时间长。因此,从红色荧光成分2305发出的红色的光的强度I如图310的实线所示那样,该光的亮度变化的频率f在不足比上述阈值fb低的阈值fa时,保持I=I0,但在频率f超过阈值fb而变高时,逐渐变小。换言之,从红色荧光成分2305发出的红色的光不存在于从绿色荧光成分2304发出的绿色的光的频带中的高频区域,而是仅存在于低频区域。
更具体而言,本实施方式的红色荧光成分2305中,使用以与可见光信号的输送频率f1相同的频率f发出的红色的光的强度I成为I=I1的荧光材料。输送频率f1是发送机所具备的蓝色LED2303的亮度变化的输送频率。此外,上述的强度I1是强度I0的1/3的强度或者强度I0的-10dB的强度。例如,输送频率f1是10kHz或者5~100kHz。
即,本实施方式的发送机是发送可见光信号的发送机,具备:蓝色LED,其将发生亮度变化的蓝色的光作为上述可见光信号所包含的光而发出;绿色荧光成分,其通过接受上述蓝色的光而将绿色的光作为上述可见光信号所包含的光发出;以及红色荧光成分,其通过接受上述蓝色的光而将红色的光作为上述可见光信号所包含的光而发出。并且,上述红色荧光成分的残光的持续时间比绿色荧光成分的残光的持续时间长。另外,上述绿色荧光成分和上述红色荧光成分也可以包含于通过接受上述蓝色的光而将黄色的光作为上述可见光信号所包含的光而发出的单一荧光体。或者,也可以是,上述绿色荧光成分包含于绿色荧光体,且上述红色荧光成分包含于与上述绿色荧光体相独立的红色荧光体。
由此,红色荧光成分的残光的持续时间长,所以能够使红色的光以比蓝色和绿色的光的亮度变化的频率低的频率发生亮度变化。因此,即使白色光的可见光信号所包含的蓝色和绿色的光的亮度变化的频率与红色激光的条码的读取频率相同或者近似,也能够使白色光的可见光信号所包含的红色的光的频率与条码的读取频率大不相同。结果,能够抑制条码的读取错误的产生。
这里,上述红色荧光成分也可以发出以比从蓝色LED发出的光的亮度变化的频率低的频率发生亮度变化的红色的光。
此外,上述红色荧光成分也可以具备通过接受蓝色的光而发出红色的光的红色荧光材料和仅使规定的频带的光透射的低频滤光器。例如,上述低频滤光器仅使从上述蓝色LED发出的蓝色的光中的低域的频带的光透射而抵达上述红色荧光材料。另外,上述红色荧光材料也可以具有与上述绿色荧光成分相同的残光特性。或者,上述低频滤光器仅使通过从所述蓝色LED发出的蓝色的光抵达上述红色荧光材料而从上述红色荧光材料发出的红色的光中的低域的频带的光透射。在使用这样的低频滤光器的情况下,也能够与上述同样,抑制条码的读取错误的产生。
此外,上述红色荧光成分也可以包括具有预先确定的残光特性的荧光材料。例如,预先确定的残光特性是如下特性,在(a)将从上述红色荧光成分发出的红色的光的亮度变化的频率f为0的情况下的上述红色的光的强度设为I0,(b)将从上述蓝色LED发出的光的亮度变化的输送频率设为f1的情况下,在上述红色的光的频率f成为f=f1时,上述红色的光的强度成为上述I0的1/3以下或者-10dB以下。
由此,能够使可见光信号所包含的红色的光的频率与条码的读取频率切实地大不相同。结果,能够切实地抑制条码的读取错误的产生。
此外,所述输送频率f1也可以是大致10kHz。
由此,因为当前实用化的可见光信号的发送所使用的输送频率为9.6kHz,所以在该实用化的可见光信号的发送中,能够有效地抑制条码的读取错误的产生。
此外,所述输送频率f1也可以是大致5~100kHz。
因接收可见光信号的接收机的图像传感器(摄像元件)的进步,在今后的可见光通信中,设想会使用20kHz、40kHz、80kHz或者100kHz等的输送频率。因此,通过将上述的输送频率f1设为大致5~100kHz,在今后的可见光通信中,也能够有效地抑制条码的读取错误的产生。
此外,在本实施方式中,不管是绿色荧光成分和红色荧光成分包含于单一荧光体,还是这2个荧光成分分别包含于独立的荧光体,都能够起到上述各效果。即,即使在使用单一荧光体的情况下,从该荧光体发出的红色的光和绿色的光各自的残光特性、即频率特性也是不同的。因此,通过使用红色的光的残光特性或者频率特性差、绿色的光的残光特性或者频率特性优的单一荧光体,也能够起到上述各效果。另外,残光特性或者频率特性差是指残光的持续时间长或者高频带下的光的强度弱,残光特性或者频率特性优,是指残光的持续时间短或者高频带下的光的强度强。
这里,在图309A~图310所示的例子中,通过使可见光信号所包含的红色的亮度变化的频率慢,抑制了条码的读取错误的产生,但也可以通过提高可见光信号的输送频率,来抑制该读取错误的产生。
图311是用来说明为了抑制条码的读取错误的产生而新产生的课题的图。
如图311所示那样,在可见光信号的输送频率fc为约10kHz的情况下,条码的读取所使用的红色激光的读取频率也为约10~20kHz,所以彼此的频率会干涉,产生条码的读取错误。
于是,通过将可见光信号的输送频率fc从约10kHz提高到例如40kHz,能够抑制条码的读取错误的产生。
但是,若可见光信号的输送频率fc为约40kHz,则用于接收机通过摄影而对可见光信号进行采样的采样频率fs需要是80kHz以上。
即,因为在接收机中所需的采样频率fs高,所以产生接收机的处理负担增大这一新的课题。于是,为了解决该新的课题,本实施方式的接收机进行下采样(down sampling)。
图312是用来说明由本实施方式的接收机进行的下采样的图。
本实施方式的发送机2301构成为例如液晶显示器、数字标牌或者照明设备。并且,发送机2301输出频率调制后的可见光信号。此时,发送机2301将该可见光信号的输送频率fc切换成例如40kHz和45kHz。
本实施方式的接收机2302以例如30fps的帧速率摄影该发送机2301。此时,接收机2302与上述各实施方式的接收机同样地,以在通过摄影而得到的各图像(具体而言各帧)中产生亮线的方式,以短的曝光时间进行摄影。此外,接收机2302的摄影所使用的图像传感器中存在例如1000个曝光线。因此,在1帧的摄影中,通过1000个曝光线分别在不同的定时开始曝光,对可见光信号进行采样。结果,在1秒内,进行30fps×1000个=30000次的采样(30ks/秒)。换言之,可见光信号的采样频率fs成为30kHz。
按照一般的采样定理,在采样频率fs=30kHz下,仅能调解15kHz以下的输送频率的可见光信号。
但是,本实施方式的接收机2302在采样频率fs=30kHz下对输送频率fc=40kHz或者45kHz的可见光信号进行下采样。通过该下采样,虽然帧中产生混叠(alias),但本实施方式的接收机2302通过观察和分析该混叠,来推测可见光信号的输送频率fc。
图313是表示本实施方式的接收机2302的处理动作的流程图。
首先,接收机2302通过对被拍摄对象进行摄影,来对输送频率fc=40kHz或者45kHz的可见光信号,进行采样频率fs=30kHz的下采样(步骤S2310)。
接着,接收机2302观察和分析通过该下采样而得到的帧中产生的混叠(步骤S2311)。由此,接收机2302将该混叠的频率确定为例如5.1kHz或者5.5kHz。
然后,接收机2302基于该确定出的混叠的频率,来推测可见光信号的输送频率fc(步骤S2311)。即,接收机2302从混叠复原原来的频率。由此,接收机2302将可见光信号的输送频率fc推测为例如40kHz或者45kHz。
这样,本实施方式的接收机2302通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。例如,即使采样频率为fs=30kHz,接收机2302也能够接收30kHz~60kHz的输送频率的可见光信号。因此,能够将可见光信号的输送频率从当前实用化的频率(约10kHz)提高到30kHz~60kHz。结果,能够使可见光信号的输送频率与条码的读取频率(10~20kHz)大不相同,抑制彼此的频率的干涉。结果,能够抑制条码的读取错误的产生。
这样的本实施方式的接收方法是从被拍摄对象取得信息的接收方法,包括:曝光时间设定步骤,以在图像传感器对上述被拍摄对象的摄影而得到的帧中与上述被拍摄对象的亮度变化相应地产生与上述图像传感器所包含的多个曝光线对应的多个亮线的方式,设定上述图像传感器的曝光时间;摄影步骤,通过上述图像传感器所包含的上述多个曝光线分别反复依次在不同的时刻开始曝光,上述图像传感器以规定的帧速率且以所设定的上述曝光时间对发生亮度变化的上述被拍摄对象进行摄影;以及信息取得步骤,在通过上述摄影而得到的每个帧,通过对根据该帧所包含的上述多个亮线的样式而确定的数据进行解调,来取得信息。并且,在上述摄影步骤中,通过上述多个曝光线分别反复依次在不同的时刻开始曝光,以比通过上述被拍摄对象的亮度变化而发送的可见光信号的输送频率低的采样频率,对上述可见光信号进行下采样,在上述信息取得步骤中,在通过上述摄影而得到的每个帧,对根据该帧所包含的上述多个亮线的样式而确定的混叠的频率进行确定,根据确定出的上述混叠的频率来推测上述可见光信号的频率,通过对推测出的上述可见光信号的频率进行解调来取得上述信息。
在这样的接收方法中,通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。
此外,在上述下采样中,也可以对比30kHz高的输送频率的可见光信号进行下采样。由此,能够避免可见光信号的输送频率与条码的读取频率(10~20kHz)的干涉,能够更有效地抑制条码的读取错误。
(实施方式16)
图314是表示接收装置(摄像装置)的处理动作的图。具体而言,图314是用来对接收可见光通信的情况下通常摄像模式和微距(macro)摄像模式的切换处理的一例进行说明的图。
这里,接收装置1610接收由多个光源(在图314中,4个光源)构成的发送装置所发出的可见光。
首先,接收装置1610在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部(S1601)。另外,接收装置1610在转变为了进行可见光通信的模式的情况下,将摄像光源的框1611显示于画面。
在规定时间之后,接收装置1610将摄像部的摄像模式切换成微距摄像模式(S1602)。此外,从步骤S1601向步骤S1602切换的定时也可以不是步骤S1601后的规定时间,而是在判定为接收装置1610以光源处于框1611内的方式进行了摄像时。若这样切换成微距摄像模式,则用户只要在通过微距摄像模式而图像模糊前的通常摄像模式下的清楚的图像中使光源处于框1611内即可,因此能够容易地使光源处于框1611内。
接着,接收装置1610判定是否接收到了来自光源的信号(S1603)。若判定为接收到了来自光源的信号(在S1603中的“是”),则返回步骤S1601的通常摄像模式,若判定为没有接收到来自光源的信号(在S1603中的“否”),则持续步骤1602的微距摄像模式。另外,在步骤S1603中为“是”的情况下,也可以进行基于接收到的信号的处理(例如,显示所接收到的信号所表示的图像的处理)。
根据该接收装置1610,通过用户用手指触摸智能电话的光源1611的显示部来从通常摄像模式切换成微距摄像模式,由此能够在模糊的状态下拍摄多个光源。因而,在以微距摄像模式拍摄的图像中,包含大量比以通常摄像模式摄像的情况下的图像亮的区域。尤其是,在多个光源中相邻的2个光源之间,来自2个光源的光重叠,所以如图314的(a)的左图所示那样条纹状的影像离开,所以能够将不能作为连续信号接收这一课题作为用于成为右图那样连续的条纹的连续接收信号而进行解调。因为能够一次接收较长的码,所以具有响应时间变短这一效果。如图314的(b)所示,若首先以通常快门和通常焦点来对摄影图像进行摄影,则可得到美丽的通常的图像。但是,若如文字那样光源离开,则即使使快门高速化也不能得到连续数据,所以不能解调。接着,若使快门高速化并且将透镜的焦点用驱动部设为近距离(微距),则光源会模糊而扩开,所以4个光源相连,能够接收数据。接着若返回焦点,使快门速度返回通常,则可得到原来的美丽的图像。如(c)那样,在显示部中,将美丽的图像记录于存储器并进行显示,具有在显示部仅显示美丽的图像这一效果。与以通常摄像模式拍摄的图像相比,以微距摄像模式拍摄的图像中能够包括更多比规定的明亮度亮的区域。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成亮线的曝光线的数量。
图315是表示接收装置(摄像装置)的处理动作的图。具体而言,图315是用来对接收可见光通信的情况下的通常摄像模式和微距摄像模式的切换处理的另一例进行说明的图。
这里,接收装置1620接收从由多个光源(在图315中,4个光源)构成的发送装置所发出的可见光。
首先,接收装置1620在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部,摄像比接收装置1620的画面所显示的图像1622广的范围的图像1623。然后,将表示所拍摄的图像1623的图像数据和拍摄该图像1623时的接收装置1620的由陀螺仪传感器、地磁传感器以及加速度传感器检测到的表示接收装置1620的姿势的姿势信息保持于存储器(S1611)。另外,拍摄到的图像1623是以接收装置1620的画面所显示的图像1622为基准而在上下方向以及左右方向上大出规定的宽度的范围的图像。此外,接收装置1620在转变为了进行可见光通信的模式的情况下,将摄像光源的框1621显示于画面。
在规定时间之后,接收装置1620将摄像部的摄像模式切换为微距摄像模式(S1612)。另外,从步骤S1611向步骤S1612切换的定时可以不是步骤S1611后的规定时间,而是摄像图像1623并判断为表示所拍摄的图像1623的图像数据保持于存储器时。此时,接收装置1620基于保持于存储器的图像数据来显示图像1623中与接收装置1620的画面尺寸对应的尺寸的图像1624。
另外,此时接收装置1620所显示的图像1624是图像1623中一部分的图像,是根据由在步骤S1611中取得的姿势信息表示的接收装置1620的姿势(由空心虚线表示的位置)与当前的接收装置1620的姿势的差量而预测为当前的由接收装置1620摄像的区域的图像。即,图像1624是图像1623中一部分的图像,是与实际以微距摄像模式拍摄的图像1625的摄像对象对应的区域的图像。即,在步骤S1612中,取得从步骤S1611的时刻起变化了的姿势(摄像方向),根据取得的当前的姿势(摄像方向)来确定被推测为当前拍摄着的摄像对象,根据预先拍摄的图像1623来确定与当前的姿势(摄像方向)相应的图像1624,进行显示图像1624的处理。因而,接收装置1620如图315的图像1623所示,在接收装置1620从以空心虚线表示的位置向空心箭头的方向移动了的情况下,能够根据该移动量决定从图像1623裁出的图像1624的区域,显示所决定的区域的图像1623即图像1624。
由此,接收装置1620即使在以微距摄像模式摄像的情况下,也能够不显示以微距摄像模式拍摄的图像1625,而显示从更清楚的以通常摄像模式拍摄的图像1623中根据当前的接收装置1620的姿势而裁出的图像1624。在从焦点模糊了的图像离开距离的多个光源得到连续的可见光信息的同时、使显示部显示所存储的通常面像的本发明的方式中,预想到会产生如下课题,在用户使用智能电话来摄影时,会产生手抖动,实际的摄影图像与从存储器显示的静止图像的方向会偏离,用户难以将方向对准作为目标的光源。在该情况下,变得不能接收来自光源的数据,所以需要采取对策。但是,根据改良后的本发明,即使手抖动,通过图像摆动检测单元和/或每个振动陀螺仪的摆动检测单元,来检测手抖动,静止图像中的目标图像被向预定的方向位移,而用户会知道与照相机的方向的偏离。通过该显示,用户变得能够将照相机朝向作为目标的光源,所以能够将一边显示通常图像一边分割的多个光源光学连结地进行摄影,能够连续地接收信号。由此,能够在使通常图像显示之后接收分割成多个的光源。在该情况下,能够容易地以多个光源与框1621相对的方式调整接收装置1620的姿势。另外,在使焦点模糊的情况下,光源被分散,所以等价地亮度下降,通过提升照相机的ISO等的感光度,具有能够更可靠地接收可见光数据这一效果。
接着,接收装置1620判定是否接收到了来自光源的信号(S1613)。若判定为接收到了来自光源的信号(在S1613中的“是”),则返回步骤S1611的通常摄像模式,若判定为没有接收到来自光源的信号(在S1613中的“否”),则持续步骤1612的微距摄像模式。此外,也可以在步骤S1613中为“是”的情况下,进行基于所接收到的信号的处理(例如,显示由所接收的信号表示的图像的处理)。
在该接收装置1620中也与接收装置1610同样,在微距摄像模式中能够拍摄包含更亮的区域的图像。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成的亮线的曝光线的数量。
图316是表示接收装置(摄像装置)的处理动作的图。
此处,发送装置1630例如是电视机等显示装置,以规定时间间隔Δ1630通过可见光通信来发送不同的发送ID。具体而言,在时刻t1631、t1632、 t1633、t1634,分别发送作为与所显示的图像1631、1632、1633、1634对应的数据分别相关联的发送ID的ID1631、ID1632、ID1633、ID1634。即,从发送装置1630,以规定时间间隔Δt1630依次发送ID1631~ID1634。
接收装置1640基于通过可见光通信而接收到的发送ID向服务器1650要求与各发送ID相关联的数据,从服务器接收数据,显示与该数据对应的图像。具体而言,分别在时刻t1631、t1632、t1633、t1634显示与ID1631、ID1632、ID1633、ID1634分别对应的图像1641、1642、1643、1644。
接收装置1640也可以在取得了在时刻t1631接收到的ID1631的情况下,从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送ID的ID信息。在该情况下,接收装置1640通过使用所取得的ID信息,即使不每次都从发送装置1630接收发送ID,也能够向服务器1650要求与在时刻t1632~t1634的ID1632~ID1634相关联的数据,在各时刻t1632~t1634显示所接收到的数据。
此外,接收装置1640即使不从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送ID的信息,若在时刻t1631要求与ID1631对应的数据,则从服务器1650接收与在其后的时刻t1632~t1634对应的发送ID相关联的数据,在各时刻t1632~t1634显示所接收到的数据。即,服务器1650在从接收装置1640接收到了与在时刻t1631发送的ID1631相关联的数据的要求的情况下,即使不存在来自接收装置1640的要求,也在各时刻t1632~t1634对接收装置1640发送与对应于其后的时刻t1632~t1634的发送ID相关联的数据。即,在该情况下,服务器1650保持将各时刻t1631~1634和与对应于各时刻t1631~1634的发送ID相关联的数据建立了关联的相关联信息,基于相关联信息,在规定的时刻发送与该规定的时刻相关联的规定的数据。
这样,接收装置1640若能够在时刻t1631通过可见光通信取得发送ID1631,则在其后的时刻t1632~t1634,即使不进行可见光通信,也能够从服务器1650接收与各时刻t1632~t1634对应的数据。因而,用户不需要为了通过可见光通信来取得发送ID而将接收装置1640持续地朝向发送装置1630,能够容易地使接收装置1640显示从服务器1650取得的数据。在该情况下,接收装置1640在每次从服务器取得与ID对应的数据时,会产生来自服务器的时间延迟而响应时间变长。因此,为了使响应加快,从服务器等预先将与ID对应的数据存储于接收机的存储部,通过显示存储部中的与ID对应的数据,能够使响应时间加快。在该方式中,若对来自可见光发送机的发送信号预先加入输出下一ID的时间信息,则接收机侧即使不连续地接收可见光信号,在到了该时间时,也能够知晓下一ID的发送时间,所以具有无需将接收装置一直朝向光源的方向这一效果。该方式具有如下效果:在接收到可见光时,仅通过将发送机侧的时间信息(时钟)与接收机侧的时间信息(时钟)同步,即使在同步后不接收发送机的数据,也能够连续地显示与发送机同步了的画面。
此外,在上述的例子中,接收装置1640在时刻t1631、t1632、t1633以及t1634,分别显示与作为发送ID的ID1631、ID1632、ID1633以及ID1634的各个对应的图像1641、1642、1643、1644。此处,接收装置1640也可以如图317所示那样,在上述各时刻并非仅提示图像,还提示其他信息。即,接收装置1640在时刻t1631,显示与ID1631对应的图像1641,并且输出与该ID1631对应的音或者声音。此时,接收装置1640也可以显示在该图像显示的例如商品的购入网站。这样的音的输出和购入网站的显示在时刻t1631以外的时刻t1632、t1633以及t1634的各个也同样地进行。
接着,在如图314的(b)所示那样搭载了用于立体的左右2个照相机的智能电话的情况下,在左眼用照相机中以通常的快门速度、通常的焦点来显示通常的画质的图像。同时在右眼用照相机中,以比左眼高速的快门,并且/或者短的距离的焦点和/或设定成微距,得到本发明的条纹状的亮线,对数据进行解调。由此,可得到如下效果:在显示部显示通常的画质的图像,并且能够通过右眼照相机来接收距离上被分割了的多个光源的光通信数据。
(实施方式17)
以下,对可变长/可变分割数对应协议进行说明。
图318到图322是表示本实施方式的发送信号的一例的图。
发送数据包由前导码、TYPE、有效载荷、检验部构成。数据包可以连续地发送,也可以断续地发送。通过设置不发送数据包的期间,在背光源关闭时使液晶的状态变化,能够提高液晶显示器的动分辨率。通过使数据包发送间隔随机,能够避免混信。
在前导码使用4PPM中不出现的样式。通过使用短的基本样式,能够使接收处理简单。如图320的(b)和(c)所示,在将基本样式配置在后面的情况下,在接收到短的区间的情况下也能够接收数据包。如图320的(c)所示,通过将前导码的最先和最后设为1(亮度高的状态),能够准确地接收前导码。
通过由前导码的种类表达数据的分割数,不使用多余的发送时隙就能够使数据分割数可变。
通过根据TYPE的值使有效载荷长变化,能够使发送数据为可变长。在TYPE中,可以表达有效载荷长,也可以表达分割之前的数据长。通过由TYPE的值表达数据包的地址,接收机能够将所接收的数据包正确地排列。必要的地址的长度根据分割数而不同,所以也可以如图321的(c)所示,使TYPE的长度根据分割数而变化。此外,也可以根据前导码的种类和/或分割数,使TYPE的值所表达的有效载荷长(数据长)变化。
通过根据有效载荷长使检验部的长度变化,能够进行有效的错误订正(检测)。通过将检验部的最短的长度设为2位,能够有效地变换成4PPM。此外,通过根据有效载荷长使错误订正(检测)码的种类变化,能够有效地进行错误订正(检测)。也可以设为根据前导码的种类和/或TYPE的值而使检验部的长度和/或错误订正(检测)码的种类变化。
在有效载荷与分割数不同的组合中,存在成为相同数据长的组合。在这样的情况下,即使是相同数据值,通过使每个组合具有不同的含义,能够表达更多的值。
以下,对高速发送/亮度调制协议进行说明。
图323、图324是表示本实施方式的发送信号的一例的图。
发送数据包由前导码部、主体部以及亮度调整部构成。主体中包含地址部、数据部以及错误订正(检测)码部。通过许可断续的发送,可以得到与上述同样的效果。
如图324所示那样,通过将2个种类的平均亮度的前导码部、3个种类的平均亮度的主体部、以及能够连续地使平均亮度变化的亮度调整部的亮度变化组合,作为整体能够使平均亮度连续地变化。亮度调整部的连续的亮度变化能够通过使最大亮度变化或者使亮的期间和暗的期间的时间的比变化来实现。亮度50%附近存在2个种类的表达方法,所以可以以50%为边界而分开使用,也能够通过使2个种类的表达方法意指不同的数据,来表达更多的值。
在接收时,通过假定前导码部和主体部的4种组合来进行最大似然解码,将似然最大的样式设为接收信号,即使调光状态不明也能够接收信号。
因为前导码部的亮度变化是较少的2个种类,此外,是信号检测的开始部分,所以通过在该部分确定亮度的基准,能够有效地接收信号。
以下,对4PPM的卷积解码样式进行说明。
图325到图328是表示本实施方式的接收算法的一例的图。
在卷积长度为3时,若使用图324的前导码,则因为1和0是3连续,所以即使不进行卷积解码也能够原样检测前导码。
在4PPM的各个亮度中,卷积状态从图325向图328那样转变。通过在该各个的样式中进行最大似然推测,能够一边进行卷积解码一边接收信号。虽然图328的开始状态“000”“111”不存在于结束状态,但因为前导码的结束状态是该任一个状态,所以通过在主体部的最初的4时隙的最大似然解码中使用这些样式,能够准确地进行最大似然解码。
此处,将感光度设定得越高,或者,将曝光时间设定得越短,则伴随于摄像的噪声越多,所以通过在曝光线内增加为了求出平均亮度而使用的像素数,能够减低噪声。在将感光度设为N倍的情况下,通过将平均的像素数设为N的2次方倍,能够同等地抑制噪声量。相反,在将感光度设定得低、将曝光时间设定得长的情况下,通过减小平均的像素数,能够减轻计算负荷。
在将进行了最大似然解码时的最大似然路径的似然除以路径的长度而得到的值比规定的值低的情况下,因为解码结果不可靠,所以废弃解码出的信号。由此,能够减少接收错误。
在进行最大似然解码时的似然低的情况和/或进行了错误检测的情况下,通过在增加平均的像素数而减低了噪声的状态下再次进行解码处理,能够正确地接收。此外,在同样的情况且像素值高的情况下,通过降低感光度或者缩短曝光时间,能够正确地接收,此外,在像素值低的情况下,通过提高感光度或者加长曝光时间,能够正确地接收。
在将接收机的采样率(=相邻曝光线间的曝光定时的时间差的倒数)设为fHz时,将发送频率设为Nf/2+kHz。其中,N是整数,k<f/2。此时,对接收信号进行频率解析,高频成分不会被观察到,kHz作为混叠(alias)而求出。因而,例如在表示4值的情况下,通过分配为k={0,f/4,f/2,f×3/4},接收机能够识别各自的信号。此时,因为与仅使用kHz作为发送信号相比频率变高,所以可得到抑制闪烁等的效果。例如,虽然在数千Hz~数万Hz左右的频率下会诱发条码阅读器的读取错误,但通过使用其以上的频率,能够避免该问题。
条码阅读器读取红色的光线的反射光,所以通过从可见光通信信号除去红色的成分,能够除去对条码阅读器的读取的不利影响。为了从可见光通信信号除去红色的成分,存在使用发出与信号反相位的红色的光、使得波长长的成分的残光变大的滤光器和/或荧光体之类的方法。接收机通过从绿和/或蓝的成分的光的亮度接收信号,能够正确地接收信号。
根据用户针对发送机最后进行的动作,发送机使所发送的信号变化。由此,能够发送作为该操作的结果而产生的现象的信息,或者指示用户想要发送的信号。
发送机在用户最后进行操作之后以规定的时间发送信号。由此,能够抑制消耗电力,或者将微型计算机的定时器分配给其他的功能。
发送机仅在微型计算机的定时器没有使用于其他功能时发送信号。或者,发送机交替执行利用包含信号发送在内的微型计算机的定时器的功能。由此,能够以少的定时器构成发送机。
接收机仅在通过可见光通信接收规定的数据之后的规定时间的期间进行不同的动作。例如,若是从宣传板接收ID之后的1小时以内,则能够获得商品和/或服务的折扣,或下载用于游戏的活动品(campaign item)。由此,能够实现O2O服务和/或O2O2O服务。
接收机从发送机接收设定信息,与发送机的识别信息相关联地保存于接收机内的存储器。接收机从相同或者其他发送机接收识别信息,将相关联的设定信息设定于发送机。设定信息除了从发送机接收的以外,例如也可以是接收机的语言设定。由此,能够尽早地复原发送机的设定。此外,能够用户不进行输入,就对发送机进行适合于用户的设定。
接收机在接收处理的持续期间,进行通常摄像,并显示于预览画面。由此,能够不使接收性能下降地使更平顺的预览显示。
接收机连续或者断续地拍摄规定张数的可见光图像,并保存于存储器直到前一帧的摄像图像的处理结束,依次进行接收处理。由此,即使在接收机朝向发送机的时间短的情况下,也能够完成接收。
产业上的可利用性
本发明能够利用于信息通信装置等,尤其是能够在利用于智能电话、平板电脑、便携电话、智能手表、头戴式显示器等便携终端与空调、照明设备、电饭锅、电视机、录音机、投影仪等家电设备的通信方法的信息通信装置等加以利用。
附图标记说明
A10 信息处理装置
A11 频率决定部
A12 输出部
A20 接收装置
A21 曝光时间设定部
A22 摄像部
A23 解码部
A30 接收装置
A31 多个曝光时间设定部
A32 摄像部
A33 解码部
A40 信息处理装置
A41 编码部
A42 分割部
A43 输出部

Claims (13)

1.一种信息处理方法,是为了通过亮度变化来发送发送对象的信息而处理上述发送对象的信息的信息处理方法,包括:
决定步骤,通过将上述发送对象的信息编码,来决定多个亮度变化的频率;和
输出步骤,输出表示所决定的上述多个亮度变化的频率的信号,以使得通过发光体按照所决定的上述多个亮度变化的频率发生亮度变化来发送上述发送对象的信息,
在上述决定步骤中,
将至少包括第1频率和与上述第1频率不同的第2频率的多个频率决定为上述多个亮度变化的频率,
在上述输出步骤中,
以上述发光体在第1时间按照上述第1频率发生亮度变化,在经过上述第1时间后,在与上述第1时间不同的第2时间按照上述第2频率发生亮度变化的方式,将表示上述多个频率的信号作为表示所决定的上述多个亮度变化的频率的信号而进行输出,上述第1时间是与上述第1频率的一周期量相当的时间,
上述第2时间是与上述第2频率的一周期量相当的时间,
相对于表示上述第1频率的信号与表示上述第2频率的信号的输出顺序和/或输出次数的组合,将上述发送对象的信息编码。
2.根据权利要求1所述的信息处理方法,
在上述输出步骤中,
以表示上述第1频率的信号和表示上述第2频率的信号各自的输出次数不同的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
3.根据权利要求2所述的信息处理方法,
在上述输出步骤中,
以表示上述第1频率和上述第2频率的信号中的低频率的信号的输出次数比高频率的信号的输出次数多的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
4.根据权利要求2所述的信息处理方法,
在上述输出步骤中,
以表示上述第1频率和上述第2频率的信号中的高频率的信号的输出次数比低频率的信号的输出次数多的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
5.根据权利要求2~4中任一项所述的信息处理方法,
在上述输出步骤中,
以表示相同频率的信号不被连续输出的方式,反复输出表示上述第1频率的信号和表示上述第2频率的信号中的至少一方。
6.一种接收方法,用于从按照通过权利要求1~5中任一项所述的信息处理方法而输出的信号发生亮度变化的发光体接收信息,
包括:
曝光时间设定步骤,对图像传感器所包含的K个摄像元件中一部分的多个摄像元件设定第1曝光时间,对上述K个摄像元件中剩余的多个摄像元件,设定比上述第1曝光时间短的第2曝光时间,上述K为4以上的整数;
图像取得步骤,通过以所设定的上述第1曝光时间和上述第2曝光时间使上述图像传感器拍摄作为发生亮度变化的上述发光体的被拍摄对象,来取得与来自被设定了上述第1曝光时间的多个摄像元件的输出相应的通常图像,并且,取得亮线图像,该亮线图像是与来自被设定了上述第2曝光时间的多个摄像元件的输出相应的、包含与上述图像传感器所包含的多个曝光线分别对应的亮线的图像;以及
信息取得步骤,通过对所取得的上述亮线图像所包含的上述多个亮线的样式进行解码来取得信息。
7.根据权利要求6所述的接收方法,
在上述曝光时间设定步骤中,
对上述图像传感器所包含的L个摄像元件列中一部分的多个摄像元件列设定上述第1曝光时间,
对上述L个摄像元件列中剩余的多个摄像元件列设定上述第2曝光时间,
上述L个摄像元件列分别包括上述图像传感器所包含的排列成一列的多个摄像元件,
上述L为4以上的整数。
8.根据权利要求7所述的接收方法,
上述L个摄像元件列分别是上述图像传感器所包含的曝光线。
9.根据权利要求7所述的接收方法,
上述L个摄像元件列分别包括沿着与上述图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。
10.根据权利要求7~9中任一项所述的接收方法,
在上述曝光时间设定步骤中,
对上述图像传感器所包含的上述L个摄像元件列中处于第奇数列的摄像元件列分别设定同一曝光时间,即上述第1曝光时间和上述第2曝光时间中的一方,
对上述L个摄像元件列中处于第偶数列的摄像元件列分别设定同一曝光时间,即上述第1曝光时间和上述第2曝光时间中的另一方,
在反复进行上述曝光时间设定步骤、上述图像取得步骤和上述信息取得步骤的情况下,
在反复进行的上述曝光时间设定步骤中,
将在前一上述曝光时间设定步骤中对上述第奇数列的摄像元件列分别设定的曝光时间与对上述第偶数列的摄像元件列分别设定的曝光时间调换。
11.根据权利要求6~9中任一项所述的接收方法,
在上述曝光时间设定步骤中,
将设定模式切换为通常优先模式和可见光优先模式,
在切换为上述通常优先模式的情况下,
使被设定上述第1曝光时间的摄像元件的数量比被设定上述第2曝光时间的摄像元件的数量多,
在切换为上述可见光优先模式的情况下,
使被设定上述第1曝光时间的摄像元件的数量比被设定上述第2曝光时间的摄像元件的数量少。
12.根据权利要求6所述的接收方法,
在上述曝光时间设定步骤中,
以被设定上述第1曝光时间的多个摄像元件和被设定上述第2曝光时间的多个摄像元件分布为相间方格图案的方式,对上述图像传感器所包含的每个摄像元件,设定该摄像元件的曝光时间。
13.一种信息处理装置,为了通过亮度变化来发送发送对象的信息而处理上述发送对象的信息,具备:
决定部,其通过将上述发送对象的信息编码,来决定多个亮度变化的频率;和
输出部,其输出表示所决定的上述多个亮度变化的频率的信号,以使得通过发光体按照所决定的上述多个亮度变化的频率发生亮度变化来发送上述发送对象的信息,
上述决定部将至少包括第1频率和与上述第1频率不同的第2频率的多个频率决定为上述多个亮度变化的频率,
上述输出部以上述发光体在第1时间按照上述第1频率发生亮度变化,在经过上述第1时间后,在与上述第1时间不同的第2时间按照上述第2频率发生亮度变化的方式,将表示上述多个频率的信号作为表示所决定的上述多个亮度变化的频率的信号而进行输出,
上述第1时间是与上述第1频率的一周期量相当的时间,
上述第2时间是与上述第2频率的一周期量相当的时间,
相对于表示上述第1频率的信号与表示上述第2频率的信号的输出顺序和/或输出次数的组合,将上述发送对象的信息编码。
CN201480056651.0A 2013-12-27 2014-12-25 信息处理方法、接收方法和信息处理装置 Active CN105637783B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JPPCT/JP2013/007708 2013-12-27
PCT/JP2013/007708 WO2014103340A1 (ja) 2012-12-27 2013-12-27 情報通信方法
US201462019515P 2014-07-01 2014-07-01
US62/019,515 2014-07-01
US201462028991P 2014-07-25 2014-07-25
US62/028,991 2014-07-25
JP2014192032 2014-09-19
JP2014-192032 2014-09-19
JP2014232187 2014-11-14
JP2014-232187 2014-11-14
PCT/JP2014/006448 WO2015098108A1 (ja) 2013-12-27 2014-12-25 情報処理プログラム、受信プログラムおよび情報処理装置

Publications (2)

Publication Number Publication Date
CN105637783A CN105637783A (zh) 2016-06-01
CN105637783B true CN105637783B (zh) 2018-10-02

Family

ID=53478004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056651.0A Active CN105637783B (zh) 2013-12-27 2014-12-25 信息处理方法、接收方法和信息处理装置

Country Status (6)

Country Link
EP (1) EP3089381B1 (zh)
JP (1) JP6345697B2 (zh)
CN (1) CN105637783B (zh)
AU (1) AU2014371943B2 (zh)
CA (1) CA2927809A1 (zh)
WO (1) WO2015098108A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
CN106537815B (zh) 2014-11-14 2019-08-23 松下电器(美国)知识产权公司 再现方法、再现装置以及程序
CN107039005B (zh) * 2015-07-23 2019-12-10 元太科技工业股份有限公司 电子纸显示装置、信息传递系统及其方法
TWI566224B (zh) 2015-07-23 2017-01-11 達意科技股份有限公司 電子紙顯示裝置、訊息傳遞系統及其方法
CN107113058B (zh) * 2015-11-06 2020-12-18 松下电器(美国)知识产权公司 可见光信号的生成方法、信号生成装置以及介质
KR20180081674A (ko) 2015-11-12 2018-07-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 표시 방법, 프로그램 및 표시 장치
KR20180097444A (ko) 2015-12-17 2018-08-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 표시 방법 및 표시 장치
CN106028219B (zh) * 2016-07-06 2022-04-05 歌尔股份有限公司 信号转换电路以及电子设备
CN110114988B (zh) * 2016-11-10 2021-09-07 松下电器(美国)知识产权公司 发送方法、发送装置及记录介质
WO2018110373A1 (ja) * 2016-12-15 2018-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、送信装置、およびプログラム
JP7134094B2 (ja) * 2016-12-15 2022-09-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、送信装置、およびプログラム
JP7213494B2 (ja) 2017-07-11 2023-01-27 大学共同利用機関法人情報・システム研究機構 情報伝送システム
US10218946B1 (en) * 2017-08-29 2019-02-26 Sony Interactive Entertainment LLC High spectrum camera
CN111149148B (zh) * 2017-10-19 2022-04-12 华为技术有限公司 显示设备的脉宽调制
CN109754264B (zh) * 2017-11-01 2024-03-05 杭州沃朴物联科技有限公司 一种基于振动信息特征和nfc识别的防伪系统
CN111345030A (zh) * 2017-11-09 2020-06-26 深圳传音通讯有限公司 一种基于智能终端的拍照方法及拍照系统
CN111656766B (zh) * 2018-01-29 2022-10-28 昕诺飞控股有限公司 用于基于图像的服务的设备
JP7156493B2 (ja) * 2018-02-22 2022-10-19 オムロン株式会社 推奨情報特定装置、推奨情報特定システム、推奨情報特定方法、端末装置、及びプログラム
JP7265394B2 (ja) * 2019-03-26 2023-04-26 東芝テック株式会社 監視システム
CN110213497B (zh) * 2019-05-15 2021-01-29 成都微光集电科技有限公司 一种检测图像闪烁条纹方法及调整图像曝光时间的方法
CN111064518A (zh) * 2020-01-02 2020-04-24 武汉思博源科技有限公司 一种cob封装的光模块系统
CN112183373B (zh) * 2020-09-29 2024-03-08 豪威科技(上海)有限公司 光源识别方法、装置、终端设备及计算机可读存储介质
CN113589756B (zh) * 2021-10-08 2021-12-14 华兴源创(成都)科技有限公司 位移传感信号触发装置、设备、检测系统及相关方法
CN114937218B (zh) * 2022-07-22 2022-10-21 广东卓维网络有限公司 基于图像识别的电力设施巡检系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041486A1 (en) * 2004-10-01 2006-04-20 Franklin Philip G Method and apparatus for the zonal transmission of data using building lighting fixtures
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
WO2009113416A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、送信装置及び受信装置
JP2010278573A (ja) * 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
JP2013223209A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
SI2858269T1 (en) * 2012-05-24 2018-06-29 Panasonic Intellectual Property Corporation Of America Procedure for transmitting information

Also Published As

Publication number Publication date
JP6345697B2 (ja) 2018-06-20
AU2014371943A1 (en) 2016-05-12
EP3089381A4 (en) 2017-01-18
CA2927809A1 (en) 2015-07-02
EP3089381B1 (en) 2019-03-20
JPWO2015098108A1 (ja) 2017-03-23
EP3089381A1 (en) 2016-11-02
AU2014371943A2 (en) 2016-05-19
AU2014371943B2 (en) 2018-05-24
CN105637783A (zh) 2016-06-01
WO2015098108A1 (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
CN105637783B (zh) 信息处理方法、接收方法和信息处理装置
CN106537815B (zh) 再现方法、再现装置以及程序
CN104956609B (zh) 信息通信方法和信息通信装置
CN104871454B (zh) 信息通信方法和信息通信装置
CN107534486B (zh) 信号解码方法、信号解码装置以及记录介质
CN106605377A (zh) 信号生成方法、信号生成装置以及程序
WO2015075937A1 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
CN104885380B (zh) 信息通信方法
CN104871455B (zh) 信息通信方法
CN104919726B (zh) 信息通信方法
CN104995853B (zh) 信息通信方法
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
CN106575998B (zh) 发送方法、发送装置以及程序
CN107528633A (zh) 信息通信方法
JP6707342B2 (ja) 送信方法、送信装置およびプログラム
CN104956608B (zh) 信息通信方法
JP2018032884A (ja) 受信プログラムおよび受信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant