CN105723631B - 通信方法、通信装置及记录介质 - Google Patents

通信方法、通信装置及记录介质 Download PDF

Info

Publication number
CN105723631B
CN105723631B CN201480062143.3A CN201480062143A CN105723631B CN 105723631 B CN105723631 B CN 105723631B CN 201480062143 A CN201480062143 A CN 201480062143A CN 105723631 B CN105723631 B CN 105723631B
Authority
CN
China
Prior art keywords
visible light
portable terminal
user
information
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480062143.3A
Other languages
English (en)
Other versions
CN105723631A (zh
Inventor
大岛光昭
中西幸司
青山秀纪
吉田力
饭田惠大
绪方伸辅
三好健吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105723631A publication Critical patent/CN105723631A/zh
Application granted granted Critical
Publication of CN105723631B publication Critical patent/CN105723631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60Receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请的通信方法从被摄体取得信息,包括:通常摄影处理步骤(SD0023),在摄影模式下,摄影所述被摄体从而取得图像数据;可见光受光处理步骤(SD0024),在通常摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下,进行可见光通信从而取得被摄体的可见光数据;以及保存步骤(SD0025),将所取得的可见光数据嵌入到图像数据中进行保存。

Description

通信方法、通信装置及记录介质
技术领域
本发明涉及智能电话、平板电脑、便携电话等便携终端与空调、照明设备、电饭煲等设备之间的通信方法。
背景技术
在最近的家庭网络中,不仅通过以太网(注册商标)或无线LAN(Local AreaNetwork:局域网)下的IP(Internet Protocol:互联网协议)连接进行AV家电的联动,还通过具有对应于环境问题的电力使用量的管理、从家外接通/断开电源的功能的家庭能源管理系统(HEMS),不断引入多种多样的家电设备与网络连接的家电联动功能。可是,也存在虽然具有通信功能但运算能力不足的家电、或因成本方面而难以搭载通信功能的家电等。
为了解决这样的问题,在专利文献1中记载有如下技术:在利用光向自由空间传递信息的光空间传送装置中,利用照明光的多个单色光源进行通信,在受限的发送装置中有效地实现设备之间的通信。
在先技术文献
专利文献
专利文献1:日本特开2002-290335号公报
发明内容
发明要解决的问题
可是,在上述以往的方式中,适用的设备限定在如照明(照明灯)那样具有3色光源的情况。本发明解决这样的问题,提供使包含如运算能力弱的设备的多种多样的设备之间的通信成为可能的通信方法。
用于解决问题的手段
本发明的一个方式所涉及的通信方法从被摄体取得信息,包括:摄影处理步骤,在摄影模式下,通过摄影所述被摄体来取得图像数据;可见光通信步骤,在所述摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下进行可见光通信,由此取得所述被摄体的可见光数据;以及保存步骤,将所取得的所述可见光数据嵌入到所述图像数据中进行保存。
另外,这些总体性或者具体性的方式既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明效果
根据本发明,能够实现使包含如运算能力弱的设备的多种多样的设备之间的通信成为可能的通信方法。
附图说明
图1为实施方式1的便携终端的照片摄影处理所涉及的软件构成图。
图2为表示实施方式1的便携终端的照片摄影处理的时序的一例的图。
图3为表示实施方式1的显示有预览图像的便携终端的外观的一例的图。
图4为实施方式1中的与预览显示处理的详细动作有关的时序图。
图5为实施方式1中的与通常摄影处理的详细动作有关的时序图。
图6为表示实施方式1的可见光接收处理的相机控制处理部的设定参数的一例的图。
图7为表示实施方式1的从预览图像中得到的可见光数据的坐标的例子的图。
图8为实施方式1中的与保存处理的详细动作有关的时序图。
图9为表示实施方式1中的在可见光接收处理中接收的可见光数据的一例的图。
图10为表示实施方式1中的在可见光接收处理中接收的可见光数据的一例的图。
图11为表示实施方式1中的由摄影处理部存放的摄影参数的一例的图。
图12为表示实施方式1中的由整体控制部追加的元数据的一例的图。
图13为表示实施方式1的将通过可见光接收得到的当前位置存放到EXIF中的情况的一例的图。
图14为表现实施方式1中的与便携终端的姿势的参数有关的图。
图15为实施方式1的与便携终端的预览图像中的被摄体的坐标有关的图。
图16为表示实施方式1中的求出便携终端相对于被摄体的相对位置的计算式的一例的图。
图17为表示实施方式1的变形例中的便携终端的照片摄影处理的时序的一例的图。
图18为表示实施方式1的变形例中的显示有预览图像的便携终端的外观的一例的图。
图19为表示实施方式2中的具有利用可见光通信的登入功能的卡拉OK系统的构成的图。
图20为表示实施方式2中的卡拉OK设备的内部构成的一例的图。
图21为表示实施方式2中的便携终端的内部构成的一例的图。
图22为表示实施方式2中的用户界面部的登入画面的概观的一例的图。
图23为表示实施方式2中的用户界面部的新注册画面的概观的一例的图。
图24为表示实施方式2中的服务器设备的内部构成的一例的图。
图25为表示实施方式2中的用户信息管理部所管理的信息的一例的图。
图26为表示实施方式2中的用户新注册时的流程的一例的图。
图27为表示实施方式2中的登入时的流程的一例的图。
图28为表示实施方式3中的具有利用可见光通信的登入功能的卡拉OK系统的构成的图。
图29为表示实施方式3中的卡拉OK设备的内部构成的一例的图。
图30为表示实施方式3中的便携终端的内部构成的一例的图。
图31为表示实施方式3中的用户界面部的登入画面的概观的一例的图。
图32为表示实施方式3中的服务器设备的内部构成的一例的图。
图33为表示实施方式3中的用户新注册时的流程的一例的图。
图34为表示实施方式3中的卡拉OK设备注册时的流程的一例的图。
图35为表示实施方式3中的登入时的流程的一例的图。
图36为表示实施方式4中的具有利用可见光通信的登入功能的电视会议系统的构成的图。
图37为表示实施方式4中的电视会议设备的内部构成的一例的图。
图38为表示实施方式4中的便携终端的内部构成的一例的图。
图39为表示实施方式4中的用户界面部的登入画面的概观的一例的图。
图40为表示实施方式4中的用户界面部的新注册画面的概观的一例的图。
图41为表示实施方式4中的用户界面部的电视会议连接对象选择画面的概观的一例的图。
图42为表示实施方式4中的用户新注册时的流程的一例的图。
图43为表示实施方式4中的登入时的流程的一例的图。
图44为表示实施方式4中的登入时的流程的一例的图。
图45为表示实施方式5中的具有利用可见光通信的计费功能的计费系统的整体构成的图。
图46为表示实施方式5中的游戏设备的内部构成的一例的图。
图47为表示实施方式5中的请求信息存放部所存放的信息的一例的图。
图48为表示实施方式5中的便携终端的内部构成的一例的图。
图49为表示实施方式5中的用户界面部的游戏注册画面的概观的一例的图。
图50为表示实施方式5中的用户界面部的充值画面的概观的一例的图。
图51为表示实施方式5中的服务器设备的内部构成的一例的图。
图52为表示实施方式5中的结算信息存放部所存放的信息的一例的图。
图53为表示实施方式5中的计费系统的费用充值时的流程的一例的图。
图54为表示实施方式5中的计费系统的UI更新时的流程的一例的图。
图55为表示实施方式5中的计费系统的玩游戏预约时的流程的一例的图。
图56为概念性表示实施方式6中的地图位置检测的图。
图57为表示实施方式6中的通信系统的整体构成的图。
图58为表示实施方式6中的照明设备的内部构成的一例的图。
图59为表示实施方式6中的便携终端的内部构成的一例的图。
图60为表示实施方式6中的通信系统的动作的流程图。
图61为表示实施方式6中的预览图像的一例的图。
图62为表示实施方式6中的搭载通信装置的便携终端的地磁/重力方向的图。
图63为表示实施方式6中的求出便携终端相对于被摄体的相对位置的计算式的一例的图。
图64为表示实施方式7中的使排成1列的摄像元件同时曝光,按照列由近及远的顺序错开曝光开始时刻地进行摄像的情况的例子的图。
图65为表示实施方式7中的从一条曝光线的曝光完成起开始下一曝光线的曝光的情况的图。
图66为表示实施方式7中的从一条曝光线的曝光完成起开始下一曝光线的曝光的情况的图。
图67为表示实施方式7中的在一条曝光线的曝光完成之前开始下一曝光线的曝光的情况的图。
图68为表示实施方式7中在各曝光线的曝光开始时刻相同时由曝光时间的差异所引起的影响的图。
图69为表示实施方式7中在曝光时间相同时由各曝光线的曝光开始时刻的差异所引起的影响的图。
图70为表示实施方式7中在各曝光线的曝光时间不重叠的情况下,曝光时间短时的优点的图。
图71为表示实施方式7中的光源亮度的最小变化时间、曝光时间、各曝光线的曝光开始时刻的时间差与摄像图像的关系的图。
图72为表示实施方式7中的光源亮度的迁移时间与各曝光线的曝光开始时刻的时间差的关系的图。
图73为实施方式7中的光源亮度的高频噪声与曝光时间的关系的图。
图74为表现实施方式7中的光源亮度的高频噪声为20微秒时的曝光时间与高频噪声的大小的关系的曲线图。
图75为表示实施方式7中的曝光时间tE与识别成功率的关系的图。
图76为表示实施方式7中的接收装置的各模式的一例的图。
图77为表示实施方式7中的发光部的亮度的观测方法的一例的图。
图78为表示实施方式8中的服务提供系统的图。
图79为实施方式8中的服务提供的流程图。
图80为实施方式8的其他例子中的服务提供的流程图。
图81为实施方式8的其他例子中的服务提供的流程图。
具体实施方式
(成为本发明的基础的知识)
最近,数码相机或内置有相机器件的便携电话终端得以普及。因此,作为日常生活中的行为,会在旅行途中等处摄影照片,而后阅览该照片图像从而进行回忆等。
例如在数码相机(camera)中,在保存照片时针对该照片的图像文件赋予元数据。用户能够在阅览时根据被赋予给图像文件的元数据知晓摄影条件或摄影时刻等。在数码相机带有GPS功能时,摄影照片时的位置信息(纬度或经度)也保存在元数据中,因此用户能够在阅览时辨别照片的图像是在怎样的场所摄影而得的图像。可是,用户不能辨别是以怎样的朝向摄影而得的照片,也不能辨别呈现在照片上的建筑物是什么。
特别是,在最近由于数码相机的普及等,摄影张数有变多的倾向。在用户想从今年的旅行途中的照片之中选择用于向邮件添加或制作贺年卡等的照片等情况下,用户需要从大量的图像之中搜寻期望的图像。该情况下,用户凭借例如“记得的确是在去名古屋时摄影过松下大厦的照片”之类的模糊的记忆搜寻图像,此时用户需要花费大量的工夫。
本发明的一个方式所涉及的通信方法从被摄体取得信息,包括:摄影处理步骤,在摄影模式下,通过摄影所述被摄体来取得图像数据;可见光通信步骤,在所述摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下进行可见光通信,由此取得所述被摄体的可见光数据;以及保存步骤,将所取得的所述可见光数据嵌入到所述图像数据中进行保存。
据此,能够实现使包含如运算能力弱的设备的多种多样的设备之间的通信成为可能的通信方法。
例如也可以是,在所述摄影处理步骤中,按照JPEG(联合图像专家组)文件取得所述图像数据,在所述保存步骤中,将所述可见光数据作为EXIF(Exchangeable image fileformat:可交换图像文件格式)的IFD(Image File Directory:图像文件目录)嵌入到所述图像数据中进行保存。
例如也可以是,在所述可见光数据中,包含有唯一地向发出可见光的所述被摄体赋予的可见光识别符、以及与所述被摄体有关的信息,在所述保存步骤中,将所述可见光数据所包含的所述可见光识别符、以及表示所述可见光数据所包含的所述被摄体的地址以及名字之中的至少一方的信息保存到作为所述IFD的标签之一的“UserCommennt”标签中,将表示所述可见光数据所包含的所述被摄体的区域的信息,保存到作为所述IFD的标签之一的“SubjectArea”标签中,将表示所述可见光数据所包含的所述被摄体的位置的信息保存到作为所述IFD的标签之一的“SubjectLocation”标签中。
例如也可以是,在所述保存步骤中,在所述IFD的标签之一中未保存摄影所述图像数据时的具有摄像部的便携终端的GPS信息的情况下,将基于所述可见光数据算出的所述便携终端的位置信息保存到所述IFD的标签之一中。
例如也可以是,在所述可见光通信步骤中,判断在所取得的所述可见光数据中,是否包含表示所述被摄体的地址以及名字之中的至少一方的信息、是否包含唯一地向发出可见光的所述被摄体赋予的可见光识别符,在判断为在所取得的所述可见光数据中包含所述可见光识别符的情况下,通过利用所述可见光识别符与服务器进行通信,取得与所述可见光识别符所对应的所述被摄体有关的信息作为所述可见光数据。
例如也可以是,在所述保存步骤中,在所述可见光通信步骤中经过了规定时间也未能得到可见光数据的情况下,判断为不存在所述被摄体的可见光数据,不将所述可见光数据嵌入到所述图像数据中,而保存所述图像数据。
例如也可以还包括设定步骤,对所述可见光通信模式下的快门速度与ISO(感光度)增益值以手动进行设定,在所述设定步骤中,将所述可见光通信模式的快门速度设定为快于所述摄影模式的值,并且将所述可见光通信模式的ISO增益值设定为大于所述摄影模式的值。
例如也可以还包括设定步骤,对所述可见光通信模式下的曝光校正以及ISO增益值进行设定,在所述设定步骤中,将所述可见光通信模式的曝光校正设定为低于所述摄影模式的值,并且将所述可见光通信模式的ISO增益值设定为大于所述摄影模式的值,由此将所述可见光通信模式下的快门速度自动设定得小于所述摄影模式。
例如,所述通信方法也可以还包括:委托接受步骤,进行从委托者接受分发信息的委托的处理;分发步骤,分发由所述委托者委托的所述信息作为与所述可见光数据对应的信息;以及计费步骤,根据所述信息的分发,进行用于对所述委托者计费的信息处理。
例如也可以是一种通信装置,从被摄体取得信息,具备:摄影处理部,在摄影模式下,通过摄影所述被摄体来取得图像数据;可见光接收处理部,在所述摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下进行可见光通信,由此取得所述被摄体的可见光数据;以及保存处理部,将所取得的所述可见光数据嵌入到所述图像数据中并进行保存。
此外,作为本发明的一个方式所涉及的通信方法也可以是包括便携终端与设备的系统的通信方法,包括:可见光通信步骤,所述便携终端通过与所述设备进行可见光通信,取得所述设备所保持的密钥以及唯一地确定所述设备的识别符;连接请求步骤,所述便携终端利用经所述可见光通信步骤取得的所述密钥,通过无线通信对由所取得的所述识别符确定的所述设备进行连接请求;以及连接建立步骤,在所述设备所生成的所述密钥与在所述连接请求步骤中由所述便携终端发送到所述设备的密钥一致的情况下,建立所述便携终端与所述设备的连接。
在此,也可以还包括:密钥发行请求步骤,所述设备将所述识别符以及密钥发行请求发送到服务器设备;以及密钥发行步骤,所述服务器设备发行与所述识别符创建了关联的所述密钥,并发送到所述设备。
此外,也可以是一种通信方法,是包括便携终端与设备的计费系统的通信方法,包括:可见光通信步骤,所述便携终端通过与所述设备进行可见光通信,取得唯一地确定所述设备的设备识别符、以及用于在所述设备的利用中进行计费处理的服务器的URL;连接建立步骤,所述便携终端利用经所述可见光通信步骤取得的所述设备识别符、以及唯一地确定所述便携终端的终端识别符,建立与所取得的所述URL的服务器的连接;以及计费处理步骤,所述便携终端与所连接的所述URL的服务器进行计费处理。
此外,在所述连接建立步骤中,也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID;生成步骤,生成与所述ID关联的密码;以及发送步骤,发送所生成的密码。
此外,在所述连接建立步骤中,也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID、以及用于以所述ID进行所述连接的密码。
另外,这些总体或具体的方式既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
以下,适当地参照附图,详细说明实施方式。但是,有时省略超出需要的详细说明。例如,有时省略已经公知的事项的详细说明或对实质上相同的构成的重复说明。这是为了避免以下的说明变得无用且冗长,而易于本领域技术人员的理解。
此外,以下说明的实施方式均为本发明的一具体例。在以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例,并非意在对本发明进行限定。另外,在以下实施方式的构成要素中,对于表示最上位概念的独立权利要求中没有记载的构成要素,作为任意的构成要素进行说明。
(实施方式1)
图1为本实施方式的便携终端中的照片摄影处理所涉及的软件构成图。便携终端为通信装置的一例。
在图1中,在便携终端D0010中示出了本实施方式的便携终端中的照片摄影处理所涉及的软件整体构成,具备整体控制部D0011、画面显示控制部D0012、通信控制部D0013、摄影处理部D0014、可见光接收处理部D0015以及相机控制处理部D0016。
整体控制部D0011进行如下处理:检测用户的输入,为了按照顺序地进行各种各样的处理而对各子系统发出指示,还保存通过子系统的处理得到的摄影数据或可见光数据作为文件。
画面显示控制部D0012按照整体控制部D0011的指示进行与画面显示有关的处理。
通信控制部D0013按照整体控制部D0011的指示经由广域网向服务器D0017进行访问。在本实施方式中,通信控制部D0013进行如下处理:将由可见光接收处理部D0015得到的可见光数据发送至服务器D0017,经由服务器D0017接收该数据所表示的具体的被摄体的信息即被摄体数据。
服务器D0017存在于广域网上,将可见光数据与被摄体数据的组保持在内部的数据库中。服务器D0017进行如下处理:与来自广域网的访问相应地,以可见光数据为关键字来取出被摄体数据。如图1所示,该服务器D0017并非本实施方式的便携终端D0010的构成要素。
摄影处理部D0014进行如下处理:通过向相机控制处理部D0016的指示,摄影通常的相机图像。
可见光接收处理部D0015进行如下处理:通过向相机控制处理部D0016的指示,接收可见光数据。
相机控制处理部D0016进行相机硬件的控制处理,并且从相机硬件得到预览图像、静止图像、电影运动图像等作为其处理结果。在本实施方式中,搭载在便携终端D0010中的相机硬件为例如内置的1/3英寸的CMOS图像传感器,摄像区域尺寸为4.9mmx3.9mm,利用焦距4.3mm的固定焦点镜头,具有自动聚焦功能。
通过如下构成的本实施方式的搭载有通信终端的便携终端D0010,能够以短的可见光ID进行可见光通信,能够实现能提供适合用户的信息的通信方法等。
换言之,通过本实施方式的搭载有通信终端的便携终端D0010,在利用相机器件摄影照片时,接着利用可见光通信接收从被摄体附近的地标、广告牌、照明等发送的基于可见光的高速闪烁的数据,将这些接收数据(可见光数据)或者根据接收数据得到的信息(被摄体数据)与照片文件一同记录。
据此,用户在阅览图像时根据记录于图像文件的可见光数据或被摄体数据,能够辨别在该被摄体上呈现了什么,此外,通过机械性地处理这些可见光数据或被摄体数据,能够有效地从大量的照片中搜寻期望的图像。
以下,参照附图说明在本实施方式的搭载有通信终端的便携终端D0010中用户进行照片摄影的操作时的照片摄影处理的动作。
图2为表示实施方式1的便携终端的照片摄影处理的时序的一例的图。在图2中,作为一例示出了整体控制部D0011所进行的整体的处理时序。
在图2中,首先,若用户针对便携终端D0010指示开始摄影处理,则开始摄影处理(步骤SD0021)。
整体控制部D0011在摄影处理刚开始后进行预览显示处理(步骤SD0022),等待用户按下摄影按钮。
若用户通过按压摄影按钮等指示了摄影,则整体控制部D0011进行与通常的静止图像的摄影同样的处理(步骤SD0023)。在本实施方式中,整体控制部D0011若被指示了摄影,则在摄影模式下通过摄影被摄体来取得图像数据。在此,摄影处理部D0014例如以JPEG文件取得图像数据。
接着,整体控制部D0011进行可见光接收处理(步骤SD0024)。
在本实施方式中,整体控制部D0011在摄影处理部D0014摄影后,在作为与摄影模式不同的模式的可见光通信模式下进行可见光通信,由此取得被摄体的可见光数据。
最后,整体控制部D0011在经步骤SD0023得到的图像的元数据区域中,存放经步骤SD0024得到的数据,进行向便携终端D0010内的保存处理(步骤SD0025)。在本实施方式中,整体控制部D0011将所取得的可见光数据嵌入到图像数据中进行保存。更具体而言,整体控制部D0011将可见光数据作为EXIF(Exchangeable image file format:可交换图像文件格式)的IFD(Image File Directory:图像文件目录)嵌入到图像数据中进行保存。
另外,若保存处理结束则再次重复步骤SD0022的预览显示处理。如此一来,用户能够摄影下一照片。
此外,在图2中的所有的步骤处理中(步骤SD0022~步骤SD0025),用户能够通过进行取消操作来中断该照片摄影处理,能够使便携终端D0010返回到通常使用状态。
另外,在步骤SD0024的可见光接收处理中,在经过规定时间也未能得到可见光数据时,在步骤SD0025的保存处理中,判断为不存在被摄体的可见光数据,不将可见光数据嵌入到图像数据中,而只保存图像数据。
图3为表示在步骤SD0022中显示有预览图像的便携终端的外观的一例的图。在图3中,示出了便携终端D0010的箱体D0031以及内置在便携终端D0010中的显示器部D0032。
显示器部D0032内置了可进行触摸操作的触摸面板,显示从相机硬件得到的预览图像、以及用于通过用户进行触摸迁移到摄影操作的软件按钮D0033。在本实施方式中,例如图3所示呈现了车与大厦的状态的预览图像显示在显示器部D0032上。大厦的正面的区域D0034是由照明照亮的广告牌,其反复进行用于发送预定的可见光数据的高速闪烁。
接着,按照图4说明步骤D0022的预览显示处理的详细动作。图4为实施方式1的与预览显示处理的详细动作有关的时序图。
首先,用户在摄影模式下启动相机,由此开始步骤SD0022的预览显示(步骤SD00401)。
于是,整体控制部D0011针对相机控制处理部D0016指示相机预览的开始(步骤SD00402)。相机控制处理部D0016对相机硬件设定适合与摄影模式相应的预览的参数(步骤SD00403)。
此外,整体控制部D0011针对画面显示控制部D0012指示预览画面的显示。画面显示控制部D0012设定为与该指示相应地在画面上显示预览框,并持续显示从相机控制处理部D0016得到的数据(步骤SD00404)。
其后,相机控制处理部D0016定期地从相机硬件取得预览图像,发送到画面显示控制部D0012(步骤SD00405)。据此,在便携终端D0010的画面上显示如图3所示的预览图像。
接着,设为在预览显示中用户触摸预览区域,或保持长按软件按钮D0033(步骤SD00406)。于是,如下进行自动聚焦的处理。
首先,检测到触摸的整体控制部D0011对相机控制处理部D0016指示自动聚焦处理(以下记为“AF处理”)的开始(步骤SD00407)。
接着,相机控制处理部D0016以被触摸的坐标附近为聚焦区域使对比度AF处理动作,决定聚焦以及曝光、快门速度(步骤SD00408)。
接着,若AF处理结束,则相机控制处理部D0016对整体控制部D0011通知AF完成(步骤SD00409)。
接着,整体控制部D0011接受该通知并对画面显示控制部D0012指示以显示AF完成之意(步骤SD00410)。
接着,按照图5说明通常摄影处理SD0023的细节。图5为实施方式1中的与通常摄影处理的详细动作有关的时序图。
首先,在用户触摸软件按钮D0033后手指离开画面的定时,整体控制部D0011迁移到通常摄影处理(摄影模式)(步骤SD0501)。
接着,整体控制部D0011对摄影处理部D0014指示摄影(步骤SD00502)。接受了该指示的摄影处理部D0014对相机控制处理部D0016指示摄影(步骤SD00503)。
接着,相机控制处理部D0016根据经所述AF处理(步骤SD00408)决定的聚焦、曝光以及快门速度进行摄影(步骤SD00504)。在本实施方式中,相机控制处理部D0016通过摄影被摄体来取得图像数据。
接着,相机控制处理部D0016将结果的图像数据与其参数返回到摄影处理部D0014(步骤SD00505)。
摄影处理部D0014进行如下处理:将从相机控制处理部D0016得到的图像数据变换成JPEG,并且在EXIF IFD中嵌入当前时刻以及摄影时的参数(步骤SD00506)。
此外,在便携终端D0010中内置有GPS等且能够取得与当前位置有关的信息的情况下,也将表示该当前位置的位置信息的数据存放到EXIF IFD中(步骤SD00507)。在此,图11表示向IFD嵌入的数据的一例。在此,图11为表示实施方式1中的由摄影处理部存放的摄影参数的一例的图。在图11所示的例子中,本次摄影的图像表示:为横640像素且纵960像素的大小,此外,在北纬35.173817且东经136.908653的位置,日本标准时间2013年11月18日的12时33分30秒进行照片摄影。
接着,摄影处理部D0014将这些完成摄影的数据(JPEG数据)返回到整体控制部D0011(步骤SD00508)。
最后,整体控制部D0011将所得到的数据(JPEG数据)发送到画面显示控制部D0012,以便作为后览(Post View)来进行显示(步骤SD00509)。画面显示控制部D0012显示后览图像,使用户看到进行了怎样的摄影(步骤SD00510)。
若如以上完成SD0024所示的通常摄影处理,则整体控制部D0011执行步骤SD0024所示的可见光接收处理。该可见光接收处理的时序如下。
首先,整体控制部D0011关于可见光接收,指示开始接收可见光。
接着,可见光接收处理部D0015对相机控制处理部D0016指定(设定)适合可见光接收的参数。
在此,在例如可手动设定快门速度的相机的情况下,参数设定为使得快门速度短于可见光的闪烁速度、并且使ISO增益值变大的值。一方面,在只可自动设定快门速度的相机的情况下,参数设定为使得曝光校正成为低的值,另一方面设定为使得ISO值成为非常高的值。据此,自动地将快门速度控制得小。换言之,在能够手动设定可见光通信模式下的快门速度与ISO增益值的情况下,将可见光通信模式的快门速度设定为快于摄影模式的值,并且将可见光通信模式的ISO增益值设定为大于摄影模式的值。另一方面,在能够设定可见光通信模式下的曝光校正以及ISO增益值,但自动设定快门速度的情况下,将可见光通信模式的曝光校正设定为低于摄影模式的值,并且将可见光通信模式的ISO增益值设定为大于摄影模式的值,据此将可见光通信模式下的快门速度自动设定为小于所述摄影模式。曝光校正通过将通常由EV(Exposure Value:曝光值)值描述的曝光值设定为与在通常的自动摄影时(摄影模式时)算出的值相比小2以上来进行即可。此外,ISO灵敏度设定为在通常的室外晴天时自动(摄影模式)进行摄影时设定的灵敏度的4倍以上的灵敏度即可。例如,在通常晴天的摄影时成为ISO200的相机控制处理部的情况下,在接收可见光时将ISO值设定为800以上的较大的值(具体而言为ISO1600)。
图6为表示实施方式1的可见光接收处理中的相机控制处理部的设定参数的一例的图。在图6中,按相机的每个机种定义了应在相机控制处理部D0016中设定的参数的一览,可见光接收处理部D0015选择性地利用其进行参数设定。
在图6中,机种A为可手动设定快门速度的便携终端,机种B为不能手动设定相机硬件的快门速度的便携终端。
在机种A中定义为:对“shutter-speed”参数设定1/15000秒,对表示将所得到的图像放大到标准的几倍的明亮度的“iso-gain“值设定8倍,对表示最终作为何种程度的明亮度的图像进行输出的曝光校正参数设定为最低即-2.0。在机种B中定义为:对曝光校正设定与机种A相同的-2.0,对ISO设定1600这一较大的值。在机种B中,在自动的快门速度调整中定义了使得成为高速的快门速度的参数。此外,在机种B中还定义为:将场景模式设定为运动,将白平衡模式设定为白天。即,定义了将快门速度控制为更高速的参数。
接着,可见光接收处理部D0015对相机控制处理部D0016指示开始预览,定期地得到预览图像。可见光接收处理部D0015定期地根据预览图像检测信号并作为可见光数据。
并且,可见光接收处理部D0015在检测出了作为可见光数据的信号时,将检测出了该可见光数据的相机内的坐标位置与接收到的可见光数据返回给整体控制部D0011。
另外,整体控制部D0011从指示了开始接收的时刻起,针对从可见光接收处理部D0015得到的可见光数据等待一定时间,在经过一定时间也未能检测到时,作为无可见光数据并进行后续的处理。
以下,利用图7说明检测到可见光数据的相机内的坐标位置的一例。图7为表示实施方式1的从预览图像得到的可见光数据的坐标的例子的图。
在图7的(a)中,示出了从预览图像D0071得到可见光数据的情况。
在图7的(a)中,预览图像D0071表示风景图像,示出了在风景图像内的区域D0072中包含有可见光数据的情况。
可见光接收处理部D0015具有从该预览图像D0071之中自动判别可见光数据存在于怎样的部分并读取的功能。也就是说,可见光接收处理部D0015自动辨别在风景图像内的区域D0072内包含有可见光数据。在图7的(a)所示的例子中,由于摄影图像整体(预览图像D0071)的大小为横640像素且纵960像素,因此检测到可见光数据的相机内的坐标位置(区域D0072)如图7的(b)所示为(220,516)-(309,705)。
若如以上完成步骤SD0024所示的可见光接收处理,则接着,整体处理部开始步骤SD0025所示的保存处理。
以下,按照图8说明步骤SD0025所示的保存处理的细节。图8为实施方式1中的与保存处理的详细动作有关的时序图。
首先,整体控制部D0011被通知由可见光接收处理部D0015得到的可见光数据以及相机内的坐标位置(步骤SD00801)。以该通知为契机,整体控制部D0011开始保存处理。
在此,图9以及图10为表示实施方式1中的在可见光接收处理中接收的可见光数据的一例的图。在图9以及图10中,示出了由XML(Extensible Markup Language:可扩展标记语言)表现的可见光数据的一例。
在图9中,示出了包含有被摄体数据的可见光数据的一例。以下,说明由XML表示的各个标签表现怎样的数据。
例如,“vlc_id”标签为唯一地向可见光发送设备赋予的识别符。优选的是全球唯一,但即使是按每一地域、每一应用唯一的条件,在实用上也无问题。在本实施方式中,与唯一地向发出可见光的被摄体赋予的可见光识别符对应。“type”标签表示上述可见光发送设备在现实世界中是什么设备。在图9中表现出“type”是signage,表示上述可见光发送设备为广告牌(招牌)或广告媒体。
“subtype”标签以与“type”标签相比更详细的信息表示上述可见光发送设备在现实世界中是什么设备。在图9中“subtype”为“building_wall”,通过与“type”标签的信息相结合,表示上述可见光发送设备为贴在建筑物墙壁上的广告牌。
“address”标签表示设置有上述可见光发送设备的地址。“latitude”标签表示设置有上述可见光发送设备的场所的纬度。“longtitude”标签表示设置有上述可见光发送设备的场所的经度。“direction”标签表示朝向哪一方位地设置上述可见光发送设备。在图9所示的例中,以设正北为0、东为90、南为180、西为270的0~360的实数表示方位,因为该值为220所以表示朝向西南方向的广告牌。
另一方面,在图10中,示出了尚未包含有被摄体数据的可见光数据的一例。即,在图10所示的可见光数据中只包含有“vlc_id”的标签,不包含与被摄体有关的信息。
在以下,说明接收到图10所示的可见光数据的情况的保存处理。
在保存处理中,首先,整体控制部D0011辨别在所接收的可见光数据中是否包含有被摄体数据(步骤SD00802)。在本实施方式中,接收图10所示的可见光数据,判断为在可见光数据中未包含有被摄体数据。
接着,整体控制部D0011判定便携终端D0010是否能够进行通信(步骤SD00803)。
在便携终端D0010能够进行通信的情况下,整体控制部D0011将所接收的可见光数据发送到通信控制部D0013,进行指示以从服务器D0017取得被摄体数据(步骤SD00804)。
接着,通信控制部D0013接受该指示,将可见光数据(在此为图10所示的可见光数据)发送到服务器D0017,接收(取得)被摄体数据(步骤SD00805)。更具体而言,服务器D0017基于可见光数据所包含的识别符以及将与此对应的被摄体数据创建关联的表,将与从通信控制部D0013接收的可见光数据对应的被摄体数据发送到通信控制部D0013。在此,在存在于服务器D0017内的表中,存在D0101、D0102、D0103这3个被摄体数据,但因为在服务器D0017接收到图10所示的可见光数据时,“vlc_id”标签所示的识别符为VLC0001,所以判断为D0101的被摄体数据是适当的并返回到通信控制部D0013。
接着,接收到被摄体数据D0101的通信控制部D0013向整体控制部D0011返回所接收的被摄体数据(步骤SD00806)。如此一来,整体控制部D0011不仅能够得到所接收的可见光数据,还能够得到与被摄体有关的信息(被摄体数据D0101)。换言之,如此一来,判断在所取得的可见光数据中,是包含表示被摄体的地址以及名字之中的至少一方的信息,还是包含唯一地向发出可见光的被摄体赋予的可见光识别符,在判断为在所取得的可见光数据中包含可见光识别符时,通过利用可见光识别符与服务器D0017进行通信,能够取得与可见光识别符所对应的所述被摄体有关的信息作为可见光数据。
另外,在该时刻,整体控制部D0011保持从摄影处理部D0014得到的JPEG数据、从可见光接收处理部D0015得到的可见光数据、以及通过通信处理部得到的被摄体数据,作为与被摄体有关的信息。即,在JPEG数据的EXIF IFD部分,由摄影处理部D0014存放有例如图11所示的摄影参数、当前日期时间等的具体的值。
接着,整体控制部D0011将由可见光接收处理部D0015得到的vlc_id以及被摄体的信息追加到EXIF IFD部分。具体而言,整体控制部D0011如图12所示,将标签与信息创建关联地进行保存。也就是说,在“UserComments”标签中,将可见光数据之中的可见光识别符与被摄体数据之中的可见光数据的种类、地址、被摄体的名字创建关联地进行保存。在“SubjectArea”标签中,将接收到可见光的区域作为图像内的坐标创建关联地进行保存。在“SubjectLocation”标签中,将从被摄体数据得到的被摄体的位置信息(经度、纬度)创建关联地进行保存。换言之,将可见光数据所包含的可见光识别符与表示可见光数据所包含的被摄体的地址以及名字之中的至少一方的信息保存到作为EXIF的IFD的标签之一的“UserCommennt”标签中,将表示可见光数据所包含的被摄体的区域的信息保存到作为该IFD的标签之一的“SubjectArea”标签中,将表示可见光数据所包含的被摄体位置的信息保存到作为该IFD的标签之一的“SubjectLocation”标签中。
接着,整体控制部D0011通过对被摄体数据内的被摄体的位置信息与在摄影照片时从便携终端D0010得到的位置信息进行比较,计算到被摄体的距离以及被摄体的方位(步骤SD00808)。在本实施方式中,摄影场所如图11所示为东经136.9086,被摄体的场所如图12所示为东经136.90902。经度1秒的距离为30.864m,所以可知被摄体的位置与摄影场所相比向东偏离约46.7m。同样地,根据摄影场所的纬度35.173817与被摄体的纬度35.174177,可知被摄体与摄影场所相比向北偏离约40m,其结果可知,到被摄体的距离为61.49m。此外,可知被摄体的方位为北偏东49.3°的方向。
接着,整体控制部D0011利用摄影时的焦距参数、被摄体的方位以及可见光接收坐标,计算摄影而得的图像的中心方向的方位(步骤SD00809)。在本实施方式中,焦距参数为存放在图11的“FocalLength”标签中的值,为4.3mm。根据该焦距与内置在便携终端D0010中的摄像元件的尺寸,在摄影照片中得到的摄影图像的长边、短边为何种程度的视场角能够通过α=2arctan(d/2f)的计算式进行计算。在此,d为摄像元件的尺寸,f为有效焦距,α为视场角。在此,由于利用焦距为4.3mm且短边为3.9mm的相机模块,因此短边的视场角能够计算为约48.79°。因此,图7的(a)所示的可见光数据被得到的画面内的坐标的重心如图7的(b)所示从画面的中心起偏移56像素、即相对于整体向左偏移8.7%,其被变换为视场角则为4.2°,因此计算为图像的中心与被摄体相比向东偏移4.2°,即为北偏东53.5°的方位。
接着,整体控制部D0011将所计算的被摄体距离、以及摄影图像的中心的方位存放(追记)到EXIF IFD中(步骤SD00810)。在本实施方式中,被摄体距离保存在“SubjectDistance”标签中,摄影图像的中心的方位保存在“GPSImgDirectionRef”以及“GPSImgDirection”标签中。在此,图12表示在到此为止的处理中针对各IFD标签追加的信息的一例。图12为表示实施方式1中的由整体控制部追加的元数据的一例的图。
最后,整体控制部D0011将EXIF IFD被追记的图像数据作为最终文件(最终图像文件),保存到便携终端D0010内的非易失性存储器(未图示)中(步骤SD00811),完成步骤D0025的保存处理。
如此地,在步骤SD0023中进行静止图像的摄影,接着,在步骤SD0024中进行接收可见光数据的处理,在步骤SD0025中将与被摄体有关的数据作为元数据保存到照片图像内。据此,在以后阅览照片时等,用户能够一边确认被摄体的信息,一边进行照片鉴赏。此外,用户能够通过确认被摄体的信息容易地找出期望的照片图像。
另外,在本实施方式中,说明了在摄影时全部被摄体数据齐备之后再将摄影图像作为文件进行保存的时序,但不限于此。也可以在摄影时只保存最少限度的可见光数据。
该情况下,在便携终端D0010的数据整理时、或者用户以后阅览照片图像的定时,访问服务器D0017来得到被摄体数据即可。
更具体而言,设为最少限度的可见光数据例如只为在图10中以“vlc_id”标签表示的可见光识别符,在服务器D0017中将该可见光识别符和被摄体信息、以及该被摄体信息与识别符被创建关联的时刻的范围作为数据库进行存放。该情况下,便携终端D0010将摄影图像被摄影的日期时间与可见光识别符发送到服务器D0017,服务器D0017返回在该日期时间与该识别符创建关联的被摄体数据。据此,例如即使在可见光通信的速度不是足够快而在可见光通信中无法发送全部的被摄体数据的情况下,用户也能够活用通过照片摄影而得的被摄体的数据。
此外,在本实施方式中,说明了可见光接收处理部D0015只接受1个可见光数据的情况的例子,但不限于此。也可以接收来自多个物体的可见光数据。该情况也同样地进行处理,据此能够将与多个物体有关的被摄体数据保存到“UserComment”标签中。通过利用来自多个物体的可见光数据以及被摄体数据,能够利用例如三角测量等手段来更准确地进行步骤SD00808与步骤SD00809所示的距离、方位的计算。
此外,在本实施方式中,说明了在摄影处理部D0014中将便携终端D0010的位置信息保存(存放)到EXIF IFD中的情况,但不限于此。在便携终端不具有位置定位系统的情况、或在室内的摄影等便携终端所具有的位置定位功能难以启动的状况下,整体控制部D0011也可以基于从可见光数据得到的被摄体数据辨别大致的该当前位置,并保存(追记)EXIFIFD标签。也就是说,“GPSLatitude”标签以及”“GPSLongtitude”标签原本为保存(存放)从GPS得到的数据的标签,若在这些标签中未保存(存放)有数据,则保存(存放)根据被摄体数据逆运算而得的数据即可。
以下,利用图13具体说明该情况的例子。图13为表示实施方式1中的将通过可见光接收得到的当前位置存放到EXIF中的情况的一例的图。
在图13的(a)中,示出了用户D01302以通常的姿势举托相机D01303进行照片摄影时的例子。在图13的(a)中,考虑用户的身高,事先可知在距地面1500mm的高度处举托相机D01303,设为发出可见光数据的照明器具D01301设置在离地面3200mm的位置处。并且,设为用户以照明器具D01301成为画面的中心的方式摄影照片。
该情况下,也可以如图13的(b)所示,将存放在被摄体数据中的被摄体的位置信息的内容直接写入(存放)“GPSLatitude”标签以及“GPSLongtitude”标签。据此,在被摄体与摄影位置接近的情况下,能够将摄影位置的大致位置保存到照片文件内(EXIF)作为摄影位置的位置信息。
此外,也可以如图13的(c)所示,将基于可见光数据或被摄体数据计算而得的当前位置写入(存放)到“GPSLatitude”标签以及“GPSLongtitude”标签中。更具体而言,在被摄体数据为顶棚的照明,从摄影场所到照明的距离在某种程度上能够推测,并且摄影时的便携终端的姿势能够通过加速度传感器或地磁传感器进行辨别的情况下,整体控制部D0011根据这些数据逆运算出便携终端的当前位置。并且,整体控制部D0011也可以在与摄影场所的位置信息有关的EXIF IFD标签中写入(存放)该逆运算而得的当前位置。在图13的(c)所示的例子中,因为在被摄体数据中照明器具D01301的高度被作为<height>要素存放、以及在包含相机D01303的便携终端的姿势数据中仰角为45°,所以能够计算为向被摄体的水平距离为1700mm,所以将对其进行校正而得的值写入到EXIF IFD的标签(“GPSLatitude”以及“GPSLongtitude”的标签)中。
如此地,在EXIF IFD的标签之一中未保存有摄影图像数据时的具有摄像部的便携终端的GPS信息的情况下,将基于可见光数据算出的便携终端的位置信息保存到EXIF IFD的标签之一中。
另外,利用便携终端的姿势计算当前位置的方法不限于上述例子。在以下,说明更通用地利用包含相机的便携终端的姿势计算当前位置的方法。
图14为表现实施方式1的与便携终端的姿势的参数有关的图,图15为实施方式1中的与便携终端的预览图像中的被摄体的坐标有关的图。图16为表示实施方式1中的求出便携终端相对于被摄体的相对位置的计算式的一例的图。
利用图14所示的3个参数(3个矢量)表现便携终端的姿势。在此,矢量n、e以及g分别为表示利用内置在便携终端中的加速度传感器以及地磁传感器得到的北方向、东方向以及重力方向的矢量。另外,矢量n、e以及g全部利用图14所示的便携终端的画面的上方向y、右方向x、与画面垂直的近前方向z为基础的情况下的矢量来表示。
此外,设为利用图15所示的参数表现由便携终端所具有的相机摄影的图像。在此,w以及h表示由便携终端所具有的相机摄影的图像(摄影图像)的宽度以及高度的尺寸(pixel),在该摄影图像内被摄体的坐标以c_x、c_y来表现。
该情况下,发送可见光的被摄体的位置与接收该可见光的便携终端的位置的差异能够利用图16所示的计算式将实空间的坐标作为矢量p来计算(求出)。
在图16中,M表示变换矩阵,矢量l表示从便携终端观察时发送可见光的被摄体的朝向,d′表示以便携终端的画面为基准时(考虑便携终端的画面的倾斜时)的便携终端的画面与该被摄体的距离。此外,d表示作为该被摄体的高度位置与摄影时的便携终端的高度位置之差的距离、即从便携终端到该被摄体的铅直方向的距离。
此外,angle_v以及angle_h分别表示摄影图像的纵向的视场角横向的视场角,tx以及ty为对便携终端的摄影图像内的被摄体的坐标进行标准化而得的值。因此,θx以及θy为表示该被摄体的光(可见光)相对于便携终端从哪个方向而来的参数。
如此地,通过利用图16所示的参数与计算式,根据从便携终端观察该被摄体处于何处的位置信息,能够求出从该被摄体观察时的便携终端的实空间的坐标即位置信息。
在此,便携终端如上述设为摄像元件的尺寸为3.9mm×6.9mm,焦距为4.3mm,长边的视场角为77.48°,短边的视场角为48.79°。此外,在图13的(a)所示的状况下得到可见光数据的摄影图像内的坐标设为图7的(b)。该情况下,上述的参数如下设定。即,w=640、h=960、c_x=264、c_y=610、d=1.7(m)、angle_v=77.48°、angle_h=48.79°。
并且,能够利用这些参数求出表示距被摄体的在东西、南北、垂直方向上的距离的矢量p,所以能够与被摄体数据的位置信息结合来计算终端的当前位置。
如此地,能够利用便携终端的姿势计算当前位置,所以即使在室内或电源刚接通后等GPS未动作的环境下,也能够在照片图像中存放摄影地信息。据此,能够得到以后的图像检索变得更容易的效果。
另外,不能取得便携终端的位置定位信息(GPS信息)的情况,可以举出如下情况。
(1)例如,存在不搭载GPS的相机等、便携终端不具有位置定位功能的情况
(2)因为是室内所以GPS不能使用、或者WiFi位置定位也失败等,虽然搭载了位置定位功能但位置定位失败的情况
此外,不限于不能取得便携终端的位置定位信息(GPS信息)的情况,也可以在取得了位置定位信息的情况下也置换为基于可见光数据算出的位置信息。即,只要满足以下的(1)~(3)的任一条件,认为通过可见光数据得到的当前位置信息便值得信任,也可以将EXIF的GPS关联的位置信息置换成基于可见光的位置信息。
(1)发出可见光的被摄体并非广告牌或聚光灯,而是下照灯或天花板等的照明器具等所接收的可见光的发送源(照明或广告牌)设想为朝向正下的情况
(2)发出可见光的广告牌或聚光灯例如纵横均不足2m的大小等,由于尺寸小而不能从远处受光,因此判断为基于可见光的位置定位的精度高的情况
(3)虽然存在便携终端的位置定位信息,但设想为其精度低的情况
在此,关于(3),能够在便携终端的平台上准备的位置测量功能中,通过用于确认所取得的位置信息的精度的API的返回值来进行判断。例如,在Android(安卓)中在Location#getAccuracy()这样的API下得到m单位的推定精度,所以在API的返回值为例如5m以上等一定的值以上的情况下,能够判断为精度低。
(变形例)
另外,在本实施方式中,说明了整体控制部D0011在刚进行了通常摄影处理后,自动进行可见光接收处理,但不限于此。例如,也可以根据用户的操作以明示的方式进行照片摄影时的可见光接收处理。以下,利用附图说明该情况。图17为表示实施方式1的变形例中的便携终端的照片摄影处理的时序的一例的图。图18为表示实施方式1的变形例的显示有预览图像的便携终端的外观的一例的图。
在图17中,首先,若用户针对便携终端D0010指示开始摄影处理,则开始摄影处理(步骤SD0171)。
整体控制部D0011在摄影处理刚开始后进行预览显示处理(步骤SD0172),等待用户按下按钮。该预览显示处理中的终端的显示画面的一例例如图18所示。与图3同样地,在图18中,示出了便携终端D0010的箱体D0031、以及内置在便携终端D0010中的显示器部D0032。此外,在显示器部D0032中,作为快门按钮,显示有用于向摄影转移的软件按钮D0033。在本变形例中,在显示器部D0032中,除了该软件按钮D0033之外,(同时)显示有进行可见光数据的接收指示的软件按钮D0145。
在步骤SD0172中,在用户触摸了软件按钮D0175的情况下,整体控制部D0011进行可见光接收处理(步骤SD0173)。另外,因为在步骤SD0173中进行的处理与已经说明了的步骤SD0024的可见光接收处理相同所以省略说明。
接着,在步骤SD0172的可见光接收处理结束并得到被摄体数据的情况下,整体控制部D0011根据需要进行与该被摄体数据相应的摄影模式设定(步骤SD0174)。在此,例如在被摄体为室内的照明器具的情况下,进行将场景模式变更为室内等的处理。此外,例如在被摄体为高耸的建筑物等被设想为从远处摄影的物体的情况下,进行将场景模式变更为风景模式等的处理。此外,例如也可以在特定的模式下,进行将通过步骤SD0172的可见光接收处理得到的被摄体的坐标设定在自动聚焦区域等的处理,再次执行预览显示处理(步骤D0172)。
另一方面,在步骤SD0172中,在用户触摸了软件按钮D0033的情况下,进行通常摄影处理(步骤D0175),接着执行保存处理(步骤SD0176)。另外,由于这些处理为与步骤SD0024以及步骤SD0025相同的处理,因此省略说明。
如此地,根据本变形例,能够通过从被摄体接收的可见光数据决定摄影时的参数,因此能够得到以适合被摄体的设定来摄影照片的效果。
另外,在本变形例中,说明了通过软件按钮进行用于可见光数据接收的用户操作,但不限于此。当然用户也可以通过其他方法对便携终端指示可见光数据的接收。例如,也可以是些微地摇晃便携终端的操作、或是准备了物理开关,或是根据启动相机紧前的操作来自动执行可见光接收。
(实施方式2)
在本实施方式中,说明具有利用可见光通信的登入(login,登录)功能的系统等。
图19为表示实施方式2中的具有利用可见光通信的登入功能的卡拉OK系统的构成的图。
图19所示的卡拉OK系统具备利用可见光通信的登入功能,由卡拉OK设备A0100、便携终端A0101以及服务器设备A0102构成。
以下,说明各构成要素的动作。
卡拉OK设备A0100具备发出可见光的功能。卡拉OK设备A0100通过可见光通信将卡拉OK设备A0100所具有的MAC地址与密钥(KEY)向便携终端A0101发送。
此外,卡拉OK设备A0100从便携终端A0101通过蓝牙(注册商标)接受连接请求来建立连接,从便携终端A0101接收用户ID、密码(pass、通行证)以及密钥。
卡拉OK设备A0100对从便携终端A0101接收的密钥与卡拉OK设备A0100所具有的密钥进行比较,若二者相等则判断为便携终端A0101是存在于能够视觉辨认卡拉OK设备A0100的空间内的便携终端、即是来自位于与卡拉OK设备A0100相同的卡拉OK房间内的用户的登入请求。并且,卡拉OK设备A0100通过将从便携终端A0101接收的用户ID以及密码向服务器设备A0102发送来推进登入处理。
[卡拉OK设备A0100的构成要素]
接着,利用图20说明卡拉OK设备A0100的构成要素。
图20为表示实施方式2中的卡拉OK设备的内部构成的一例的图。
图20所示的卡拉OK设备A0100由显示器部A0200、可见光ID控制部A0201、密钥存放部A0202、密钥生成部A0203、蓝牙通信模块部A0204、MAC地址存放部A0205、用户ID存放部A0206、密码存放部A0207和以太网模块部A0208构成。
以下,说明各构成要素的动作。
若卡拉OK设备A0100启动,则密钥生成部A0203生成密钥并存放到密钥存放部A0202中。
接着,可见光ID控制部A0201从MAC地址存放部A0205中读入MAC地址,再从密钥存放部A0202中读入密钥,复用二者来生成可见光ID。可见光ID控制部A0201将对可见光ID进行编码而得的编码信号发送到显示器部A0200。
显示器部A0200基于所接收的编码信号进行发光控制。
蓝牙通信模块部A0204若从便携终端A0101接受蓝牙连接请求,则进行连接建立处理。
蓝牙通信模块部A0204从便携终端A0101接收密钥、用户ID与密码。蓝牙通信模块部A0204仅在所接收的密钥与在密钥存放部A0202中存放的KE相等的情况下,将用户ID存放到用户ID存放部A0206中,将密码向密码存放部A0207存放。蓝牙通信模块部A0204经由以太网模块部A0208将用户ID以及密码向服务器设备A0102发送。
[便携终端A0101的构成要素]
接着,利用附图说明便携终端A0101的构成要素。
图21为表示实施方式2中的便携终端的内部构成的一例的图。图22为表示实施方式2中的用户界面部的登入画面的概观的一例的图。图23为表示实施方式2中的用户界面部的新注册画面的概观的一例的图。
图21所示的便携终端A0101由可见光ID接收部A0300、可见光ID解码部A0301、通信对象MAC地址存放部A0302、密钥存放部A0303、用户ID存放部A0304、密码存放部A0305、蓝牙通信模块部A0306、用户界面部A0307以及以太网模块部A0308构成。
用户界面部A0307在登入操作时,例如图22所示,至少显示连接开始按钮A0400、用户ID输入栏A0401、密码输入栏A0402以及登入按钮A0403。在此,连接开始按钮A0400是成为用于开始连接开始请求的触发的按钮。用户ID输入栏A0401为用于输入用户ID的输入栏,密码输入栏A0402为用于输入密码的输入栏。登入按钮A0403是成为用于执行登入处理的触发的按钮。用户界面部A0307在登入操作时,也可以还显示作为用于利用事前存储的用户ID以及密码来执行登入处理的触发的简单登入按钮A0404。另外,用户界面部A0307在便携终端A0101启动的时刻,连接开始按钮A0400、登入按钮A0403以及简单登入按钮A0404均维持不可按下的状态。
用户界面部A0307此外在用户新注册时,例如图23所示,至少显示用户ID输入栏A0700、密码输入栏A0701以及新注册按钮A0702。在此,用户ID输入栏A0700为用于输入用户ID的输入栏,密码输入栏A0701为用于输入密码的输入栏。新注册按钮A0702是成为用于执行用户新注册处理的触发的按钮。
以下,说明各构成要素的动作。
首先,说明在事先准备中使用便携终端A0101时的动作。
设为在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702、即通过用户界面部A0307发行登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中。以太网模块部A0308将在用户ID存放部A0304中存放的用户ID与在密码存放部A0305中存放的密码发送到服务器设备A0102。
接着,说明在卡拉OK店使用便携终端A0101时的动作。
可见光ID接收部A0300具备与摄像部同等的功能,能够通过启动后将快门速度设定得快来接收可见光。可见光ID接收部A0300若从卡拉OK设备A0100接收到编码信号,则将所接收的编码信号向可见光ID解码部A0301发送。
可见光ID解码部A0301对编码信号进行解码,提取MAC地址与密钥,将MAC地址向通信对象MAC地址存放部A0302存放,将密钥向密钥存放部A0303存放。
随后,用户界面部A0307更新到可按下连接开始按钮A0400的状态。
在此,设为由用户按下用户界面部A0307的连接开始按钮A0400,即从用户界面部A0307接受连接请求。该情况下,蓝牙通信模块部A0306向具有在通信对象MAC地址存放部A0302中所示的MAC地址的设备、即卡拉OK设备A0100发行连接请求来建立连接。若建立连接,则用户界面部A0307更新到登入按钮A0403以及简单登入按钮A0404也可按下的状态。
另一方面,设为在由用户将用户ID输入用户ID输入栏A0401、将密码输入了密码输入栏A0402的状态下,用户按下登入按钮A0403、即通过用户界面部A0307发行登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中。蓝牙通信模块部A0306将在密钥存放部A0303中存放的密钥、在用户ID存放部A0304中存放的用户ID、以及在密码存放部A0305中存放的密码向卡拉OK设备A0100发送。
[服务器设备A0102的构成要素]
接着,利用附图说明服务器设备A0102的构成要素。
图24为表示实施方式2中的服务器设备的内部构成的一例的图。图25为表示实施方式2中的用户信息管理部所管理的信息的一例的图。
图24所示的服务器设备A0102至少包括以太网模块部A0500、登入控制部A0501以及用户信息管理部A0502。
用户信息管理部A0502按照图25所示的结构管理信息。用户信息管理部A0502至少管理列A0600所示的用户ID以及列A0601所示的与用户ID对应的密码。
以太网模块部A0500若从便携终端A0101接收到用户ID与密码,则登入控制部A0501对用户信息管理部A0502追加所接收的用户ID与密码的组。若登入控制部A0501完成追加处理,则以太网模块部A0500对便携终端A0101返回注册完成通知。
若以太网模块部A0500从卡拉OK设备A0100接收到用户ID与密码,则登入控制部A0501参照在用户信息管理部A0502中存放的用户ID与密码的列。如果所接收的用户ID与密码的组存在于用户信息管理部A0502,则登入控制部A0501针对该用户ID作为登入完成。
[服务器设备A0102的动作]
接着,说明各构成要素的动作次序。
[用户新注册时的流程]
在以下,首先利用图26说明用户新注册时的流程。在此,图26为表示实施方式2中的用户新注册时的流程的一例的图。
首先,若用户启动便携终端A0101的应用,则出现图25所示的用户界面部新注册画面(AS0800)。
接着,在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702,即通过用户界面部A0307发行登入请求。
于是,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中(AS0801)。
接着,以太网模块部A0308将在用户ID存放部A0304中存放的用户ID与在密码存放部A0305中存放的密码向服务器设备A0102发送,即尝试用户注册处理(AS0802)。
接着,若以太网模块部A0500从便携终端A0101接收到用户ID与密码,则登入控制部A0501对用户信息管理部A0502追加所接收的用户ID与密码的组。若登入控制部A0501的追加处理完成,则以太网模块部A0500对便携终端A0101返回注册完成通知(AS0803)。
[登入时的流程]
接着,利用图27说明登入时的流程。在此,图27为表示实施方式2中的登入时的流程的一例的图。
首先,事先接通卡拉OK设备A0100的电源,执行启动处理。
接着,若卡拉OK设备A0100启动,则密钥生成部A0203以随机数生成密钥,存放到密钥存放部A0202中(AS0900)。
此外,用户启动便携终端A0101的应用,使得处于可接收可见光的状态(AS0901)。
于是,可见光ID控制部A0201从MAC地址存放部A0205中读入MAC地址,还从密钥存放部A0202中读入密钥,复用二者来生成可见光ID,对显示器部A0200发送编码可见光ID而得的编码信号。显示器部A0200基于所接收的编码信号进行发光控制(AS0902)。
接着,可见光ID接收部A0300具备与摄像部同等的功能,通过在启动后将快门速度设定得快从而能够进行接收,若从卡拉OK设备A0100接收到编码信号,则将所接收的编码信号向可见光ID解码部A0301发送。可见光ID解码部A0301对编码信号进行解码,提取MAC地址与密钥,将MAC地址向通信对象MAC地址存放部A0302存放,将密钥向密钥存放部A0303存放。随后,用户界面部A0307更新到可按下连接开始按钮A0400的状态。接着,若由用户按下用户界面部A0307的连接开始按钮A0400,即从用户界面部A0307接受连接请求,则蓝牙通信模块部A0306向具有在通信对象MAC地址存放部A0302中所示的MAC地址的设备、即卡拉OK设备A0100发行连接请求并建立连接(AS0903)。
接着,若建立连接,则用户界面部A0307更新到登入按钮A0403以及简单登入按钮A0404也可按下的状态。
在此,设为在由用户将用户ID输入用户ID输入栏A0401、将密码输入到密码输入栏A0402的状态下,用户进一步按下登入按钮A0403、即通过用户界面部A0307发行登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中,蓝牙通信模块部A0306读出在密钥存放部A0303存放的密钥、在用户ID存放部A0304存放的用户ID、以及在密码存放部A0305中存放的密码(AS0904),向卡拉OK设备A0100发送(AS0905)。
另一方面,设为用户按下简单登入按钮A0404、即通过用户界面部A0307发行简单登入请求。该情况下,蓝牙通信模块部A0306读入在密钥存放部A0303中存放的密钥、在用户ID存放部A0304中存放的用户ID、以及在密码存放部A0305中存放的密码(AS0904),向卡拉OK设备A0100发送(AS0905)。
接着,蓝牙通信模块部A0204若从便携终端A0101接收到用户ID与密码,则仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,将用户ID向用户ID存放部A0206存放,将密码向密码存放部A0207存放,经由以太网模块部A0208将用户ID以及密码向服务器设备A0102发送(AS0906)。
接着,若以太网模块部A0500从卡拉OK设备A0100接收到用户ID与密码,则登入控制部A0501参照在用户信息管理部A0502中存放的用户ID与密码的列。如果所接收的用户ID与密码的组存在于用户信息管理部A0502,则登入控制部A0501针对该用户ID作为登入完成。
以后,在便携终端A0101发行为了执行乐曲的选择或排序菜单的显示之类的诸多处理所需的指令时,便携终端A0101针对卡拉OK设备A0100发送将指令类别、用户ID、密钥作为组的指令发行(AS0907)。卡拉OK设备A0100仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,将以指令类别、用户ID作为组的指令发行向服务器设备A0102发送(AS0908)。
如以上,利用便携终端A0101经由卡拉OK设备A0100对服务器设备A0102执行登入以及其后的指令处理。
[效果]
如以上那样地,本实施方式的通信方法是包括便携终端与设备的系统的通信方法,包括:可见光通信步骤,所述便携终端通过与所述设备进行可见光通信,取得所述设备所保持的密钥与唯一地确定所述设备的识别符;连接请求步骤,所述便携终端利用经所述可见光通信步骤取得的所述密钥,通过无线通信对由所取得的所述识别符确定的所述设备进行连接请求;以及连接建立步骤,在所述设备所生成的所述密钥与在所述连接请求步骤中由所述便携终端发送到所述设备的密钥一致的情况下,建立所述便携终端与所述设备的连接。
此外,例如,本实施方式中的通信方法也可以还包括:密钥发行请求步骤,所述设备将所述识别符以及密钥发行请求发送到服务器设备;以及密钥发行步骤,所述服务器设备发行与所述识别符创建了关联的所述密钥,并发送到所述设备。
此外,例如,本实施方式中的通信方法在所述连接建立步骤中也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID、以及用于以所述ID进行所述连接的密码。
因此,根据本实施方式中的具有登入功能的系统的通信方法,能够只从可视觉辨认卡拉OK设备的终端、即来自与卡拉OK设备同一室内的终端接受登入。据此,能够得到使针对特定的卡拉OK设备的登入处理变得简单,进而排除来自其他房间的非法登入的效果。
另外,在本实施方式中,设想在便携终端A0101启动着的期间可见光ID接收部A0300总是运转来进行说明,但不限于此。也可以根据便携终端A0101的状态切换可见光ID接收部A0300的运转/不运转。例如,也可以通过内置在便携终端A0101中的加速度传感器判定便携终端A0101是近于水平还是近于垂直,只在便携终端A0101近于垂直、即将便携终端A0101的可见光ID接收部A0300朝向位于正面的显示器的可能性高时,才使可见光ID接收部A0300运转。进而,例如也可以活用因使可见光ID接收部A0300不运转而得到的剩余的硬件资源,使其他硬件资源、例如使副(第二)摄像部运转。
(实施方式3)
在本实施方式2中,说明具有利用可见光通信与Bluetooth(蓝牙,注册商标)的登入功能的系统等。在本实施方式中,说明具有利用可见光通信但不利用蓝牙(注册商标)的登入功能的系统等。
图28为表示实施方式3中的具有利用可见光通信的登入功能的卡拉OK系统的构成的图。
图28所示的卡拉OK具备利用系统可见光通信的登入功能,由卡拉OK设备A01000、便携终端A01001和服务器设备A01002构成。
以下,说明各构成要素的动作。
卡拉OK设备A01000具备与服务器设备A01002的通信手段,若卡拉OK设备A01000将唯一地确定卡拉OK设备的设备确定信息发送到服务器设备A01002,则服务器设备A01002向卡拉OK设备A01000发送密钥。卡拉OK设备A01000还具备发出可见光的功能,通过可见光通信将卡拉OK设备A01000所具有的密钥与设备确定信息向便携终端A01001发送。
便携终端A01001能够与服务器设备A01002连接,将密钥、用户ID以及密码发送到服务器设备A01002。
以后,若从便携终端A01001将各种指令与密钥发送到服务器设备A01002,则服务器设备A01002对具有与密钥创建了关联的设备确定信息的卡拉OK设备A01000发送指令,卡拉OK设备A01000与所接收的指令相应地更新在显示器上显示的内容。
[卡拉OK设备A01000的构成要素]
接着,利用图29说明卡拉OK设备A01000的构成要素。
图29为表示实施方式2中的卡拉OK设备的内部构成的一例的图。
图29所示的卡拉OK设备A01000由显示器部A01100、可见光ID控制部A01101、密钥存放部A01102、密钥生成部A01103、设备确定信息存放部A01105以及以太网模块部A01108构成。
以下,详细说明各构成要素的动作(行为)。
若卡拉OK设备A01000启动,则以太网模块部A01108将在设备确定信息存放部A01105中事先存放的设备确定信息向服务器设备A01002发送。
若以太网模块部A01108从服务器设备A01002接收到密钥,则密钥生成部A01103从以太网模块部A01108接收密钥,将密钥存放密钥存放部A01102中。此外,以太网模块部A01108若从服务器设备A01002接受登入成功显示通知,则为了使用户得知登入成功,更新显示器部A01100的输出内容。
可见光ID控制部A01101从设备确定信息存放部A01105读入设备确定信息,还从密钥存放部A01102读入密钥,复用二者来生成可见光ID。可见光ID控制部A01101将对可见光ID进行编码而得的编码信号发送到显示器部A01100。
显示器部A01100基于所接收的编码信号进行发光控制。
[便携终端A01001的构成要素]
接着,利用附图详细说明便携终端A01001的构成要素。
图30为表示实施方式3中的便携终端的内部构成的一例的图。图31为表示实施方式3中的用户界面部的登入画面的概观的一例的图。
图30所示的便携终端A01001由可见光ID接收部A01200、可见光ID解码部A01201、设备确定信息存放部A01202、密钥存放部A01203、用户ID存放部A01204、密码存放部A01205、用户界面部A01207以及以太网模块部A01208构成。
用户界面部A01207在登入操作时,例如图31所示,至少显示用户ID输入栏A01301、密码输入栏A01302以及登入按钮A01303。在此,用户ID输入栏A01301为用于输入用户ID的输入栏,密码输入栏A01302为用于输入密码的输入栏。登入按钮A01303是成为用于执行登入处理的触发的按钮。在此,用户界面部A01207在登入操作时,也可以还显示作为用于利用事前存储的用户ID以及密码执行登入处理的触发的简单登入按钮A01304。另外,用户界面部A01207在便携终端A01001启动的时刻,登入按钮A01303以及简单登入按钮A01304均维持不可按下的状态。
用户界面部A01207与实施方式2中的用户界面部A0307同样地,此外在用户新注册时,例如图23所示,至少显示用户ID输入栏A0700、密码输入栏A0701以及新注册按钮A0702。
以下,说明各构成要素的动作。
首先,说明在事先准备中使用便携终端A01001时的动作。
设为在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702、即通过用户界面部A01207发行登入请求。该情况下,用户界面部A01207将用户ID向用户ID存放部A01204存放,将密码存放到密码存放部A01205中。以太网模块部A01208将在用户ID存放部A01204中存放的用户ID与在密码存放部A01205中存放的密码发送到服务器设备A01002。
接着,说明在卡拉OK店使用便携终端A01001时的动作。
可见光ID接收部A01200若从卡拉OK设备A01000接收编码信号,则将所接收的编码信号向可见光ID解码部A01201发送。
可见光ID解码部A01201对编码信号进行解码,提取设备确定信息与密钥,将设备确定信息向设备确定信息存放部A01202存放,将密钥向密钥存放部A01203存放。
随后,用户界面部A01207更新到能够按下登入按钮A01303以及简单登入按钮A01304的状态。
在此,设为在由用户将用户ID输入用户ID输入栏A01301、将密码输入到密码输入栏A01302的状态下,用户按下登入按钮A01303、即通过用户界面部A01207发行登入请求。该情况下,用户界面部A01207将用户ID向用户ID存放部A01204存放,将密码存放到密码存放部A01205中。以太网模块部A01208读入在设备确定信息存放部A01202中存放的设备确定信息、在密钥存放部A01203中存放的密钥、在用户ID存放部A01204中存放的用户ID、以及在密码存放部A01205中存放的密码,向服务器设备A01002发送。
另一方面,设为用户按下简单登入按钮A01304、即通过用户界面部A01207发行简单登入请求。该情况下,以太网模块部A01208读入在设备确定信息存放部A01202中存放的设备确定信息、在密钥存放部A01203中存放的密钥、在用户ID存放部A01204中存放的用户ID、以及在密码存放部A01205中存放的密码,向服务器设备A01002发送。
[服务器设备A01002的构成要素]
接着,利用附图说明服务器设备A01002的构成要素。
图32为表示实施方式3中的服务器设备的内部构成的一例的图。
图32所示的服务器设备A01002至少包括以太网模块部A01400、登入控制部A01401、用户信息管理部A01402、密钥控制部A01403以及密钥信息管理部A01404。
用户信息管理部A01402按照图25所示的结构管理信息。用户信息管理部A01402至少管理列A0600所示的用户ID以及列A0601所示的与用户ID对应的密码。
以太网模块部A01400若从卡拉OK设备A01000接收设备确定信息,则对密钥控制部A01403通知接收之意,将设备确定信息发送到密钥控制部A01403。
密钥控制部A01403若接受到意为接收了设备确定信息的通知,则以随机值生成密钥,对密钥信息管理部注册密钥与设备确定信息的组。在设备确定信息已经注册到密钥信息管理部A01404时,覆盖注册该设备确定信息与密钥的组。随后,以太网模块部A01400将注册的密钥向卡拉OK设备A01000发送。
若以太网模块部A01400从便携终端A01001接收到用户ID与密码,则登入控制部A01401对用户信息管理部A01402追加所接收的用户ID与密码的组。若登入控制部A01401完成追加处理,则以太网模块部A01400对便携终端A01001返回注册完成通知。
若以太网模块部A01400从卡拉OK设备A01000接收到密钥、设备确定信息、用户ID以及密码,则登入控制部A01401参照在用户信息管理部A01402中存放的用户ID与密码的列。登入控制部A01401判定所接收的用户ID与密码的组是否存在于用户信息管理部A01402中。此外,如果存在所接收的用户ID与密码的组,则登入控制部A01401判定所接收的密钥与设备确定信息的组是否存在于密钥信息管理部A01404中。如果存在所接收的密钥与设备确定信息的组,则登入控制部A01401对该用户ID设为完成登入,对卡拉OK设备A01000通知登入成功显示。
[服务器设备A01002的动作]
接着,详细说明各构成要素的动作次序。
[用户新注册时的流程]
在以下,首先利用图33说明用户新注册时的流程。在此,图33为表示实施方式3中的用户新注册时的流程的一例的图。
首先,若用户启动便携终端A01001的应用,则出现图23所示的用户界面部登入画面(AS01500)。
接着,在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702,即通过用户界面部A01207发行登入请求。
于是,用户界面部A01207将用户ID向用户ID存放部A01204存放,将密码存放到密码存放部A01205中(AS01501)。
接着,以太网模块部A01208将在用户ID存放部A01204中存放的用户ID与在密码存放部A01205中存放的密码向服务器设备A01002发送,即尝试用户注册处理(AS01502)。
接着,若以太网模块部A01400从便携终端A01001接收到用户ID与密码,则登入控制部A01401对用户信息管理部A01402追加所接收的用户ID与密码的组。若登入控制部A01401的追加处理完成,则以太网模块部A01400对便携终端A01001返回注册完成通知(AS01503)。
[卡拉OK设备注册时的流程]
接着,利用图34说明卡拉OK设备注册时的流程。在此,图34为表示实施方式3中的卡拉OK设备注册时的流程的一例的图。
首先,事先接通卡拉OK设备A01000的电源,执行启动处理。
接着,若卡拉OK设备A01000启动,则以太网模块部A01108将在设备确定信息存放部A01105中事先存放的设备确定信息向服务器设备A01002发送(AS01600)。
接着,以太网模块部A01400若从卡拉OK设备A01000接收到设备确定信息,则对密钥控制部A01403通知接收之意,将设备确定信息发送到密钥控制部A01403。密钥控制部A01403若接受到通知则以随机值生成密钥,对密钥信息管理部注册密钥与设备确定信息的组(AS01601)。在此,在该设备确定信息已经注册到密钥信息管理部时,覆盖注册该设备确定信息与密钥的组。
接着,以太网模块部A01400将注册的密钥向卡拉OK设备A01000发送(AS01602)。
接着,若以太网模块部A01108从服务器设备A01002接收到密钥,则密钥生成部A01103从以太网模块部A01108接收密钥,将密钥存放到密钥存放部A01102中(AS01603)。
[登入时的流程]
接着,利用图35说明登入时的流程。在此,图35为表示实施方式3中的登入时的流程的一例的图。
首先,事先接通卡拉OK设备A01000的电源,执行启动处理。
此外,用户启动便携终端A0101的应用,使得处于可接收可见光的状态(AS01700)。
于是,可见光ID控制部A01101从设备确定信息存放部A01105读入设备确定信息(在附图中,记载为“设备ID”),还从密钥存放部A01102读入密钥,复用二者来生成可见光ID,对显示器部A01100发送编码可见光ID而得的编码信号。显示器部A01100基于所接收的编码信号进行发光控制(AS01701)。
在此,设为在由用户将用户ID输入用户ID输入栏A01301、将密码输入至密码输入栏A01302的状态下,用户按下登入按钮A01303、即通过用户界面部A01207发行登入请求。该情况下,用户界面部A01207将用户ID向用户ID存放部A01204存放,将密码存放到密码存放部A01205中。以太网模块部A01208读入在设备确定信息存放部A01202中存放的设备确定信息(设备ID)、在密钥存放部A01203中存放的密钥、在用户ID存放部A01204中存放的用户ID、以及在密码存放部A01205中存放的密码(AS01702),向服务器设备A01002发送(AS01703)。
另一方面,设为用户按下简单登入按钮A01304、即通过用户界面部A01207发行简单登入请求。该情况下,以太网模块部A01208读入在设备确定信息存放部A01202中存放的设备确定信息(设备ID)、在密钥存放部A01203中存放的密钥、在用户ID存放部A01204中存放的用户ID、以及在密码存放部A01205中存放的密码(AS01702),向服务器设备A01002发送(AS01703)。
接着,以太网模块部A01400若从卡拉OK设备A01000接收密钥、设备确定信息(设备ID)、用户ID以及密码,则登入控制部A01401参照在用户信息管理部A01402中存放的用户ID与密码的列。登入控制部A01401判定所接收的用户ID与密码的组是否存在于用户信息管理部A01402中。此外,如果存在所接收的用户ID与密码的组,则登入控制部A01401判定所接收的密钥与设备确定信息(设备ID)的组是否存在于密钥信息管理部A01404中。如果存在所接收的密钥与设备确定信息(设备ID)的组,则登入控制部A01401对该用户ID作为完成登入,对卡拉OK设备A01000通知登入成功显示以及发行会话ID(AS01704)。
接着,以太网模块部A01108若从服务器设备A01002接受登入成功显示通知,则为了使用户得知登入成功,更新显示器部A01100的输出内容(AS01705)。
以后,在便携终端A01001发行为了执行乐曲的选择或排序菜单的显示之类的诸多处理所需的指令时,便携终端A01001向服务器设备A01002发送以指令类别以及会话ID为组的指令发行(AS01706)。于是,服务器设备A01002将所接收的指令类别向卡拉OK设备A01000发送(AS01707)。
如以上,利用便携终端A01001经由卡拉OK设备A01000对服务器设备A01002执行登入以及其后的指令处理。
[效果]
以上,根据本实施方式中的具有登入功能的系统等,能够只从可视觉辨认卡拉OK设备的终端、即来自与卡拉OK设备同一室内的终端接受登入。据此,能够得到使针对特定的卡拉OK设备的登入处理变得简单,进而排除来自其他房间的非法登入的效果。
另外,在本实施方式中,设想在便携终端A01001启动着的期间可见光ID接收部A01200总是运转来进行说明,但不限于此。也可以根据便携终端A01001的状态切换可见光ID接收部A01200的运转/不运转。例如,也可以通过内置在便携终端A01001中的加速度传感器判定便携终端A01001是近于水平还是近于垂直,只在便携终端A01001近于垂直、即将便携终端A01001的可见光ID接收部A01200朝向位于正面的显示器的可能性高时,才使可见光ID接收部A01200运转。进而,例如也可以活用因使可见光ID接收部A01200不运转而得到的剩余的硬件资源,使其他硬件资源、例如使副(第二)摄像部运转。
另外,在上述的实施方式2以及3中,说明了防止第三人从设置有卡拉OK设备的房间外非法登入的用例,但不限于卡拉OK设备。
例如,既可以为设置在游戏中心或游乐场的作为当场摄影照片并制成贴纸的设备的printclub设备(大头贴设备),也可以为酒店、卧铺列车、病房中的单人房间的电视设备。
在单人房间的电视设备的情况下,实施方式2以及3的系统具备电视设备、作为并非电视的影像部的如信标那样的物体的发光部、以及便携终端即可。如此地,即使如酒店等不确定的多人进入哪一部屋无法得知的情况下,也能够防止第三人从设置有电视设备的房间外非法登入。据此,用户能够安心地如下使用:通过使便携终端朝向发光部地进行可见光通信,从而与电视设备进行配对且接通电源,或者若通过便携终端发送指令则切换电视的频道。
再有,在上述的实施方式3的系统中,也可以代替卡拉OK设备,而设为演示的展示空间。该情况下,接下来想要尝试该演示的人能够利用便携终端与演示空间的照明进行可见光通信从而进行ID认证并预约。并且,能够如下使用:在预约的状态下,将便携终端靠近演示机,则开始演示等。
(实施方式4)
在本实施方式中,说明具有利用可见光通信的登入功能的系统等。
图36为表示实施方式4中的具有利用可见光通信的登入功能的电视会议系统的构成的图。
图36所示的电视会议系统具备利用可见光通信的登入功能,由电视会议设备A0100a、便携终端A0101、电视会议系统用的服务器设备A0102a以及邮件服务器A0103构成。
以下,说明各构成要素的动作。
电视会议设备A0100a具备发出可见光的功能。电视会议设备A0100a通过可见光通信将电视会议设备A0100a所具有的MAC地址与密钥向便携终端A0101发送。
此外,电视会议设备A0100a从便携终端A0101通过蓝牙(注册商标)接受连接请求来建立连接,从便携终端A0101接收用户ID、密码以及密钥。
电视会议设备A0100a对从便携终端A0101接收的密钥与电视会议设备A0100a所具有的密钥进行比较,若二者相等则判断为便携终端A0101为存在于能够视觉辨认电视会议设备A0100a的空间内的便携终端、即为来自位于与电视会议设备A0100a相同的会议室内的用户的登入请求。并且,电视会议设备A0100a判定从便携终端A0101接收的用户ID与密码的匹配性,推进登入处理。
电视会议设备A0100a在登入成功时,将会话ID发送到便携终端A0101,由便携终端A0101等待接受连接对象IP地址的输入。并且,若从便携终端A0101接收到会话ID与连接对象IP地址,则电视会议设备A0100a与电视会议系统用的服务器设备A0102a开始通信。
[电视会议设备A0100a的构成要素]
接着,利用图37说明电视会议设备A0100a的构成要素。
图37为表示实施方式4中的电视会议设备的内部构成的一例的图。
图37所示的电视会议设备A0100a由显示器部A0200、可见光ID控制部A0201、密钥存放部A0202、密钥生成部A0203、蓝牙通信模块部A0204、MAC地址存放部A0205、登入控制部A0206a、用户信息管理部A0207a、以太网模块部A0208、影像生成部A0209以及会话ID存放部A0210构成。
以下,说明各构成要素的动作。
若电视会议设备A0100a启动,则密钥生成部A0203生成密钥并存放到密钥存放部A0202中。在电视会议设备A0100a刚启动后、以及在从蓝牙通信模块部A0204刚接收到密钥变更请求通知后,密钥生成部A0203将密钥的值重写成随机值。
接着,可见光ID控制部A0201从MAC地址存放部A0205中读入MAC地址,再从密钥存放部A0202中读入密钥,复用二者来生成可见光ID。可见光ID控制部A0201将对可见光ID进行编码而得的编码信号发送到显示器部A0200。
显示器部A0200基于所接收的编码信号进行发光控制。
蓝牙通信模块部A0204若从便携终端A0101接受蓝牙连接请求,则进行连接建立处理。
蓝牙通信模块部A0204从便携终端A0101接收指令类别“新注册”、密钥、用户ID以及密码。蓝牙通信模块部A0204将所接收的指令类别、密钥、用户ID以及密码通知登入控制部A0206a。
此外,蓝牙通信模块部A0204从便携终端A0101接收指令类别“登入”、密钥、用户ID以及密码。蓝牙通信模块部A0204将所接收的指令类别、密钥、用户ID以及密码通知登入控制部A0206a。
此外,蓝牙通信模块部A0204从便携终端A0101接收指令类别“连接”、会话ID以及连接对象IP地址。蓝牙通信模块部A0204将所接收的会话ID与连接对象IP地址通知以太网模块部A0208。
此外,蓝牙通信模块部A0204从便携终端A0101接收指令类别“密码再发行”、密钥以及用户ID。蓝牙通信模块部A0204将所接收的密钥与用户ID通知登入控制部A0206a。
蓝牙通信模块部A0204若从登入控制部A0206a取得通知,则将所取得的通知向便携终端A0101发送。
登入控制部A0206a在接收到指令类别“新注册”的情况下,进行所接收的密钥的合法性检查。
在此,登入控制部A0206a在合法性检查中,仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,从用户信息管理部A0207a中检索用户ID与密码。登入控制部A0206a在检索的结果是发现了符合的用户ID与密码的组时,将识别符“已注册”通知蓝牙通信模块部A0204。另一方面,登入控制部A0206a在检索的结果是未发现符合的用户ID与密码的组时,将所取得的用户ID与密码向用户信息管理部A0207a进行注册,生成随机值作为会话ID,将所生成的会话ID向会话ID存放部A0210存放。并且,将赋予了所存放的会话ID与利用者信息的通知“注册完成”通知蓝牙通信模块部A0204。
此外,登入控制部A0206a在接收到指令类别“登入”的情况下,进行所接收的密钥的合法性检查。
在此,登入控制部A0206a在合法性检查中,仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,从用户信息管理部A0207a中检索用户ID与密码。登入控制部A0206a在检索的结果是发现了符合的用户ID与密码的组时,生成随机值作为会话ID,将所生成的会话ID存放到会话ID存放部A0210。并且,将赋予了所存放的会话ID与利用者信息的通知“登入完成”通知蓝牙通信模块部A0204。另一方面,登入控制部A0206a在检索的结果是未发现符合的用户ID与密码的组时,将通知“登入失败”通知蓝牙通信模块部A0204。
此外,登入控制部A0206a在接收到指令类别“密码再发行”的情况下,进行所接收的密钥的合法性检查。在此,登入控制部A0206a在合法性检查中,仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,将用户ID与作为随机值而生成的密码存放到用户信息管理部A0207a中。并且,经由以太网模块部A0208,对用户ID所示的邮件地址发送所生成的密码。
以太网模块部A0208若被通知了会话ID与连接对象IP地址,则对在会话ID存放部A0210中存放的会话ID与通过通知取得的会话ID进行比较。在比较的结果是双方的会话ID相同时,以太网模块部A0208与通过通知取得的连接对象IP地址所示的电视会议系统建立连接,开始影像、声音的收发。
[便携终端A0101的构成要素]
接着,利用附图说明便携终端A0101的构成要素。
图38为表示实施方式4中的便携终端的内部构成的一例的图。图39为表示实施方式4中的用户界面部的登入画面的概观的一例的图。图40为表示实施方式4中的用户界面部的新注册画面的概观的一例的图。图41为表示实施方式4中的用户界面部的电视会议连接对象选择画面的概观的一例的图。
图38所示的便携终端A0101由可见光ID接收部A0300、可见光ID解码部A0301、通信对象MAC地址存放部A0302、密钥存放部A0303、用户ID存放部A0304、密码存放部A0305、蓝牙通信模块部A0306、用户界面部A0307以及以太网模块部A0308构成。
用户界面部A0307在登入操作时,例如图39的登入画面A0307a所示,至少显示连接开始按钮A0400、用户ID输入栏A0401、密码输入栏A0402、登入按钮A0403以及密码再发行按钮A0405。在此,连接开始按钮A0400是成为用于开始连接开始请求的触发的按钮。用户ID输入栏A0401为用于输入用户ID的输入栏,密码输入栏A0402为用于输入密码的输入栏。登入按钮A0403是成为用于执行登入处理的触发的按钮。密码再发行按钮A0405是成为用于使电视会议设备A0100a初始化密码,并使初始化而得的密码发送至用户ID输入栏中被输入的用户ID的触发的按钮。用户界面部A0307在登入操作时,也可以还显示作为用于利用事前存储的用户ID以及密码执行登入处理的触发的简单登入按钮A0404。另外,用户界面部A0307在便携终端A0101启动的时刻,连接开始按钮A0400、登入按钮A0403以及简单登入按钮A0404均维持不可按下的状态。
用户界面部A0307进而在用户新注册时,例如图40的新注册画面A0307b所示,至少显示用户ID输入栏A0700、密码输入栏A0701以及新注册按钮A0702。在此,用户ID输入栏A0700为用于输入用户ID的输入栏,密码输入栏A0701为用于输入密码的输入栏。新注册按钮A0702是成为用于执行用户新注册处理的触发的按钮。
用户界面部A0307进而在电视会议连接对象选择时,例如图41的电视会议连接对象选择画面A0307c所示,至少显示用户ID显示栏A0500a、连接对象IP输入栏A0501a、连接履历选择栏A0502a以及会议开始按钮A0503a。在此,用户ID显示栏A0500a为用于显示当前登入中的用户ID的显示栏,连接对象IP输入栏A0501a为用于输入电视会议的对方的IP的输入栏。连接履历选择栏A0502a显示登入中的用户ID过去连接的日期时间以及连接对象IP、即连接履历,是为了减少再次输入IP的麻烦而供利用者选择履历的输入栏。会议开始按钮A0503a是成为用于将IP发送到电视会议设备A0100a,并使电视会议设备A0100a开始影像、声音的收发的触发的按钮。
以下,说明各构成要素的动作。
首先,利用图40说明在事前准备中使用便携终端A0101时的动作。
在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702、即通过用户界面部A0307发行登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中。
以太网模块部A0308将指令类别“新注册”、在用户ID存放部A0304中存放的用户ID、以及在密码存放部A0305中存放的密码发送到电视会议设备A0100a。以太网模块部A0308在发送后从电视会议设备A0100a接收通知“已注册”时,对用户界面部A0307提示ID已经注册。另一方面,在从电视会议设备A0100a接收到通知“注册完成”时,对用户界面部A0307提示ID得到注册。
接着,说明在会议室使用便携终端A0101开始电视会议时的动作。
可见光ID接收部A0300具备与摄像部同等的功能,通过启动后将快门速度设定得快从而能够接收可见光。可见光ID接收部A0300若从电视会议设备A0100a接收编码信号,则将所接收的编码信号向可见光ID解码部A0301发送。
可见光ID解码部A0301对编码信号进行解码,提取MAC地址与密钥,将MAC地址向通信对象MAC地址存放部A0302存放,将密钥向密钥存放部A0303存放。
随后,用户界面部A0307更新到可按下例如图39所示的连接开始按钮A0400的状态。
在此,设为由用户按下用户界面部A0307所显示的连接开始按钮A0400,即从用户界面部A0307接受连接请求。该情况下,蓝牙通信模块部A0306向具有由通信对象MAC地址存放部A0302所示的MAC地址的设备、即电视会议设备A0100a发行连接请求来建立连接。若建立连接,则用户界面部A0307更新到登入按钮A0403以及简单登入按钮A0404皆可按下的状态。
另一方面,设为在由用户将用户ID输入用户ID输入栏A0401、将密码输入至密码输入栏A0402的状态下,用户按下登入按钮A0403、即通过用户界面部A0307发行登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中。蓝牙通信模块部A0306将指令类别“登入”、在密钥存放部A0303中存放的密钥、在用户ID存放部A0304中存放的用户ID、以及在密码存放部A0305中存放的密码向电视会议设备A0100a发送。蓝牙通信模块部A0306在发送后从电视会议设备A0100a接收到通知“登入完成”的情况下,对用户界面部A0307提示登入完成,继而对用户界面部A0307提示利用者信息。
此外,设为在由用户将用户ID向用户ID输入栏A0401输入了的状态下,用户按下密码再发行按钮A0405、即通过用户界面部A0307发行密码再发行请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放。蓝牙通信模块部A0306将指令类别“密码再发行”、在密钥存放部A0303中存放的密钥、在用户ID存放部A0304中存放的用户ID向电视会议设备A0100a发送。
接着,说明使用便携终端A0101选择电视会议的连接对象时的动作。
用户界面部A0307将用户ID作为利用者信息在用户ID显示栏A0500a中进行提示,在连接履历选择栏A0502a中提示登入中的用户ID过去连接过的日期时间以及连接对象IP地址、即连接履历。
在此,在利用者触摸了连接履历选择栏A0502a的情况下,用户界面部A0307将图41所示的连接履历选择栏A0502a之中的被触摸了的IP复制到连接对象IP输入栏A0501a中。
用户界面部A0307若检测出会议开始按钮A0503被按下,则将指令类别“连接”、会话ID、以及在连接对象IP输入栏A0501a中输入的连接对象IP地址向电视会议设备A0100a发送。
[用户新注册时的流程]
接着,说明各构成要素的动作次序。
在以下,首先利用图42说明用户新注册时的流程。在此,图42为表示实施方式4中的用户新注册时的流程的一例的图。
首先,若用户启动便携终端A0101的应用,则便携终端A0101成为等待接受状态(AS0800a)。
接着,便携终端A0101若在等待接受状态下接收到电视会议设备A0100a的可见光ID,则从所取得的可见光ID中提取MAC地址与密钥(AS0801a)。
接着,便携终端A0101检索在便携终端A0101周围存在的蓝牙连接对象。并且,若在检索结果之中存在向可见光ID赋予的MAC地址,则与具有该MAC地址的设备即电视会议设备A0100a建立蓝牙连接(AS0802a)。
接着,若建立连接,则便携终端A0101显示图40所示的新注册画面A0307b(AS0803a)。
接着,设为在由用户将用户ID向用户ID输入栏A0700输入、将密码向密码输入栏A0701输入了的状态下,用户按下新注册按钮A0702,即通过用户界面部A0307发行登入请求。
于是,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中(AS0804)。
接着,以太网模块部A0308将在用户ID存放部A0304中存放的用户ID与在密码存放部A0305中存放的密码向服务器设备A0102a发送,即尝试用户注册处理(AS0805)。
接着,若以太网模块部A0500从便携终端A0101接收到用户ID与密码,则登入控制部A0501对用户信息管理部A0502追加所接收的用户ID与密码的组。若登入控制部A0501的追加处理完成,则以太网模块部A0500对便携终端A0101返回注册完成通知(AS0806)。
[登入时的流程]
接着,利用图43说明登入时的流程。在此,图43为表示实施方式4中的登入时的流程的一例的图。
首先,事先接通电视会议设备A0100a的电源,执行启动处理。
接着,若电视会议设备A0100a启动,则密钥生成部A0203以随机数生成密钥,存放到密钥存放部A0202中(AS0900a)。
此外,用户启动便携终端A0101的应用,使得处于可接收可见光的状态(AS0901)。
于是,可见光ID控制部A0201从MAC地址存放部A0205中读入MAC地址,还从密钥存放部A0202中读入密钥,复用二者来生成可见光ID,对显示器部A0200发送编码可见光ID而得的编码信号。显示器部A0200基于所接收的编码信号进行发光控制(AS0902a)。
接着,可见光ID接收部A0300具备与摄像部同等的功能,通过在启动后将快门速度设定得快从而能够进行接收,若从电视会议设备A0100a接收到编码信号,则将所接收的编码信号向可见光ID解码部A0301发送。可见光ID解码部A0301对编码信号进行解码,提取MAC地址与密钥,将MAC地址向通信对象MAC地址存放部A0302存放,将密钥向密钥存放部A0303存放。随后,用户界面部A0307更新到能够按下由图39所示的登入画面A0307a中提示的连接开始按钮A0400的状态。接着,若由用户按下用户界面部A0307所提示的连接开始按钮A0400,即从用户界面部A0307接受连接请求,则蓝牙通信模块部A0306向具有通信对象MAC地址存放部A0302所示的MAC地址的设备、即电视会议设备A0100a发行连接请求并建立连接(AS0903a)。
接着,若建立连接,则用户界面部A0307更新到登入按钮A0403以及简单登入按钮A0404皆可按下的状态。
在此,还设为在由用户将用户ID输入用户ID输入栏A0401、将密码输入至密码输入栏A0402的状态下,用户按下登入按钮A0403、即通过用户界面部A0307发出登入请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,将密码存放到密码存放部A0305中,蓝牙通信模块部A0306读出在密钥存放部A0303存放的密钥、在用户ID存放部A0304存放的用户ID、在密码存放部A0305中存放的密码(AS0904a),向电视会议设备设备A0100a发送(AS0905a)。
另一方面,设为用户按下简单登入按钮A0404、即通过用户界面部A0307发出简单登入请求。该情况下,蓝牙通信模块部A0306读入在密钥存放部A0303中存放的密钥、在用户ID存放部A0304中存放的用户ID、以及在密码存放部A0305中存放的密码(AS0904a),向电视会议设备A0100a发送(AS0905a)。
接着,蓝牙通信模块部A0204若从便携终端A0101接收到用户ID与密码,则仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,将用户ID向用户ID存放部A0206存放,将密码向密码存放部A0207存放,经由以太网模块部A0208将会话ID向便携终端A0101发送,作为完成登入(AS0906a)。
以后,便携终端A0101若从用户接受连接对象IP地址的输入,则对电视会议设备A0100a发送以连接对象IP地址、会话ID为组的指令发行(AS0907a)。电视会议设备A0100a仅在所接收的会话ID与在会话ID存放部A0210中存放的会话ID相等的情况下,与所取得的连接对象IP地址所示的电视会议系统用的服务器设备A0102a开始进行影像、声音通信(AS0908a)。
如以上,利用便携终端A0101在电视会议设备A0100a与电视会议系统用的服务器设备A0102a间进行影像、声音通信。
[密码再发行时的流程]
接着,利用图44说明密码再发行时的流程。在此,图44为表示实施方式4中的登入时的流程的一例的图。
首先,事先接通电视会议设备A0100a的电源,执行启动处理。
接着,若电视会议设备A0100a启动,则密钥生成部A0203以随机数生成密钥,存放到密钥存放部A0202中(AS1000)。
此外,用户启动便携终端A0101的应用,使得处于可接收可见光的状态(AS1001)。
于是,可见光ID控制部A0201从MAC地址存放部A0205中读入MAC地址,还从密钥存放部A0202中读入密钥,复用二者来生成可见光ID,对显示器部A0200发送编码可见光ID而得的编码信号。显示器部A0200基于所接收的编码信号进行发光控制(AS1002)。
接着,可见光ID接收部A0300具备与摄像部同等的功能,通过在启动后将快门速度设定得快从而能够进行接收,若从电视会议设备A0100a接收编码信号,则将所接收的编码信号向可见光ID解码部A0301发送。可见光ID解码部A0301对编码信号进行解码,提取MAC地址与密钥,将MAC地址向通信对象MAC地址存放部A0302存放,将密钥向密钥存放部A0303存放。随后,用户界面部A0307更新到能够按下由图39所示的登入画面A0307a中提示的连接开始按钮A0400的状态。接着,若由用户按下用户界面部A0307的连接开始按钮A0400,即从用户界面部A0307接受连接请求,则蓝牙通信模块部A0306向具有通信对象MAC地址存放部A0302所示的MAC地址的设备、即电视会议设备A0100a发行连接请求并建立连接(AS1003)。
接着,若建立了连接,则用户界面部A0307更新到密码再发行按钮A0405也可按下的状态。
在此,还设为在由用户将用户ID输入至用户ID输入栏A0401的状态下,用户按下密码再发行按钮A0405、即通过用户界面部A0307发行密码再发行请求。该情况下,用户界面部A0307将用户ID向用户ID存放部A0304存放,蓝牙通信模块部A0306读入在密钥存放部A0303中存放的密钥以及在用户ID存放部A0304中存放的用户ID(AS1004),并向电视会议设备A0100a发送(AS1005)。
接着,电视会议设备A0100a在接收到指令类别“密码再发行”的情况下,进行所接收的密钥的合法性检查。电视会议设备A0100a在合法性检查中,仅在所接收的密钥与在密钥存放部A0202中存放的密钥相等的情况下,将用户ID与作为随机值而生成的密码存放到用户信息管理部A0207a中。并且,经由以太网模块部A0208,对用户ID所示的邮件地址发送所生成的密码(AS1006)。
[效果]
如以上那样地,本实施方式的通信方法是包括便携终端与设备的系统的通信方法,包括:可见光通信步骤,所述便携终端通过与所述设备进行可见光通信,取得所述设备所保持的密钥与唯一地确定所述设备的识别符;连接请求步骤,所述便携终端利用经所述可见光通信步骤取得的所述密钥,通过无线通信对由所取得的所述识别符确定的所述设备进行连接请求;以及连接建立步骤,在所述设备所生成的所述密钥与在所述连接请求步骤中由所述移动设备发送到所述设备的密钥一致的情况下,建立所述移动设备与所述设备的连接。
在此,例如,本实施方式的通信方法在所述连接建立步骤中也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID;生成步骤,生成与所述ID关联的密码;以及发送步骤,发送所生成的密码。
此外,例如,本实施方式中的通信方法在所述连接建立步骤中也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID、以及用于以所述ID进行所述连接的密码。
因此,根据本实施方式中的具有登入功能的系统的通信方法,能够只从可视觉辨认电视会议设备的终端、即来自与电视会议设备同一室内的终端接受登入。据此,能够得到使针对特定的电视会议设备的登入处理变得简单,进而排除来自其他房间的非法登入的效果。
另外,在本实施方式中,设想在便携终端A0101启动着的期间可见光ID接收部A0300总是运转来进行说明,但不限于此。也可以根据便携终端A0101的状态切换可见光ID接收部A0300的运转/不运转。例如,也可以通过内置在便携终端A0101中的加速度传感器判定便携终端A0101是近于水平还是近于垂直,只在便携终端A0101近于垂直、即将便携终端A0101的可见光ID接收部A0300朝向位于正面的显示器的可能性高的情况下,才使可见光ID接收部A0300运转。进而,也可以例如活用因使可见光ID接收部A0300不运转而得到的剩余的硬件资源,使其他硬件资源、例如使副(第二)摄像部运转。
(实施方式5)
在本实施方式中,说明具有利用可见光通信的计费功能的系统等。
图45为表示实施方式5中的具有利用可见光通信的计费功能的计费系统的整体构成的图。
本实施方式中的计费系统具备利用可见光通信的计费功能,如图45所示,由游戏设备A1100、便携终端A1101以及服务器设备A1102构成。
便携终端A1101具有费用充值功能。便携终端A1101若经用户界面输入便携终端ID、充值金额、信用卡号码以及信用卡的有效期限,则向服务器设备A1102发送便携终端ID、充值金额、信用卡号码以及信用卡的有效期限。
服务器设备A1102核对所接收的信用卡号码及其有效期限,进行充值金额的支付结算处理。服务器设备A1102在由用户正常进行了结算处理时,更新与便携终端ID创建了关联的充值金额,将完成结算之意通知便携终端A1101。于是,便携终端A1101更新显示器显示内容以对用户提示完成结算处理。
游戏设备A1100具有作为可见光通信的发送侧的功能。游戏设备A1100通过可见光通信对便携终端A1101发送与游戏创建了关联的服务器的URL。据此,便携终端A1101能够访问该URL所示的网站,所以能够打开与该游戏有关的专用站点并阅览。
此外,游戏设备A1100通过可见光通信对便携终端A1101发送游戏设备A1100的游戏设备ID、等待游戏人数、玩游戏费用、最多玩游戏次数以及最多玩游戏人数。
据此,用户经便携终端A1101的显示部,能够知晓游戏设备A1100的游戏设备ID、等待游戏人数、玩游戏费用、最多玩游戏次数以及最多玩游戏人数。
该情况下,便携终端A1101若通过用户界面输入来输入了玩游戏次数、玩游戏人数,则将游戏设备ID、玩游戏费用、玩游戏次数、玩游戏人数以及便携终端ID发送到服务器设备A1102。于是,服务器设备A1102根据所接收的玩游戏费用、玩游戏次数以及玩游戏人数更新与便携终端ID创建了关联的充值金额。继而,服务器设备A1102对游戏设备A1100发送便携终端ID、玩游戏次数以及玩游戏人数。
游戏设备A1100将所接收的便携终端ID、玩游戏次数以及玩游戏人数追加到等待接受队列中。游戏设备A1100在刚启动后或玩游戏结束时成为等待接受状态,若从便携终端A1101发送了便携终端ID,则开始新游戏。
[游戏设备A1100的内部构成]
接着,利用图46说明游戏设备A1100的内部构成。
图46为表示实施方式5中的游戏设备的内部构成的一例的图。图47为表示实施方式5中的请求信息存放部所存放的信息的一例的图。
图46所示的游戏设备A1100由显示器部A1200、可见光ID控制部A1201、设备ID存放部A1202、设备ID生成部A1203、以太网模块部A1204、请求信息存放部A1205、应用控制部A1206、NFC模块部A1207、以及事先存放有用于确定服务器设备A1102的URL的URL存放部A1208构成。
在此,请求信息存放部A1205按照图47所示的环形缓冲结构存放着表示从哪位用户有预约的信息。也就是说,请求信息存放部A1205为具有环形缓冲结构的等待接受队列,保持便携终端IDA1300、玩游戏次数A1301以及玩游戏人数A1302,作为队列的要素。
以下,说明各构成要素的动作(行为)。
若游戏设备A1100启动,则设备ID生成部A1203生成游戏设备ID,将所生成的游戏设备ID存放到设备ID存放部A1202。在本实施方式中,设游戏设备ID为“能够唯一地确定游戏设备A1100的识别符”。更具体而言,设为分配给游戏设备A1100的IP地址。
接着,可见光ID控制部A1201从设备ID存放部A1202中读入游戏设备ID,从URL存放部A1208读入URL,从在请求信息存放部A1205中存放的预约信息中取得等待预约人数。可见光ID控制部A1201复用游戏设备ID、等待预约人数、URL、玩游戏费用、最多玩游戏次数、最多玩游戏人数来作为可见光ID,对显示器部A1200发送编码可见光ID而得的编码信号。
显示器部A1200基于所接收的编码信号进行发光控制。
以太网模块部A1204若从服务器设备A1102接收到便携终端ID、玩游戏次数以及玩游戏人数,则对应用控制部A1206通知便携终端ID、玩游戏次数以及玩游戏人数。
应用控制部A1206对请求信息存放部A1205追加便携终端ID、玩游戏次数以及玩游戏人数。该情况下,请求信息存放部A1205作为等待接受队列发挥功能。在游戏设备A1100刚启动后或玩游戏结束时,应用控制部A1206成为等待接受状态。
若应用控制部A1206在等待接受状态下,NFC模块部A1207从便携终端接收到便携终端ID,则NFC模块部A1207对应用控制部A1206通知便携终端ID。应用控制部A1206在被通知的便携终端ID与在请求信息存放部A1205中配置的请求队列的开头的便携终端IDA1300相同时,判断为持有便携终端A1101的用户发出了游戏开始请求,并开始游戏。
[便携终端A1101的内部构成]
接着,利用图48说明便携终端A1101的内部构成。
图48为表示实施方式5中的便携终端的内部构成的一例的图。图49为表示实施方式5中的用户界面部的游戏注册画面的概观的一例的图。图50为表示实施方式5中的用户界面部的充值画面的概观的一例的图。
图48所示的便携终端A1101具备可见光ID接收部A1400、可见光ID解码部A1401、设备ID存放部A1402、URL存放部A1403、在便携终端A1101启动的状态下写入有未载入标志的重载入标志存放部A1404、以太网模块部A1405、NFC模块部A1406、用户界面部A1407以及便携终端ID存放部A1408。
在此,用户界面部A1407如图50所示,显示至少包括信用卡信息输入部A1601、充值金额输入部A1602以及充值执行按钮A1603的费用充值画面A1600。在此,信用卡信息输入部A1601为用于输入信用卡号码及其有效期限的输入栏。充值金额输入部A1602为用于输入充值金额的输入栏。充值执行按钮A1603是成为用于执行充值执行处理的触发的按钮。
此外,用户界面部A1407如图49所示,显示至少包括等待游戏人数显示部A1501、玩游戏费用显示部A1502、游戏次数输入部A1503、最多次数显示部A1504、玩游戏人数输入部A1505、最多人数显示部A1506以及预约按钮A1507的游戏注册画面A1500。
在此,若希望玩游戏,则等待游戏人数显示部A1501显示已经预约的其他用户人数,玩游戏费用显示部A1502显示一人次玩游戏所需的价格。最多次数显示部A1504显示一次预约能够玩游戏的最多次数,最多人数显示部A1506显示一次游戏能够玩的最多人数。
此外,游戏次数输入部A1503为用于输入一次预约玩游戏的次数的输入栏,玩游戏人数输入部A1505为用于输入一次游戏玩的人数的输入栏。游戏次数输入部A1503中能够输入的字符为1以上的数值,限制为不超过最多次数显示部A1504所示的最多次数。玩游戏人数输入部A1505中能够输入的字符为1以上的数值,限制为不超过最多人数显示部A1506所示的最多人数。
以下,说明各构成要素的行为。
预约按钮A1507为用于执行预约的按钮。
[便携终端A1101的动作]
首先,说明向服务器设备追加可利用的资金时的便携终端A1101的动作(行为)。
用户界面部A1407显示图50所示的费用充值画面A1600。
接着,设为用户界面部A1407在通过来自用户的输入对信用卡信息输入部A1601输入信用卡号码与有效期限,并且对充值金额输入部A1602输入了充值金额的状态下,检测出充值执行按钮A1603的按压。该情况下,用户界面部A1407将充值金额、信用卡号码及其有效期限通知以太网模块部A1405。
接着,以太网模块部A1405若接受上述的通知,则将通知的信用卡号码、有效期限及充值金额、以及在便携终端ID存放部A1408中存放的便携终端ID发送到服务器设备A1102。
其后,若以太网模块部A1405被服务器设备A1102通知了结算完成之意,则用户界面部A1407更新显示器的显示内容(描绘状态)以提示结算处理完成。
接着,说明便携终端A1101接收可见光时的动作(行为)。在此,可见光ID接收部A1400具备与摄像部同等的功能,通过启动后将快门速度设定得快从而能够进行可见光通信。
首先,可见光ID接收部A1400若从游戏设备A1100接收到编码信号,则将所接收的编码信号向可见光ID解码部A1401发送。
接着,可见光ID解码部A1401对编码信号进行解码,提取游戏设备ID、URL、等待游戏人数、玩游戏费用、最多玩游戏次数以及最多玩游戏人数。
接着,若可见光ID解码部A1401的提取完成,则用户界面部A1407从重载入标志存放部A1404中读入重载入标志。用户界面部A1407在重载入标志为未载入标志时,对以太网模块部A1405发行重载入通知,对重载入标志存放部A1404写入已载入标志。
接着,以太网模块部A1405若接受重载入通知,则从URL存放部A1403中读入URL,对URL所示的地址发送HTTP请求。若返回了其应答,则以太网模块部A1405基于根据应答而接受的内容,更新游戏注册画面A1500的概观以便包含有图49所示的要素。在此,用户界面部A1407在概观更新过程中,将所提取的等待游戏人数显示在等待游戏人数显示部A1501上,将所提取的玩游戏费用显示在玩游戏费用显示部A1502上,将所提取的最多玩游戏次数显示在A1505上,将所提取的最多玩游戏人数显示在最多人数显示部A1506上。
接着,设为在通过来自用户的输入对游戏次数输入部A1503与玩游戏人数输入部A1505输入了数值的状态下,由用户按压了预约按钮A1507。于是,用户界面部A1407将意为按下的通知发送到以太网模块部A1405。
接着,以太网模块部A1405若接受意为按下的通知,则与在URL存放部A1403中存放的URL所示的服务器设备A1102连接。以太网模块部A1405对服务器设备A1102发送在设备ID存放部A1402中存放的游戏设备ID、被输入到游戏次数输入部A1503中的玩游戏次数、被输入到玩游戏人数输入部A1505中的玩游戏人数、从游戏设备A1100接收的玩游戏费用、以及在便携终端ID存放部A1408中存放的便携终端ID。
接着,以太网模块部A1405若从服务器接受结算完成的通知,则NFC模块部转移到等待游戏设备A1100接近的状态。
接着,NFC模块部A1406若检测到游戏设备A1100的接近,则对游戏设备A1100发送游戏设备ID。
[服务器设备A1102的内部构成]
接着,利用图51说明服务器设备A1102的内部构成。
图51为表示实施方式5中的服务器设备的内部构成的一例的图。图52为表示实施方式5中的结算信息存放部所存放的信息的一例的图。
服务器设备A1102如图51所示,由以太网模块部A1700、结算系统A1701、结算信息存放部A1702以及概观控制部A1703构成。
在此,结算信息存放部A1702按照如图52所示的结构存放信息。也就是说,结算信息存放部A1702例如按照由存放便携终端ID的便携终端ID列A1801、存放信用卡号码/有效期限的信用卡信息列A1802、以及存放余额的余额列A1803构成的结构存放信息。
[服务器设备A1102的动作]
首先,说明在进行充值处理时的服务器设备A1102的动作(行为)。在此,充值处理为基于来自便携终端A1101的发送向服务器内的数据库追加可利用的资金的处理。
首先,设为服务器设备A1102的以太网模块部A1700从便携终端A1101接收到便携终端ID、信用卡号码、其有效期限以及充值金额。
接着,以太网模块部A1700从结算信息存放部A1702中检索所接收的便携终端ID、信用卡号码、其有效期限的组。
以太网模块部A1700若未检索到符合的组,则新追加便携终端ID、信用卡号码以及该有效期限的组,对追加的行的余额列A1803写入充值金额。
另一方面,若已经存在符合的组,则以太网模块部A1700使符合的行中的余额列A1803的内容增加充值金额量。
若完成以上的充值处理,则服务器设备A1102对作为通信源的便携终端A1101通知充值完成之意。
接着,说明在从便携终端A1101接受玩游戏预约时的服务器设备A1102的动作(行为)。
首先,以太网模块部A1700若从便携终端A1101接收HTTP请求,则对概观控制部A1703发送通知。
接着,概观控制部A1703若接受上述的通知,则将作为概观数据的HTML数据通知以太网模块部A1700。
接着,以太网模块部A1700若接受通知,则将HTML数据向便携终端A1101发送。
接着,以太网模块部A1700若从便携终端A1101接收到游戏设备ID、玩游戏费用、玩游戏次数、玩游戏人数以及便携终端ID,则从结算信息存放部A1702中检索符合的便携终端ID。
以太网模块部A1700在检索到了符合的便携终端ID时,对结算信息存放部A1702的符合的行的余额列A1803,根据玩游戏费用、玩游戏次数以及玩游戏人数更新与便携终端ID创建了关联的充值金额。
接着,若更新处理完成,则以太网模块部A1700对便携终端A1101通知结算完成。再有,以太网模块部A1700根据从便携终端A1101接收的游戏设备ID即IP确定作为玩游戏预约对象的游戏设备A1100,对游戏设备A1100发送便携终端ID、玩游戏次数以及玩游戏人数。
[计费系统的处理流程]
接着,说明实施方式5中的计费系统的处理。
[费用充值时的流程]
首先,利用图53说明充值游戏费用时的流程。在此,图53为表示实施方式5中的计费系统的费用充值时的流程的一例的图。
首先,在便携终端A1101中,进行信用卡信息的输入接受(步骤SA1901)。具体而言,用户界面部A1407在通过来自用户的输入对信用卡信息输入部A1601输入信用卡号码与有效期限,并且对充值金额输入部A1602输入了充值金额的状态下,检测用户按下充值执行按钮A1603。于是,用户界面部A1407将充值金额、信用卡号码/有效期限通知以太网模块部A1405。
接着,便携终端A1101将充值信息发送到服务器设备A1102(步骤SA1902)。具体而言,以太网模块部A1405若接受通知,则将通知的信用卡号码、其有效期限以及充值金额、以及在便携终端ID存放部A1408中存放的便携终端ID发送到服务器设备A1102。
接着,服务器设备A1102进行新注册(步骤SA1903)。具体而言,以太网模块部A1700若从便携终端A1101接收到便携终端ID、信用卡号码、其有效期限以及充值金额,则从结算信息存放部A1702中检索所接收的便携终端ID、信用卡号码/有效期限的组。并且,以太网模块部A1700若未检索到符合的组,则新追加便携终端ID、信用卡号码、该有效期限的组,对追加的行的余额列A1803写入充值金额。
另一方面,服务器设备A1102在已注册的情况下,进行注册更新(步骤SA1904)。具体而言,以太网模块部A1700从结算信息存放部A1702中检索所接收的便携终端ID、信用卡号码/有效期限的组,若已存在符合的组,则使符合的行中的余额列A1803的内容增加充值金额量。
接着,若上述的充值处理完成,则服务器设备A1102对作为通信源的便携终端A1101通知充值完成(注册更新)之意(步骤SA1905)。
接着,便携终端A1101更新描绘状态(步骤SA1906)。具体而言,若以太网模块部A1405被服务器设备A1102通知了结算完成之意,则用户界面部A1407更新显示器的显示内容(描绘状态)以提示结算处理完成。
[UI更新时的流程]
接着,利用图54说明UI更新时的流程。图54为表示实施方式5中的计费系统的UI更新时的流程的一例的图。所谓“UI更新”意指游戏设备A1100通知可见光ID,便携终端A1101更新用户界面部A1407的概观。
首先,更新便携终端A1101的快门速度以及曝光(步骤SA11001)。即,便携终端A1101所包含的可见光ID接收部A1400具备与摄像部同等的功能,通过在启动后将快门速度设定得快从而能够进行可见光通信。
接着,游戏设备A1100通过可见光通信进行ID通知(步骤SA11002)。
具体而言,设备ID生成部A1203生成游戏设备ID,将所生成的游戏设备ID存放到设备ID存放部A1202中。在此,游戏设备ID为例如“能够唯一地确定游戏设备A1100的识别符”。在本实施方式中,设游戏设备ID为分配给游戏设备A1100的IP地址。接着,可见光ID控制部A1201从设备ID存放部A1202中读入游戏设备ID,从URL存放部A1208中读入URL,复用游戏设备ID、等待预约人数、URL、玩游戏费用、最多玩游戏次数以及最多玩游戏人数来作为可见光ID。可见光ID控制部A1201对显示器部A1200发送编码该可见光ID而得的编码信号。并且,显示器部A1200基于所接收的编码信号进行发光控制。如此一来,游戏设备A1100能够通过可见光通信通知游戏设备ID。
接着,便携终端A1101提取游戏设备ID、最多玩游戏次数等(步骤SA11003)。具体而言,可见光ID接收部A1400若从游戏设备A1100接收到编码信号,将所接收的编码信号向可见光ID解码部A1401发送。可见光ID解码部A1401对编码信号进行解码,提取游戏设备ID、URL、等待游戏人数、玩游戏费用、最多玩游戏次数以及最多玩游戏人数(步骤SA11003)。
接着,便携终端A1101判定是否需要重载入(步骤SA11004)。具体而言,若提取完成,则用户界面部A1407从重载入标志存放部A1404中读入重载入标志。用户界面部A1407在读入的重载入标志为未载入标志时,对以太网模块部A1405发行重载入通知,对重载入标志存放部A1404写入已载入标志。
接着,便携终端A1101在判定为需要重载入时,提取URL(步骤SA11005),对服务器设备A1102发送HTTP请求(步骤SA11006)。具体而言,以太网模块部A1405若接受重载入通知,则从URL存放部A1403中读入URL,对URL所示的地址(服务器设备A1102)发送HTTP请求。
接着,服务器设备A1102将用于浏览器显示或更新的HTML数据向便携终端A1101发送(步骤SA11007)。具体而言,以太网模块部A1700若从便携终端A1101接受HTTP请求,则对概观控制部A1703发送通知。概观控制部A1703若接受通知,则将作为概观数据的HTML数据通知以太网模块部A1700。以太网模块部A1700若接受通知,则将HTML数据向便携终端A1101发送。
接着,便携终端A1101进行浏览器显示或更新。具体而言,若从服务器设备A1102返回应答,则用户界面部A1407基于根据应答而接受的内容,更新游戏注册画面A1500的概观以便包含有图49所示的要素。在本实施方式中,用户界面部A1407在概观更新过程中,将所提取的等待游戏人数显示在等待游戏人数显示部A1501上,将所提取的玩游戏费用显示在玩游戏费用显示部A1502上,将所提取的最多玩游戏次数显示在A1505上,将所提取的最多玩游戏人数显示在最多人数显示部A1506上。
[玩游戏预约时的流程]
接着,利用图55说明进行玩游戏的预约时的流程。图55为表示实施方式5中的计费系统的玩游戏预约时的流程的一例的图。
首先,便携终端A1101取得玩游戏次数以及人数(步骤SA11101)。具体而言,首先,设为在由用户对用户界面部A1407所提供的游戏次数输入部A1503与玩游戏人数输入部A1505输入了数值的状态下,进而按下了预约按钮A1507。于是,用户界面部A1407将意为按下的通知发送到以太网模块部A1405。
接着,便携终端A1101进行结算处理(步骤SA11102)。具体而言,以太网模块部A1405若接受通知,则与在URL存放部A1403中存放的URL所示的服务器设备A1102连接。以太网模块部A1405对服务器设备A1102发送在设备ID存放部A1402中存放的游戏设备ID、被输入到游戏次数输入部A1503中的玩游戏次数、被输入到玩游戏人数输入部A1505中的玩游戏人数、从游戏设备A1100接收的玩游戏费用、以及在便携终端ID存放部A1408中存放的便携终端ID(图中为终端ID)。
接着,服务器设备A1102对便携终端A1101通知结算结果(步骤S11103)。具体而言,以太网模块部A1700若从便携终端A1101接收到游戏设备ID、玩游戏费用、玩游戏次数、玩游戏人数以及便携终端ID(结算处理),则从结算信息存放部A1702中检索符合的便携终端ID。以太网模块部A1700在检索到符合的便携终端ID时,对结算信息存放部A1702的符合的行的余额列A1803,根据玩游戏费用、玩游戏次数以及玩游戏人数更新与便携终端ID创建了关联的充值金额。若更新处理完成,则以太网模块部A1700对便携终端A1101通知结算完成。并且,在便携终端A1101中,若以太网模块部A1405从服务器接受结算完成的通知,则NFC模块部转移到等待游戏设备A1100接近的状态。
接着,服务器设备A1102对游戏设备A1100发送玩游戏预约的内容(步骤S11104)。具体而言,服务器设备A1102通过从便携终端A1101接收的游戏设备ID即IP确定作为玩游戏预约对象的游戏设备A1100,对游戏设备A1100发送便携终端ID、玩游戏次数以及玩游戏人数(玩游戏预约的内容)。
接着,游戏设备A1100接收玩游戏预约,追加预约队列(步骤SA11105)。具体而言,以太网模块部A1204若从服务器设备A1102接收到便携终端ID、玩游戏次数以及玩游戏人数(玩游戏预约的内容),则对应用控制部A1206通知便携终端ID、玩游戏次数以及玩游戏人数(玩游戏预约)。应用控制部A1206对请求信息存放部A1205追加便携终端ID、玩游戏次数、玩游戏人数(玩游戏预约的内容)。在本实施方式中,请求信息存放部A1205作为等待接受队列发挥功能。在游戏设备A1100刚启动后或玩游戏结束时,应用控制部A1206成为等待接受状态。
接着,便携终端A1101对游戏设备A1100发送终端ID(便携终端ID)(步骤SA11106)。具体而言,NFC模块部A1406若检测到与游戏设备A1100接近(触摸动作),则对游戏设备A1100发送便携终端ID。
接着,游戏设备A1100使用户开始玩游戏(步骤SA11107)。具体而言,NFC模块部A1207若在应用控制部A1206等待接受状态下从便携终端A1101接收到便携终端ID,则向应用控制部A1206通知便携终端ID。应用控制部A1206在通知的便携终端ID与在请求信息存放部A1205中配置的请求队列的开头的便携终端IDA1300相同时,判断为持有便携终端A1101的用户发出了游戏开始请求,并开始游戏。
[效果]
如以上那样地,本实施方式的通信方法是包括便携终端与设备的计费系统的通信方法,包括:可见光通信步骤,所述便携终端通过与所述设备进行可见光通信,取得唯一地确定所述设备的设备识别符以及用于在所述设备的利用中进行计费处理的服务器的URL;连接建立步骤,所述便携终端利用经所述可见光通信步骤取得的所述设备识别符以及唯一地确定所述便携终端的终端识别符,建立与所取得的所述URL的服务器的连接;以及计费处理步骤,所述便携终端与所连接的所述URL的服务器进行计费处理。
此外,例如,本实施方式中的通信方法在所述连接建立步骤中也可以还包括:输入步骤,输入唯一地确定所述便携终端的用户的ID、以及用于以所述ID进行所述连接的密码。
因此,根据本实施方式的具有计费功能的系统等,用户利用便携终端A1101,不对游戏设备A1100投入硬币,在其他用户使用游戏设备A1100的状况下,也能够从距游戏设备A1100数米~数十米远的位置进行玩游戏预约。此外,根据本实施方式的具有计费功能的系统等,因为通过触摸动作开始玩游戏,所以也能够阻止不能视觉辨认游戏设备A1100的用户因恶作剧的目的而执行无用的玩游戏预约。
另外,在本实施方式中,设游戏设备ID为分配给游戏设备A1100的IP地址,但不限于此。游戏设备ID只要是“能够唯一地确定游戏设备A1100的识别符”则可为任意,例如也可以是如MAC地址那样的信息。
此外,在本实施方式中,服务器设备A1102将便携终端ID存放到结算信息存放部A1702中。此原本不是用于确定便携终端的信息,而是用于确定正使用便携终端的用户的信息。因此,由于某一特定的用户能够对多个便携终端输入相同的用户ID并玩游戏,因此也可以不利用用于确定便携终端的便携终端ID而利用用于确定用户的用户ID。
此外,关于游戏设备ID,记载了对游戏设备ID、等待预约人数、URL、玩游戏费用、最多玩游戏次数以及最多玩游戏人数全部进行编码,并作为1种ID进行通知,但并非限定为总是将同一ID通过可见光通信进行通信。例如,在游戏排名画面中,也可以将排名专用的URL作为ID进行编码,在玩游戏预约过多时,也可以变更玩游戏费用、最多玩游戏次数以及最多玩游戏人数的内容作为ID并进行编码。如果与预约状况相应地限制一次预约能够玩游戏的次数、即将最多玩游戏次数设定得少来进行编码,则有助于缓解预约过量。
再有,也可以在服务器设备A1102将图49所示的预约接受画面发送到便携终端A1101时,从游戏设备A1100接收预约状况,针对玩游戏预约在游戏设备A1100的请求信息存放部A1205中蓄积了一定量以上的便携终端ID,变更图49的概观以限制预约。
另外,在本实施方式中,说明了通过便携终端对设置在游戏中心或游乐场的街机游戏等的游戏设备进行计费的情况的例子,但不限于游戏设备。
例如,既可以为设置在健身房中的健身脚踏车等的健身设备,也可以为酒店的预付电视设备。
在此,在健身设备的情况下,本实施方式的计费系统具备健身设备、搭载于健身设备的NFC部,搭载于健身设备且搭载在用户容易看见的位置处的发光部、服务器以及便携终端即可。在此,便携终端具有进行可见光通信和NFC通信的功能即可。此外,发光部用于可见光通信即可,与是否能够进行影像显示无关。
据此,用户通过使便携终端朝向搭载在健身设备上的发光部进行可见光通信,能够与健身设备进行配对以及进行健身(训练)预约。并且,如果之前的人使用完健身设备,用户在等待健身中通过进行NFC通信(使便携终端靠近的动作)就能够开始健身。另外,健身设备也可以按每一用户记录所使用的时间或消耗热量并蓄积到服务器中。
此外,在预付式电视设备的情况下,本实施方式的计费系统具备电视设备、作为并非电视的影像部的如信标那样的物体的发光部、以及便携终端即可。再有,也可以具有在实施方式2以及3中说明了的能够防止第三者从设置有电视设备的房间外非法登入的功能。
据此,用户能够安心地如下使用:通过使便携终端朝向发光部地进行可见光通信,从而与电视设备进行配对且接通电源,或者若通过便携终端发送指令则切换电视的频道。
(实施方式6)
在本实施方式中,说明具有利用可见光通信的导航功能的通信系统等。
图56为概念性表示实施方式6中的地图位置检测的图。
在本实施方式的通信系统中,例如图56所示进行如下导航:进行地图A2103上的自身的位置检测(位置A2100),提示自身的位置与目的位置(位置A2101),并且提示从自身的位置到目的位置的路径。
在图56所示的例子中,本实施方式的通信系统检测表示店内的地图A2103上的用户自身的位置A2100,将位置A2100以及表示目的位置的位置A2101显示在地图A2103上。在此,位置A2101在用户以购买鼠标(商品)为目的时,为放置鼠标(商品)的货架的位置。再有,在图56中,本实施方式的通信系统通过显示连接位置A2100与表示目的位置的位置A2101这2点的最短路径来进行导航。再有,本实施方式的通信系统如A2102所示,根据自己的位置、朝向以及最短路径信息,使自己向哪个方向前进为佳显示在手表器件等搭载有通信终端的器件上。
在以下,说明本实施方式中的通信系统的构成。
图57为表示实施方式6中的通信系统的整体构成的图。
图57所示的通信系统具有导航功能,由照明设备A2200、便携终端A2202以及手表设备A2204构成。
以下,说明各构成要素。
[照明设备的构成]
图58为表示实施方式6中的照明设备的内部构成的一例的图。
图58所示的照明设备A2200由发光部A2300、可见光ID控制部A2301以及设备ID存放部A2302构成。
设备ID存放部2402存放预定的数值。
若接通照明设备A2200的电源,则可见光ID控制部A2301读入在设备ID存放部A2302中存放的设备ID,复用设备ID来作为可见光ID。可见光ID控制部A2301对发光部A2300发送编码可见光ID而得的编码信号。
发光部A2300通过基于所接收的编码信号进行发光控制,与便携终端A222进行可见光通信。
[便携终端的构成]
接着,利用图59说明便携终端A2202的内部构成。
图59为表示实施方式6中的便携终端的内部构成的一例的图。
图59所示的便携终端A2202由摄像部A2400、可见光ID解码部A2401、设备ID存放部A2402、预览图像存放部A2403、相机参数存放部A2404、地图信息存放部A2405、位置推定部A2406、位置信息存放部A2407、用户界面部A2408、目标检测部A2409、方位存放部A2410、蓝牙A2411、地磁/加速度传感器A2412、顶棚距离存放部A2413、麦克风A2414以及声音识别部A2415构成。
以下,利用附图说明各构成要素的行为。
图60为表示实施方式6中的通信系统的动作的流程图。图61为表示实施方式6中的预览图像的一例的图。图62为表示实施方式6中的搭载有通信装置的便携终端的地磁/重力方向的图。图63为表示实施方式6中的求出便携终端相对于被摄体的相对位置的计算式的一例的图。
首先,在顶棚距离存放部A2413中,事先将图57的A2203所示的d即“从便携终端A2202到顶棚A2201的垂直方向距离”存放为“决定为固定值的值”。
接着,摄像部A2400通过启动后将快门速度设定得快(步骤SA2801),能够进行可见光通信。并且,摄像部A2400若从照明设备A2200接收到编码信号(步骤SA2802),则将所接收的编码信号向可见光ID解码部AA2401发送。
接着,可见光ID解码部A2401对编码信号进行解码(步骤SA2803),若提取出设备ID,则将设备ID存放到设备ID存放部A2402中。
接着,摄像部A2400将捕捉到的预览图像存放到预览图像存放部A2403中(步骤SA2804)。在此,预览图像例如图61所示,为由宽度为w(A2500)且高度为h(A2501)的显示部显示的图像。
接着,位置推定部A2406若从预览图像存放部A2403中读入预览图像,则算出预览图像中的照明部分的重心坐标A2502(步骤SA2805)。
接着,位置推定部A2406从相机参数存放部A2404中读入相机的水平视场角(图57所示的angle_h)与垂直视场角(图57所示的angle_v),从地磁/加速度传感器A2412读入方位以及重力方向(步骤SA2806)。
接着,位置推定部A2406算出“摄像部A2400的绝对位置”,将算出的位置信息存放到位置信息存放部A2407中(步骤SA2807)。
具体而言,首先,位置推定部A2406通过地磁/加速度传感器A2412的地磁传感器,决定作为相对于智能电话的姿势的朝北方向的矢量n(图62所示的A2600)以及作为相对于智能电话的姿势的朝东方向的矢量e(图62所示的A2601)。
接着,位置推定部A2406利用地磁/加速度传感器A2412的加速度传感器,决定作为相对于智能电话的姿势的重力方向的矢量g(图62所示的A2602)。再有,位置推定部A2406从顶棚距离存放部A2413中读入顶棚距离d(图61的A2203)。
接着,位置推定部A2406读入以上的矢量,基于图63所示的式子算出矢量p即摄像部A2400相对于照明的相对位置。另外,在实施方式中说明了式子的含义等,因此省略此处的说明。
接着,位置推定部A2406从地图信息存放部A2405中读入设备ID与绝对坐标,求出与在设备ID存放部A2402中存放的设备ID对应的绝对坐标即照明设备A2200的绝对位置。
如此一来,位置推定部A2406算出对“照明设备A2200的绝对位置”追加“摄像部A2400相对于照明设备A2200的相对位置”而得的“摄像部A2400的绝对位置”,将算出的位置信息存放到位置信息存放部A2407中。
接着,用户界面部A2408从地图信息存放部中读入地图图像来进行渲染,进行地图图像的渲染处理。地图图像为例如图56所示的地图A2103。接着,用户界面部A2408根据在位置信息存放部A2407中存放的位置信息算出地图图像上的当前位置图标所示的位置A2100的渲染坐标位置,进行当前位置图标所示的位置A2100的渲染处理(步骤SA2808)。
接着,若蓝牙A2411从手表设备A2204接收到声音信号与手表设备的姿势信息,并发送到目标检测部A2409,则目标检测部A2409进行声音识别处理(步骤SA2809)。在此,目标检测部A2409通过将由麦克风A2414收集的声音由声音识别部A2415识别并进行文本化来进行声音识别处理。
接着,目标检测部A2409从地图信息存放部A2405中读入商品关键字与绝对位置坐标的组,将商品关键字与声音识别处理的结果创建关联。若检测出符合作为声音识别处理的结果而文本化的字符中的商品关键字,则将与该商品关键字创建了关联的绝对坐标作为“目标坐标”存放到位置信息存放部A2407中(步骤SA2810)。
接着,用户界面部A2408从位置信息存放部A2407中读入目标坐标,进行目标图标所示的位置A2101的渲染处理。接着,用户界面部A2408从地图信息存放部读入通路信息,求出连接“摄像部A2400的绝对位置”与“目标坐标”的最短路径信息(步骤SA2811)。
接着,用户界面部A2408根据从手表设备A2204经蓝牙A2411接收的手表设备的姿势信息,算出为了以最短路径前进而在手表设备A2204上进行显示的方位,存放到方位存放部A2410中(步骤SA2812)。
接着,用户界面部A2408从方位存放部A2410读入方位信息,发送到手表设备A2204(步骤SA2813)。
接着,用户界面部A2408基于最短路径信息,进行从“摄像部A2400的绝对位置”到“目标坐标”的最短路径的渲染处理(步骤SA2814)。
通过以上的处理,用户以从照明接收的可见光ID为基础,检测摄像部2400即自身的位置,再通过声音识别得知直到自己要搜寻的商品的路线,并且根据手表侧器件等便携终端的显示得知现在这个瞬间自己向哪个方向前进为佳。
另外,在本实施方式中,关于搭载有通信装置的便携终端举出了手表侧器件作为一例来进行说明,但不限于此。搭载有通信装置的便携终端也可以为智能电话等。
此外,在本实施方式中,在顶棚距离存放部A2413中存放的从便携终端到顶棚的距离为固定值,但例如也可以根据摄像部A2400所取得的预览图像中的照明的大小推定从便携终端到照明的距离,将该距离作为图63所示的式中的d’。
此外,在本实施方式中,为了求出在位置信息存放部A2407中存放的目标坐标而利用声音识别,但未必需要进行声音识别处理,例如也可以利用如触摸面板那样的UI来简单地决定目标坐标。
此外,在本实施方式中,设便携终端A2202与手表设备A2204作为独立的构成,但也可以融合二者作为手表设备A2204。
此外,也可以是在手表设备A2204上安装摄像部,求出照明的重心位置并通知便携终端A2202的方式。
此外,也可以是在手表设备A2204上安装LED受光部,设为在预览图像的中央检测到照明的重心位置,并由手表设备A2204通知便携终端A2202的方式。
(实施方式7)
以下,说明实施方式7。
(发光部的亮度的观测)
提出了如下摄像方法:在摄像1张图像时,不是使全部摄像元件以相同定时进行曝光,而是按每一摄像元件在不同时刻开始/结束曝光。图64是使排列成1列的摄像元件同时曝光,按照列从近到远的顺序错开曝光开始时刻地进行摄像的情况的例子。在此,称作“同时进行曝光的摄像元件的曝光线”,将与该摄像元件对应的图像上的像素的线称作“亮线”。
在利用该摄像方法将正在闪烁的光源呈现在摄像元件的整个面上进行摄像时,如图65,在摄像图像上产生沿曝光线的亮线(像素值的明暗的线)。通过识别该亮线的图案,能够推定超过摄像帧速率的速度的光源亮度变化。据此,通过将信号作为光源亮度的变化进行发送,能够以摄像帧速率以上的速度进行通信。在光源通过取2种亮度值来表现信号时,将亮度值低的一方称作“低(LO)”,将亮度值高的一方称作“高(HI)”。低既可以是光源不发光的状态,也可以是比“高”弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,在存在20条曝光时间不重叠的曝光线,摄像的帧速率为30fps时,能够识别1毫秒周期的亮度变化。在存在1000条曝光时间不重叠的曝光线时,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定为短于10毫秒。
图65表示1条曝光线的曝光完成之后开始下一曝光线的曝光的情况。
该情况下,在每1秒的帧数(帧速率)为f、构成1个图像的曝光线数为l时,若根据各曝光线是否接收一定以上的光来传送信息,则能够以最大fl比特每秒的速度传送信息。
另外,在不是按每一线,而是按每一像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每条曝光线的像素数为m像素,通过各像素是否接收一定以上的光来传送信息时,传送速度最大为flm比特每秒。
如图66,若能够以多个级别识别发光部的发光所引起的各曝光线的曝光状态,则通过以短于各曝光线的曝光时间的单位的时间控制发光部的发光时间,能够传送更多的信息。
在能够以Elv级识别曝光状态时,能够以最大flElv比特每秒的速度传送信息。
此外,通过按照与各曝光线的曝光的定时分别稍微错开的定时使发光部发光,能够识别发送的基本周期。
图67表示在1条曝光线的曝光完成之前开始下一曝光线的曝光的情况。即,构成为相邻的曝光线的曝光时间在时间上部分重叠。通过这样的构成,1)与等待1条曝光线的曝光时间的结束再开始下一曝光线的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够更适当地检测作为被摄体的光发送机所产生的光信号。即,能够降低对光信号进行检测时的错误率。再有,2)与等待1条曝光线的曝光时间的结束再开始下一曝光线的曝光的情况相比,能够使各曝光线的曝光时间变长,因此即使被摄体暗,也能够取得更为明亮的图像。即,能够提高S/N比。另外,无需构成为在全部曝光线中相邻的曝光线的曝光时间在时间上部分重叠,也能够构成为一部分曝光线不在时间上部分重叠。通过构成为一部分曝光线不在时间上部分重叠,能够抑制摄像画面上的曝光时间的重叠所引起的中间色的发生,能够更适当地检测亮线。
该情况下,根据各曝光线的明亮度算出曝光时间,识别发光部的发光的状态。
另外,若通过亮度是否为阈值以上的2值来辨别各曝光线的明亮度,则为了识别未发光的状态,发光部必须使未发光的状态持续各线的曝光时间以上的时间。
图68表示在各曝光线的曝光开始时刻相同时由曝光时间的差异所引起的影响。7500a为在前的曝光线的曝光结束时刻与下一曝光线的曝光开始时刻相同的情况,7500b为与之相比使曝光时间增长的情况。如7500b那样地,通过设为相邻的曝光线的曝光时间在时间上部分重叠,能够使曝光时间增长。即,入射到摄像元件的光增加,能够得到明亮的图像。此外,通过将用于对同一明亮度的图像进行摄像的摄像灵敏度抑制得低,能够得到噪声少的图像,因此通信错误得以抑制。
图69表示在曝光时间相等时由各曝光线的曝光开始时刻的差异所引起的影响。7501a为在前的曝光线的曝光结束时刻与下一曝光线的曝光开始时刻相等的情况,7501b为与在前的曝光线的曝光结束相比提前开始下一曝光线的曝光的情况。如7501b那样地,通过设为相邻的曝光线的曝光时间在时间上部分重叠,能够使单位时间能够曝光的线增加。据此,分辨率变得更高,能够得到较多的信息量。由于样本间隔(=曝光开始时刻的差)变密,因此能够更准确地推定光源亮度的变化,能够降低错误率,还能够识别更短的时间下的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光线的曝光量之差,识别短于曝光时间的光源的闪烁。
如图68、图69所说明地,在以相邻的曝光线的曝光时间在时间上部分重叠的方式,顺次对各曝光线进行曝光的构成中,通过在信号传送中利用由于将曝光时间设定得短于通常摄影模式而产生的亮线图案,能够使通信速度飞跃性地得以提高。在此,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生恰当的亮线图案。在此,关于曝光时间,若设帧频率=f,则需要设定为曝光时间<1/8×f。摄影时产生的消隐(blanking)最大为1帧的一半的大小。即,由于消隐时间为摄影时间的一半以下,因此实际的摄影时间其最短的时间为1/2f。再有,由于在1/2f的时间内,需要接受4值的信息,因此至少曝光时间需要短于1/(2f×4)。因为通常帧速率为60帧/秒以下,所以通过设定成1/480秒以下的曝光时间,能够使适当的亮线图案产生在图像数据中,进行高速的信号传送。
图70表示各曝光线的曝光时间不重叠的情况下,曝光时间短的情况的优点。若曝光时间长,则光源即使如7502a那样地进行2值的亮度变化,也会如7502e那样地在摄像图像中形成中间色的部分,存在难以识别光源的亮度变化的倾向。但是,如7502d那样地,通过设为在1条曝光线的曝光结束后直到下一曝光线的曝光开始为止设置规定的不曝光的空闲时间(规定的等待时间)tD2的构成,能够容易识别光源的亮度变化。即,能够检测出如7502f那样的更适当的亮线图案。如7502d那样地,设置规定的不曝光的空闲时间的构成能够通过使曝光时间tE小于各曝光线的曝光开始时刻的时间差tD来实现。在通常摄影模式为相邻的曝光线的曝光时间在时间上部分重叠的构成的情况下,能够通过与通常摄影模式时相比将曝光时间设定得短到产生规定的未曝光的空闲时间为止来实现。此外,在通常摄影模式为在前的曝光线的曝光结束时刻与下一曝光线的曝光开始时刻相等的情况下,也能够通过将曝光时间设定得短至产生规定的不曝光的时间来实现。此外,如7502g那样地,通过使各曝光线的曝光开始时刻的间隔tD变大,也能够构成为在1条曝光线的曝光结束后到下一曝光线的曝光开始为止设置规定的不曝光的空闲时间(规定的等待时间)tD2。在该构成中,由于能够使曝光时间变长,因此能够摄像明亮的图像,噪声变小,所以容错性强。另一方面,在该构成中,由于在一定时间内能够曝光的曝光线变少,因此如7502h那样地,存在样本数变少的缺点,优选根据状况区分使用。例如,通过在摄像对象明亮时利用前者的构成,在暗时利用后者的构成,能够降低光源亮度变化的推定误差。
另外,无需构成为在全部曝光线中相邻的曝光线的曝光时间在时间上部分重叠,也可以构成为一部分曝光线不在时间上部分重叠。此外,无需构成为在全部的曝光线中在1条曝光线的曝光结束后到下一曝光线的曝光开始为止设置规定的不曝光的空闲时间(规定的等待时间),也可以构成为一部分曝光线在时间上部分重叠。通过这样的构成,能够发挥各个构成的优点。
图71表示光源亮度的最小变化时间tS、曝光时间tE、各曝光线的曝光开始时刻的时间差tD与摄像图像的关系。在设tE+tD<tS时,由于必然在1条以上的曝光线从曝光的开始到结束为止光源不变化的状态下进行摄像,因此能够得到如7503d那样地亮度清晰的图像,容易识别光源的亮度变化。在设2tE>tS时,有时得到与光源的亮度变化不同的图案的亮线,难以根据摄像图像识别光源的亮度变化。
图72表示光源亮度的迁移时间tT与各曝光线的曝光开始时刻的时间差tD的关系。与tT相比tD越大,变成中间色的曝光线越少,光源亮度的推定越容易。在tD>tT时,优选的是,中间色的曝光线为连续2线以下。由于tT在光源为LED时为1微秒以下,在光源为有机EL时为5微秒程度,因此通过将tD设为5微秒以上,能够使光源亮度的推定变容易。
图73表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比tE越大,摄像图像其高频噪声的影响越少,光源亮度的推定越容易。在tE为tHT的整数倍时高频噪声的影响消失,光源亮度的推定最容易。在光源亮度的推定中,优选的是,tE>tHT。由于高频噪声的主因源于开关电源电路,在大多的电灯用的开关电源中tHT为20微秒以下,因此通过将tE设为20微秒以上,能够使光源亮度的推定容易进行。
图74为表现在tHT为20微秒时的、曝光时间tE与高频噪声的大小的关系的曲线图。若考虑到tHT根据光源不同而存在偏差,则根据曲线图,能够确认到若tE被决定为与噪声量取极大时的值相等的值的15微秒以上、或35微秒以上、或54微秒以上、或74微秒以上则效率高。从降低高频噪声的观点出发,优选tE大,但如前述,tE越小则越难产生中间色部分,在这一点上也有光源亮度的推定变得容易的性质。因此也可以是,光源亮度的变化的周期为15~35微秒时tE设定为15微秒以上,光源亮度的变化的周期为35~54微秒时tE设定为35微秒以上,光源亮度的变化的周期为54~74微秒时tE设定为54微秒以上,光源亮度的变化的周期为74微秒以上时tE设定为74微秒以上。
图75表示曝光时间tE与识别成功率的关系。由于曝光时间tE相对于光源的亮度固定的时间具有相对性的意义,因此设光源亮度变化的周期tS除以曝光时间tE而得的值(相对曝光时间)为横轴。通过曲线图,可知在希望使识别成功率为大致100%时,可将相对曝光时间设在1.2以下。例如,在设发送信号为1kHz时,可将曝光时间设为约0.83毫秒以下。同样地,可知在希望使识别成功率设为95%以上时,可将相对曝光时间设定在1.25以下,在希望使识别成功率设为80%以上时,可将相对曝光时间设为1.4以下。此外,可知相对曝光时间在1.5附近处识别成功率急剧下降,在1.6处几乎为0%,因此应设定为相对曝光时间不超过1.5。此外,可知在识别率在7507c处变为0后,在7507d、7507e、7507f处再次上升。因此,在希望延长曝光时间来摄像明亮的图像等时,可利用相对曝光时间从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间。例如,作为图76的中间模式,可使用这些曝光时间。
如图77,根据摄像装置,有时存在不进行曝光的时间(消隐)。
在存在消隐时,无法观察该时间的发光部的亮度。
通过发光部将相同信号重复发送2次以上、或者附加纠错码,能够防止消隐所引起的传送损失。
发光部为了防止相同的信号总是在消隐间被发送,按照与对图像进行摄像的周期互质的周期、或者短于对图像进行摄像的周期的周期发送信号。
(实施方式8)
图78表示利用已经说明的实施方式所述的接收方法的服务提供系统。
首先,针对管理服务器ex8002的企业A ex8000,其他企业B或个人ex8001委托向便携终端分发信息。例如,委托向与广告牌进行可见光通信的便携终端分发详细的广告信息、礼券信息、或者地图信息等。管理服务器的企业A ex8000与任意的ID信息对应地管理向便携终端分发的信息。便携终端ex8003通过可见光通信从被摄体ex8004取得ID信息,将所取得的ID信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并且对发送与ID信息对应的信息的次数进行计数。管理服务器的企业A ex8000针对进行委托的企业B或个人ex8001计费与计数的次数相应的费用。例如,计数值越大,计费的金额越高。
图79表示服务提供的流程。
在步骤ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在步骤ex8001中,在企业A所管理的服务器中,将接受了分发委托的信息与特定的ID信息创建关联。在步骤ex8002中,便携终端通过可见光通信从被摄体接收特定的ID信息,向企业A所管理的服务器发送。由于可见光通信方法的细节已经在其他实施方式说明了,因此省略。服务器针对便携终端发送与从便携终端发送的特定的ID信息对应的信息。在步骤ex8003中,在服务器中,对进行信息分发的次数进行计数。最后,在步骤ex8004中,针对企业B计费与进行信息分发的计数值相应的费用。如此地,通过根据计数值进行计费,能够对企业B计费与信息分发的宣传效果相应的恰当的费用。
图80表示其他例子的服务提供的流程。省略与图79重复的步骤的说明。
在步骤ex8008中,判断是否从开始信息分发经过了规定时间。若判断为规定时间内,则在步骤ex8011中,不进行针对企业B的计费。另一方面,在判断为经过了规定期间的情况下,在步骤ex8009中,对分发信息的次数进行计数。并且,在步骤ex8010中,针对企业B计费与进行信息分发的计数相应的费用。如此地,因为在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等之后接受计费服务。
图81表示其他例子的服务提供的流程。省略与图80重复的步骤的说明。
在步骤ex8014中,对分发信息的次数进行计数。在步骤ex8015中,在判定为从开始分发信息起未经过规定期间的情况下,在步骤ex8016中不进行计费。另一方面,在判断为经过了规定期间的情况下,在步骤ex8017中,进行分发信息的次数是否是规定值以上的判断。在分发信息的次数小于规定值时,复位计数值,再次对分发信息的次数进行计数。该情况下,在分发信息的次数小于规定值的规定期间不针对企业B进行计费。在步骤ex8017中,若计时数为规定值以上,则在步骤ex8018中对计数值复位一次,再次开始计数。在步骤ex8019中,针对企业B计费与计数值相应的费用。如此地,在免费进行分发的期间内的计数值少时,通过再次设定免费分发的期间,企业B能够在恰当的定时接受计费服务。此外,企业A也能够在计数值少时分析信息内容,例如是与季节不对应的信息的情况下,针对企业B提议变更信息内容。另外,在再次设置免费的信息分发期间时,也可以设为比初次的规定的期间短的期间。通过设为比初次的规定的期间短,能够减轻企业A的负担。此外,也可以构成为隔开一定期间地再次设置免费的分发期间。例如,若是受季节影响的信息,则也能够隔开一定期间直到季节变迁,并再次设置免费的分发期间。
另外,也可以与信息的分发次数无关地,根据数据量变更计费费用。也可以构成为一定数据量的分发免费,规定的数据量以上计费。此外,也可以随着数据量变大,计费费用也变大。此外,在将信息与特定的ID信息创建关联地进行管理时,也可以收取管理费。通过以管理费计费,能够在委托信息分发的时刻决定费用。
工业实用性
关于本发明所涉及的通信方法等,能够安全且主动地取得图像以外的信息,因此不仅针对家庭用的电视、PC以及平板电脑等设备,而且在外出目的地的广告牌、信息终端以及信息显示设备中也因其主动性,能够根据需要而安全地得到所需的信息,由此,能够适用于所有场景下的图像附带信息的转送以及信息发送等各种各样的用途。
标记说明:
A0100、A01000 卡拉OK设备
A0100a 电视会议设备
A0101、A1101、A2202、A01001、D0010 便携终端
A0102、A0102a、A1102、A01002 服务器设备
A0103 邮件服务器
A0200、A01100、A1200、D0032 显示器部
A0201、A1201、A2301、A01101 可见光ID控制部
A0202、A01102 密钥存放部
A0203、A01103 密钥生成部
A0204、A0306 蓝牙通信模块部
A0205 MAC地址存放部
A0206、A01204 用户ID存放部
A0206a 登入控制部
A0207、A0305、A01205 密码存放部
A0207a、A0502、A01402 用户信息管理部
A0208、A0308、A0500、A1204、A1405、A1700、A01108、A01208、A01400 以太网模块部
A0209 影像生成部
A0210 会话ID存放部
A0300、A1400 可见光ID接收部
A0301、A1401、A2401 可见光ID解码部
A0302 通信对象MAC地址存放部
A0303 密钥存放部
A0304 用户ID存放部
A0307、A1407、A2408、A01207 用户界面部
A0400 连接开始按钮
A0401、A0700、A01301 用户ID输入栏
A0402、A0701、A01302 密码输入栏
A0403、A01303 登入按钮
A0404、A01304 简单登入按钮
A0405 密码再发行按钮
A0501、A01401 登入控制部
A0500a 用户ID显示栏
A0501a 连接对象IP输入栏
A0502a 连接履历选择栏
A0503a 会议开始按钮
A0702 新注册按钮
A1100 游戏设备
A1202、A1402、A2302、A2402 设备ID存放部
A1203 设备ID生成部
A1205 请求信息存放部
A1206 应用控制部
A1207 NFC模块部
A1208 URL存放部
A1403 URL存放部
A1404 重载入标志存放部
A1406 NFC模块部
A1408 便携终端ID存放部
A1500 游戏注册画面
A1501 等待游戏人数显示部
A1502 玩游戏费用显示部
A1503 游戏次数输入部
A1504 最多次数显示部
A1505 玩游戏人数输入部
A1506 最多人数显示部
A1507 预约按钮
A1600 费用充值画面
A1601 信用卡信息输入部
A1602 充值金额输入部
A1603 充值执行按钮
A1701 结算系统
A1702 结算信息存放部
A1703 概观控制部
A2200 照明设备
A2300 发光部
A2400 摄像部
A2403 预览图像存放部
A2404 相机参数存放部
A2405 地图信息存放部
A2406 位置推定部
A2407 位置信息存放部
A2409 目标检测部
A2410 方位存放部
A2411 蓝牙
A2412 地磁/加速度传感器
A2413 顶棚距离存放部
A2204 手表设备
A2502 显示部
A01105、A01202 设备确定信息存放部
A01200 可见光ID接收部
A01201 可见光ID解码部
A01203 密钥存放部
A01403 密钥控制部
A01404 密钥信息管理部
D0011 整体控制部
D0012 画面显示控制部
D0013 通信控制部
D0014 摄影处理部
D0015 可见光接收处理部
D0016 相机控制处理部
D0017 服务器
D0031 箱体
D0033、D0145、D0175 软件按钮
D0034、D0072 区域
D0071 预览图像
D01301 照明器具
D01302 用户
D01303 相机

Claims (10)

1.一种通信方法,从被摄体取得信息,包括:
摄影处理步骤,在摄影模式下,摄影所述被摄体从而取得图像数据;
可见光通信步骤,在所述摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下,进行可见光通信从而取得所述被摄体的可见光数据;以及
在所述可见光通信模式下,对所述可见光通信模式下使用的快门速度、以及国际标准化组织即ISO速率或增益值进行设定的步骤,
在进行所述设定的步骤中,将所述可见光通信模式下的快门速度设定得比所述摄影模式下的快门速度更快,并且将所述可见光通信模式下的ISO速率或增益值设定得比所述摄影模式下的ISO速率或增益值更大。
2.如权利要求1所述的通信方法,还包括:
保存步骤,将所取得的所述可见光数据嵌入到所述图像数据中并进行保存,
在所述摄影处理步骤中,以JPEG文件格式即联合图像专家组文件格式取得所述图像数据,
在所述保存步骤中,将所述可见光数据作为EXIF即可交换图像文件格式的IFD即图像文件目录嵌入到所述图像数据中并进行保存。
3.如权利要求2所述的通信方法,
在所述可见光数据中,包含唯一地向发出可见光的所述被摄体赋予的可见光识别符、以及与所述被摄体有关的信息,
在所述保存步骤中,
将所述可见光数据所包含的所述可见光识别符、以及所述可见光数据所包含的表示所述被摄体的地址以及名字之中的至少一方的信息,保存到作为所述IFD的标签之一的“UserCommennt”标签中,
将所述可见光数据所包含的表示所述被摄体的区域的信息,保存到作为所述IFD的标签之一的“SubjectArea”标签中,
将所述可见光数据所包含的表示所述被摄体的位置的信息,保存到作为所述IFD的标签之一的“SubjectLocation”标签中。
4.如权利要求2所述的通信方法,
在所述保存步骤中,在所述IFD的标签之一中未保存具有摄影所述图像数据的摄像部的便携终端的GPS信息即全球定位系统信息的情况下,将基于所述可见光数据算出的所述便携终端的位置信息保存到所述IFD的标签之一中。
5.如权利要求2所述的通信方法,
在所述可见光通信步骤中,判断在所取得的所述可见光数据中是包含表示所述被摄体的地址以及名字之中的至少一方的信息、还是包含唯一地向发出可见光的所述被摄体赋予的可见光识别符,
在判断为在所取得的所述可见光数据中包含所述可见光识别符的情况下,通过利用所述可见光识别符与服务器进行通信,取得与所述可见光识别符所对应的所述被摄体有关的信息作为所述可见光数据。
6.如权利要求2所述的通信方法,
在所述保存步骤中,
在所述可见光通信步骤中经过了规定时间也未能得到可见光数据的情况下,判断为不存在所述被摄体的可见光数据,不将所述可见光数据嵌入到所述图像数据中,而保存所述图像数据。
7.如权利要求1所述的通信方法,还包括:
对所述可见光通信模式下使用的曝光校正、以及ISO速率或增益值进行设定的步骤,
在对所述曝光校正、以及ISO速率或增益值进行设定的步骤中,将所述可见光通信模式下的曝光校正设定得比所述摄影模式下的曝光校正低,并且将所述可见光通信模式下的ISO速率或增益值设定得比所述摄影模式下的ISO速率或增益值大,由此将所述可见光通信模式下的快门速度自动设定得比所述摄影模式下的快门速度快。
8.如权利要求1所述的通信方法,
所述通信方法还包括:
委托接受步骤,进行从委托者接受分发信息的委托的处理;
分发步骤,分发由所述委托者委托的所述信息作为与所述可见光数据对应的信息;以及
计费步骤,与所述信息的分发相应地进行用于对所述委托者计费的信息处理。
9.一种通信装置,从被摄体取得信息,具备:
摄影处理部,在摄影模式下,摄影所述被摄体从而取得图像数据;以及
可见光接收处理部,在所述摄影处理部取得了所述图像数据之后,在作为与摄影模式不同的模式的可见光通信模式下,进行可见光通信从而取得所述被摄体的可见光数据;
在所述可见光通信模式下,对所述可见光通信模式下使用的快门速度、以及国际标准化组织即ISO速率或增益值进行设定,
在所述设定中,将所述可见光通信模式下的快门速度设定得比所述摄影模式下的快门速度更快,并且将所述可见光通信模式下的ISO速率或增益值设定得比所述摄影模式下的ISO速率或增益值更大。
10.一种非易失性的能够由计算机读取的记录介质,记录了用于使计算机执行从被摄体取得信息的通信方法的程序,所述通信方法包括:
摄影处理步骤,在摄影模式下,摄影所述被摄体从而取得图像数据;
可见光通信步骤,在所述摄影处理步骤之后,在作为与摄影模式不同的模式的可见光通信模式下,进行可见光通信从而取得所述被摄体的可见光数据;以及
在所述可见光通信模式下,对所述可见光通信模式下使用的快门速度、以及国际标准化组织即ISO速率或增益值进行设定的步骤,
在进行所述设定的步骤中,将所述可见光通信模式下的快门速度设定得比所述摄影模式下的快门速度更快,并且将所述可见光通信模式下的ISO速率或增益值设定得比所述摄影模式下的ISO速率或增益值更大。
CN201480062143.3A 2013-11-22 2014-05-27 通信方法、通信装置及记录介质 Active CN105723631B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361907497P 2013-11-22 2013-11-22
US61/907,497 2013-11-22
PCT/JP2014/002801 WO2015075849A1 (ja) 2013-11-22 2014-05-27 通信方法

Publications (2)

Publication Number Publication Date
CN105723631A CN105723631A (zh) 2016-06-29
CN105723631B true CN105723631B (zh) 2018-10-16

Family

ID=53179148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480062143.3A Active CN105723631B (zh) 2013-11-22 2014-05-27 通信方法、通信装置及记录介质

Country Status (3)

Country Link
US (2) US9225420B2 (zh)
CN (1) CN105723631B (zh)
WO (1) WO2015075849A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237953B2 (en) * 2014-03-25 2019-03-19 Osram Sylvania Inc. Identifying and controlling light-based communication (LCom)-enabled luminaires
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
CN110892389A (zh) 2017-07-20 2020-03-17 松下电器(美国)知识产权公司 通信系统、终端、控制方法及程序
JP2019042116A (ja) * 2017-09-01 2019-03-22 株式会社ニューギン 遊技機
US10505628B2 (en) * 2017-09-29 2019-12-10 OSRAM SYLVNAIA Inc. Designated map luminaires
JP7312600B2 (ja) * 2019-04-25 2023-07-21 株式会社第一興商 カラオケ決済システム
CN110429981B (zh) * 2019-08-14 2021-12-03 暨南大学 基于led显示和可见光通信的隐藏信息传输系统及方法
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288601A (ja) * 2002-03-28 2003-10-10 Konica Corp 画像撮像装置、画像処理装置、画像処理方法及び画像情報分類サービス方法
CN102244791A (zh) * 2010-05-12 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
US20050265731A1 (en) * 2004-05-28 2005-12-01 Samsung Electronics Co.; Ltd Wireless terminal for carrying out visible light short-range communication using camera device
CN100555914C (zh) * 2004-05-31 2009-10-28 卡西欧计算机株式会社 信息接收装置、信息传输系统以及信息接收方法
JP4258491B2 (ja) * 2004-05-31 2009-04-30 カシオ計算機株式会社 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
JP4797415B2 (ja) 2005-03-25 2011-10-19 株式会社ニコン 照明装置、撮影装置および撮影システム
US9430587B2 (en) * 2006-06-05 2016-08-30 Qualcomm Incorporated Techniques for managing media content
JP2008258987A (ja) * 2007-04-05 2008-10-23 Sony Corp 光情報処理システム、端末装置、光情報処理方法、プログラム及び記録媒体
JP5285301B2 (ja) * 2008-02-26 2013-09-11 パナソニック株式会社 光伝送システム
CN101414307A (zh) * 2008-11-26 2009-04-22 阿里巴巴集团控股有限公司 提供图片搜索的方法和服务器
US9013581B2 (en) * 2011-09-30 2015-04-21 Blackberry Limited Associating a work with a biometric indication of the identity of an author
US8942571B2 (en) * 2012-12-24 2015-01-27 Industrial Technology Research Institute Apparatus and method for data embedding in light communication and the light communication system and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288601A (ja) * 2002-03-28 2003-10-10 Konica Corp 画像撮像装置、画像処理装置、画像処理方法及び画像情報分類サービス方法
CN102244791A (zh) * 2010-05-12 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
US9438340B2 (en) 2016-09-06
WO2015075849A1 (ja) 2015-05-28
US9225420B2 (en) 2015-12-29
US20160065307A1 (en) 2016-03-03
CN105723631A (zh) 2016-06-29
US20150147070A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
CN105723631B (zh) 通信方法、通信装置及记录介质
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
CN101910936B (zh) 基于图像捕捉设备呈现的用户推荐的引导摄影
JP6081969B2 (ja) 情報通信方法、情報通信装置およびプログラム
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
CN102129812A (zh) 在街道级图像的上下文中观看媒体
KR102627612B1 (ko) 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
CN110136200A (zh) 基于影像的电子设备定位
JP6378511B2 (ja) 情報通信方法、情報通信装置およびプログラム
CN107103316A (zh) 基于智能手机的方法和系统
KR20200008941A (ko) 증강 현실 효과를 사용한 이벤트 향상
JP2015090553A (ja) 端末装置、付加情報管理装置、および付加情報管理方法
CN102436460A (zh) 用于提供对象信息的装置和方法
CN109981944A (zh) 电子装置及其控制方法
JPWO2014103156A1 (ja) 情報通信方法
CN105868747B (zh) 云计算系统
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JP2015111813A (ja) 情報通信方法
JP7287950B2 (ja) 通信方法、通信装置、およびプログラム
CN103546677B (zh) 互动系统及互动方法
KR20120072820A (ko) 위치정보에 기반하여 과거 및 미래 영상을 보여주는 증강현실 모바일 애플리케이션
JP2018032884A (ja) 受信プログラムおよび受信装置
KR101135525B1 (ko) 파노라마 이미지의 갱신 방법 및 이를 이용한 지역 검색 서비스 방법
CN106201251A (zh) 一种增强现实的内容确定方法、装置及移动终端
CN113973169A (zh) 拍摄方法、拍摄终端、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant