具体实施方式
有关本发明的一技术方案的一种信息通信方法,从被摄体取得信息,其特征在于,包括:第1摄像步骤,通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第1图像;检测步骤,从上述第1图像中检测拍摄有上述被摄体的范围;决定步骤,在上述多个曝光行中,决定对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行而取得的第2图像中根据上述被摄体的亮度变化而产生与上述规定的曝光行相对应的亮线;第2摄像步骤,通过使用上述规定的曝光行对亮度变化的上述被摄体在所设定的上述曝光时间中进行摄像,取得包含上述亮线的第2图像;以及信息取得步骤,通过对由在所取得的上述第2图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
由此,通过图像传感器的曝光行的曝光取得由被摄体的亮度变化而发送的信息,所以能够不需要例如用来进行无线通信的特别的通信设备而进行多种多样的设备间的通信。进而,由于仅将图像传感器中包含的全部的曝光行中的、捕捉到被摄体的曝光行用于包含亮线的第2图像的取得,所以能够省去对于没有捕捉到被摄体的曝光行的处理,能够提高信息取得的效率,并且能够防止来自被摄体的信息的取得失败。另外,曝光行(line,曝光线)是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由后述的图79等表示的摄像图像中包含的线。
此外,也可以是,上述规定的曝光行仅包括上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的曝光行,而不包括对未拍摄有上述被摄体的范围进行摄像的曝光行。
由此,能够更可靠地提高信息取得的效率,并且能够防止被摄体的信息的取得失败。
此外,也可以是,在上述第2摄像步骤中,取得第2摄像时间,该第2摄像时间是将取得上述第1图像时的第1摄像时间用上述规定的曝光行中包含的行数等分而得到的;将上述第2摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如后述的图328A及图328B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将上述第1摄像步骤中的上述图像传感器的各曝光行的摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如后述的图329A及图329B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将由上述规定的曝光行摄像的多个上述第2图像合并,生成与上述第1图像相同的图像尺寸的第3图像;在上述信息取得步骤中,通过对由上述第3图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
由此,例如如后述的图330A及图330B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述决定步骤中,将上述多个曝光行中的、对比拍摄有上述被摄体的范围窄的范围进行摄像的曝光行决定为上述规定的曝光行。
由此,例如如后述的图328B、图329B及图330B所示,能够不受因手抖动等带来的影响而从作为发送机的被摄体适当地取得信息。
此外,也可以是,该信息通信方法能够切换为:第1模式,使用上述图像传感器的上述多个曝光行中的全部的曝光行对上述被摄体进行摄像;以及第2模式,使用上述图像传感器的上述多个曝光行中的上述规定的曝光行对上述被摄体进行摄像。
由此,通过进行切换,能够从作为发送机的被摄体适当地取得信息。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过由上述图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤,通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;信息取得步骤,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
由此,通过图像传感器的曝光行的曝光,取得由被摄体的亮度变化而发送的信息,所以不需要例如用来进行无线通信的特别的通信设备,而能够进行多种多样的设备间的通信。另外,曝光行是图像传感器中包含的、由同时曝光的多个像素构成的列或行。此外,亮线例如是在由后述的图79等表示的摄像图像中包含的线。
例如,在上述摄像步骤中,将在上述图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。
由此,通过进行卷帘快门方式的摄像而产生的亮线包含在图像内的与各曝光行对应的位置,所以能够从被摄体取得许多信息。
这里,也可以是,在上述信息取得步骤中,将由上述亮线的样式中的、与上述曝光行垂直的方向的样式确定的上述数据解调。
由此,能够适当地取得与亮度变化对应的信息。
此外,也可以是,在上述曝光时间设定步骤中,将上述曝光时间设定得比10毫秒短。
由此,能够使图像中更可靠地产生亮线。
这里,也可以是,在上述摄像步骤中,对以200Hz以上的频率进行亮度变化的上述被摄体进行摄像。
由此,例如如后述的图305A及图305B所示,能够人不感到闪变而从被摄体取得许多信息。
此外,也可以是,在上述摄像步骤中,取得包含与上述曝光行平行的亮线的上述图像。
由此,能够适当地取得与亮度变化对应的信息。
这里,也可以是,在上述信息取得步骤中,按照所取得的上述图像内的、与上述图像传感器中包含的各曝光行对应的每个区域,将由根据在该区域中是否有亮线而确定的表示0或1的上述数据解调。
由此,能够从被摄体取得PPM调制的许多信息。例如如后述的图79所示,当每1秒的图像的数(帧速率)为f,构成1图像的曝光行数为1时,如果根据各曝光行是否接受了一定以上的光而取得信息,则最大能够以n比特每秒的速度取得信息。
此外,也可以是,在上述信息取得步骤中,按照每个上述区域,根据该区域的亮度值是否是阈值以上,确定在该区域中是否有亮线。
由此,能够从被摄体适当地取得信息。
这里,也可以是,在上述摄像步骤中,按照每个规定的期间,将以与该规定的期间对应的一定的频率进行亮度变化的上述被摄体摄像;在上述信息取得步骤中,按照每个上述规定的期间,将由根据与该规定的期间对应的一定的频率的亮度变化生成的上述亮线的样式确定的上述数据解调。
由此,能够从被摄体取得FM调制的许多信息。例如如后述的图188所示,能够通过与频率f1对应的亮线的样式、和与频率f2对应的亮线的样式取得适当的信息。
此外,也可以是,在上述摄像步骤中,将以通过调整亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间来发送信号的方式进行亮度变化的上述被摄体摄像;在上述信息取得步骤中,将由上述亮线的样式确定的、作为与上述时间建立了对应的代码的上述数据解调。
由此,例如如后述的图248所示,能够不改变从被摄体发送的信息的内容,而通过PWM控制调来整人感到的被摄体(例如照明设备)的明亮程度。
这里,也可以是,在上述摄像步骤中,将以对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中的方式进行亮度变化的上述被摄体摄像。
由此,能够使得人不感到闪变而从被摄体取得许多信息。例如如后述的图85所示,当调制后的信号为0时不发光、为1时发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够防止人感到闪变。
此外,也可以是,上述亮线的样式根据上述图像传感器的曝光时间而不同;在上述信息取得步骤中,将通过与设定的上述曝光时间对应的上述样式确定的上述数据解调。
由此,例如如后述的图91所示,能够根据曝光时间而从被摄体取得不同的信息。
这里,也可以是,上述信息通信方法还检测具备上述图像传感器的摄像装置的状态;在上述信息取得步骤中,取得表示上述被摄体的位置的上述信息,还基于所取得的上述信息和检测出的上述状态,计算上述摄像装置的位置。
由此,例如如后述的图185所示,即使不能使用GPS等也能够更正确地确定摄像装置的位置,或者与使用GPS等的情况相比,能够更正确地确定摄像装置的位置。
此外,也可以是,在上述摄像步骤中,将包括沿着上述曝光行而排列的多个区域、按照每个区域而进行亮度变化的上述被摄体摄像。
由此,例如如后述的图258所示,能够从被摄体取得许多信息。
这里,也可以是,在上述摄像步骤中,将以相互不同的定时发出同色异谱(metameric)的多种光的上述被摄体摄像。
由此,例如如后述的图272所示,能够使得人不感到闪变而从被摄体取得许多信息。
此外,也可以是,上述信息通信方法还推测具备上述图像传感器的摄像装置存在的场所;在上述信息取得步骤中,取得上述被摄体的识别信息作为上述信息,并且从服务器取得与上述场所及上述识别信息建立了关联的关联信息。
由此,例如后述的图282及图283所示,即使是从多个照明设备通过亮度变化发送相同的识别信息那样的情况,也能够根据摄像装置存在的场所(建筑物)、即照明设备存在的场所(建筑物)取得适当的关联信息。
这里,有关本发明的一技术方案的信息通信方法,是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制,决定亮度变化的样式;第1发送步骤,通过发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;第2发送步骤,通过上述发光体在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送;在上述决定步骤中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
由此,决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变并通过亮度变化发送信号。进而,例如如后述的图301B所示,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
此外,也可以是,在上述决定步骤中,按照将由2比特表示的信号分别调制为通过由表示相同的值的3比特和表示其他值的1比特构成的4比特表示的信号的方式,将上述发送对象的信号调制。
由此,例如如后述的图85所示,当调制后的信号为0时不发光,当为1时发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够更可靠地防止人感到闪变。
这里,也可以是,在上述决定步骤中,通过将亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间根据上述发送对象的信号调整,决定上述亮度变化的样式。
由此,例如如后述的图248所示,能够不改变发送对象的信号的内容,而通过PWM控制来调整人感到的发光体(例如照明设备)的明亮程度。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,进行亮度变化,以使得根据将亮度变化的上述发光体摄像的图像传感器的曝光时间,由具备上述图像传感器的摄像装置取得不同的信号。
由此,例如如后述的图91所示,能够将根据曝光时间而不同的信号向摄像装置发送。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,通过多个发光体同步地亮度变化,上述多个发光体发送共通的信息;在发送了上述共通的信息后,通过按照每个发光体而亮度变化,按照该发光体而发送不同的信息。
由此,例如如后述的图98所示,通过多个发光体将共通的信息同时发送,能够将多个发光体看作一个较大的发光体,能够用接收该共通的信息的摄像装置将发光体较大地摄像,所以能够将信息更快、从更远发送。进而,例如如后述的图186所示,通过多个发光体发送共通的信息,能够按照每个发光体抑制发送的个别的信息的信息量。
此外,也可以是,上述信息通信方法还包括受理是否进行上述发送对象的信号的调制的指示的指示受理步骤;在受理了表示进行上述调制的指示的情况下,执行上述决定步骤、上述第1发送步骤及上述第2发送步骤;在受理了表示不进行上述调制的指示的情况下,不执行上述决定步骤、上述第1发送步骤及上述第2发送步骤,上述发光体点灯或灭灯。
由此,例如如后述的图186所示那样切换是否进行调制,所以能够抑制对于其他发光体的亮度变化作为噪声带来的影响。
这里,也可以是,上述发光体包括沿着将该发光体摄像的图像传感器的曝光行而排列的多个区域;在上述第1发送步骤及上述第2发送步骤中,按照上述发光体的每个区域而亮度变化。
由此,例如如后述的图258所示,能够发送许多信息。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,上述发光体通过将同色异谱的多种光以相互不同的定时发出而亮度变化。
由此,例如如后述的图272所示,能够使人不感到闪变而发送许多信息。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,作为上述发送对象的信号或上述相同的信号而发送上述发光体的识别信息。
由此,例如后述的图282所示那样发送发光体的识别信息,所以接收到该识别信息的摄像装置能够经由因特网等的通信线路从服务器等取得与该识别信息建立了关联的更多的信息。
此外,有关本发明的一技术方案的信息通信方法,是通过亮度变化而发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制,决定多个频率;发送步骤,通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;变更步骤,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率;在上述发送步骤中,上述发光体亮度变化,以使得对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
由此,决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变并通过亮度变化发送信号。进而,能够将FM调制的许多信号发送。例如如后述的图188所示,通过将亮度变化的频率(f1、f2等)以33毫秒以上的周期变更,能够发送适当的信息。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
以下,参照附图对实施方式具体地说明。
另外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
以下,对通过作为设备具备的LED的闪烁样式(pattern)发送信息、使用智能电话的照相机通信的处理的流程进行叙述。
图1是表示本实施方式的宅内的环境的例子的图。在图1所示的环境中,对于电视机1101及电灶(微波炉)1106、空气净化机1107,智能电话1105等也处于用户的周边。
图2是表示本实施方式的家电设备与智能电话的通信的例子的图。图2是信息通信的例子,是表示通过由用户持有的智能电话1201取得图1的电视机1101或电灶1106那样的各设备输出的信息来得到信息的结构的图。如图2所示,各设备使用LED的闪烁样式发送信息,智能电话1201使用照相机等的摄像功能接受信息。
图3是表示本实施方式的发送侧装置1301的结构的一例的图。
该发送侧装置1301通过用户按下按钮、或由NFC(Near Field Communication)等送出发送指示、或检测到装置内部的故障等的状态的变化,将信息作为光的闪烁样式发送。此时将发送重复一定时间。发送的信息如果是预先登记的设备间,也可以使用缩短ID。此外,在具有无线LAN或特定节电无线等无线通信部的情况下,也可以将其连接所需要的认证信息作为闪烁样式发送。
此外,发送速度判断部1309通过掌握设备内部的时钟发生装置的性能,可以进行在时钟发生装置因较便宜而精度较差的情况下使发送速度变慢、在较高的情况下使发送速度变快的处理。在时钟发生装置的性能较差的情况下,或者也可以通过将发送的信息自身划分为较短,来减少因长时间通信下的闪烁间隔的偏差的累积造成的错误。
图4是表示本实施方式的接收侧装置1401的结构的一例的图。
该接收侧装置1401根据图像取得部1404取得的帧图像判断能看到光的闪烁的区域。此时闪烁也可以取能够采取追随可观测到一定以上的亮度的高低的区域那样的方法。
闪烁信息取得部1406根据闪烁的样式取得发送的信息,在其中包含有设备ID等的设备关联的情况下,使用该信息向云上的关联服务器查询附带的信息,或者使用事前保管的无线通信区域内的设备或保管在接收侧装置内部中的信息进行插补。由此,能够得到削减为了取得因将光的发光样式摄像时的噪声带来的错误修正或已经获得的信息而用户将智能电话罩在发送侧装置的发光部上的时间等的效果。
以下,说明图5。
图5是表示通过本实施方式的发送侧装置的LED的闪烁向智能电话等的接收侧装置发送信息的处理的流程的图。这里,设想具有通过NFC与智能电话通信的功能的发送侧装置、和植入在该发送侧装置具有的否FC用的通信标记的一部分中的LED的发光样式发送信息的状况。
首先,在步骤1001a中,用户购买家电设备,初次向插座插入电源,成为通电状态。
接着,在步骤1001b中,确认初始设定信息是否是已写入。在是的情况下向图中的圈3前进。另一方面,在否的情况下向步骤1001c前进,标记以用户容易理解的闪烁速度(例如:1~2/5)闪烁。
接着,在步骤1001d中,确认是否用户通过以NFC通信将智能电话接触在标记上而取得家电的设备信息。这里,在是的情况下,向步骤1001e前进,智能电话接收设备信息,向云的服务器登记。接着,在步骤1001f中,从云接收与智能电话的用户的账户建立了关联的缩短ID,向家电发送,向步骤1001g前进。另外,在步骤1001d中为否的情况下向步骤1001g前进。
接着,在步骤1001g中,确认是否有NFC下的登记。在是的情况下向步骤1001j前进,在蓝色的闪烁2次后,在步骤1001k中闪烁结束。
另一方面,在步骤1001g中为否的情况下向步骤1001h前进。接着,在步骤1001h中,确认是否过了30秒。这里,在是的情况下向步骤1001i前进,LED部分通过光的闪烁将设备信息(设备的型号、NFC下的登记处理有无、设备的固有ID)输出,向图6的圈2前进。
另外,在步骤1001h中为否的情况下向步骤1001d返回。
接着,使用图6~图9,说明本实施方式的发送侧装置的通过LED的闪烁向接收侧装置发送信息的处理的流程。这里,图6~图9是表示通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
以下,说明图6。
首先,在步骤1002a中,用户起动取得智能电话的光闪烁信息的应用。
接着,在步骤1002b中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1002c中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1002d中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1002e中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1002f中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知,向图7的圈4前进。
以下,说明图7。
首先,在步骤1003a中,在家电故障、或生成了向用户通知的使用次数、室温等的消息的情况下,开始信息发送模式。
接着,在步骤1003b中,使标记以1~2/s闪烁。同时,LED也开始信息发信。
接着,在步骤1003c中,确认是否开始了NFC下的通信。另外,在否的情况下向图9的圈7前进。在是的情况下向步骤1003d前进,停止LED的闪烁。
接着,在步骤1003e中,智能电话向云的服务器访问,将关联信息显示。
接着,在步骤1003f中,在需要现场应对的故障的情况下,在服务器侧检索支援的服务人员。利用家电、设置场所、位置信息。
接着,在步骤1003g中,服务人员通过以预先决定的顺序按下家电的按钮而成为支援模式。
接着,在步骤1003h中,在从智能电话看到由标记以外的家电的LED进行标记的闪烁的情况下,同时可见的LED的一部分或全部以将信息插补的方式烁,向图8的圈5前进。
以下,说明图8。
首先,在步骤1004a中,服务人员在持有的接收终端的性能能够检测高速(例如:1000/s次)的闪烁的情况下,按下其设定按钮。
接着,在步骤1004b中,家电的LED进行高速模式闪烁,向圈6前进。
以下,说明图9。
首先,在步骤1005a中继续闪烁。
接着,在步骤1005b中,用户用智能电话来获取LED的闪烁信息。
接着,在步骤1005c中,用户将智能电话的取得光闪烁信息的应用起动。
接着,在步骤1005d中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1005e中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1005f中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1005g中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1005h中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知。
并且,向图7的步骤1003f前进。
这样,家电设备等的发送装置能够通过LED的闪烁向智能电话发送信息。即使是没有无线功能或NFC等的通信机构那样的设备也能够发信信息,还能够经由智能电话向处于云上的服务器的丰富的信息向用户提供。
此外,如本实施方式那样,在至少包括一个可拿持的设备的两个设备间具有通过双向通信(例如NFC通信)和单向通信(例如通过LED的亮度变化进行的通信)的两个通信方法进行数据的收发的功能的情况下,当从一方的设备向另一方的设备以单向通信进行数据的发送时,在以双向通信实现了数据收发的情况下,能够停止单向的通信。由此,能够省去单向通信所需要的耗电的浪费,所以是有效率的。
以上,根据实施方式1,能够实现能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置。
具体而言,本实施方式的信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
这里,例如也可以是,还具备保存自己的起动状态及用户的使用履历等的设备内部的传感到的信息的起动履历管理部,上述光发送部取得利用的时钟发生装置的预先登记的性能信息,变更发送速度。
此外,例如也可以是,上述光发送部在用来通过光的闪烁发送信息的第一发光元件的周围配置有第二发光元件,上述第二发光元件在将通过上述第一发光元件的闪烁进行的信息发信重复一定次数的情况下,在信息发信的结束和开始之间发光。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
(实施方式2)
在本实施方式中,以清扫机为例,对使用可视光通信的设备与用户的通信次序、以及对从使用可视光通信的初始设定到故障时的修理对应服务、使用清扫机的服务协同进行说明。
图10和图11是用来说明本实施方式的使用可视光进行用户与设备的通信的次序的图。
以下,对图10进行说明。
首先,在圈1中开始。
接着,在步骤2001a中,用户将电源投入。
接着,在步骤2001b中,作为起动处理,确认是否进行了设置设定、NW设定等的初始设定。
这里,在进行了初始设定的情况下,向步骤2001f前进,开始通常动作,如圈3所示那样结束。
另一方面,在没有进行初始设定的情况下,向步骤2001c前进,通过“LED通常发光”、“蜂鸣音”向用户通知需要初始设定。
接着,在步骤2001d中,收集设备信息(制品号码和制造号码),进行可视光通信的准备。
接着,在步骤2001e中,将设备信息(制品号码和制造号码)和能够进行可视光通信的情况通过“LED通信发光”、“向显示器的图标显示”、“蜂鸣音”、“将多个LED发光”向用户通知。
并且,如圈2所示那样结束。
接着,对图11进行说明。
首先,如圈2所示那样开始。
接着,在步骤2002a中,通过“接近传感器”、“照度传感器”及“人感传感器”感知可视光接收终端的接近。
接着,在步骤2002b中,以感知到的情况为触发事件,开始可视光通信。
接着,在步骤2002c中,用户用可视光接收终端取得设备信息。
接着,如圈4所示那样结束。或者,向步骤2002f~步骤2002i的某个前进。
在前进到步骤2002f的情况下,通过“感度传感器”的感知、以及“与调光设备的协同”,感知到房间被灭灯的情况,停止设备信息的发光,如圈5所示那样结束。此外,在前进到步骤2002g的情况下,可视光接收终端取得设备信息,将感知到的情况通过“NFC通信”及“NW通信”通知并结束。在前进到步骤2002h的情况下,感知可视光接收终端的脱离,将设备信息停止并结束。在前进到步骤2002i的情况下,等待一定时间的经过,将设备信息的发光停止并结束。
另外,在步骤2002a中没有感知到的情况下,向步骤2002d前进,等待一定时间的经过,将能够进行可视光通信的通知通过“变亮”、“使声音变大”、“移动图标”等强化并通知。这里,向步骤2002d返回。或者,向步骤2002e前进,进而在一定时间经过后,向步骤2002i前进。
图12是用来说明本实施方式的用户购买设备、进行设备的初始设定为止的次序的图。
在图12中,首先如圈4所示那样开始。
接着,在步骤2003a中,用GPS(Global Positioning System)取得接收到设备信息的智能电话的位置信息。
接着,在步骤2003b中,如果在智能电话中有用户信息,则在终端内收集用户名、电话号码、邮件地址等的用户信息。或者,在步骤2003c中,如果在智能电话中没有用户信息,则通过NW从周边设备收集用户信息。
接着,在步骤2003d中,将设备信息、用户信息和位置信息向云服务器发送。
接着,在步骤2003e中,使用设备信息和位置信息收集初始设定所需要的信息和激活信息。
接着,在步骤2003f中,收集为了与用户已登记的设备的协同在设定中需要的IP、认证方式及可利用服务等相关信息。或者,在步骤2003g中,通过对用户已登记的设备通过NW发送设备信息和设定信息,进行与周边设备的协同设定。
接着,在步骤2003h中,使用设备信息和用户信息进行用户设定。
接着,在步骤2003i中,将初始设定信息、活动信息和协同设定信息向智能电话发送。
接着,在步骤2003j中,将初始设定信息、激活信息和协同设定信息用NFC向家电发送。
接着,在步骤2003k中,通过初始设定信息、激活信息和协同设定信息进行设备的设定。
并且,如圈6所示那样结束。
图13是用来对本实施方式的设备故障的情况下的、服务人员专用的服务进行说明的图。
在图13中,首先如圈3所示那样开始。
接着,在步骤2004a中,将在设备的通常动作中发生的动作日志、用户操作日志等的履历信息向本地存储媒体记录。
接着,在步骤2004b中,在故障发生的同时,将错误代码、错误详细情况等的错误信息记录,将能够进行可视光通信的情况用LED异常发光通知。
接着,在步骤2004c中,通过服务人员的特殊命令执行而成为LED高速发光模式,开始可视光的高速通信。
接着,在步骤2004d中,判别接近的终端是通常智能电话、还是服务人员的专用接收终端。这里,在前进到了步骤2004e的情况下,在智能电话的情况下取得错误信息并结束。
另一方面,在前进到了步骤2004f的情况下,在服务人员的情况下,用专用接收终端取得错误信息和履历信息。
接着,在步骤2004g中,向云发送设备信息、错误信息和履历信息,取得修理方法。这里,在前进到了步骤2004h的情况下,通过服务人员的特殊命令执行将LED高速发光模式解除并结束。
另一方面,在前进到了步骤2004i的情况下,从云服务器取得设备信息的关联商品、类似商品的商品信息、最近店铺的销售价格、新商品信息。
接着,在步骤2004j中,用用户的智能电话和服务人员的专用终端通过可视光通信取得用户信息,经由云服务器向最近店铺订购商品。
并且,如圈9所示那样结束。
图14是用来对本实施方式的和清扫机使用可视光通信的、用于确认清扫状况的服务进行说明的图。
首先,如圈3所示那样开始。
接着,在步骤2005a中,记录设备的通常动作中的清扫信息。
接着,在步骤2005b中,房间布局信息组合而制作污垢信息,进行加密压缩。
这里,在前进到步骤2005c的情况下,将污垢信息的压缩作为触发事件,将污垢信息向本地存储媒体记录。或者,在前进到了步骤2005d的情况下,将清扫的暂停(吸入处理停止)作为触发事件将污垢信息通过可视光通信向照明器具发送。或者,在前进到了步骤2005e的情况下,将污垢信息的记录作为触发事件,将污垢信息用NW向家庭内本地服务器及云服务器发送。
接着,在步骤2005f中,以污垢信息的发送及记录为触发事件,将设备信息、保存部位、解密密钥通过可视光通信向智能电话发送。
接着,在步骤2005g中,通过NW及NFC取得污垢信息并解码。
并且,如圈10所示那样结束。
如以上这样,根据实施方式1,能够实现包括能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置的可视光通信系统。
具体而言,包括本实施方式的信息通信装置的可视光通信系统(图10)搭载有用来判断可视光发送的准备是否完成的可视光发送可否判断部、和将是可视光发送中向用户通知的可视光发送通知部,当成为能够进行可视光通信的状态时向用户视觉及听觉地通知的可视光通信系统。由此,通过使LED的发光模式为“发光色”、“声音”、“图标显示”、“多LED发光”向用户通知能够进行可视光接收的状况,能够提高用户的方便性。
优选的是,如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知可视光接收终端的接近的终端接近感知部、和根据可视光接收终端的位置判断可视光发送的开始和停止的可视光发送判断部,以由终端接近感知部感知到可视光接收终端的接近作为触发事件开始可视光发送。
这里,例如如在图11中说明那样,也可以是以由终端接近感知部感知到可视光接收终端的脱离为触发事件而将可视光发送停止的可视光通信系统。此外,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知房间的灭灯的周边照度感知部,以由周边照度感知部感知到房间的灭灯为触发事件将可视光发送停止。由此,通过感知可视光接收终端的接近和脱离、以及房间的灭灯,通过仅在能够可视光通信的状况下开始可视光通信,能够省去不必要的可视光通信而实现节能化。
进而,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有计测进行可视光发送的时间的可视光通信时间监视部、和将是可视光发送中的情况向用户通知的可视光发送通知部,以可视光通信进行了一定以上但没有可视光接收终端的接近的情况为触发事件,将向用户的视觉及听觉的通知进一步强化。此外,例如如在图11中说明那样,也可以是一种以可视光发送通知部将通知强化后可视光发送时间进行了一定以上但没有可视光接收终端的接近的情况为触发事件、将可视光发送停止的可视光通信系统。
由此,通过在虽然经过了一定以上的可视光发送时间、但没有进行用户的接收的情况下进行向用户的可视光接收的情况和停止,放置忘记接收或忘记取消,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有判断接收到可视光通信的可视光接收判断部、用来取得终端位置的接收终端位置取得部、和取得设备信息和位置信息并收集设备设定信息的设备设定信息收集部,以接收到可视光为触发事件而取得接收终端的位置,收集设备设定所需要的信息。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
这里,还如在图14中说明那样,也可以是一种可视光通信系统,搭载有管理设备信息的设备信息管理部、管理设备与设备的类似性的设备关系管理部、管理销售设备的店铺信息的店铺信息管理部、和根据位置信息检索最近店铺的最寄店铺检索部,以接收设备信息和位置信息为触发事件,取得销售类似设备的最近店铺及价格。由此,根据设备信息收集关联的设备的销售状况及销售店铺,通过省去检索设备的工夫,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有监视用户信息保存在终端内的情况的用户信息监视部、通过NW从周边设备收集用户信息的用户信息收集部、和取得用户信息和设备信息并进行用户登记的用户登记处理部,以没有用户信息为触发事件,从可访问的周边设备收集用户信息,与设备信息一起进行用户登记。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定、及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图13)也可以是一种可视光通信系统,搭载有受理特殊命令的命令判断部、可视光通信的频率、和操作多LED协同的可视光通信速度调整部,通过由受理特殊命令进行可视光通信的频率的调整和发送LED数,使可视光通信高速化。这里,例如,如在图14中说明那样,也可以是一种可视光通信系统,搭载有通过NFC通信判别接近终端的种类的终端种类判断部、和根据终端种类判别发送的信息的发送信息种类判断部,将由接近的终端发送的信息的量和可视光通信速度变更。由此,通过根据接收终端调整可视光通信的频率及发送LED数、变更可视光通信的速度和发送信息,能够进行高速通信,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图14)也可以是一种可视光通信系统,搭载有记录清扫信息的清扫信息记录部、记录房间布局信息的房间布局信息记录部、通过将房间布局信息与清扫信息叠加而生成污垢部位信息的信息合成部、和监视通常动作的停止的动作监视部,通过以设备的停止的感知为触发事件,将污垢部位信息可视光发送。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
(实施方式3)
在本实施方式中,举住宅配送服务为例,对使用光通信的Web信息及设备的协同进行说明。
在图15中表示本实施方式的概要。即,图15是本实施方式的使用光通信的住宅配送服务支援的概略图。
具体而言,订购者使用移动终端3001a从商品购买站点进行商品的订购。在订购完成时,从商品购买站点发行订购号码。接收到订购号码的移动终端3001a将订购号码使用NFC通信向门禁电话宅内器3001b发送。
门禁电话宅内器3001b将从移动终端3001a接收到的订购号码向本设备的监视器显示等,向用户呈现发送完成的消息。
门禁电话宅内器3001b对门禁电话宅外器3001c发送内置在门禁电话宅外器3001c中的LED的闪烁指示和闪烁样式。闪烁样式根据从移动终端3001a接收到的订购号码由门禁电话宅内器3001b生成。
门禁电话宅外器3001c根据从门禁电话宅内器3001b指定的闪烁样式而使LED闪烁。
作为移动终端的替代,也可以是PC等的能够向处于WWW3001d的商品购买站点访问的环境。
作为从移动终端3001a向门禁电话宅内器3001b的发送机构,除了NFC通信以外,也可以使用宅内网络。
移动终端3001a也可以不经由门禁电话宅内器3001b而直接向门禁电话宅外器3001c发送订购号码。
在从订购者有订购的情况下,从住宅配送订购接收服务器3001e对住宅配送者移动终端3001f发送订购号码。当住宅配送者到达了住宅配送目标时,在住宅配送者移动终端3001f和门禁电话宅外器3001c的双向进行使用基于订购号码生成的LED闪烁样式的光通信。
接着,使用图16~图21进行说明。图16~图21是用来说明发明的实施方式3的使用光通信的住宅配送服务支援的流程图。
图16表示订购者进行订购、到发行订购号码为止的流程。以下,对图16进行说明。
订购者移动终端3001a在步骤3002a中,通过智能电话的Web浏览器或应用实施住宅配送的预约。并且,向图17的圈1前进。
此外,订购者移动终端3001a接着图17的圈2,在步骤3002b中,在订购号码发送等待状态下待机。接着,在步骤3002c中,确认是否接触在了订购号码发送目标设备上。在是的情况下,向步骤3002d前进,对门禁电话室内器NFC接触而发送订购号码(在门禁电话存在于与智能电话相同网络中的情况下也有经由网络发送的方法)。另一方面,在否的情况下,向步骤3002b返回。
门禁电话宅内器3001b首先在步骤3002e中,从其他终端等待LED闪烁的请求。接着,在步骤3002f中,从智能电话接收订购号码。接着,在步骤3002g中,根据接收到的订购号码,发出门禁电话室外机的LED闪烁指示。并且,向图19的圈3前进。
门禁电话宅外器3001c首先在步骤3002h中,从门禁电话宅内器等待LED闪烁指示。并且,向图19的圈7前进。
住宅配送者移动终端3001f在步骤3002i中,在订购通知等待状态下待机。接着,在步骤3002j中,确认是否被从住宅配送订购服务器通知了订购通知。这里,在否的情况下,向步骤3002i返回。在是的情况下,向步骤3002k前进,接收订购号码、住宅配送目标住址等的信息。接着,在步骤3002n中,待机直到用户有接收到的订购号码的LED发光指示或为了其他设备的LED发光识别而起动照相机。并且,向图18的圈5前进。
图17表示到订购者用订购者移动终端3001a进行住宅配送订购为止的流程。以下,对图17进行说明。
住宅配送订购服务器3001e首先在步骤3003a中等待接受订购号码。接着,在步骤3003b中确认是否接收到住宅配送订购。这里,在否的情况下,向步骤3003a返回。在是的情况下,向步骤3003c前进,对接收到的住宅配送订购发行订购号码。接着,在步骤3003d中,对住宅配送者通知接收到住宅配送订购的情况并结束。
订购者移动终端3001a接着图16的圈1,在步骤3003e中,从住宅配送订购服务器提示的菜单中选择订购内容。接着,在步骤3003f中,确定订购,向住宅配送服务器发送。接着,在步骤3003g中,确认是否接收到订购号码。这里,在否的情况下,向步骤3003f返回。在是的情况下,向步骤3003h前进,显示接收到的订购号码,进行敦促向门禁电话宅内器的接触的显示。并且,向图16的圈2前进。
图18表示住宅配送者使用住宅配送者移动终端3001f与住宅配送目标的门禁电话宅外器3001c进行光通信的流程。以下,对图18进行说明。
住宅配送者移动终端3001f接着图16的圈5,在步骤3004a中,确认是否为了识别住宅配送目标的门禁电话宅外器3001c的LED而起动照相机。这里,在否的情况下,向图16的圈5返回。
另一方面,在是的情况下,向步骤3004b前进,通过住宅配送者移动终端的照相机确认住宅配送目标门禁电话宅外器的LED闪烁。
接着,在步骤3004c中,识别门禁电话宅外器的LED发光并与订购号码对照。
接着,在步骤3004d中,确认门禁电话宅外器的LED闪烁是否与订购号码一致。这里,在是的情况下,向图20的圈6前进。
另外,在否的情况下,确认是否在照相机内能够确认其他LED闪烁。并且,在是的情况下,向步骤3004c返回,在否的情况下结束。
图19表示进行门禁电话宅内器3001b与门禁电话宅外器3001c间的订购号码对照的流程。以下,对图19进行说明。
门禁电话宅外器3001c接着图16的圈7,在步骤3005a中,确认是否从门禁电话宅内器有LED闪烁的指示。在否的情况下,向图16的圈返回。在是的情况下,向步骤3005b前进,按照从门禁电话宅内器指示的LED闪烁使LED闪烁。并且,向图20的圈8前进。
此外,门禁电话宅外器3001c接着图20的圈9,在步骤3005c中,将由门禁电话宅外器的照相机识别出的LED闪烁向门禁电话宅内器通知。并且,向图21的圈10前进。
门禁电话宅内器3001c接着图16的圈3,在步骤3005d中,对门禁电话宅外器实施对应于订购号码的LED闪烁指示。接着,在步骤3005e中待机,直到门禁电话宅外器的照相机识别住宅配送者移动终端的LED闪烁。接着,在步骤3005f中,确认是否从门禁电话宅外器识别出了LED闪烁。这里,在否的情况下,向步骤3005e返回。在是的情况下,在步骤3005g中将门禁电话宅外器的LED闪烁与订购号码对照。接着,在步骤3005h中,确认门禁电话宅外器的LED闪烁与订购号码是否一致。在是的情况下,向图21的圈11前进。另一方面,在否的情况下,在步骤3005i中,向门禁电话宅外器指示LED闪烁的中止并结束。
图20表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图20进行说明。
住宅配送者移动终端3001f接着图18的圈6,在步骤3006a中,根据住宅配送者移动终端保持的订购号码开始LED闪烁。
接着,在步骤3006b中,将LED闪烁部分配置到从门禁电话宅外器照相机能够摄影的范围中。
接着,在步骤3006c中,关于门禁电话宅外器的照相机摄影的住宅配送者移动终端的LED闪烁与门禁电话宅内器保持的订购号码是否一致,确认门禁电话宅外器LED闪烁是否表示一致。
这里,在否的情况下,向步骤3006b返回。另一方面,在是的情况下,向步骤3006e前进,将是否一致显示在住宅配送者移动终端上并结束。
此外,如图20所示,门禁电话宅外器3001c接着图19的圈8,在步骤3006f中,确认是否由门禁电话宅外器的照相机识别出了住宅配送者移动终端的LED闪烁。这里,在是的情况下,向图19的圈9前进。在否的情况下,向图19的圈返回。
图21表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图21进行说明。
门禁电话宅外器3001c接着图19的圈11,在步骤3007a中,关于门禁电话宅内器通知的LED闪烁是否与订购号码一致确认是否有通知。这里,在否的情况下向图19的圈11返回。另一方面,在是的情况下向步骤3007b前进,通过门禁电话宅外器进行表示是否一致的LED闪烁并结束。
此外,如图21所示,门禁电话宅内器3001b接着图19的圈10,在步骤3007c中,用门禁电话宅内器将配送者已到达的显示调出,通过声音输出向订购者通知。接着,在步骤3007d中,向门禁电话宅外器指示表示LED闪烁的中止与订购号码一致的LED闪烁。接着结束。
另外,在公寓中住宅配送目标不在的情况下,有在玄关等设置收存住宅配送物的住宅配送盒的情况。住宅配送者在住宅配送时订购者不在的情况下,将住宅配送物向住宅配送盒收存。也可以是,通过使用住宅配送者移动终端3001f的LED对门禁电话宅外器3001c的照相机进行光通信并发送住宅配送物的尺寸,门禁电话宅外器3001c能够自动地仅利用与住宅配送物的尺寸相符的住宅配送盒。
如以上这样,根据实施方式3,能够实现使用光通信的Web信息及设备的协同。
(实施方式4)
以下,对实施方式4进行说明。
(向服务器登记用户和使用中的便携电话)
图22是用来说明向本实施方式的服务器登记用户和使用中的便携电话的处理的图。以下说明图22。
首先,在步骤4001b中,用户将应用起动。
接着,在步骤4001c中,将该用户和便携电话的信息向服务器对照。
接着,在步骤4001d中,确认在服务器的DB中是否登记有用户信息和使用中的便携电话的信息。
在是的情况下向步骤4001f前进,作为并行处理而开始(处理a)用户声音特性的解析,向图24的B前进。
另一方面,在否的情况下向4001e前进,向DB的便携电话表登记便携电话ID和用户ID,向图24的B前进。
(处理a:用户声音特性的解析)
图23是用来说明本实施方式的用户声音特性的解析的处理的图。以下,说明图23。
首先,在步骤4002a中,从麦克风进行集音。
接着,在步骤4002b中,确认声音识别的结果是否将集音的声音推测为用户的声音。这里,在否的情况下向步骤4002a返回。
在是的情况下向步骤4002c前进,确认发生内容是否是在该应用中使用的键字(“向后”“返回”等)。在是的情况下,向步骤4002f前进,将声音数据向服务器的用户键字声音表登记,向步骤4002d前进。另一方面,在否的情况下向步骤4002d前进。
接着,在步骤4002d中,将声音特性(频率、声压、讲话速度)解析。
接着,在步骤4002e中,将解析结果向便携电话和服务器的用户声音特性表登记。
(声音识别处理的准备)
图24是用来说明本实施方式的进行声音识别处理的准备的处理的图。以下,说明图24。
首先,接着图中的B,在步骤4003a中,(用户操作)进行显示烹调菜单一览的操作。
接着,在步骤4003b中,从服务器取得烹调菜单一览。
接着,在步骤4003c中,将烹调菜单一览向便携设备画面显示。
接着,在步骤4004d中,从连接在便携电话上的麦克风开始集音。
接着,在步骤4003e中,作为并行处理而开始(处理b)从周边的集音设备的集音。
接着,在步骤4003f中,作为并行处理而开始(处理c)环境音特性的解析。
接着,在步骤4003g中,作为并行处理而开始(处理d)来自存在于周边的声音输出设备的声音的消除。
接着,在步骤4003h中,从服务器的DB取得用户声音特性。
最后,在步骤4003i中,开始用户声音的识别,向图28的C前进。
(处理b:从周边的集音设备的集音)
图25是用来说明进行从本实施方式的周边的集音设备的集音的处理的图。以下,说明图25。
首先,在步骤4004a中,搜索从便携电话能够通信、能够集音的设备(集音设备)。
接着,在步骤4004b中,确认是否发现了集音设备。
这里,在否的情况下结束。在是的情况下向步骤4004c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4004d中,确认在服务器中是否存在信息。
在是的情况下向步骤4004e前进,确认是否集音设备的设置位置距便携电话的位置足够近、能够将用户的声音集音。另外,在步骤4004e中为否的情况下,向步骤4004a返回。另一方面,在步骤4004e中为是的情况下,向步骤4004f前进,使集音设备开始集音。接着,在步骤4004g中,向便携电话发送由集音设备集音的声音,直到有集音处理结束的命令。另外,也可以不将集音的声音原样向便携电话发送,而向便携电话发送进行了声音识别的结果。此外,将向便携设备发送的声音与从连接在便携电话上的麦克风集音的声音同样处理,向步骤4004a返回。
另外,在步骤4004d中为否的情况下,向步骤4004h前进,使集音设备开始集音。接着,在步骤4004i中,从便携电话输出信号音。接着,在步骤4004j中,向便携电话发送由集音设备集音的声音。接着,在步骤4004k中,确认是否能够根据从集音设备传送的声音识别出信号音。这里,在是的情况下向步骤4004g前进,在否的情况下向步骤4004a返回。
(处理c:环境音特性的解析)
图26是用来说明本实施方式的环境音特性的解析处理的图。以下,说明图26。
首先,在步骤4005f中,取得将该用户拥有的设备中的除了位置距电灶的位置足够远者以外的设备的列表。从DB取得这些设备发出的声音的数据。
接着,在步骤4005g中,将所取得的声音数据的特性(频率、声压等)解析,作为环境音特性保持。另外,处于电灶的附近的炊饭机等发出的声音由于特别容易发生误识别,所以设定较高的重要度并保持。
接着,在步骤4005a中,从麦克风集音。
接着,在步骤4005b中,确认集音的声音是否是用户的声音,在是的情况下向步骤4005a返回。在否的情况下,向步骤4005c前进,将集音的声音的特性(频率、声压)解析。
接着,在步骤4005d中,根据解析结果将环境音特性更新。
接着,在步骤4005e中,确认结束标志是否亮起,在是的情况下结束。在否的情况下向步骤4005a返回。
(处理d:将来自存在于周边的声音输出设备的声音消除)
图27是用来说明本实施方式的将来自存在于周边的声音输出设备的声音消除的处理的图。以下,说明图27。
首先,在步骤4006a中,搜索能够通信的设备且能够声音输出的设备(声音输出设备)。
接着,在步骤4006b中,确认是否发现了声音输出设备,在否的情况下结束。在是的情况下,向步骤4006c前进,使声音输出设备输出包含各种各样的频率的信号音。
接着,在步骤4006d中,用便携电话及图25的集音设备(各集音设备)进行集音,将从声音输出设备输出的信号音集音。
接着,在步骤4006e中,确认是否能够将信号音集音、识别,在否的情况下结束。在是的情况下,向步骤4006f前进,将从声音输出设备到各集音设备的传送特性(各频率的输出音量与集音的音量的关系、以及从信号音输出到集音的延迟时间)解析。
接着,在步骤4006g中,确认声音输出设备输出的声音数据是否从便携电话能够访问。
这里,在是的情况下向步骤4006h前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音源、输出部位、音量,一边考虑传送特性一边从由各集音设备集音的声音中将由声音输出设备输出的声音消除。向步骤4006a返回。另一方面,在否的情况下,向步骤4006i前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音,一边考虑传送特性一边从由各集音设备集音的声音将由声音输出设备输出的声音消除,向步骤4006a返回。
(烹调菜单的选择和向电灶的运转内容设定)
图28是用来说明本实施方式的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。以下,说明图28。
首先,接着图中的C,在步骤4007a中,(用户操作)选择想要烹调的菜单。
接着,在步骤4007b中,(用户操作)设定烹饪法参数(烹调的分量、味的浓度、火候调节等)。
接着,在步骤4007c中,从服务器取得与烹饪法参数相符的烹饪法数据,进行电灶运转内容设定命令。
接着,在步骤4007d中,向用户敦促使便携电话向植入在电灶中的非接触IC标签接触。
接着,在步骤4007e中,确认是否检测到向电灶的接触。
这里,在否的情况下向步骤4007e返回。在是的情况下,向步骤4007f前进,将从服务器取得的电灶的设定命令向电灶发送。由此,在该烹饪法中需要的电灶的设定全部被进行,用户仅通过按下电灶的运转开始按钮就能够烹调。
接着,在步骤4007g中,(处理e)从服务器等的DB取得电灶用的通知音,向电灶设定。
接着,在步骤4007h中,(处理f)进行电灶的通知音的调整,向图32的D前进。
(处理e:从服务器等的DB取得电灶用的通知音,向电灶设定)
图29是用来说明本实施方式的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。以下,说明图29。
首先,在步骤4008a中,用户将便携电话向植入在电灶中的非接触IC标签靠近(=接触)。
接着,在步骤4008b中,向电灶询问在电灶中是否登记有面向该便携电话的通知音数据(在电灶的操作时或运转结束时输出的声音的数据)。
接着,在步骤4008c中,确认在电灶中是否登记有面向该便携电话的通知音数据。
这里,在是的情况下结束。在否的情况下,向步骤4008d前进,确认在便携设备中是否登记有面向该便携电话的通知音数据。在是的情况下,向步骤4008h前进,将登记在便携电话中的通知音数据向电灶登记并结束。另一方面,在否的情况下,向步骤4008e前进,参照服务器或便携电话或电灶的DB。
接着,在步骤4008f中,在DB中有面向该便携电话的通知音数据(该便携电话容易识别的通知音的数据)的情况下从DB取得该数据,在没有的情况下从DB取得面向一般的便携电话的通知音数据(一般便携电话容易识别的通知音的数据)。
接着,在步骤4008g中,将所取得的通知音数据向便携电话登记。
接着,在步骤4008h中,将登记在便携电话中的通知音数据向电灶登记并结束。
(处理f:电灶的通知音的调整)
图30是用来说明本实施方式的进行电灶的通知音的调整的处理的图。以下,说明图30。
首先,在步骤4009a中,取得登记在便携电话中的该电灶的通知音数据。
接着,在步骤4009b中,确认该终端用的通知音的频率与环境音的频率的重叠是否为一定以上。
这里,在否的情况下结束。
另一方面,在是的情况下,向步骤4009c前进,将通知音的音量设定为相比环境音足够大的音量。或者将通知音的频率变更。
这里,如果举将频率变更的通知音的制作方法的一例,则如果电灶能够输出图31的(c)的声音,则以(c)的样式制作通知音并结束。如果(c)不能而(b)能够,则以(b)的样式制作通知音并结束。如果仅(a)能够,则以(a)的样式制作通知音并结束。
图31是表示本实施方式的向电灶设定的通知音的波形的例子的图。
图31(a)所示的波形是单纯的矩形波,能够由几乎全部的声音输出装置输出。由于容易与通知音以外的声音混淆,所以输出几次,如果能够识别其中的几个,则应当进行识别为该通知音响起等的对应。
图31(b)所示的波形是通过短时间的矩形波将(a)的波形细小地划分那样的波形,如果声音输出装置的动作时钟足够快则能够输出。该声音在人的耳朵中能够与(a)的声音同样听到,但在机械识别中,有信息量比(a)多、难以与通知音以外的声音混淆的性质。
图31(c)所示的波形是将声音输出部分的时间的长度改变的波形,称作PWM波形。比(b)难输出,但信息量比(b)多,也可以使识别率提高、从电灶向便携电话同时传递想要传递的信息。
另外,图31(b)、图31(c)的波形相比图31(a)误识别的可能性较低,但与图31(a)同样,通过将相同的波形重复多次,能够进一步提高识别率。
(烹调内容的显示)
图32是表示本实施方式的向电灶设定的通知音的波形的例子的图。以下,说明图32。
首先,接着图中的D,在步骤4011a中,显示烹调内容。
接着,在步骤4011b中,确认烹调内容是否是电灶的运转。
这里,在是的情况下,向步骤4011c前进,向用户通知向电灶装入食材并按下运转开始按钮,向图33的E前进。
另一方面,在否的情况下,向步骤4011d前进,显示烹调内容,向图中的F前进或向步骤4011e前进。
在步骤4011e中,确认用户的操作是什么样的。在应用结束的情况下结束。
另一方面,在显示内容的变更操作、手输入(按钮按下等)、声音输入(“向后”“向前”等)的情况下,向步骤4011f前进,确认显示内容变更的结果是否是烹调结束。这里,在是的情况下,向步骤4011g前进,将烹调结束向用户通知并结束。在否的情况下向步骤4011a前进。
(电灶的通知音的识别)
图33是用来说明本实施方式的进行电灶的通知音的识别的处理的图。以下,说明图33。
首先,接着图中的E,在步骤4012a中,作为并行处理,(处理g)开始从周边的集音设备的集音和电灶通知音的识别。
接着,在步骤4012f中,作为并行处理,(处理i)开始便携电话操作状态的确认。
接着,在步骤4012g中,作为并行处理,(处理j)开始用户位置的追踪。
接着,在步骤4012b中,对识别内容进行确认。
这里,在识别出按钮按下的通知音的情况下,向步骤4012c前进,登记设定变更,向步骤4012b返回。在识别出用户的操作的情况下,向图32的F前进。在从显示向电灶装入食材并按下运转开始按钮起经过运转时间后识别出(运转结束的通知音或将电灶的门打开的声音)的情况下,在步骤4012e中,(处理h)向用户通知电灶的运转结束,向图32的G前进。在识别出运转开始的通知音的情况下,向步骤4012d前进,待机直到经过运转时间,向步骤4012e前进,(处理h)向用户通知电灶的运转结束,向图32的G前进。
(处理g:从周边的集音设备的集音和电灶通知音的识别)
图34是用来说明本实施方式的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。以下,说明图34。
首先,在步骤4013a中,搜索能够从便携电话通信、能够集音的设备(集音设备)。
接着,在步骤4013b中,确认是否发现了集音设备。
这里,在否的情况下结束。另一方面,在是的情况下,向步骤4013c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4013d中,确认在服务器中是否存在信息。
在是的情况下,向步骤4013r前进,确认是否集音设备的设置位置距电灶足够近、能够将通知音集音。
这里,在步骤4013r中为否的情况下向步骤4013a返回。在是的情况下,向步骤4013s前进,确认集音设备的运算装置是否能够进行声音识别。在步骤4013s中为是的情况下,在步骤4013u中,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013v中,使集音设备开始集音和声音识别,向便携电话发送识别结果。接着,在步骤4013q中,在向下个烹调阶段前进之前,进行电灶的通知音的识别处理,将识别结果向便携电话发送。另一方面,在步骤4013s中为否的情况下,向步骤4013t前进,使集音设备开始集音,将集音声音向便携电话发送。接着,在步骤4013j中,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音。
另外,在步骤4013d中为否的情况下,向步骤4013e前进,确认集音设备的运算装置是否能够进行声音识别。
在是的情况下,向步骤4013k前进,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013m中,使集音设备开始集音和声音识别,将识别结果向便携电话发送。接着,在步骤4013n中,使电灶的通知音响起。接着,在步骤4013p中,确认是否能够由集音设备识别上述通知音。在步骤4013p中为是的情况下,向4013q前进,在向下个烹调阶段前进之前进行电灶的通知音的识别处理,将识别结果向便携电话发送,向步骤4013a返回。在步骤4013p中为否的情况下,向步骤4013a返回。
此外,在步骤4013e中为否的情况下,向步骤4013f前进,使集音设备开始集音,将集音声音向便携电话发送。接着,在步骤4013g中,使电灶的通知音响起。接着,在步骤4013h中,对从集音设备送来的声音进行识别处理。接着,在步骤4013i中,确认是否能够识别上述通知音。这里,在是的情况下,向4013j前进,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音,向步骤4013a返回。在否的情况下向步骤4013a返回。
(处理h:向用户通知电灶的运转结束)
图35是用来说明本实施方式的向用户通知电灶的运转结束的处理的图。以下,说明图35。
首先,在步骤4013a中,确认是否能够判断出是正在使用便携电话中或根据传感器数据判断出便携电话是移动中。另外,在是的情况下,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另一方面,在步骤4013a中为否的情况下,向步骤4014b前进,搜索由用户登入的PC等操作中的设备(用户操作中设备)。
接着,在步骤4014c中,确认是否发现了用户操作中设备。另外,在是的情况下,使用用户操作中设备的画面显示等向用户通知电灶的运转结束并结束。
另一方面,在步骤4014c中为否的情况下,向步骤4014e前进,搜索能够从便携电话通信、能够取得图像的设备(摄像设备)。
接着,在步骤4014f中,确认是否发现了摄像设备。
这里,在是的情况下,向步骤4014p前进,使摄像设备摄像,向摄像设备发送用户的脸数据,进行用户的脸识别。或者,将摄像图像向便携电话或服务器传送,在图像的发送目标中进行用户的脸识别。
接着,在步骤4014q中,确认是否识别出了用户的脸。在否的情况下向步骤4014e返回。在是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。在步骤4014r中为是的情况下,向步骤4014s前进,使用附属于设备的装置向用户通知电灶的运转结束并结束。
此外,在步骤4014f中为否的情况下,向步骤4014g前进,搜索能够从便携电话通信、能够集音的设备(集音设备)。
此外,在步骤4014h中为否的情况下,向步骤4014i前进,发现能够通过其他设备的操作或步行振动等的方法确定用户的位置的设备。接着,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另外,在步骤4014i中为是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。这里,在否的情况下,向步骤4014t前进,从服务器取得发现设备的位置信息。
接着,在步骤4014u中,搜索处于发现设备的附近、有显示装置或发声装置的设备(通知设备)。接着,在步骤4014v中,考虑从通知设备到用户的距离,通过画面显示或足够的音量的声音向用户通知电灶的运转结束并结束。
(处理i:便携电话操作状态的确认)
图36是用来说明本实施方式的进行便携电话操作状态的确认的处理的图。以下,说明图36。
首先,在步骤4015a中,确认是否是正在操作便携电话中,或便携电话正在移动,或在连接于便携电话上的输入输出装置中有输入输出,或正在将影像或音乐再现中,或处于距便携电话较近的位置的设备为操作中,或由处于距便携电话较近的位置的设备的照相机或各种传感器识别到了用户。
这里,在是的情况下,向步骤4015b前进,识别为用户的位置距该便携电话较近的概率较高,向步骤4015a返回。
另一方面,在否的情况下,向步骤4015c前进,确认是否处于距便携电话较远的位置的设备是操作中,或由处于距便携电话较远的位置的设备的照相机或各种传感器识别到用户,或是充电中。
在步骤4015c中,在是的情况下,向步骤4015d前进,识别为用户的位置距该便携电话较远的概率较高,向步骤4015a返回。在步骤4015c中,在否的情况下向步骤4015a返回。
(处理j:用户位置的跟踪)
图37是用来说明本实施方式的进行用户位置的跟踪的处理的图。以下,说明图37。
首先,在步骤4016a中,确认是否由方位传感器、位置传感器或加速度传感器判断出便携电话正被移动。
在步骤4016a中为是的情况下,向步骤4016b前进,将便携电话和用户的位置向DB登记,向步骤4016a返回。
另一方面,在步骤4016a中为否的情况下,向步骤4016c前进,搜索能够从便携电话通信、照相机或麦克风、人感传感器等的能够检测用户的位置或用户存在的情况的设备(用户探知设备)。
接着,在步骤4016d中,确认是否发现集音设备。在步骤4016d中为否的情况下,向步骤4016a返回。
在步骤4016d中为是的情况下,向步骤4016e前进,确认是否由用户探知设备探知到用户。步骤4016e中为否的情况下,向步骤4016a返回。
在步骤4016e中为是的情况下,向步骤4016f前进,将用户的探知向便携电话发送。
接着,在步骤4016g中,将在用户探知设备的附近存在用户的情况向DB登记。
接着,在步骤4016h中,如果在DB中有用户探知设备的位置信息则取得,确定用户的位置,向步骤4016a返回。
图38是表示一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果使处于距用户位置较近的位置的设备进行向用户的通知的图。此外,图39是表示在本实施方式的服务器或便携电话、电灶中保持的数据库的内容的图。
如图39所示,在电灶表4040a中,将电灶的机种、确定可输出的声音的数据(扬声器特性、调制方式等)、具有容易按照各种便携电话机种识别该便携电话的特性的通知音的数据、和一般的便携电话平均容易识别的通知音数据建立对应保持。
在便携设备表4040b中,将便携电话的各个体、该便携电话的机种、使用该便携电话的用户、和表示该便携电话的位置的数据建立对应保持。
在便携设备机种表4040c中,将便携电话的机种与在该便携电话机种中附带的麦克风等的集音特性建立对应保持。
在用户声音特性表4040d中,将用户与该用户的声音的声响特性建立对应保持。
在用户键字声音表4040e中,将用户、与该用户发声“向后”“返回”等的便携电话要识别的键字时的声音波形数据建立对应保持。另外,该数据也可以不是声音波形数据本身,而是将其解析、变形为容易处置的形式后的数据。
在用户拥有设备位置表4040f中,将用户、用户拥有的设备、和该设备的位置数据建立对应保持。
在用户拥有设备位置表4040g中,将用户、用户拥有的设备、和该设备发出的通知音或运转音等的声音的数据建立对应保持。
在用户位置表4040h中,将用户与用户的位置的数据建立对应保持。
此外,图40是表示本实施方式的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”“返回”等的声音操作便携电话的显示内容的图。图41是表示本实施方式的在开始电灶的运转、等待运转结束的期间、或煮东西的期间等的时间中、用户向其他场所移动的图。图42是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。图43作为用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。另外,该识别处理也可以由电视机或空调进行,也可以将图像数据等向便携电话或服务器发送,由发送目标进行识别处理。但是,从隐私保护的观点,不应将用户的数据向外部服务器发送。
图44是表示从探知到用户的设备向便携电话发送探知到用户的情况、及从探知到的设备到用户的相对位置的图。
这样,如果在DB中存在探知到用户的设备的位置信息,则能够确定用户的位置。
图45是表示本实施方式的便携电话识别电灶的运转结束音的图。图46是表示识别出电灶的运转结束的便携电话对探知到用户的设备中的、具有画面显示功能或声音输出功能的设备(在本图中是处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令的图。
图47是表示接受到上述命令的设备将通知内容向用户通知(在本图中,在电视机的画面上显示电灶的运转已结束)的图。图48是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备识别电灶的运转结束音的图。图49是表示从识别到电灶的运转结束的设备向便携电话通知该情况的图。图50是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
图51是表示将电灶的运转结束向用户通知的图。具体而言,图51是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话不在用户的附近、则在探知到用户的设备中的、对具有画面显示功能或声音输出功能的设备(在本图中处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令、接受到该命令的设备向用户通知电灶的运转结束的图。表示当便携电话连接在充电器上时,便携电话在电灶的附近、用户的附近都不存在的情况较多,容易发生本图所示的状况。
图52是表示接受到电灶的运转结束的通知的用户向厨房移动的图。另外,此时便携电话显示接着的烹调内容。此外也可以是,便携电话通过声音等识别出用户已向厨房移动,在正合适的时机开始接着的烹调次序的说明。
图53是表示从电灶通过无线通信向便携电话发送运转结束等的信息、从便携电话对用户正观看的电视机进行通知命令、通过电视机的画面显示或声音向用户进行通知的图。
另外,信息源设备(在本图中是电灶)与便携电话的通信、及便携电话与向用户进行通知的设备(在本图中是电视机)的通信可以利用家庭内LAN,或直接的无线通信,特别是700MHz~900MHz台的无线通信等。此外,这里利用便携电话作为枢纽,但可以代替便携电话而利用具有通信能力的其他设备。
图54是表示从电灶通过无线通信向用户正观看的电视机发送运转结束等的信息、使用电视机的画面显示或声音对用户进行通知的。它表示不经由在图53中承担作为枢纽的作用的便携电话的情况下的动作。
图55是表示在1层的空调进行某个信息通知的情况下、向2层的空调发送信息、从2层的空调向便携电话发送信息、从便携电话对用户观看的电视机进行通知命令、通过电视机的画面显示或声音对用户进行通知的图。它表示在不能从信息源设备(在本图中是1层的空调)向作为枢纽的便携电话直接通信的情况下向能够通信的其他设备发送信息、进行到便携电话为止的通信。
图56是表示向处于远程的用户进行信息的通知的图。具体而言,图56表示从经由声音、光或无线通信等从电灶接受到通知的便携电话通过因特网或载波通信向处于远程的用户进行信息的通知。图57是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等对便携电话发送信息的图。图58是表示从图57的接受到通信的便携电话逆向沿着信息通信路径对电灶发送操作命令等的信息的图。
另外,便携电话也可以接受图57的信息、自动地发送信息,也可以将该信息向用户通知、接受到该通知而发送用户进行的操作的信息。
图59是表示从作为信息源设备的空调不能对作为枢纽的便携电话进行直接的通信的情况下、对用户进行信息的通知的图。具体而言,图59表示,在不能从作为信息源设备的空调对作为枢纽的便携电话进行直接的通信的情况下,首先,在圈1中,对个人计算机等的、作为向便携电话的通信的阶梯的设备发送信息,在圈2和圈3中,通过因特网或载波通信网从个人计算机向便携电话发送信息,便携电话自动处理该信息,或者,接受拿着便携电话的用户的操作,在圈4和圈5中,通过因特网或载波通信网将信息向个人计算机发送,在圈6中,个人计算机对能够向想要通知的用户通知的设备(在本图中是电视机)发送通知命令,在圈7中,使用电视机的画面显示或声音对用户进行信息的通知。
这样的状况在应接受来自空调的通知信息的用户与正使用便携电话的用户不同的情况下容易发生。
另外,在本图中,在个人计算机与便携电话之间的通信中经由因特网或载波通信网,但也可以通过家庭内LAN或直接通信等进行通信。
图60是用来对利用使用700~900MHz的电波的通信装置的系统说明的图。具体而言,在图60的结构中,对利用使用700~900MHz的电波(以下称作G电波)的通信装置(以下称作G装置)的系统进行说明,表示从带有G装置的电灶对带有G装置的3层的便携电话使用G电波发送信息、从带有G装置的3层的便携电话利用家庭内网络对没有G装置的2层的便携电话发送信息、从2层的便携电话向用户进行信息的通知。
另外,可以考虑在带有G装置的设备间的通信的登记、认证中使用附属于两设备的否FC的方法。此外,在某个设备中没有NFC的情况下,可以考虑作为登记模式而降低G电波的输出以使得仅在10~20cm程度的距离下能够通信、在将双方的设备靠近而通信成功的情况下进行G装置间的通信的登记、认证的方法。
此外,信息源设备(在本图中是电灶)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是2层的便携电话)的中继的设备(在本图中是3层的便携电话)只要能够对G电波和家庭内网络访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
此外,信息通知设备只要能够向家庭内网络访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图61是表示远程的便携电话对用户通知信息的图。具体而言,图61表示从带有G装置的空调对带有G装置的宅内的便携电话发送信息、从宅内的便携电话通过因特网或载波通信网对远程的便携电话发送信息、用远程的便携电话向用户通知信息。
另外,信息源设备(在本图中是空调)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图62是表示远程的便携电话向用户进行信息的通知的图。具体而言,图62表示,带有G装置的电视机识别没有G装置的电灶的通知音,电视机经由G电波向带有G装置的宅内的便携电话发送信息,从宅内的便携电话经由因特网或载波通信网向远程的便携电话发送信息,远程的便携电话向用户进行信息的通知。
另外,信息源设备(在本图中是电灶)如果是其他设备也同样,通知识别设备(在本图中是电视机)识别信息源设备的通知的方法如果不是声音而是发光状态等也是同样的。
此外,通知识别设备也即使是带有G装置的其他设备也同样。此外,进行通知识别设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
此外,图63是在与图62同样的情况下、代替进行通知识别设备(在本图中是2层的电视机)和信息通知设备(在本图中是远程的便携电话)的中继的设备(在图62中是宅内的便携电话)而由2层的电视机发挥中继设备的作用的情况下的图。
根据以上,本实施方式的装置实现以下的功能。
·通过应用的利用来学习用户的声音特性的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从便携电话发出的声音集音的集音设备的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从电子设备发出的声音集音的集音设备的功能
·将由集音设备集音的声音原样或将声音识别结果向便携电话发送的功能
·将环境音的特性解析、使声音识别的精度提高的功能
·从DB取得能够从用户拥有的设备输出的声音、使声音识别的精度提高的功能
·在能够从便携电话通信、具有集音功能的设备中、找到便携电话或集音设备能够将从该设备发出的声音集音的声音输出设备的功能
·取得从声音输出设备输出的声音数据、通过考虑传送特性而从集音声音中减除、从集音声音中将不需要的声音消除的功能
·接受烹调烹饪法的参数输入、从服务器取得对用户进行指示的烹调次序、和用来控制烹调设备的控制数据的功能
·基于设备能够输出的声音的数据设定设备发出的通知音、以使便携电话或集音设备容易识别的功能
·通过基于用户的声音特性调整识别功能、使用户声音的识别精度提高的功能
·使用多个集音设备识别用户的声音的功能
·使用多个集音设备识别电子设备的通知音的功能
·经由便携电话和电子设备的非接触IC卡等、仅通过一次的操作、为了进行一系列的作业而从电子设备得到需要的信息、对电灶进行设定的功能
·在从便携电话能够通信的设备中,使用照相机或麦克风、人感传感器等的能够探知用户的设备探索用户、将用户的当前位置向便携电话发送或向DB保存的功能
·使用保存在DB中的用户位置、从存在于附近的设备对用户进行通知的功能
·根据便携电话的状态(操作状态、传感器值、充电状态、数据链路状态等)推测在便携电话的附近是否存在用户的功能
另外,在图22到图52的处理中,如果分别将声音数据改读作发光数据(频率或亮度等)、将声音输出改读作发光、将集音改读作受光,也能够实现同样的功能。
此外,在本实施方式中以电灶为例,但发出识别的通知音的电子设备如果不是电灶,而改变为洗衣机或炊饭机、清扫机、电冰箱、空气净化机、热水壶、餐具清洗干燥机、空调、个人计算机、便携电话、电视机、汽车、电话、邮件收信装置等,也有同样的效果。
此外,在本实施方式中,电灶、便携电话、和电视机等的向用户进行通知的设备直接进行通信,但在直接的通信中存在不良状况的情况下,也可以经过其他设备间接地进行通信。
此外,在本实施方式中,设想了主要利用家庭LAN的通信,但如果是经由设备彼此的直接无线通信、因特网或载波通信网的通信的情况,也能够实现同样的功能。
此外,在本实施方式中,将使用者的场所通过从便携电话的一下子的询问、用TV的照相机等进行人物识别,向本人的便携电话加密发送,所以具有防止个人信息的泄漏的效果。在家中有多个人的情况下,通过将空调或空气净化机、电冰箱的人感传感器的数据放置到便携设备等的位置管理数据库中,通过随着识别了一次的操作者的移动用传感器跟踪,也能够推测操作者的位置。
另外,在用户持有具备陀螺仪或方位计的便携电话的情况下,可以将所确定的位置数据登记到用户位置数据库中。
此外,当操作者将便携设备放置时,首先,由于物理传感器的运动在一定期间中静止,所以能够检测到该情况。接着离开的情况,使用家电或照明器具的人感传感器或按钮操作、TV等的照相机、便携设备的麦克风等检测。并且,将其位置向便携设备或家内的服务器的用户位置数据库登记。
如以上这样,根据实施方式4,能够实现能够进行设备间的通信的信息通信装置(识别装置)。
具体而言,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、利用上述集音设备的集音功能识别别的电子设备的通知音的识别装置。
这里,该识别装置还可以是利用仅能够将从操作终端发出的信号音集音的集音设备的集音功能的识别装置。
此外,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、将上述声音输出设备与上述集音设备之间的声音传送特性解析而取得上述声音输出设备的输出声音数据、根据上述声音传送特性和上述输出声音数据、从集音声音中将从上述声音输出设备输出的声音消除的集音装置。
此外,本实施方式的信息通信装置也可以包括调整想要识别通知音的电子设备的通知音、以使其不会被环境音掩埋的识别装置。
此外,本实施方式的信息通信装置也可以是,将用户拥有的电子设备(拥有电子设备)、拥有电子设备输出的声音的数据和拥有电子设备的位置数据保持在数据库中,包括调整上述想要识别的电子设备的上述通知音、以便容易区别拥有电子设备输出的声音和想要通知音的电子设备的通知音的识别装置。
这里,该识别装置还可以是调整声音识别处理、以便容易区别拥有电子设备输出的声音和想要识别通知音的电子设备的通知音的识别装置。
此外,本实施方式的信息通信装置也可以包括利用操作终端的操作状态、物理传感器的传感器值、数据链路状态和充电状态、识别上述操作终端与操作者的位置是否较近的识别装置。
这里,该识别装置还可以是利用能够从上述操作终端通信的电子设备的操作状态、照相机、麦克风、人感传感器、保持在数据库中的上述电子设备的位置数据识别用户的位置的识别装置。
此外,该上述识别装置还可以包含在信息通知装置中,所述信息通知装置利用上述用户位置的识别结果、和保持在数据库中的、具有能够通过画面显示或声音输出等的手段向上述用户通知的功能的电子设备(通知设备)的位置数据,使用能够向上述用户通知的上述通知设备对用户进行信息的通知。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
(实施方式5)
当前,在无线通信中研究了各种各样的简单认证方式。例如,在由Wi-Fi联盟制定的无线LAN的WPS中,规定了按钮方式、PIN输入方式、NFC方式等。在无线的各种各样的简单认证方式中,对于正使用设备的用户是否要进行认证,通过限定时间、或者确定处于能够直接接触到双方的设备上来判断,进行认证。
但是,限定时间的方法在有恶意的用户处于某种程度接近的距离中的情况下不能说是安全的。此外,在家电设备等的固定放置设备中,有直接碰触较困难或较麻烦的情况。
所以,在本实施方式中,说明通过在无线认证中使用采用可视光的通信、确定要进行认证的用户确实处于房间内、简单且安全地进行家电设备的无线认证的方法。
图64是表示本实施方式的宅内的环境的例子的图。图65是表示本实施方式的家电设备与智能电话的通信的例子的图。图66是表示本实施方式的发送侧装置的结构的图。图67是表示本实施方式的接收侧装置的结构的图。图64~图67是与图1~图4同样的图,详细的说明省略。
宅内环境可以考虑图64所示那样的、将用户在厨房中拿持的平板电脑与处于起居室中的TV认证那样的环境。两者是能够连接到无线LAN的终端,假设安装了WPS模组。
图68是在图64中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。以下,对图68进行说明。
首先,例如图66所示那样的发送侧终端制作随机数(步骤5001a)。接着,向WPS的寄存器登记(步骤5001b)。进而,如登记在寄存器中的随机数的样式那样使发光元件发光(步骤5001c)。
另一方面,在发送侧装置的发光元件发光的期间中,例如在图67所示那样的接收侧装置中,以光认证模式使照相机起动。这里,所谓光认证模式,是能够识别发光元件为认证用而发光的模式,是指能够与发光侧的周期匹配而摄影的运动图像摄影模式。
即,首先,用户将发送侧终端的发光元件摄影(步骤5001d)。接着,接收侧终端通过摄影而受光随机数(步骤5001e)。接着,受光到随机数的接收侧终端将随机数作为WPS的PIN输入(步骤5001f)。
这里,成为了由双方共享PIN的状态的收发终端按照WPS中的规定,进行认证处理(步骤5001g)。
接着,如果认证完成,则发送侧终端从寄存器将随机数删除,使得不会受理来自多个终端的认证(5001h)。
另外,本方式并不限于无线LAN的认证,能够应用到使用共享密钥的无线的认证方式全部中。
此外,本方式并不限定于无线的认证方式。对于例如在TV与平板电脑间的两者中搭载的应用的认证也能够适用。
图69是本实施方式的进行应用中的认证的情况下的顺序图。以下,说明图69。
首先,发送侧终端根据终端的状态制作发送侧ID(步骤5002a)。这里,发送侧ID既可以是随机数,也可以是用于加密的密钥。此外,也可以包含发送侧终端的终端ID(MAC地址、IP地址)。接着,发送侧终端如发送侧ID的样式那样发光(步骤5002b)。
另一方面,接收侧装置以与无线认证的情况相同的次序受光发送侧ID(步骤5002f)。接着,接收侧装置如果接收到发送侧ID,则制作能够证明已接收到发送侧ID的接收侧ID(步骤5002g)。例如,也可以是用发送侧ID加密的接收侧终端的终端ID。此外,也可以包括在接收侧终端中起动的应用的进程ID或口令。接着,接收侧终端将接收侧ID通过无线进行广播(步骤5002h)。另外,在发送侧ID中包含发送侧终端的终端ID的情况下也可以进行单播。
接着,用无线接收到接收侧ID的5002c发送侧终端与发送来所接收到的接收侧ID的终端使用相互共享的发送侧ID进行认证(步骤5002d)。
图70是表示本实施方式的发送侧终端的动作的流程图。以下,对图70进行说明。
首先,发送侧终端发光与终端的状态对应的ID(步骤5003a)。
接着,以与ID对应的样式发光(步骤5003b)。
接着,确认是否有与发光的ID对应的无线应答(步骤5003c)。在有应答的情况下(步骤5003c中是),对应答来的终端进行认证处理(步骤5003d)。另外,在步骤5003c中,在没有应答的情况下,等待过期时间(步骤5003i),显示无应答并结束(步骤5003j)。
接着,在步骤5003e中确认认证处理是否成功,在认证处理成功的情况下(步骤5003e中是),如果在发光的ID中包含认证以外的命令(步骤5003f中是),则进行遵循命令的处理(步骤5003g)。
另外,在步骤5003e中认证失败的情况下,显示认证错误(步骤5003h)并结束。
图71是表示本实施方式的接收侧终端的动作的流程图。以下,对图71进行说明。
首先,接收侧终端以光认证模式将照相机起动(步骤5004a)。
接着,确认是否能够以特定样式受光到光(步骤5004b),在能够确认的情况下(步骤5004b中是),制作能够证明接收到了发送侧ID的接收侧ID(步骤5004c)。另外,在不能确认的情况下(步骤5004b中否),等待过期时间(步骤5004i中是),显示过期(步骤5004j)并结束。
接着,确认在发送侧终端中是否包含发送终端的ID(步骤5004k),在包含的情况下(步骤5004k中是),向该终端将接收侧ID单播发送(步骤5004d)。另一方面,在不包含的情况下(步骤5004k中否)进行广播(步骤50041)。
接着,从发送终端侧开始认证处理(步骤5004e),在认证处理成功的情况下(步骤5004e中是),判断在受光到的ID中是否包含有命令(步骤5004f)。在步骤5004f中判断为包含的情况下(步骤5004f中是),进行与ID对应的处理(步骤5004g)。
另外,在步骤5004e中认证失败的情况下(步骤5004e中否),显示认证错误(步骤5004h)并结束。
以上,根据本实施方式,通过在无线认证中使用利用可视光的通信,能够确定要认证的用户确实处于房间内,简单且安全地进行家电设备的无线认证。
(实施方式6)
在上述实施方式中,说明了使用NFC通信及高速无线通信进行数据交换时的流程,但并不限定于此。本实施方式当然也可以设为例如图72~图74所示那样的流程。
图72是本实施方式的移动AV终端1向移动AV终端2发送数据的顺序图。具体而言,图72表示使用NFC-无线LAN无线通信的数据收发的顺序图。以下,说明图72。
移动AV终端1首先在画面上显示作为向移动AV终端2发送的对象的数据。
这里,如果移动AV终端1和移动AV终端2通过使相互的设备接触而进行NFC通信,则移动AV终端1在画面上发出是否进行数据发送的确认画面。该确认画面既可以是与“是否发送数据?”的文字一起向用户要求“是/否”的选择的画面,也可以为通过再一次接触在移动AV终端1的画面上而开始数据发送那样的界面。
在数据发送意思确认为OK的情况下,移动AV终端1和移动AV终端2通过NFC通信交换发送的数据的信息及用来建立高速无线通信的信息。发送的数据的信息也可以通过无线LAN通信进行。关于无线LAN通信建立的信息既可以是通信频道或SSID、加密密钥信息,也可以是交换随机生成的ID信息、通过该信息建立安全的通信路的方式。
如果无线LAN通信建立,则移动AV终端1和移动AV终端2进行通过无线LAN通信的数据通信,将移动AV终端1的发送对象的数据向移动AV终端2发送。
接着,使用图73、图74,进行以移动AV终端1及移动AV终端2的画面的变迁为中心的说明。图73是本实施方式的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。图74是本实施方式的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
在图73及图74中,在移动AV终端1中用户首先将再现运动图像静止图像的应用起动。该应用将处于移动AV终端1内的静止图像或运动图像数据显示。
这里,通过使移动AV终端1与移动AV终端2准接触而进行NFC通信。该NFC通信是用来在移动AV终端1中开始静止图像或运动图像数据的交换的处理。
首先,如果移动AV终端1和移动AV终端2通过NFC通信识别数据交换的开始,则在移动AV终端1的画面上显示是否可以数据发送的确认画面。另外,该确认画面如图73那样,既可以是为了数据发送开始而使用户接触画面那样的界面,也可以是使用户以是/否选择数据发送可否的界面。在数据发送开始判断中为是的情况下,即在移动AV终端1向移动AV终端2发送数据的情况下,移动AV终端1向移动AV终端2发送交换的数据的信息、和关于通过无线LAN的高速无线通信开始的信息。另外,该交换的数据的信息也可以使用高速无线通信进行。
接着,如果移动AV终端1及移动AV终端2收发关于通过无线LAN的高速无线通信开始的信息,则进行用来建立无线LAN通信的连接的处理。该处理包括以怎样的频道进行通信、在通信拓扑上哪个为母终端、哪个为子终端、口令信息或相互的SSID或终端信息的交换等。
接着,如果建立无线LAN通信的连接,则移动AV终端1及移动AV终端2发送通过无线LAN通信的数据。在数据发送中,移动AV终端1如通常那样显示运动图像的再现画面,作为接收数据侧的移动AV终端2显示表示数据接收中的画面。这是因为,如果对移动AV终端1显示数据发送中的画面则不再能进行其他处理,所以通过将数据发送在后台进行,具有用户的方便性提高的优点。此外,移动AV终端2是正在接收数据中,通过在画面上显示表示数据接收中的画面以便能够将接收到的数据立即显示,具有在数据的接收完成时能够立即将接受诊断的数据显示的优点。
最后,移动AV终端2如果数据的接收完成,则将接受诊断的数据显示到画面上。
图75~图77是表示本实施方式的移动AV终端1是数字照相机的情况下的系统概略图。
如图75所示,即使移动AV终端1是数字照相机,本实施的便携终端也当然能够使用。
此外,在移动AV终端1是数字照相机的情况下,一般数字照相机具有通过无线LAN的因特网访问的手段、但不具有通过移动通信进行的因特网访问的手段的情况较多。
因此,如图76或图77那样,优选的是构成为,数字照相机(移动AV终端1)能够进行无线LAN通信的环境下,将通过无线LAN摄影的图像数据向照片共享服务发送,在不能进行无线LAN通信的环境中,向移动AV终端2首先使用无线LAN发送数据,移动AV终端2将接受了诊断的数据原样通过便携电话通信向照片共享服务发送。
无线LAN通信与便携电话通信相比是高速的,所以通过在能够进行无线LAN通信的情况下进行无线LAN通信,能够高速地将照片向照片共享服务发送。此外,便携电话通信网与无线LAN通信网相比服务区域一般较广,所以在没有无线LAN环境的情况下,通过具有将移动AV终端2作为中继通过便携电话通信向照片共享服务发送数据的功能,能够在各种各样的场所立即将照片向照片共享服务发送。
以上,根据本实施方式,能够使用NFC通信及高速无线通信进行数据交换。
以上,基于实施方式对有关本发明的一个或多个技术方案的信息通信装置等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个技术方案的范围内。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
(实施方式7)
以下,对实施方式7进行说明。
(发光部的亮度的观测)
CMOS传感器等的摄像元件不是1次进行全部的像素的曝光的,而如图78那样,按照行(曝光行)以时间差进行曝光,完成1张摄像图像。
在摄像元件的整面上拍摄有发光部的状态下,在将闪烁的发光部摄像的情况下,如图79那样,根据各曝光行是否拍摄有发光部的光,能够识别以超过摄像帧速率的速度闪烁的发光部的闪烁的状况。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别1毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图79表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光行数为1时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以f1位每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图80那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
图81表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。
在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
如图82那样,根据摄像装置,也有存在不进行曝光的时间(空白)的情况。
在存在空白的情况下,不能观察该时间的发光部的亮度。
通过发光部将相同的信号反复发送两次以上,或附加错误校正码,能够防止由空白带来的传送损失。
发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互素(relatively prime)的周期、或者比将图像摄像的周期短的周期发送信号。
(信号调制方式)
在载波中使用可视光的情况下,通过使发光部发光以将以人的视觉的时间分辨率(resolution)(5毫秒到20毫秒左右)为窗宽时的发光部的亮度的移动平均值保持为一定,如图83那样,对人而言发送装置的发光部看起来以均匀的亮度发光,同时接收装置能够观察发光部的亮度变化。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图84所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约50%。
另外,假设发光/不发光的切换与人的视觉的时间分辨率是足够高速的。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图85所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约75%。
与图84的调制方式相比,编码效率为0.5是同等的,但能够使平均亮度变高。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图86所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约87.5%。
与图84、图85所示的调制方式相比,编码效率为0.375较差,但能够将平均亮度保持得较高。
以下同样,能够进行与编码效率权衡(trade off)而使平均亮度变高的调制。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图87所示的调制方法。
假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约25%。
通过与图85所示的调制方式等组合而周期性地使调制方式变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来闪烁。
同样,通过使调制方法变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来一边进行任意的亮度变化一边发光。
在载波中使用可视光的情况下,通过使发光部发光以使以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值周期性地变化,如图88那样,对人而言可看到发信装置的发光部闪烁或以任意的节奏变化,同时接收装置能够观察发光信号。
如果使在背灯中使用LED光源的液晶TV的LED部发光,也能够得到同样的效果。在此情况下,通过至少降低光通信部的画面部分的对比度、向白色靠近,能够进行错误率较少的光通信。通过使整面或在通信中使用的画面部分为白色,能够提高通信速度。
在使用电视机的显示器等作为发光部的情况下,通过将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值成为想要使人看到的图像的亮度,如图89那样,对人而言能看到通常那样的电视机的影像,同时接收装置能够观察发光信号。
通过将设为摄像图像每1帧的时间左右的窗宽时的发光部的亮度的移动平均值调节为按照摄像帧传送信号的情况下的信号的值,如图90那样,通过在从近距离摄像的情况下按照曝光行观察发送装置的发光状态、在从远距离摄像的情况下按照摄像帧观察发送装置的发光状态,能够以两种速度进行信号传输。
另外,在从近距离摄像的情况下,也能够接收在从远距离摄像的情况下能够接收的信号。
图91是表示按照曝光时间怎样观察发光的图。
由于摄像出的像素的亮度与将摄像元件曝光的时间的摄像对象的平均亮度成比例,所以如果曝光时间较短则如2217b那样原样观察到发光样式2217a,如果曝光时间较长,则如2217c、2217d、2217e那样观察。
另外,2217a为将图85所示的调制方式分形地反复使用的调制方式。
通过利用这样的发光样式,能够向具有曝光时间较短的摄像装置的接收装置发送许多信息,向具有曝光时间较长的摄像装置的接收装置同时发送较少的信息。
接收装置如果遍及曝光行的1行或一定数量的行而发光部推测位置的像素的亮度是一定以上则识别为接收到1,如果是一定以下则识别为接收到0。
1持续的情况与通常的(不发送信号而总是发亮)发光部没有区别,0持续的情况与不存在发光部的情况没有区别。
因此,发送装置也可以在相同的数字连续一定数量的情况下发送不同的数字。
此外,也可以如图92那样,分为必定包含1和0的头部和发送信号的体部而发送。在此情况下,相同的数字不超过5次连续出现。
在发光部处于不与1部分的曝光行相配的位置的情况下、或在存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
因此,需要表示该信号是整体的哪个部分的信号。
为此,如图93那样,有将数据部和表示数据的位置的地址部一起发送的方法。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部和地址部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
如图94那样,有发送装置发送基准部和数据部、接收装置根据与接收到基准部时的时刻的差识别数据的位置的方法。
如图95那样,有发送装置将基准部、地址样式部和数据部发送、接收装置根据处于基准部的接着之处的地址样式部得到数据部的数据和其位置的样式、根据该样式和接收到基准部的时刻与接收到各数据时的时刻的差识别数据的位置的方法。
通过能够利用多个种类的地址样式,不仅是均匀地发送数据,可以将重要性较高的数据或应先处理的数据先发送、或相比其他数据增加重复次数。
发光部不与全部的曝光行相配的情况下、或存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
如图96那样,通过附加头部,能够检测信号的划分、检测地址部或数据部。
在头部的发光样式中,使用在地址部或数据部中没有出现的样式。
例如,在使用表2200.2a的调制方式的情况下,可以使头部的发光样式为“0011”。
此外,如果使头部的样式为“11110011”,则平均亮度与其他部分相等,能够抑制用人的眼睛观察时的闪变。由于该头部的冗余性较高,所以能够在这里也叠加信息。例如,在头部的样式为“11100111”的情况下,可以表示正在发送装置间发送通信的内容等。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部、地址部和头部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
在图97中,发送装置通过优先级决定信息的发送顺序。
例如,使发送次数与优先级成比例。
接收装置在发送装置的发光部没有拍摄在接收装置的摄像部全部中的情况下或有空白的情况下,不能连续接收信号,所以发送的频度越高则容易越快地接收。
图98表示存在于附近的多个发送装置同步发送信息的样式。
通过多个发送装置将共通信息同时发送,能够看作一个较大的发送装置,能够用接收装置的摄像部较大地摄像,所以能够将信息更快、从更远接收。
发送装置在附近的发送装置的发光部均匀发光(不发送信号)的时间带中单独发送信息,以便不与存在于附近的发送装置的发光样式混淆。
发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,学习存在于附近的发送装置的发光样式,决定自身的发光样式。此外,发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,由其他发送装置的命令来决定自身的发光样式。此外,发送装置也可以按照集中控制装置的命令决定发光样式。
(发光部的检测)
作为判断在摄像图像的哪个部分摄像了发光部的方法,有如图99那样在与曝光行垂直的方向上计数发光部被摄像的行数、将发光部最多被摄像的列作为发光部存在的列的方法。
发光部的接近于端部的部分在受光的程度上有波动,容易弄错发光部是否被摄像的判断,所以在发光部被摄像最多的列中也根据中央的列的像素的摄像结果将信号取出。
作为判断在摄像图像的哪个部分摄像了发光部的方法,如图100那样,有按照曝光行求出将发光部摄像的部分的中点、推测在将求出的点连结的近似线(直线或二次曲线)上存在发光部的方法。
也可以如图101那样,将前面的帧中的发光部的推测位置作为事前概率,根据当前的帧的信息将发光部的推测位置更新。
另外,也可以根据该期间的加速度传感器或陀螺仪传感器的值,将当前的发光部的推测位置更新。
如果说明图102,则当摄像范围为2212a时,如果将发光部2212b摄像,则摄像出摄像图像2212c、2212d、2212e那样的图像。
如果取摄像图像2212c、2212d、2212e的发光部分的和,则得到合成图像2212f,能够确定摄像图像中的发光部位置。
接收装置根据所确定的发光部的位置,检测发光部的发光的开启关闭。
另外,在使用图85所示的调制方式的情况下,由于发光概率是0.75,所以当取n张图像的和时,合成图像2212f中的发光部看起来发光的概率是1~0.25n。这里,例如当n=3时,该概率为约0.984。
另外,根据陀螺仪传感器、加速度传感器或磁传感器的传感器值推测摄像部的姿势、进行摄像方向的补偿后将图像合成时精度变高。但是,在合成图像数较少的情况下摄像时间较短,所以即使不进行摄像方向的补偿,不良影响也较少。
图103是表示接收装置将多个发光部摄像的情况的图。
在多个发光部发出相同的信号的情况下,从两者的发光样式取得一个发送信号。在多个发光部发出不同的信号的情况下,从各自的发光样式取得各自的发送信号。
在发送信号的相同地址的数据值不同的情况下,发送了不同的信号。另外,也可以根据发送信号的头部的样式来判断为发送了与附近的发送装置相同或不同的信号。
在发光部大致相邻的情况下,也可以看作发送了相同的信号。
在图104中,表示此时的发送信号的时间行、和将发光部摄像的图像。
(通过位置样式进行的信号的传送)
在图105中,发光部2216a、2216c、2216e均匀地发光,发光部2216b、2216d、2216f通过发光样式将信号发信。另外,发光部2216b、2216d、2216f也可以单单只是发光,以使得如果接收装置按照曝光行摄像则可看到棋盘格图案。
在图105中,发光部2216a~2216f既可以是相同的发送装置的发光部,也可以是各自不同的发送装置。
发送装置通过发送信号的发光部的位置、和不发送的发光部的位置的样式(位置样式)来表现发送的信号。
在图105中,由于有6个发信部,所以能够发送2的6次幂=64值的信号。如果从不同的方向观察,则不应使用看起来相同的位置样式,但通过由接收装置的磁传感器等确定摄像方向,能够识别上述那样的样式。另外,也可以通过使哪个发光部发送信号根据时刻变化来发送更多的信号。
发送装置也可以在一部分的时间带中进行通过位置样式的信号发送,在别的时间带中以发光样式发送信号。例如,可以在一部分的时间带中使全部的发光部同步将发送装置的ID及位置信息以发光样式发送。
发光部的配置样式大致无限地存在,所以接收装置难以将全部的位置样式预先存储。
所以,接收装置以发送装置通过发光样式发送的发送装置的ID及位置信息、由无线基站得到的接收装置的推测位置、由GPS或陀螺仪传感器、加速度传感器、磁传感器推测的接收装置的位置信息为键字,从服务器取得存在于附近的位置样式的列表,基于该列表将位置样式解析。
根据该方式,用位置样式表现的信号不需要在全世界中是唯一的,只要相同的位置样式在附近(半径几米到300米左右)不存在就可以,发光部较少的发送装置能够解决能够表现的位置样式的数量较少的问题。
可以从服务器取得发光部的大小、形状及位置信息,根据这些信息、摄像的位置样式的大小及形状、和摄像部的透镜特性推测接收装置的位置。
(接收装置)
作为主要进行接收的通信装置,如图106那样,可以考虑便携电话或数字静像照相机、数字摄像机、头戴显示器、机器人(清扫用、照护用、产业用等)、监视照相机等。但是,接收装置并不限定于这些。
另外,所谓接收装置,是主要接收信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的发送的情况。
(发送装置)
作为主要进行发送的通信装置,如图107那样,可以考虑照明(家庭用、店铺用、办公室用、地下街用、街道用等)、怀中电灯、家电、机器人、其他电子设备。但是,发送装置并不限定于这些。
另外,所谓发送装置,是主要发送信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的接收的情况。
发光部如图108所示,优选的是如使用LED照明或LED背灯的液晶等那样、发光/不发光的开关较高速的结构。但是,发光部并不限定于这些。
在发光部中,除了上述以外,可以考虑荧光灯、白炽电灯、水银灯或有机EL显示器等的照明。
另外,发光部被较大地摄像时传送效率变高,所以发送装置也可以如图109那样具备多个同步发光的发光部。此外,由于越是在与摄像元件的曝光行垂直的方向上较大地映照则传送效率越高,所以发光部也可以排列为一列而设置。此外,在将接收装置自然构成的情况下也可以将发光部与曝光行垂直地排列。此外,在预想会从多个方向摄像的情况下,也可以如图110那样将发光部配置为十字形。此外,在预想会从多个方向摄像的情况下,也可以如图111那样,使用圆形的发光部、或将发光部配置为圆形。此外,较大地摄像由于传送效率变高,所以发送装置也可以如图112那样将散光板覆盖到发光部上。
如图113那样,发送不同的信号的发光部离开距离配置,以便不会同时被摄像。此外,如图114那样,发送不同的信号的发光部在中间配置不发送信号的发光部,以便不会同时被摄像。
(发光部的构造)
图115是表示发光部的优选的构造的图。
如2311a那样,通过使发光部和其周围的材料为反射率较低的材料,即使是光照在发光部周边的情况,接收装置也能够容易地识别发光的状况。此外,如2311b那样,通过设置阻挡外光的伞,光照在发光部周边,能够使接收装置容易识别发光的状况。此外,如2311c那样,通过在靠里的部分设置发光部,光照在发光部周边,能够使接收装置容易识别发光的状况。
(信号载波)
输送信号的光(电磁波)使用接收装置能够受光的、图116所示的近红外线带~可视光带~近紫外线带的频率带的光(电磁波)。
(摄像部)
在图117中,接收装置的摄像部在摄像范围2310a中检测进行样式发光的发光部2310b。
摄像控制部代替使用其他曝光行,反复使用发光部的中心位置的曝光行2310c取得摄像图像2310d。
摄像图像2310d为曝光时间不同的相同场所的图像。通过将摄像图像2310d的发光部拍摄的像素在与曝光行垂直方向上扫描,能够观察发光部的发光样式。
通过该方法,即使是发光部仅存在于摄像图像中的一部分中的情况,也能够将发光部的亮度变化观察更长的时间。因此,即使是将较小的发光部或从较远将发光部摄像的情况,也能够读取信号。
在没有空白的情况下,通过该方法,只要用摄像装置的一部分拍摄发光部,就能够全部观察发光部的亮度变化。
在将一个行曝光的时间比到开始曝光下一行为止的时间长的情况下,通过使用发光部的中心的多个曝光行摄像,能够得到同样的效果。
另外,在能够进行以像素单位的控制的情况下,仅使用距发光部的中心最近的点、或仅使用其附近的多个点进行摄像。此时,通过将各像素的曝光开始时刻错开,能够以更细小的周期检测发光部的发光状态。
另外,通过主要使用2310c的曝光行、偶尔使用别的曝光行摄像、将摄像图像合成,虽然与通常相比分辨率及帧速率较差,但能够合成与通常那样摄像的摄像图像类似的图像(影像)。通过将该合成图像对用户显示,能够使用户操作接收装置、或用于手抖动的修正。
另外,在手抖动的修正中,也可以利用陀螺仪传感器、加速度传感器或磁传感器等的传感器值,或利用由与将发光部摄影的摄像装置不同的摄像装置摄像的图像。
另外,与发光部的端部相比,接近于中心时,在手抖动时发光部更不易从曝光行或曝光像素偏离,所以优选的是将距发光部的中心较近的部分作为曝光行或曝光像素。
另外,由于发光部的边缘部的发光亮度较低,所以优选的是尽量将距发光部的周围较远、亮度较高的部分作为曝光行或曝光像素。
(接收装置的位置的推测)
在图118中,发送装置将自身被设置的位置信息、发光装置的大小、发光装置的形状和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图119中,发送装置将自身被设置的位置信息、发光部的大小、发光部的形状和发送装置的ID发送。这里,在位置信息中,包括发光部的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光部的大小和形状、被摄像的图像中的发光部的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光部的距离,推测接收装置的位置信息。接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息,推测移动方向和移动距离。接收装置使用在多个地点推测出的位置信息、和根据移动方向和移动距离推测出的该地点间的位置关系,推测接收装置的位置信息。
例如,如果设在地点
[数式1]
x1
推测出的接收装置的位置信息的概率场为
[数式2]
Px1
设在从地点
[数式3]
x1
向地点
[数式4]
x2
移动时推测出的移动方向与移动距离的概率场为
[数式5]
Mx1x2
则最终推测的位置信息的概率场可以计算为
[数式6]
在图119中,发送装置将自身被设置的位置信息和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
在此情况下,接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图120中,发送装置将发送装置的ID发送。
接收装置接收发送装置的ID,从因特网得到发送装置被设置的位置信息、发光装置的大小和发光装置的形状等。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从因特网得到的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图121中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图122中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置用三角测量的方法推测接收装置的位置信息。此外,接收装置根据陀螺仪传感器、加速度传感器或磁传感器推测接收装置的姿势变化或移动。另外,接收装置也可以同时进行磁传感器的零点调整及校准。
(发送信息的设定)
在图123中,由接收装置2606c将发送装置2606b的发光样式摄像,取得发送的信号,推测接收装置的位置。
接收装置2606c在被移动的期间中,根据摄像图像的变化、磁传感器、加速度传感器或陀螺仪传感器的传感器值,推测移动的距离和方向。
接收装置将发送装置2606a的受光部摄像,推测发光部的中心位置,将该位置向发送装置发送。
在发光部的位置推测中,需要发光装置的大小的信息,所以发送装置最好即使在发送的信息的一部分缺失的情况下,也将发光部的大小信息发送。另外,在不知道发光部的大小的情况下,根据在接收装置中在位置推测中使用的发送装置2606b与接收装置2606c之间的距离推测顶棚的高度,利用其结果推测发送装置2606a与接收装置2606c之间的距离。
在发送中,有通过发光样式的发送、通过声音的样式的发送、及通过无线电波的发送方式。也可以将发送装置的发光样式和其时刻存储,之后向发送装置或集中控制装置发送。
发送装置或集中控制装置根据发光样式和其时刻,确定接收装置摄像的发送装置,将位置信息向发送装置存储。
在图124中,通过作为接收装置摄像的图像中的点而指定发送装置的一点,指定设定位置的点。
接收装置计算从位置设定点向发送装置的发光部的中心的位置关系,将对设定的位置加上该位置关系后的位置向发送装置发送。
在图125中,接收装置通过将发送装置摄像,接收发送的信号。基于接收到的信号,与服务器或电子设备进行通信。
例如,接收装置以信号中包含的发送装置的ID为键字,从服务器取得发送装置的信息、发送装置的位置及大小、与其位置关联的服务信息等。
此外,例如接收装置根据信号中包含的发送装置的位置推测接收装置的位置,从服务器取得地图信息及与该位置关联的服务信息等。
此外,例如接收装置以当前的大体上的位置为键字,从服务器取得附近的发送装置的调制方式。
此外,例如接收装置以信号中包含的发送装置的ID为键字,向服务器登记接收装置及发送装置的位置信息、附近的信息、接收装置在附近进行的处理的信息。
此外,例如接收装置以信号中包含的发送装置的ID为键字,进行电子设备的操作。
(接收装置的框图)
图126是表示接收装置的结构图。接收装置由其全部或包括摄像部和信号解析部的一部分构成。另外,在图126中相同名称的块既可以是相同的部分兼用的,也可以是不同的部分。
狭义的接收装置2400af装备在智能电话或数字照相机等中。输入部2400h由用户操作输入部2400i、照度传感器2400j、麦克风2400k、计时部2400n、位置推测部2400m、通信部2400p的全部或一部分构成。
摄像部2400a由透镜2400b、摄像元件2400c、焦点控制部2400d、摄像控制部2400e、信号检测部2400f、摄像信息存储部2400g的全部或一部分构成。摄像部2400a通过用户的操作、照度的变化、声音或声响的样式、成为特定的时刻、接收装置移动到了特定的场所、或经由通信部被其他装置命令而开始摄像。
焦点控制部2400d进行将焦点对在发送装置的发光部2400ae上、或者对角以使发送装置的发光部2400ae较大地映照而模糊等的控制。
曝光控制部2400ak设定曝光时间和曝光增益。
摄像控制部2400e将摄像的位置限定于特定的像素。
信号检测部2400f从摄像图像中,检测包含发送装置的发光部2400ae的像素、或包含通过发光的信号发送的像素。
摄像信息存储部2400g将焦点控制部2400d的控制信息、摄像控制部2400e的控制信息、及由信号检测部2400f检测到的信息存储。在摄像装置有多个的情况下,也可以同时进行摄像,将一方用于接收装置的位置及姿势的推测。
发光控制部2400ad通过用来自输入部2400h的输入控制发光部2400ae的发光样式来发送信号。发光控制部2400ad从计时部2400ac取得使发光部2400ae发光的时刻并记录。
摄像图像存储部2400w将由摄像部2400a摄像的图像存储。
信号解析部2400y利用摄像元件的各行的曝光时间的差异,根据摄像的发送装置的发光部2400ae的发光样式,基于存储在调制方式存储部2400af中的调制方式,取得发送的信号。
接收信号存储部2400z将由信号解析部2400y解析的信号存储。
传感器部2400q由GPS2400r、磁传感器2400t、加速度传感器2400s、陀螺仪传感器2400u的全部或一部分构成。
位置推测部根据来自传感器部的信息、摄像图像、及接收到的信号,推测接收装置的位置及姿势。
运算部2400aa将接收到的信号、接收装置的推测位置、基于这些从网络2400ah得到的信息(地图、与场所关联的信息、及与发送装置关联的信息等)向显示部2400ab显示。
运算部2400aa根据接收到的信号、及接收装置的推测位置,基于输入到输入部2400h中的信息,进行发送装置的控制。
通信部2400ag在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2400ah而以终端彼此进行通信。
电子设备2400aj由接收装置控制。
服务器2400ai将发送装置的信息、发送装置的位置、与发送装置的位置关联的信息,与发送装置的ID建立联系而存储。
服务器2400ai将发送装置的调制方式与位置建立联系而存储。
(发送装置的框图)
图127是构成发送装置的框图。
发送装置由本结构图的全部、或包括发光部、发送信号存储部、调制方式存储部和运算部的一部分构成。
狭义的发送装置2401ab装备在电灯、电子设备或机器人中。
照明控制开关2401n是切换照明的开启关闭的开关。
散光板2401p是为了使发光部2401q的光散光而安装在发光部2401q的附近的部件。
发光部2401q利用图126的接收装置的摄像元件的各行的曝光时间的差异,以按照行检测发光样式的速度进行点灯、灭灯。
发光部2401q由能够高速地点灯、灭灯的LED或荧光灯等的光源构成。
发光控制部2401r控制发光部2401q的点灯和灭灯。
受光部2401s由受光元件及摄像元件构成。受光部2401s将受光到的光的强度变换为电信号。另外,也可以代替受光部2401s而使用摄像部。
信号解析部2401t根据受光部2401s受光的光的样式取得信号。
运算部2401u将存储在发送信号存储部2401d中的发送信号按照存储在调制方式存储部2401e中的调制方式变换为发光样式。运算部2401u基于从信号解析部2401t得到的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自安装部2401w的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自通信部2401v的信号,进行将存储部2401a的信息编辑等发光控制部2401r的控制。
此外,运算部2401u将安装装置2401h的存储部2401b的信息编辑。运算部2401u将安装装置2401h的存储部2401b的信息向存储部2401a复制。
运算部2401u在设定的时刻控制发光控制部2401r。运算部2401u经由网络2401aa进行电子设备2401zz的控制。
存储部2401a由发送信号存储部2401d、形状存储部2401f、调制方式存储部2401e、设备状态存储部2401g的全部或一部分构成。
发送信号存储部2401d存储从发光部2401q发送的信号。
调制方式存储部2401e存储将发送信号向发光样式变换的调制方式。
形状存储部2401f存储发送装置和发光部2401q的形状。
设备状态存储部2401g存储发送装置的状态。
安装部2401w由安装金属工具和电力供给口构成。
安装装置2401h的存储部2401b将存储到存储部2401a中的信息存储。存储部2401a也可以不具备,而使用安装装置2401h的存储部2401b或集中控制装置2401m的存储部2401c。
通信部2401v在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2401aa而以终端彼此进行通信。
服务器2401y将发送装置的信息、发送装置的位置及与发送装置的位置关联的信息与发送装置的ID建立联系而存储。此外,服务器2401y将发送装置的调制方式与位置建立联系而存储。
(接收的次序)
如果说明图128,则在步骤2800a中,确认在接收装置中是否有多个摄像装置。在否的情况下向步骤2800b前进,选择使用的摄像装置,向步骤2800c前进。另一方面,在是的情况下向步骤2800c前进。
在步骤2800c中,设定曝光时间(=快门速度)(另外,曝光时间优选的是较短)。
接着,在步骤2800d中,设定曝光增益。
接着,在步骤2800e中摄像。
接着,在步骤2800f中,按照曝光行,判断亮度超过一定的阈值的像素持续一定数量以上的部分,求出该部分的中心位置。
接着,在步骤2800g中,计算将上述中心位置连结的1次或2次的近似线。
接着,在步骤2800h中,将各曝光行的近似线上的像素的亮度值作为各曝光行的信号值。
接着,在步骤2800i中,根据由摄像帧速率、分辨率、空白时间等构成的摄像信息,计算每1行曝光行的担当时间。
接着,在步骤2800j中,如果空白时间是一定以下,则将某个摄像帧的最后的曝光行的下个曝光行看作是其下一帧的最初的曝光行。在不是那样的情况下,看作在某个摄像帧的最后的曝光行与其下一帧的最初的曝光行之间,存在将空白时间用每1曝光行的担当时间除的数量的不能观测的曝光行。
接着,在步骤2800k中,从解码信息中读入基准位置样式、地址样式。
接着,在步骤2800m中,根据各曝光行的信号值检测表示信号的基准位置的样式。
接着,在步骤2800n中,基于检测到的基准位置,计算数据部、地址部。
接着,在步骤2800p中,得到发送信号。
(自己位置推测的次序)
如果说明图129,则首先,在步骤2801a中,将识别为接收装置的当前位置的位置或当前位置的概率映射图作为自己位置的事前信息。
接着,在步骤2801b中,将接收装置的摄像部朝向发送装置的发光部。
接着,在步骤2801c中,根据加速度传感器、陀螺仪传感器和磁传感器的传感器值,计算摄像装置被朝向的方位和仰角。
接着,在步骤2801d中,将发光样式摄像,取得发送信号。
接着,在步骤2801e中,根据发送信号中包含的发光部的大小及形状的信息、摄像的发光部的大小和摄像装置的摄像的倍率,计算摄像装置与发光部之间的距离。
接着,在步骤2801f中,根据摄像图像中的发光部的位置和透镜特性,计算从摄像部向发光部的方向和与摄像面的法线的相对角度。
接着,在步骤2801g中,根据到此为止计算出的数值,计算摄像装置与发光部的相对位置关系。
接着,在步骤2801h中,根据发送信号中包含的发光部的位置、和摄像装置与发光部的相对位置关系,计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,通过根据各发送装置中包含的信号计算摄像装置的坐标,能够高精度地计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,可以使用三角测量的方法。
接着,在步骤280li中,根据自己位置的事前信息和接收装置的位置的计算结果,将接收装置的当前位置或当前位置的概率映射图更新。
接着,在步骤2801j中,使摄像装置移动。
接着,在步骤2801k中,根据加速度传感器、陀螺仪传感器和磁传感器的传感器值,计算移动的方向和距离。
接着,在步骤2801m中,根据摄像图像和摄像装置的姿势,计算移动的方向和距离,向步骤2801a返回。
(发送控制的次序1)
如果说明图130,则首先,在步骤2802a中,用户将按钮按下。
接着,在步骤2802b中,使发光部发光。另外,也可以用发光样式表示信号。
接着,在步骤2802c中,记录发光开始时刻、结束时刻、及将特定的样式发送的时刻。
接着,在步骤2802d中,用摄像装置摄像。
接着,在步骤2802e中,将存在于摄像图像中的发送装置的发光样式摄像,取得发送的信号。另外,也可以利用记录的时刻同步地将发光样式解析。接着结束。
(发送控制的次序2)
如果说明图131,则首先,在步骤2803a中,用受光装置受光,或用摄像装置摄像。
接着,在步骤2803b中,确认是否是特定的样式。
在否的情况下向步骤2803a返回。另一方面,在是的情况下,向步骤2803c前进,将受光或摄像接收样式的开始时刻、结束时刻及特定的样式出现的时刻记录。
接着,在步骤2803d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2803e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(发送控制的次序3)
如果说明图132,则首先,在步骤2804a中,用受光装置受光,将受光的光能向电变换并蓄电。
接着,在步骤2804b中,确认蓄电能量是否成为了一定以上。
在否的情况下向步骤2804a返回。另一方面,在是的情况下,向步骤2804c前进,将受光的光解析,将出现特定的样式的时刻记录。
接着,在步骤2804d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2804e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(车站建筑内的信息提供)
图133是说明在车站建筑内接受信息提供的状况的图。
接收装置2700a将设置在车站施设中的照明摄像,通过读取发光样式或位置样式,接收照明装置发送的信息。
接收装置2700a基于接收到的信息从服务器取得照明及施设的信息,还根据摄像的照明的大小及形状推测接收装置2700a的当前位置。
例如,接收装置2700a将基于施设ID及位置信息得到的信息显示(2700b)。接收装置2700a基于施设ID下载施设的地图,根据用户购买的乘车券信息,进行向乘车场所的导航(2700c)。
另外,图133表示铁路的车站中的例子,但如果是飞机场、港口或公共汽车站等的施设也同样。
(乘车服务)
图134是表示交通工具内的利用的状况的图。
乘客具有的接收装置2704a和销售员具有的接收装置2704b将照明2704e发送的信号接收,推测自身的当前位置。
另外,各接收装置也可以从照明2704e取得自己位置推测所需要的信息,也可以以从照明2704e发送的信息为键字而从服务器取得,也可以基于乘车车站或检票的位置信息等事前取得。
另外,接收装置2704a也可以根据用户(乘客)购买的乘车券的乘车时间信息和当前时刻识别出当前位置是交通工具内,将与该交通工具建立了关联的信息下载。
各接收装置将自身的当前的位置向服务器通知。接收装置2704a通过将用户(乘客)ID、接收装置的ID及用户(乘客)购买的乘车券的信息向服务器通知,服务器确认就座在座席中的人物是拥有乘车权利和指定席权利的人物。
接收装置2704a通过显示销售员的当前位置,用户(乘客)能够研究车内销售的购买时机。
当乘客经由接收装置2704a进行了车内销售的订购时,接收装置2704a将自身的位置、订购内容和核款信息向销售员的接收装置2704b及服务器通知。销售员的接收装置2704b将表示订购者的位置的地图2704d显示。
另外,乘客也可以经由接收装置2704a进行指定席券或换乘乘车券的购买。
接收装置2704a将空席信息2704c显示。接收装置2704a根据用户(乘客)购买的乘车券的乘车区间信息和自身的当前位置,将指定席券或换乘乘车券的购买信息及核款信息向服务器通知。
另外,图134表示了铁路内的例子,但在飞机、船或公共汽车站等的交通工具中也同样。
(店铺内服务)
图135是表示店铺内的利用的状况的图。
接收装置2707b、2707c、2707d将照明2707a发送的信号接收,推测自身的当前位置,向服务器通知。
另外,各接收装置也可以从照明2707a取得自己位置推测所需要的信息及服务器的地址,既可以以从照明2707a发送的信息为键字从别的服务器取得,也可以从付款系统取得。
付款系统将付款信息与接收装置2707d建立关联,显示接收装置2707d的当前位置,将(2707c)订购的商品送到。
接收装置2707b基于从照明2707a发送的信息显示商品信息。如果购买者根据显示的商品信息进行订购,则接收装置2707b将商品信息、核款信息和当前位置向服务器通知。
这样,销售者能够基于接收装置2707b的位置信息将订购的商品送到,购买者能够坐在座席中而进行商品的购买。
(无线连接的建立)
图136是表示将无线连接的认证证书通信、建立无线连接的状况的图。
电子设备(数字照相机)2701b作为无线连接的接入点动作,作为其连接所需要的信息,将ID及口令作为发光样式发送。
电子设备(智能电话)2701a从发光样式取得发送信息,建立无线连接。
另外,这里设为无线连接,但建立的连接也可以是有线连接网络。
另外,两个电子设备之间的通信也可以经由第3电子设备进行。
(通信范围的调整)
图137是表示通过发光样式或位置样式的通信的范围的图。
在利用电波的通信方式中,即使是用墙壁隔开的邻室电波也到达,难以限制通信范围。
另一方面,在使用发光样式或位置样式的通信中,由于利用可视光和其周边域的波长,所以容易使用遮蔽物分隔通信范围。此外,在使用可视光的情况下,具有通信范围通过人的眼睛也能够确认的优点。
(室内的利用)
图138是表示地下街等的室内的利用的状况的图。
接收装置2706a接收照明2706b发送的信号,推测自身的当前位置。此外,接收装置2706a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2706b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。这在漏听了紧急状况广播的情况下、或对于不能听到紧急状况广播的听觉障碍者是有效的。
(室外的利用)
图139是表示街道等的室外的利用的状况的图。
接收装置2705a接收街灯照明2705b发送的信号,推测自身的当前位置。此外,接收装置2705a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2705b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。
此外,通过将其他车辆及步行者的移动显示在地图上、或向用户通知存在面向而来的车辆或步行者,能够起到事故防止的作用。
(道路顺序的指示)
图140是表示道路顺序的指示的状况的图。
利用从发送装置2703a、2703b、2703c发送的信息,接收装置2703e能够将附近的地图下载、或以误差1cm到几十cm的精度推测自身的位置。
通过知道接收装置2703e的正确的位置,能够将轮椅2703d自动运转、或使视觉障碍者安全地进行通行。
(多个摄像装置的利用)
图141的接收装置具备内照相机2710a、接触面板2710b、按钮2710c、外照相机2710d和闪光灯2710e。
当用外照相机将发送装置摄像时,通过根据内照相机的摄像图像推测接收装置的移动及姿势,能够进行手抖动的修正。
通过由内照相机接收来自其他发送装置的信号,能够同时接收来自多个装置的信号、或提高接收装置的自己位置推测的精度。
(发送装置自律控制)
在图142中,发送装置1用受光部受光发送装置2的发光部的发光,取得发送装置2发送的信号和发送的定时。
在发送装置1的存储部中没有存储有发送的信号的情况下,与发送装置2的发光同步而以相同的样式发光,发送信号。
另一方面,在发送装置1的存储部中存储有发送的信号的情况下,发送装置2的发送信号和共通部分与发送装置2的发光同步而以相同的样式发光,发送信号。不共通的部分在发送装置2不发送信号的时间中发送。在没有发送装置2不发送信号的时间的情况下,适当地设定周期,按照该周期将不是共通的部分发送。在此情况下,发送装置2用受光部受光发送装置1的发光,检测出在相同的时刻发送不同的信号,在发送装置1不发送信号的时刻,发送不是共通的部分的信号。
为了避免通过发光进行的信号发送的冲突,利用CSMA/CD(Carrier SenseMultiple Access with Collision Detection)的方式。
发送装置1以自身的信息为发光样式,使发光部发光。
发送装置2从受光部取得发送装置1的信息。
发送装置通过在可通信的发送装置彼此间交换相互的信息,制作发送装置的配置地图。此外,发送装置求出整体上最优的发光样式,以使通过发光的信号发送不冲突。此外,发送装置通过发送装置间的通信取得其他发送装置得到的信息。
(发送信息的设定)
在图143中,发送装置当发送装置被安装在安装装置中时、或存储在安装装置的存储部中的信息被变更时,将存储在安装装置的存储部中的信息向发送装置的存储部存储。在存储在安装装置或发送装置的存储部中的信息中,包括发送信号及发送的定时。
发送装置在存储在存储部中的信息被变更的情况下,在安装装置的存储部中存储该信息。从集中控制装置及配电盘将安装装置的存储部及发送装置的存储部的信息编辑。在从配电盘的操作中使用电力线通信。
发送装置的形状存储部存储有发送装置的安装部与发光部的中心位置的位置关系。
发送装置当发送位置信息时,发送对存储在存储部中的位置信息加上该位置关系后的位置信息。
在安装装置的存储部中,在建筑物的施工时等存储信息。在存储位置信息的情况下,通过利用建筑物的设计图及CAD数据,存储正确的位置。在建筑物的建筑时,通过从发送装置发送位置信息,能够确认位置,能够用于建筑的自动化、及材料的利用位置的确认等。
安装装置将发送装置的信息向集中控制装置通知。安装装置将安装了发送装置以外的设备的情况向集中控制装置通知。
在图144中,发送装置用受光部将光受光,由信号解析部从光的样式中取得信息,向存储部存储。发送装置当受光时,将存储在存储部中的信息向发光样式变换,使发光部发光。
关于发送装置的形状的信息存储在形状存储部中。
在图145中,发送装置将由通信部接收到的信号向存储部存储。发送装置当接收到时,将存储在存储部中的信息变换为发光样式,使发光部发光。
将关于发送装置的形状的信息向形状存储部存储。
发送装置在存储部中没有存储有发送信号的情况下,将适当的信号变换为发光样式,使发光部发光。
接收装置从摄像部取得发送装置发送的信号,将该信号和想要存储到发送装置中的信息经由通信部向发送装置或集中控制装置传递。
发送装置或集中控制装置,将发送来的信息向发送了与从接收装置从摄像部取得的信号相同的信号的发送装置的存储部存储。
另外,接收装置也可以匹配于将发送装置发送的信号摄像的时刻而发送,发送装置或集中控制装置利用该时刻确定接收装置摄像的发送装置。
另外,也可以以接收装置的通信部为发光部,以发送装置的通信部为受光部或摄像部,使用发光样式从接收装置向发送装置发送信息。
另外,也可以以接收装置的通信部为发音部、以发送装置的通信部为收音部,使用声音样式从接收装置向发送装置发送信息。
(与二维条码的组合)
图146是表示与二维条码组合利用的情况的图。
用户使通信设备2714a与通信设备2714d相对。
通信设备2714a使显示器将发送信息作为二维条码2714c显示。
通信设备2714d用二维条码读取部2714f读取二维条码2714c。通信设备2714d将发送信息表现为发光部2714e的发光样式。
通信设备2714a用摄像部2714b将发光部摄像,读取信号。通过该方式,能够进行双向的直接通信,在传送的数据量较少的情况下,能够比经由服务器的通信更高速地通信。
(地图的制作和利用)
图147是表示地图制作和其利用的状况的图。
机器人2715a通过基于照明2715d或电子设备2715c发送的信号进行自己位置推测,制作房间的地图2715f,将地图信息、位置信息、照明2715d或电子设备2715c的ID向服务器2715e存储。
接收装置2715b也同样,根据照明2715d或电子设备2715c发送的信号、移动中的摄像图像、以及陀螺仪传感器、加速度传感器或磁传感器的传感器值,制作房间的地图2715f,将地图信息、位置信息和照明2715d或电子设备2715c的ID向服务器2715e存储。
机器人2715a基于从服务器2715e取得的地图2715f,高效率地进行清扫或配餐。
接收装置2715b基于从服务器2715e取得的地图2715f,向机器人2715a指示清扫场所或移动场所,或操作处于朝向接收装置的方向的电子设备。
(电子设备的状态取得和操作)
图148是表示电子设备的状态取得和操作的状况的图。
通信装置2716a将控制信息变换为发光样式,使发光部朝向电子设备2716b的受光部2716d发光。
电子设备2716b从该发光样式读取控制信息,如控制信息那样进行动作。电子设备2716b当由受光部2716d受光时,将表示电子设备的状态的信息变换为发光样式,使发光部2716c发光。此外,电子设备2716b在运转结束时或错误发生时等、有想要向用户通知的信息的情况下,将该信息变换为发光样式,使发光部2716c发光。
通信装置2716a将发光部2716c摄像,取得发送的信号。
(电子设备的识别)
图149是表示将摄像的电子设备识别的状况的图。
通信装置2717a具有向电子设备2717b和电子设备2717e的通信路,向各电子设备发送ID显示命令。
电子设备2717b接收ID显示命令,用发光部2717c的发光样式将ID信号发送。
电子设备2717e接收ID显示命令,使用发光部2717f、2717g、2717h、2717i在位置样式发送ID信号。
另外,这里,各电子设备发送的ID信号也可以是电子设备具有的ID,也可以是被通信装置2717a指示的内容。
通信装置2717a根据存在于摄像图像中的发光部的发光样式或位置样式,识别被摄像的电子设备、该电子设备与接收装置的位置关系。
另外,为了识别电子设备与接收装置的位置关系,电子设备优选的是具备3点以上发光部。
(扩展现实对象的显示)
图150是表示显示扩展现实对象的状况的图。
显示扩展现实的舞台2718e以发光部2718a、2718b、2718c、2718d的发光样式或位置样式,发送扩展现实对象的信息、及显示扩展现实对象的基准位置。
接收装置基于接收到的信息,将扩展现实对象2718f叠加在摄像图像上而显示。
(用户界面)
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,所以如图151那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,如图152那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
即使是在摄像范围中不能确认发光部的情况,在能够根据其以前的摄像结果或附属于摄像终端的加速度传感器、陀螺仪传感器、麦克风或位置传感器等的信息推测发光部的位置的情况下,如图153那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
为了使摄像范围的中心朝向发光部的方向,如图154那样,根据想要使摄像范围移动的距离调整显示的图形的大小。
在发光部的拍摄较小的情况下,为了更大地摄像,如图155那样,进行敦促用户更靠近发光部而摄像那样的显示。
在发光部从摄像范围的中央偏离、并且拍摄的大小不充分的情况下,如图156那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像那样的显示。
在通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图157那样,进行敦促用户使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图158那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且使摄像范围旋转那样的显示。
在发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图159那样,进行敦促用户更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图160那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在信号接收中,如图161那样,进行传达正在接收信号的情况的显示、或显示接收到的信号的信息量。
在判明了接收的信号的尺寸的情况下,在信号接收中,如图162那样,通过进度条显示接收完成的信号的比例或信息量。
在信号接收中,如图163那样,用进度条显示接收完成的信号的比例、接收部位、或接收到的信号的信息量。
在信号接收中,如图164那样,叠加到发光部上,显示接收完成的信号的比例或信息量。
在检测到发光部的情况下,如图165那样,例如通过使发光部闪烁等的显示,显示该物体是发光部。
在接收来自发光部的信号的过程中,如图166那样,例如通过使发光部闪烁等的显示,显示正在从该发光部接收信号。
在图167中,在检测到多个发光部的情况下,通过使用户轻击某个发光部,使用户指定接收信号或进行操作的发送装置。
(实施方式8)
(向ITS的应用)
以下,作为本发明的应用例,说明ITS(Intelligent Transport Systems:智能交通系统)。在本实施方式中,实现了可视光通信的高速通信,能够实现向ITS领域的适用。
图168是说明搭载有可视光通信功能的交通系统与车辆或步行者的通信的图。信号机6003搭载有本实施方式的可视光通信功能,能够进行与车辆6001及步行者6002的通信。
从车辆6001及步行者6002与信号机6003的信息发送通过前照灯或步行者持有的便携终端的闪光灯发光部等进行。从信号机6003向车辆6001及步行者6002的信息发送通过信号机6003具有的照相机传感器或车辆6001具有的照相机传感器进行信号的照明。
另外,以后也说明通过道路照明或道路信息板等设置在路上的交通支援的物体与车辆6001或步行者6002进行通信实现的功能,但关于通信方式可以应用相同的方式,所以省略说明。
如图168所示,信号机6003向车辆6001提供道路交通信息。这里,所谓道路交通信息,是拥堵信息或事故信息、周边服务区域的信息等,辅助驾驶那样的信息。
信号机6003由于搭载有LED照明,所以通过进行由该LED照明实现的通信,能够不搭载新的装置而进行向车辆6001的信息提供。此外,由于车辆6001一般高速移动,所以通过以往的可视光通信技术能够发送的数据量较少,但根据本实施方式,由于通信速度提高,所以有能够向车辆发送的数据尺寸变多的效果。
此外,通过信号机6003及照明6004,能够按照信号或照明而提供不同的信息。由此,可以例如仅对在右转道中行驶的车辆进行信息发送等,发送与车辆的位置对应的信息。
此外,同样对于步行者6002,也能够仅对处于特定的地点的步行者6002提供信息,所以能够仅对例如在特定的交叉点的横穿人行道进行信号等待的步行者发送例如是事故较多的交叉点的信息、或街中地点信息等。
进而,信号机6003和别的信号机6005也能够通信。由此,例如在信号机6003将提供的信息变更的情况下,能够不新向信号机连通信号线或通信机,而通过信号机彼此的通信的中继将信号机分发的信息变更。通过本方式,可视光通信的通信速度较大地提高,所以能够进行更短时间中的分发信息的变更。由此,例如能够1天中变更几次分发信息。此外,能够将积雪或降雨信息等立即分发。
进而,通过照明将当前的位置信息分发,也能够对车辆6001或步行者6002提供位置信息。在商店街或隧道等房顶上有房檐的施设有难以进行使用GPS的位置信息取得的情况,但如果使用可视光通信,则具有在这样的状况下也能够取得位置信息的优点。此外,通过本实施方式,由于通信速度与以往相比能够更高速化,所以例如在通过店铺或交叉点等特定的地点的期间中能够接收信息。
另外,本实施方式是将可视光通信高速化的,所以当然能够对其他的使用可视光通信的ITS系统全部应用。
图169是在车辆彼此使用可视光通信进行通信的车车间通信中采用本发明的情况下的概略图。
车辆6001通过制动灯或其他LED照明向后方的车辆6001a传递信息。此外,也可以通过前照灯或其他照射前方的灯向面对的车辆6001b发送数据。
这样,通过在车辆间用可视光通信,能够共享车辆彼此的信息。例如,通过将前方交叉点处的事故信息向后方车辆以中继形式传递,能够将拥堵信息或引起注意的信息向后方车辆传递。
此外,同样通过向对向的车辆传递拥堵信息或从制动的传感器信息取得的急制动信息,对于对向车也能够传递辅助运转的信息。
通过本发明,由于可视光通信的通信速度提高,所以有能够一边与对向车错车一边发送信息的优点。此外,对于后方车辆,也由于信息发送的间隔变短,所以能够以更短的期间向许多车辆传递信息。此外,通过通信速度提高,也能够发送声音或图像信息。由此,能够将更丰富的信息在车车间共享。
(位置信息报知系统及施设系统)
在图170中,表示使用本实施方式的可视光通信技术的位置信息报知系统及施设系统的概略图。例如以在医院内将患者的病历或输送物、药品等用机器人配送的系统为代表进行说明。
机器人6101搭载有可视光通信功能。照明分发位置信息。机器人6101通过取得照明的位置信息,能够将药或其他物品送到特定的病房。由此,医生的负担减轻。此外,由于照明不会泄漏到相邻的房间,所以有机器人6101不会弄错房间的效果。
另外,使用本实施方式的可视光通信的系统并不限定于医院内,能够应用到使用照明器具分发位置信息的系统中。例如也可以作为在室内的购物中心中从向导显示板的照明将位置及向导信息发送的构造,也可以用于机场内的推车的移动。
此外,还可以通过在店铺的照明中搭载可视光通信技术而分发赠券信息或销售信息。通过将信息叠加到可视光中,用户能够直观地理解从该店铺的光获得信息,所以有用户的方便性提高的效果。
此外,在发送是房间之中/外的信息的情况下,如果使用无线LAN分发位置信息,则由于电波泄漏到相邻的房间或走廊,所以在外壁中需要将电波阻断的功能,以使电波不会飞到房间之外。此外,如果用外壁将电波阻断,则有便携电话等的与外部通信的设备不能使用的问题。
如果使用本实施方式的可视光通信发送位置信息,则仅在照明可达的范围中能够进行通信,所以有例如容易将特定的房间的位置信息向利用者发送的效果。此外,由于外壁通常将光遮挡,所以有不需要特别的装置的效果。
此外,在大厦或大规模施设、普通住宅中,通常照明的位置不会变化,所以各照明发送的位置信息不会频繁地变化。由于各照明的位置信息的数据库的更新频度较低,所以有位置信息管理的维护成本较低的效果。
(超级市场的系统)
在图171中,说明在商店中、将搭载有本实施方式的通信方式的设备搭载到购物推车中、从商品货架的照明或室内照明取得位置信息的超级市场的系统。
推车6201搭载有使用本实施方式的通信方式的可视光通信设备。照明6100通过可视光通信将位置信息及该货架的信息分发。推车能够接受从照明分发的商品信息。此外,通过接受位置信息,能够掌握自己处于哪个货架,所以例如如果在推车中预先存储货架的位置信息,则仅通过向推车指定用户想去的货架或想要的商品,就能够在推车上显示应去哪个方向。
通过可视光通信,能够得到知道货架的位置的程度的高精度的位置信息,所以能够取得并利用推车的移动信息。例如,还能够将推车从照明取得的位置信息进行数据库化。
使用可视光通信,在照明中与推车的信息一起发送,或者使用无线LAN等向服务器发送。或者,在推车中搭载存储器,通过在店铺的闭店后将数据收集等,能够将推车通过了怎样的路径的情况汇集到服务器中。
通过收集推车的移动信息,能够掌握哪个货架有人气、最多通过哪个通路,所以有能够用于市场营销的效果。
(便携电话终端与照相机的通信)
在图172中表示使用本实施方式的可视光通信的应用例。
便携电话终端6301使用闪光灯向照相机6302发送数据。照相机6302从由摄像部接收到的光信息中接收便携电话终端6301发送的数据。
预先在便携电话终端6301中进行照相机的摄影设定,向照相机6302发送。由此,能够利用便携电话终端的丰富的用户界面进行照相机的设定。
此外,通过利用照相机的摄影传感器,在照相机与便携电话终端通信时,能够不搭载无线LAN等的新的通信设备而从便携电话终端对照相机发送设定信息。
(水中通信)
在图173中表示将本实施方式的通信方式应用于水中通信的情况下的概略图。由于水不通过电波,所以水中的潜水员彼此或海上的船与海中的船不能通过无线进行通信。在本实施方式的可视光通信中,在水中也能够利用。
另外,本实施方式的可视光通信方式能够从发光的物体或建筑物发送数据。如果将受光部面向建筑物,则能够取得该建筑物的向导信息及详细信息,所以能够对观光客提供有益的信息。
另外,本实施方式的可视光通信方式能够应用到从灯塔与船舶的通信中。由于能够进行比以往大容量的通信,所以能够交换更详细的信息。
另外,本实施方式的可视光通信由于使用光,所以能够进行仅在特定的房间中进行通信等的以房间单位的通信控制。例如在图书馆中向仅在特定的房间能够阅览的信息访问的情况下使用本实施方式的通信方式,或者应用到将本实施方式的通信方式用于密钥信息的交换、实际的通信使用无线LAN等的通信进行等的用途中。
另外,本实施方式的通信方式能够转用到通过LED的通信及具备MOS传感器的摄像装置的全部中,例如当然能够应用到数字照相机及智能电话中。
(实施方式9)
(服务提供例)
以下,在本实施方式中,作为本发明的应用例,使用图174说明向用户的服务提供例。图174是用来说明实施方式9的向用户的服务提供例的图。在图174中,表示了网络服务器4000a、发送机4000b、4000d、4000e、接收机4000c、4000f和建筑物4000g。
接收机4000c、4000f从处于家室内外的多个发送机4000b、4000d、4000e接收信号,通过处理,能够向用户提供服务。另外,发送机及接收机既可以能够单独地处理信号、向用户提供服务,也可以能够与构成网络的网络服务器4000a协同,按照来自网络的指示,一边使它们的动作及发信的信号变化,一边向用户提供服务。
另外,发送机及接收机既可以装备到人或车辆等运动的物体上,也可以装备到静止的物体上,也可以能够之后装备到已有的物体上。
图175是用来说明实施方式9的向用户的服务提供例的图。在图175中表示了发送机4001a和接收机4001b。
如图175那样,接收机4001b接收多个发送机4001a发信的信号,通过将信号中包含的信息处理,向用户提供服务。另外,在信号中包含的内容中,有关于唯一地表示设备的设备ID、位置信息、地图、标识、观光信息、交通信息、地域服务、赠券、广告、商品说明、人物角色(characters)、音乐、运动图像、照片、声音、菜单、广播、紧急向导、时刻表、指引、应用、新闻、公告板、向设备的命令、识别个人的信息、金券、信用卡、安全、URL等的信息。
用户既可以将用来利用这些信号中包含的信息的登记处理等事前在网络服务器上实施,在实际发送机4001a将信号发信的场所,用户通过用接收机4001b接收这些信号能够接受服务的提供,也可以不经由网络服务器而接受服务的提供。
图176是表示本实施方式的将接收机从发送机接收到的多个信号同时处理的情况的流程图。
首先,在步骤4002a中开始。接着,在步骤4002b中,接收机接收来自多个光源的信号。接着,在步骤4002c中,根据接收到的结果,判断各个光源被显示的区域,从各自的光源提取信号。
将在步骤4002d中取得的信号的数量的处理在步骤4002e中基于信号中包含的信息反复进行,直到数量成为0个。在要处理的数量成为0个的阶段中,在步骤4002f中结束。
图177是表示通过实施方式9的相互通信实现设备间的通讯的情况下的一例的图。在图175中表示通过具有发送机及接收机的多个收发机4003a、收发机4003b、收发机4003c相互通信而实现设备间的通讯的情况下的一例。另外,收发机既可以如图175那样仅在相同设备间进行通信,也可以能够在不同的设备间通信。
此外,本实施方式通过将应用利用本实施方式提供的通信机构或其他网络、拆装式的存储设备向便携电话、智能电话、个人计算机、游戏机等分发,从这些应用利用已经装备的设备的仪器(LED、光电二极管、图像传感器),能够向用户提供服务。另外,应用也可以从最初就搭载在设备中。
(利用指向性的服务的例子)
此外,作为本发明的应用例,对利用本实施方式的指向性的特性的服务进行说明。具体而言,是在电影院、音乐厅、博物馆、医院、公民馆、学校、公司、商店街、百货商店、政府机关、食品店等那样的公共施设中利用本发明的情况下的例子。本发明与以往的可视光通信相比,由于能够使发送机向接收机产生的信号的指向性变低,所以能够向存在于公共施设中的许多接收机同时发信信息。
图178是用来说明利用实施方式9的指向性的特性的服务的图。在图178中表示屏幕4004a、接收机4004b和照明4004c。
如图178那样,通过在电影院中利用本实施方式,能够在电影的上映中抑制用户进行与其他用户的舒适的电影的视听妨害相联系的设备(便携电话、智能电话、个人计算机、游戏机等)的利用。发送机以向显示电影的屏幕4004a投影的影像内或装备在施设上的照明4004c等发出的光为信号,使这些信号内包含控制接收机4004b的命令。通过接收机4004b接收该命令,控制接收机4004b的动作,能够防止妨碍其他用户的电影视听那样的行为。控制接收机4004b的命令有电源或接收发出的声音、通信功能、LED的显示、振动等的ON、OFF、水平调整等。
此外,接收机通过将发送机发送的信号利用光源的强度等过滤,能够控制指向性的强度。在本实施方式中,通过将指向性设定得较低,能够向存在于施设中的接收机一齐发送命令及信息。
另外,在想要使指向性变高的情况下,也可以发送机侧限制光源的量,也可以通过在接收机侧降低受光光源的感度、或将受光的光源的量进行信号处理来加以制约。
另外,在将本实施方式在如食品店、政府机关等那样接受来自用户的订购、现场处理订购那样的店铺等中利用的情况下,通过配置在能看遍店的场所的接收机接收由处于用户的手边的发送机发信的包含订购的信号,能够检测出哪个座席的用户订购了什么菜单。服务提供者通过设置时间轴处理订购,能够向用户提供公平性较高的服务。
另外,也可以通过在发信机与接收机间利用预先设定的秘密密钥或公开密钥将信号中包含的信息加密、解密,限制能够发送信号的发送机、能够接收信号的接收机。此外,也可以在发送机及接收机间的发送路利用在因特网中在标准中利用的SSL等的协议抑制来自其他设备的信号的监听。
(现实世界与因特网上的世界的融合的服务例)
此外,作为本发明的应用例,对将由照相机摄像的现实世界与因特网上的世界的信息叠加、向用户提供服务的服务进行说明。
图179是用来说明实施方式9的向用户的服务提供例的另一例的图。具体而言,图179表示利用在便携电话、智能电话、游戏机等的接收机中搭载的照相机4005a应用本实施方式的情况下的服务的一例。这里,在图179中表示了照相机4005a、光源4005b和叠加的内容4005c。
从照相机4005a的摄像结果中提取多个光源4005b发信的信号4005d,将在这些信号4005d中包含的信息向照相机4005a叠加而显示。另外,向照相机4005a叠加的内容4005c有字符串、图像、运动图像、人物角色、应用、URL等。另外,不仅是与照相机的叠加,也可以利用声音、振动等将信号中包含的信息处理。
图180是表示在发送机发送的光源中包含的信号的格式例的图。在图180中,表示光源的特性4006a、服务种类4006b和关于服务的信息4006c。
关于将接收机接收到的信号向照相机叠加的服务的信息4006c是根据在发送机发出的信号中包含的服务种类4006b等的信息及从照相机到光源的距离、将能够从信号取得的信息过滤的结果。另外,接收机过滤的内容既可以遵照预先设定的接收机的设定,也可以遵照用户设定在接收机中的用户的嗜好。
此外,接收机可以推测到发出信号的发信机的距离,显示到光源的距离。接收机通过将由照相机摄像的发信机发出的光量进行数字信号处理,推测到发信机的距离。
但是,接收机用照相机摄像的各个发信机的光量根据光源的位置及强度而不同,所以如果仅用摄像的发信机的光量推测距离,则有大幅偏离的情况。
为了解决该问题,使发信机发出的信号内包含表示光源的强度及颜色、种类等的光源的特性4006a。接收机通过进行添加了信号中包含的光源的特性的数字信号处理,能够推测精度较高的距离。在接收机摄像的发信机的光源有多个的情况下,在全部的光源的强度相同的情况下,用光源的光量推测距离。在有接收机摄像的光源的强度不相同的发送机的情况下,不仅根据光源量推测距离,而与其他距离测量手段组合来推测从发送机到接收机的距离。
作为其他距离测量手段,也可以利用由二眼透镜摄像的影像的视差推测距离,也可以使用红外线或微波读取器等推测距离,也可以通过加速度传感器或搭载在接收机中的摄像等取得接收机的移动量,推测将移动的距离与三角测量组合的距离。
另外,不仅是接收机利用在发送机侧发生的信号的强度或距离将信号过滤、显示,也可以作为接收机调整从发送机接收的信号的指向性的手段利用。
(实施方式10)
图181是表示实施方式10的原理的图。图182~图194是表示实施方式10的动作的一例的图。
如图181(a)所示,照相机用的CMOS型等的图像传感器的各行1的曝光时间按照行发生延迟。在通常的快门速度下由于在时间上各行具有重叠的部分,所以相同时间的光信号混合在各行中,所以不能判别。这里,在使快门的开时间变短的情况下,如果曝光时间变短到某一定的快门速度以下,则如图181(a)那样不再重叠,所以能够按照行将光信号在时间上分离而读取。
如果在此状态下给出图181(a)的上部那样的“1011011”的光信号,则最初的“1”的光信号在行1的快门开时间中入光,所以在行1中被光电变换,作为图181(b)的电信号2a的“1”输出。同样,下个光信号“0”成为(b)的电信号“0”,7比特(bit)的“1011011”的光信号被正确地变换为电信号。
实际上,由于如图181(b)那样因垂直空白时间而有不感时间,所以一部分的时间带的光信号不能取出。为了解决该问题,在本实施方式中,当从“通常的摄影模式”切换为“光信号的读出模式”时,变更为CMOS等的摄像仪器的访问地址,通过在处于最下方的最后的读出行1h的接着将最初的读出行1a读出,解决了空白期间的问题。虽然给画质带来一些不良影响,但能得到连续(无缝)读出的效果,传送效率大幅提高。
在本实施方式中,由于在1行中最高能分配1个符号,所以在采取后述那样的同步方式的情况下,当使用1000行30fps的摄像元件时,在理论上最大能够进行30kbps的传送。
另外,在取同步的情况下,如图182那样,能够观看照相机的受光元件的信号、通过将行的访问用的时钟上下变更来取同步,以得到最高对比度或者数据的错误率变低。在图像传感器的行的时钟比光信号快的情况下,如图182那样,通过用2行或3行的否行接收光信号的1符号,能够取同步。
此外,如果将图183的TV或图184的左图的TV那样的显示器、或在纵向上被分割为n个例如10个的光源用便携电话的照相机切换为本发明的高速电子快门或无空白等的检测模式而摄影,则如图184的右图那样,能够将本实施方式特有的条状的样式分别独立地检测10条,所以成为10倍(n倍)的转送速率。
例如在将30fps1000行的图像传感器10分割的情况下,成为300kbps。由于在HD影像中在水平上有1980像素,所以能够分割为50条。于是成为1.5Mbps,运动图像的影像数据成为能够接收。如果是200条,则能够传送HD影像。
为了得到本实施方式中的效果,如果设能够检测的最长的曝光时间为T0,则需要使快门时间变短到T0以下。如果如图181的右上图那样将帧同波数设为fp,则如果使快门时间为1/fp的半分以下,则能够检测2值。
但是,由于为了抑制闪变而需要4值PPM等,所以成为1(fp×2×4)分之1,即8fp分之1。由于通常的便携电话的照相机是fp=30、60,所以只要设定为1/240、1/480、即1/480以下的快门速度,就能够在保持互换性的同时,将本实施方式的可视光的光通信使用便携电话等的照相机接收。
实际上,由于没有采用本实施方式的同步方式的便携电话在世界上存在许多,所以最初为非同步型的通信。在此情况下,通过使用光信号的时钟的2倍以上、具体为2~10倍的扫描行接收1符号,实现虽然信息速率下降但具有互换性的通信。
在需要防止闪变的照明设备的情况下,在4值PPM、即4个比特中的1个时间带中灭灯或减光而发光。在此情况下位速率下降到一半,但由于不再有闪变,所以能够在照明设备中使用,能够清楚地传送数据。
图185表示在室内在共通时间带中从全部的照明机送来共通信号、在个别时间带中从个别的照明机L4送来个别的副信息的状况下,接收光信号的状况。L4由于面积较小,所以为了传送大量的数据而花费时间。因而,在个别时间带中仅传送数位的ID,在共通时间带中L1、L2、L3、L4、L5的全部传送相同内容的共通信息。
如果使用图186详细地说明,则在图186下的时间带A中,作为房间的中的全部的照明的主区域M的2条照明、和处于其一部分中的S1、S2、S3、S4一齐将作为共通信息的“房间的基准位置的位置信息、各ID的个别设备的配置信息(从基准位置的差位置信息)、服务器的URL、数据广播、LAN发送数据”发信光信号。由于房间中被用相同的光信号照射,所以具有在共通时间带中便携设备的照相机部能够可靠地接收数据的效果。
另一方面,在时间带B中,如右上的俯视图所示,主区域M不闪烁,以通常的1/n的光量连续地发光。在4值PPM的情况下,如果以通常的3/4即75%发光,则平均光量不变化,所以能防止闪变。如果在平均光量不变化的范围中闪烁,则没有闪变,但在时间带B的部分区域S1、S2、S3、S4的接收中成为噪声,所以不优选。在时间带B中,S1、S2、S3、S4分别发送不同的数据内容的光信号。由于主区域M不传送调制信号,所以如右上的便携设备的画面那样在位置上被分离。因此,例如在将S1的区域的图像取出的情况下,由于噪声较少,所以容易检测在区域中发生的条,所以能够稳定地得到数据。
例如,如图187所示那样照相机进行横向(水平方向)的扫描时,在为4值PPM的情况下,照明L2被前面照相机摄影,如果如右侧那样看到3根条,则能够将“0101”即每帧4比特的数据解调。由于其中有ID的数据,所以具有通过运算共通数据的基准位置信息与个别数据的各ID的距离差信息或配置信息、能够高速即在短时间中检测便携终端的位置的效果。这样仅通过发送例如2比特的ID,就能够将4个光源的数据和位置用1个帧信息在瞬间识别。
使用图188,说明使用该个别光源的低位的ID信息的例子。
在本实施方式中,在图188的共通数据101中,如图中所示那样是基准位置、服务器的URL、各ID的配置信息。将分区域数据广播的大容量数据使用全部的照明在共通时间带中发送。
如上述那样,能够将图188(a)的L1、L2、L3、L4~L8的个别ID进行3比特解调。
如图188(b)那样,即使发送频率f1和频率f2的信号,也由各照明部检测出本发明特有的条,变换为与频率对应的ID或与调制数据对应的ID数据。如果将该样式使用配置信息运算,则可知是从哪个位置摄影的。即,由于从L0能够得到各ID的配置信息和基准位置信息,所以能够确定终端的位置。
通过如图188(b)那样,将频率f1、f2分配给各ID,例如设为f1=1000Hz,f2=1100Hz,…,f16=2500Hz,能够将16值即4位的值通过频率表现。通过使发送频率按照一定时间变化,能够发送更多的信号。在将频率变更时或将调制开始/结束时,通过在变更的前后将平均亮度保持为一定,得到使人的眼睛不感到闪变的效果。
另外,接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。
例如,如果按照1/15秒使信号变化,则能够以60位每秒发送。一般的摄像装置由于1秒钟摄影30帧的图像,所以如果在1/15秒钟以相同的频率发送信号,则即使发送机仅拍摄在摄像图像的1部分中,也能够可靠地进行摄像。
此外,通过在1/15秒间以相同频率发送信号,在接收机的负荷较高、有不能处理的帧的情况下、或在1秒间仅能够摄影15帧的图像的摄像装置的情况下,也能够接收信号。
如果在与曝光行垂直的方向上将亮度值通过傅立叶变换等进行频率解析,则发送信号的频率表现为尖峰。在频率的切换部分等、多个频率被摄像到1帧内的情况下,与将单一频率信号傅立叶变换的情况相比为较弱的尖峰,可得到多个尖峰。在频率的切换部分中,为了避免前后的频率混合,也可以设置保护部分。
根据该方法,在一个画面内将以多个频率依次发送的光摄像的情况下也能够将发送频率解析,即使以1/15秒、或比1/30秒短的时间将发送信号的频率变更,也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,以比1画面长的范围进行傅立叶变换。在此情况下,将摄像的空白时间的亮度值作为不明处置。保护部分设为特定的频率的信号,或者不进行亮度变化(频率0Hz)。
如图188(b)那样,通过发送频率f2的FM调制信号、持续发送PPM调制信号,将FM调制信号和PPM调制信号交替地发送,即使是仅对应于某个方法的接收机也能够接收,此外,通过将重要度较高的信息分配给接收比较容易的FM调制信号,能够将重要度较高的信息优先地发送。
在本实施方式中,由于能够同时得到各设备的ID和画面上的位置,所以能够将处于与照明链接的URL上的云型的服务器的数据库中的、与照明的各ID链接的图像信息、位置信息及应用程序下载,使用AR的方法将关联的商品等的图像叠加显示到具有ID的照明的设备的影像上。在此情况下,通过将本实施方式的解调模式切换为摄影模式,具有能够得到叠加到更好看的影像上的AR图像的效果。
通过如图185所示那样、在时间带A中发送各ID的光源与基准位置的东西南北的距离差d,可知照明L4的cm单位的正确的位置。接着,根据顶棚的高度H、便携电话拿持者的身高求出高度h,将便携电话的姿势信息通过磁传感器、加速度传感器、角速度传感器修正,求出正确的照相机方向的角度θ2和照明与便携电话的角度θ1,通过d=(H-h)×arctan·θ1等的运算计算d。
这样,能够以较高的精度求出便携电话的位置。通过这样在时间带A中发送共通光信号,在时间带B中发送个别光信号,能得到能够可靠地将大容量的共通信息和ID等的小容量的个别信息大致同时发送的效果。
如图186的右上部的便携终端那样将个别光源S1~S4摄影。如图186的下方的时间图那样,在时间C中,仅S1传送光信号。如图189的t=C那样,仅1个发生条纹(stripe),所以具有能够不受噪声的影响而检测的效果。
此外,也可以如t=D、E那样传送两个个别数据。如t=H、I那样,通过将在空间上最远离的个别数据传送,在画面上容易分离,所以有错误率变低的效果。
在图189的t=C的状况下,只要仅S1进行解调就可以,所以不需要其他区域的图像传感器的扫描。因而,通过如t=C那样以S1的区域进入的方式使扫描条数减少,仅将S1区域扫描,能够将数据解调。因此,具有不仅是高速化,还能够仅通过S1的较窄的区域将大容量的数据解调的效果。
但是,在此情况下,有可能通过手抖动而区域S1从图像传感器的扫描范围内脱离。
因而,图190所示那样的手抖动修正变得重要。内置在便携电话中的陀螺仪传感器通常不能检测到手抖动那样的范围减小的微细的旋转。
因而,在如图190的左图那样将L2的光信号用前面照相机接收的情况下,在限定了扫描的情况下等,难以使用来自前面照相机的图像根据图像检测手抖动。因而,通过使内照相机为ON、根据内照相机的图像检测手抖动、将扫描范围或检测范围修正,能够减轻手抖动的影响。这是因为,前面照相机的手抖动与内照相机的手抖动相同。
使前面照相机的光信号样式以外的扫描区域的快门速度变慢,从该区域得到正常的图像,能够根据该图像进行手抖动修正。在此情况下,能够用1个照相机进行手抖动检测和信号检测。这在使用图190右图的内照相机的情况下也有同样的效果。
图191用前面照相机进行光信号检测,首先获得终端的位置信息。
在根据此时的地点求出移动距离l2的情况下,便携电话用的加速度传感器由于精度较差,所以不实用。在此情况下,使用与前面照相机相反的内照相机,能够根据终端的姿势和地面的图样的变化如图191那样求出移动距离l2。也可以用前面照相机检测顶棚的图样。
以下,说明实际的应用例。
图192是表示在车站的建筑物内从顶棚的照明接收作为共通数据的数据广播、根据个别数据获得自己的位置的状况的图。
如图193所示,在咖啡店中从显示有条码的便携终端显示认证信息,在店的终端读取后,从店的终端的发光部发光,便携终端使用本发明接收,进行相互认证,能够使安全性提高。认证也可以相反地进行。
如果拿持着该便携终端的顾客就座到桌旁,则将获得的位置信息用无线LAN等向店的终端发送,所以在店员的终端上显示顾客的位置,所以店员能够将订购的饮料向订购的顾客的位置信息的桌子运送。
图194中,在列车或飞机中,乘客使用本实施方式的方法知道自己的位置,用终端订购食物等的商品。乘务员在推车上有本发明的终端,在画面的订购的顾客的位置上显示有订购的商品的ID号码,所以向顾客的地方可靠地将订购的ID的商品送达。
图184是表示在TV等的显示器的背灯中使用本实施方式的方法或装置的情况的图。由于荧光灯、LED或有机EL能够施加低亮度调制,所以能够进行本实施方式的发送。但是,在特性上,扫描方向是重要的。在如智能电话那样纵向使用的情况下在水平方向上扫描,所以通过在画面的下部设置横长的发光区域,使TV等的影像的对比度变淡,向白色靠近,具有能够容易地接收信号的效果。
在如数字照相机那样在垂直方向上扫描的情况下,设置图183的画面右侧那样的纵长的显示。
通过将这两个设置在一个画面内、从两者发光相同的光信号,通过哪个扫描方向的图像传感器都能够接收信号。
另外,在要用在水平方向上扫描的图像传感器接收垂直方向的发光部的情况下,通过对终端的画面发出“请旋转为横向而摄影”那样的显示,能够向使用者敦促更可靠地高速接收。
另外,通过如图182那样将照相机的图像传感器的扫描行读取时钟控制为发光部的发光样式而取同步,能够将通信速度大幅提高。
在如图182(a)那样将发光样式的1符号用两行检测的情况下,在左边那样的样式中进行同步。在中图那样的样式的情况下,由于图像传感器的读取较快,所以使影像元件的读出时钟低速化而同步。在右图那样的样式的情况下,进行高速化而同步。
在图182(b)的将1符号用3个行检测的情况下,在中图那样的样式中低速化,在右图中高速化。
这样,能够进行高速的光通信。
另外,在双向通信的情况下,由于在发光部的照明设备中作为人感传感器而设有红外线受光部,所以通过将其兼用于接收,在照明机中能够不进行零件的追加而进行双向接收。终端侧既可以使用照相机用的频闪灯发送,也可以另外设置便宜的红外发光部。这样,能够不怎么追加零件而实现双向通信。
(实施方式11)
(通过相位调制的信号传送)
图195是实施方式11的信息通信装置的发送信号的时间图。
在图195中,基准波形(a)是周期T的时钟信号,为发送信号的定时的基准。发送符号(b)表示基于发送的数据列制作的符号列。这里,作为一例而表示每1符号1位的情况,所以与发送数据的二进制数相同。发送波形(c)是对于基准波形按照发送符号进行了相位调制的发送波形,按照该波形驱动发送光源。相位调制对于基准波形通过对应于符号将相位错开而实施,在该例中,符号0为相位0°,符号1为相位180°的分配。
图196是表示实施方式11的发送信号与接收信号的关系的图。
发送信号与图195是同样的,仅在发送信号为1的期间中光源发光,该发光期间用向右下降斜线的区域表示。用向右上升斜线涂敷的带表示图像传感器的像素被曝光的期间(曝光时间tE),在与表示发光期间的向右下降斜线重叠的区域中生成图像传感器的像素的信号电荷。像素值p与该重复区域的面积成比例。这里,在曝光时间tE与周期T之间,式1的关系成立。
tE=T/2×(2n+1) n:自然数 (式1)
另外,图196~图200表示n=2的情况。即,tE=2.5T。
接收波形表示各行的像素值p。这里,像素值轴的值将1周期的受光量正规化为1。如上述那样,由于曝光时间tE具有T(n+1/2)的区间,所以像素值p总是存在于n≤p≤n+1的范围,关于图196的例子为2≤p≤3。
图197~图199是关于与图196分别不同的符号列表示发送信号与接收信号的关系的图。
发送信号具有包括(未图示的)连续的相同的符号列(例如连续的符号0的列)的前同步码,接收侧通过该前同步码中的连续的符号列,制作用于接收的基准信号,作为从接收波形将符号列读出的定时信号。具体而言,对于连续的符号0,如在图196中表示那样,接收波形返回重复2→3→2的一定的波形,基于将该像素值3输出的定时,生成时钟信号作为基准信号。
接着,从接收波形的符号的读出可以将上述基准信号的1区间中的接收信号读出,在像素值3的情况下作为符号0读出,在像素值2的情况下作为符号1读出。在图197~图199中,表示将位于第4周期的符号读出的状况。
图200是将图196~图199汇总的图,由于是行密集地排列的状态,所以行方向的像素的分隔省略而连续化作图。这里,表示将从第4周期到第8周期的符号值读出的状况。
通过这样的结构,在本实施方式中,在对于与基准波的周期相比充分长的时间取光信号的强度的平均的情况下,总为一定。并且,如果将基准波的频率适当地设定得较高,则能够将该时间设定得比人感知光量变化的时间短,所以在从人的眼睛观察发送发光源的情况下,感知为光源一定地发亮。因此,不会感知为光源的闪变,具有不会有前实施方式的使人感到烦躁的优点。
此外,在各行的曝光时间较长、与相邻行的曝光期间重复的时间变长的状况下,在上述的实施方式的振幅调制(开启关闭调制)中,发生不能提高信号的频率(符号速率)而不能得到充分的信号传送速度的问题,但在本实施方式中,在这样的状况下也能够检测到信号的上升、下降的边沿,所以能够提高信号的频率,能够实现较高的信号传送速度。
另外,这里记述的“相位调制”是指对基准信号波形的相位调制。在本来的意义下,载波是光,将其振幅调制(开启关闭调制)而传送,所以该信号传送的调制方式是振幅调制的一种。
此外,上述发送信号是一例,每个符号的位数也可以设定为2以上,此外,符号与相位移动的对应也并不限定于0°、180°,也可以具有偏移量。
另外,在上述中省略了说明,但不言而喻,在图1~图77中说明的在实施方式1~6中说明的光信号发生机构和光信号接收机构的结构及动作、效果,如果使用图78以后的图、替换为在实施方式7以后说明的高速型的光发光机构和光信号接收机构构成而动作,也有同样的效果。此外,如果相反将实施方式7以后的高速型的光发光机构及接收机构替换为低速型的光发光机构及接收机构也同样。
例如,在图191中,表示使用作为便携电话的显示部侧的照相机的前面照相机、和在图190中处于相反侧的内照相机接收根据来自照明机的光信号的位置信息等的数据的例子。在此情况下,通过使用加速度传感器,能够用重力检测上下方向。
在如图193那样、在餐厅中用处于桌子上的便携电话接收光信号的情况下,通过在根据加速度传感器的信号而便携电话的表侧朝上的情况下使前面照相机动作,在朝下的情况下切换为内照相机而接收光信号,能够削减耗电、或者迅速地接收光信号,能够将无用的照相机的动作停止。在此情况下,能够根据照相机的明亮程度检测处于桌子上的照相机的朝向而进行同样的动作。此外,当照相机从摄影模式切换为光信号的接收模式时,发送使快门速度变快的命令,并且如果向摄像电路部传送将摄像元件的感度提高的命令则有感度提高、图像变亮的效果。如果提高感度,则噪声增加,但是是白噪声。另一方面,由于光信号处于特定的频率域中,所以通过用频率过滤器分离或除去,能够提高检测感度。因此,能够检测到来自较暗的照明设备的光信号。
本发明主要从处于室内的空间的照明设备产生光信号,通过具有通信部、声音麦克风、声音扬声器、显示部、内照相机和前面照相机的照相机部的便携终端的照相机部接收光信号,得到位置信息等,但如果从室内出到室外,则能够通过利用卫星的GPS检测位置信息。因此,得到来自光信号区域的边界的位置信息,起动来自GPS的信号接收,通过自动地进行该切换,具有能够无缝地进行位置检测的效果。
当从室外向室内移动时,通过GPS等的位置信息检测边界,进行向光信号的位置信息的自动切换。此外,在便携电话的显示部上显示条码、用商店、飞机的搭乘口的POS终端进行认证的情况下,如果使用服务器则花费应答时间,所以并不现实,所以仅能够进行单方向的认证。
但是,通过使用本发明从POS等的终端的读取机的发光部向便携电话的前面照相机部发送光信号,能够进行相互认证,所以安全性提高。
(实施方式12)
在本实施方式中,对使用上述实施方式1~11的智能电话等的接收机、和作为LED的闪烁样式发送信息的发送机的各应用例进行说明。
图201是表示实施方式12的接收机和发送机的应用例的图。
例如作为餐厅的标牌的发送机7001a将发送机7001a的识别信息(ID)向例如构成为智能电话的接收机7001b发送。接收机7001b从服务器取得与该ID建立了对应的信息并显示。该信息例如是到餐厅的路径、空席状况及赠券等。
图202是表示实施方式12的接收机和发送机的应用例的图。
例如作为电影的标牌的发送机7042b将发送机7042b的识别信息(ID)向例如构成为智能电话的接收机7042a发送。接收机7042a从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促电影的预约的图像7042c、表示电影的上映时刻的图像7042d、表示空席状况的图像7042e、以及通知预约完成的图像7042f。
图203是表示实施方式12的接收机和发送机的应用例的图。
例如作为影视剧的标牌的发送机7043b将发送机7043b的识别信息(ID)向例如构成为智能电话的接收机7043a发送。接收机7043a如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促影视剧的录像预约的图像7043c、敦促将影视剧录像的记录机的选择的图像7043d、以及通知预约完成的图像7043e。
图204是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标牌的发送机7044b或7044c将发送机7044b或7044c的识别信息(ID)向例如构成为智能电话的接收机7044a发送。接收机7044a从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空席状况及赠券等的图像7044b。
图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图是与图201~图204所示的应用例对应的。
首先,将发送机的ID、与向接收到ID的接收机传递的信息建立关联而向服务器存储(7101a)。这里,在向接收机传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
接着,从发送机发送ID(S7101b)。将接收机的照相机朝向发送机,接收ID(S7101c)。
接收机将接收到的ID向服务器发送,将与ID关联的信息向接收机存储(S7101d)。
接收机将终端ID及用户ID一起向服务器保存(S7101e)。进而,接收机作为向接收机显示的内容而显示存储在服务器中的信息(S7101f)。
接收机基于保存在接收机或服务器中的用户简况,调整显示内容(S7101g)。例如,进行变更字符的大小、使年龄限制内容为不显示、或将根据过去的用户的行为而推测为喜好的内容优先地显示等的控制。
接收机显示从当前位置到店铺或商品卖场的道路顺序(S7101h)。接收机适当从服务器取得信息,将空席信息或预约信息更新而显示(S7101i)。接收机显示用来将所取得的信息保存的按钮、或用来将保存显示内容的动作中止的按钮(S7101j)。
用户轻击用来将接收机取得的信息保存的按钮(S7101k)。接收机将所取得的信息保存,以便能够通过用户的操作而再显示(S7101m)。店铺的读取机读取接收机发送的信息(S7101n)。作为发送方法,有可视光通信、经由wifi或bluetooth的通信、通过二维条码的通信等。在发送信息中,也可以包括接收机的ID或用户ID。
店铺的读取装置将所读取的信息和店铺的ID向服务器保存(S7101p)。服务器将发送机、接收机和店铺建立关联而保存(S7101q)。由此,能够分析标牌的广告效果。
图206是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7002a将发送机7002a的识别信息(ID)向例如构成为智能电话的接收机7002b发送。接收机7002b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,显示与标牌相同的显示内容。如果用户进行用来选择希望的店铺的轻击选择或声音输入,则接收机7002b显示该店铺的内容。
图207是表示实施方式12的接收机7002b和发送机7002a的处理动作的一例的流程图。
将发送机7002a的ID与向接收到ID的接收机7002b传递的信息建立关联而向服务器存储(7102a)。在向接收机7002b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7002a显示的内容的位置关系向服务器存储。
从标牌等的发送机7002a发送ID(7102b)。将接收机7002b的照相机朝向发送机7002a,接收ID(7102c)。接收机7002b将接收到的ID向服务器发送,得到与ID关联的信息(7102d)。接收机7002b作为向接收机7002b显示的内容而显示存储在服务器中的信息(7102e)。作为该信息的图像也可以保持着显示在发送机7002a上的图像的位置关系而显示在接收机7002b上。
用户通过画面的轻击或声音的指定,选择显示在接收机7002b上的信息(7102f)。接收机7002b显示由用户指定的信息的详细情况(7102g)。
图208是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7003a将发送机7003a的识别信息(ID)向例如构成为智能电话的接收机7003b发送。接收机7003b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7003b的照相机的摄影图像的中心较近的部分(例如最近的部分)的内容显示。
图209是表示实施方式12的接收机7003b和发送机7003a的处理动作的一例的流程图。
将发送机7003a的ID与向接收到ID的接收机7003b传递的信息建立关联而向服务器存储(7103a)。在向接收机7003b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7003a显示的内容的位置关系向服务器存储。
从标牌等的发送机7003a发送ID(7103b)。将接收机7003b的照相机朝向发送机7003a,接收ID(7103c)。接收机7003b将接收到的ID向服务器发送,得到与ID关联的信息(7103d)。接收机7003b将标牌的显示内容中的、与摄像图像的中心或指定部分在位置上最近的内容显示(7103e)。
图210是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7004a将发送机7004a的识别信息(ID)向例如构成为智能电话的接收机7004b发送。接收机7004b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7004b的照相机的摄影图像的中心较近的部分的内容(例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户向左方向划动,则接收机7004b将用标牌表示处于店铺“B咖啡”的右侧的店铺“C书店”的内容的图像。即,接收机7004b显示与发送源的标牌相同的位置关系的图像。
图211是表示实施方式12的接收机7004b和发送机7004a的处理动作的一例的流程图。
将发送机7004a的ID、与向接收到ID的接收机7004b传递的信息建立关联而向服务器存储(7104a)。在向接收机7004b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7004a显示的内容的位置关系向服务器存储。
从标牌等的发送机7004a发送ID(7104b)。将接收机7004b的照相机朝向发送机7004a,接收ID(7104c)。接收机7004b将接收到的ID向服务器发送,得到与ID关联的信息(7104d)。作为向接收机7004b显示,而显示存储在服务器中的信息(7104e)。
用户对接收机7004b进行划动操作(7104f)。接收机7004b根据用户操作变更显示内容,以成为与显示在发送机7004a上的信息相同的位置关系(7104g)。例如,在用户将画面向左方向划动而要显示当前显示的部分的右侧的情况下,在发送机7004a的显示中,使接收机7004b显示在当前接收机7004b上显示的内容的右侧显示的内容。
图212是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7005a将发送机7005a的识别信息(ID)向例如构成为智能电话的接收机7005b发送。接收机7005b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7005b的照相机的摄影图像的中心较近的部分的内容(例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户轻击接收机7005b的画面的左端(或向左的箭头),则接收机7005b将在标牌上表示处于店铺“B咖啡”的左侧的店铺“A餐厅”的内容的图像显示。此外,如果用户轻击接收机7005b的画面的下端(或朝下的箭头),则接收机7005b将在标牌上表示处于店铺“B咖啡”的下侧的店铺“E事务所”的内容的图像。此外,如果用户轻击接收机7005b的画面的右端(或朝右的箭头),则接收机7005b将在标牌上表示处于店铺“B咖啡”的右侧的店铺“C书店”的内容的图像。即,接收机7004b显示与发送源的标牌相同的位置关系的图像。
图213是表示实施方式12的接收机7005b和发送机7005a的处理动作的一例的流程图。
将发送机7005a的ID、和向接收到ID的接收机7005b传递的信息建立关联而向服务器存储(7105a)。在向接收机7005b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。将向发送机7005a显示的内容的位置关系向服务器存储。
从标牌等的发送机7005a发送ID(7105b)。将接收机7005b的照相机朝向发送机7005a,接收ID(7105c)。接收机7005b将接收到的ID向服务器发送,得到与ID关联的信息(7105d)。作为向接收机7005b显示,将存储在服务器中的信息显示(7105e)。
用户轻击显示在接收机7005b上的端部的部分、或显示在接收机7005b上的表示上下左右的方向的部分(7105f)。接收机7005b根据用户操作将显示内容变更,成为与显示在发送机7005a上的信息相同的位置关系(7105g)。例如,在用户轻击画面的右端或表示右方向的部分的情况下,在发送机7005a的显示中,使接收机7005b显示在当前接收机7005b上显示的内容的右侧显示的内容。
图214是表示实施方式12的接收机和发送机的应用例的图。另外,图214是将汽车从后方观察的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7006a将发送机7006a的识别信息(ID)向例如构成为智能电话的接收机发送。接收机如果接收到该ID,则从服务器取得与该ID建立了对应的信息。例如,该信息是表示该车或发送机的ID、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的号码、前方的样子或表示危险的有无的信息。此外,接收机也可以从发送机7006a直接取得这些信息。
图215是表示实施方式12的接收机和发送机7006a的处理动作的一例的流程图。
将发送机7006a的ID、和向接收到ID的接收机传递的信息建立关联而向服务器存储(7106a)。在向接收机传递的信息中,也可以包括作为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状及重量、车体号码等的识别号码、或难以从接收机观察的场所的状况及危险的有无等的信息。
发送机7006a发送ID(7106b)。在发送内容中,也可以包括上述服务器的URL、或存储在上述服务器中的信息。
接收机将发送来的ID等的信息接收(7106c)。接收机从服务器取得与接收到的ID建立了联系的信息(7106d)。接收机将接收到的信息及从服务器取得的信息显示(7106e)。
接收机根据发光部的大小信息、和摄像的发光部的看起来的大小,或根据发光部间的距离信息和摄像的发光部间的距离,通过三角测量的要领,计算接收机与发光部的距离(7106f)。接收机基于难以从接收机观察的场所的状况及危险的有无等的信息,进行危险的警告等(7106g)。
图216是表示实施方式12的接收机和发送机的应用例的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7007b将发送机7007b的信息向例如构成为停车场的收发装置的接收机7007a发送。发送机7007b的信息表示发送机7007b的识别信息(ID)、车的号码、车的大小、车的形状或车的重量。接收机7007a如果接收到该信息,则发送停车的可否、核款信息或停车位置。另外,接收机7007a也可以接收ID,从服务器取得ID以外的信息。
图217是表示实施方式12的接收机7007a和发送机7007b的处理动作的一例的流程图。另外,发送机7007b由于不仅是发送还进行接收,所以具备车载发送机和车载接收机。
将发送机7007b的ID、与向接收到ID的接收机7007a传递的信息建立关联,向服务器(停车场管理服务器)存储(7107a)。在向接收机7007a传递的信息中,也可以包括将发送机7007b作为构成要素的一部分的物体的形状、重量、车体号码等的识别号码、发送机7007b的用户的识别号码、或用于支付的信息。
发送机7007b(车载发送机)发送ID(7107b)。在发送内容中,也可以包括上述服务器的URL、或向上述服务器存储的信息。停车场的接收机7007a(停车场的收发装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的ID为键字,取得与ID建立了联系的信息(7107d)。停车场管理服务器调查停车场的空闲状况(7107e)。
停车场的接收机7007a(停车场的收发装置)将停车的可否、停车位置信息、或保持这些信息的服务器的地址发送(7107f)。或者,停车场管理服务器将这些信息向别的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从别的服务器取得这些信息。
停车场管理服务器进行停车场的控制以便容易进行停车(7107h)。例如进行立体停车场的控制。停车场的收发装置将ID发送(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的ID,对停车场管理服务器进行询问(7107j)。
停车场管理服务器根据停车时间等进行核款(7107k)。停车场管理服务器进行停车场的控制,以便容易达到停车的车辆(7107m)。例如进行立体停车场的控制。车载接收机(发送机7007a)显示向停车位置的地图,进行从当前地开始的导航(7107n)。
图218是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标牌的发送机7008a或7008b将发送机7008a或7008b的识别信息(ID)向例如构成为智能电话的接收机7008c发送。接收机7008c如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空席状况、赠券及二维条码等的图像。
图219是表示实施方式12的接收机7008c和发送机7008a或7008b的处理动作的一例的流程图。另外,以下举发送机7008a及7008b中的发送机7008a为例进行说明,但发送机7008b的处理动作也与发送机7008a的处理动作相同。
首先,将发送机7008a的ID、和向接收到ID的接收机7008c传递的信息建立关联而向服务器存储(7108a)。在向接收机7008c传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
从标牌等的发送机7008a发送ID(7108b)。将接收机7008c的照相机朝向发送机7008a,将ID接收(7108c)。接收机7008c将接收到的ID向服务器发送,将与ID关联的信息向接收机7008c存储(7108d)。接收机7008c将终端ID及用户ID一起向服务器保存(7108e)。
接收机7008c作为向接收机7008c显示的内容而显示存储在服务器中的信息(7108f)。接收机7008c显示从当前位置到店铺或商品卖场的道路顺序(7108g)。接收机7008c适当从服务器取得信息,将空席信息或预约信息更新并显示(7108h)。
接收机7008c显示预约或订购座席或商品的按钮(7108i)。用户轻击显示在接收机7008c上的预约按钮或订购按钮(7108j)。接收机7008c将预约或订购的信息向管理它们的服务器发送(7108k)。
图220是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机(终端)7009b被放置到例如店铺的座席之前的桌子上。此时,例如作为照明设备的发送机7009a将发送机7009a的识别信息(ID)向接收机7009b发送。接收机7009b如果接收到该ID,则从服务器取得与该ID建立了对应的信息。并且,接收机7009b进行该座席的预约、临时预约的确认、或预约时间的延长等。
图221是表示实施方式12的接收机和发送机的应用例的图。
从服务器取得了信息的接收机7009b例如显示店铺的空席状况、和用来选择“付款”、“延长”及“追加订购”的某个的按钮。
图222是表示实施方式12的接收机7009b和发送机7009a的处理动作的一例的流程图。
将发送机7009a的ID、和向接收到ID的接收机7009b传递的信息建立关联而向服务器存储(7109a)。在向接收机7009b传递的信息中,也可以包括发送机7009a的位置或形状的信息。从顶棚照明等的发送机7009a发送ID(7109b)。
用户将接收机7009b向桌子等放置(7109c)。接收机7009b根据陀螺仪传感器、磁传感器、加速度传感器的信息,识别出接收机7009b被放置在桌子等上,开始接收处理(7109d)。接收机7009b从加速度传感器的上方判别朝向上方的照相机,使用该照相机接收ID。
将接收机7009b的照相机朝向发送机7009a,接收ID(7109e)。接收机7009b将接收到的ID向服务器发送,将与ID关联的信息向接收机7009b存储(7109f)。接收机7009b推测接收机7009b的位置(7109g)。
接收机7009b将接收机7009b的位置向店铺管理服务器发送(7109h)。店铺管理服务器确定接收机7009b被放置的座席(7109i)。店铺管理服务器将座席号码向接收机7009b发送(7109j)。
图223是表示实施方式12的接收机和发送机的应用例的图。
例如作为顶棚照明的发送机7011a将发送机7011a的识别信息(ID)向例如构成为智能电话的接收机7011b发送。接收机7011b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,推测(确认)自己位置。并且,如果该接收机7011b被置于电子设备7011c中,则接收机7011b作为电子设备7011c的操作终端发挥功能。由此,能够用接触面板或声音输出等的丰富的接口操作电子设备7011c。
图224是表示实施方式12的接收机7011b和发送机7011a的处理动作的一例的流程图。
将电子设备的位置向服务器存储(7110a)。也可以将电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)与位置信息建立关联而存储。
将发送机7011a的ID、和向接收到ID的接收机7011b传递的信息建立关联,向服务器存储(7110b)。在向接收机7011b传递的信息中,也可以包括发送机7011a的位置或形状的信息。
从顶棚照明等的发送机7011a发送ID(7110c)。将接收机7011b的照相机朝向发送机7011a,将ID接收(7110d)。接收机7011b将接收到的ID向服务器发送,将与ID关联的信息向接收机7011b存储(7110e)。接收机7011b推测接收机7011b的位置(7110f)。
用户将接收机7011b放置到电子设备上(7110g)。接收机7011b根据陀螺仪传感器、磁传感器、加速度传感器的信息识别出接收机7011b静止,开始以下的处理(7110h)。接收机7011b在最后推测接收机7011b的位置起经过一定时间以上的情况下,通过上述方法推测自己位置(7110i)。
接收机7011b根据陀螺仪传感器、磁传感器、加速度传感器的信息,推测从最后进行自己位置推测起的移动,推测当前位置(7110j)。接收机7011b从服务器取得距当前位置最近的电子设备的信息(7110k)。接收机7011b经由bluetooth或wifi从电子设备取得电子设备的信息(7110m)。或者取得保存在服务器中的电子设备的信息。
接收机7011b将电子设备的信息显示(7110n)。接收机7011b作为电子设备的操作终端而受理输入(7110p)。接收机7011b将电子设备的操作信息经由bluetooth或wifi向电子设备发送(7110q)。或者经由服务器向电子设备发送。
图225是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7012a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7012b。此时,接收机7012a接收从发送机7043b发送的发送机7043b的识别信息(ID)。接收机7043a从服务器取得与该ID建立了对应的信息。由此,接收机7012a作为处于照相机被朝向的方向的电子设备的操作终端发挥功能。即,接收机7012a通过bluetooth或wifi等与发送机7012b无线连接。
图226是表示实施方式12的接收机7012a和发送机7012b的处理动作的一例的流程图。
将发送机7012b的ID、和向接收到ID的接收机7012a传递的信息建立关联,向服务器存储(7111a)。在向接收机7012a传递的信息中,也可以包括电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)。
从搭载在电子设备中、或者与电子设备建立了关联的发送机7012b发送ID(7111b)。将接收机7012a的照相机朝向发送机7012b,将ID接收(7111c)。接收机7012a将接收到的ID向服务器发送,将与ID关联的信息向接收机7012a存储(7111d)。接收机7012a以接收到的ID为键字,从服务器取得电子设备的信息(7111e)。
接收机7012a经由bluetooth或wifi从电子设备取得电子设备的信息(7111f)。或者取得保存在服务器中的电子设备的信息。接收机7012a将电子设备的信息显示(7111g)。
接收机7012a作为电子设备的操作终端而受理输入(7111h)。接收机7012a将电子设备的操作信息经由bluetooth或wifi向电子设备发送(7111i)。或者经由服务器向电子设备发送。
图227是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机7013b受理从用户输入的目的地。并且,将该接收机7013b的照相机朝向构成为照明设备(光亮)的发送机7013a。此时,接收机7013b将从发送机7013a发送的发送机7013a的识别信息(ID)接收。接收机7013b从服务器取得与该ID建立了对应的信息。基于该取得的信息,接收机7013b进行自己位置的推测(确认)。并且,接收机7013b用声音等将用户向目的地导航。此外,在用户是视觉障碍者的情况下,接收机7013b将障碍物详细地向用户报告。
图228是表示实施方式12的接收机7013b和发送机7013a的处理动作的一例的流程图。
用户将目的地向接收机7013b输入(7112a)。用户将接收机7013b朝向亮光(发送机7013a)(7112b)。即使是视觉有障碍的用户,只要能够识别较强的亮光,就能够将接收机7013b朝向那里。
接收机7013b接收叠加在亮光中的信号(7112c)。接收机7013b以接收到的信号为键字,从服务器取得信息(7112d)。接收机7013b从服务器取得从当前地到目的地的地图(7112e)。接收机7013b显示地图,进行从当前地到目的地的导航(7112f)。
图229是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7014a具备前面照相机7014b。并且,接收机7014a当该前面照相机7014b的摄像方向相对于地平面朝向一定角度以上时,进行通过该前面照相机7014b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7014a在具备前面照相机7014b以外的其他照相机的情况下,将该前面照相机7014b的优先级比其他照相机提高。
图230是表示实施方式12的接收机7014a的处理动作的一例的流程图。
判断前面照相机7014b的摄像方向相对于地平面是否朝向一定角度以上(7113a)。如果判断结果是真(是),则开始通过前面照相机7014b的接收(7113b)。或者,提高由前面照相机7014b进行的接收处理的优先级。并且,如果经过一定时间(7113c),则结束由前面照相机7014b进行的接收(7113d)。或者,将由前面照相机7014b进行的接收处理的优先级降低。
图231是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7015a具备外照相机(out cemera)7015b。并且,接收机7014a当该外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,进行通过该外照相机7015b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7015a在还具备外照相机7015b以外的其他照相机的情况下,将该外照相机7015b的优先级比其他照相机提高。
另外,当外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,接收机7015a是被纵置的状态,接收机7015a的具备外照相机7015b的面的相对于地平面的角度为一定角度以上。
图232是表示实施方式12的接收机7015a的处理动作的一例的流程图。
判断外照相机7015b的摄像方向相对于地平面是否是一定角度以下(7114a)。如果判断结果是真(是),则开始由外照相机7015b进行的接收(7114b)。或者,将由外照相机7015b进行的接收处理的优先级提高。并且,如果经过一定时间(7114c),则结束由外照相机7015b进行的接收(7114d)。或者,将由外照相机7015b进行的接收处理的优先级降低。
图233是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7016a具备外照相机。并且,接收机7016a在被向该外照相机的摄像方向移动(突出)时,进行通过该外照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,在接收机7016a还具备外照相机以外的其他照相机的情况下,将该外照相机的优先级比其他照相机提高。
另外,当被向外照相机的摄像方向移动时,移动方向与(移动结束时点的)摄像方向之间的角度为一定角度以下。
图234是表示实施方式12的接收机7016a的处理动作的一例的流程图。
将接收机7016a移动,判断移动方向与移动结束时点的外照相机的摄像方向是否是一定角度以下(7115a)。如果判断结果是真(是),则开始由外照相机进行的接收(7115b)。或者,将由外照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115c),则结束由外照相机进行的接收(7115d)。或者,将由外照相机进行的接收处理的优先级降低。
图235是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7017a具备规定的照相机。并且,接收机7017a当进行了与规定的照相机对应的显示器操作或专用按钮的按下时,进行通过该规定的照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7017a在也具备规定的照相机以外的其他照相机的情况下,将该规定的照相机的优先级比其他照相机提高。
图236是表示实施方式12的接收机7017a的处理动作的一例的流程图。
判断是否对接收机7017a进行了显示器操作或专用按钮的按下(7115h)。如果判断结果是真(是),则开始与显示器操作或专用按钮的按下对应的通过照相机的接收(7115i)。或者,将由该照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115j),则结束与显示器操作或专用按钮的按下对应的由照相机进行的接收(7115k)。或者,将由该照相机进行的接收处理的优先级降低。
图237是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7018a具备前面照相机(face camera)7018b。并且,接收机7018a当该前面照相机7018b的摄像方向相对于地平面朝向一定角度以上、并且接收机7014a沿着相对于地平面处于一定角度以下的方向移动时,进行通过该前面照相机7018b进行的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7018a在还具备前面照相机7018b以外的其他照相机的情况下,将该前面照相机7018b的优先级比其他照相机提高。
图238是表示实施方式12的接收机7018a的处理动作的一例的流程图。
将前面照相机7018b的摄像方向相对于地平面朝向一定角度以上,判断是否相对于地平面以一定角度以下平行移动(7116a)。如果判断结果是真(是),则开始由前面照相机7018b进行的接收(7116b)。或者,将由前面照相机7018b进行的接收处理的优先级提高。并且,如果经过一定时间(7116c),则将由前面照相机7018b进行的接收结束(7116d)。或者,将由前面照相机7018b进行的接收处理的优先级降低。
图239是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7019b的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7019a。此时,接收机7019b将从发送机7019a(发送机7019a的显示器)发送的、视听中的频道的识别信息(ID)接收。接收机7019b从服务器取得与该ID建立了对应的信息。由此,接收机7019b将电视节目的关联商品的购买页、或电视节目的关联信息显示。此外,接收机7019b通过投票或应召到现场而参加电视节目。另外,发送机(TV)7019a也可以具备存储有用户的住址的住址存储部,向存储在该住址存储部中的住址发送关联的信息。
图240是表示实施方式12的接收机和发送机的应用例的图。
发送机7019a及接收机7019b如图240(a)所示,也可以直接收发为了实现图239所示的应用例而需要的信息。
此外,如图240(b)所示,发送机7019a将视听中的频道的ID向接收机7019b发送。接收机7019b从服务器取得与该ID建立了对应的信息、即为了实现图239所示的应用例而需要的信息。
此外,如图240(c)所示,发送机7019a也可以将在发送机(TV)7019a的ID或无线连接中需要的信息向接收机7019b发送。在此情况下,接收机7019b接收该ID或信息,基于该ID或信息,对发送机7019a或记录机询问视听中的频道。进而,接收机7019b从服务器取得通过询问得到的关于频道的信息,即实现图239所示的应用例而需要的信息。
图241是表示实施方式12的接收机和发送机的应用例的图。
发送机7019b也可以具备TV2021b和记录机2021a。在该发送机7019b中,记录机2021a保存有为了实现图239所示的应用例而需要的信息。并且,在再现时,TV2021b将保存在该记录机2021a中的信息的一部分或全部向接收机7019b发送。此外,TV2021b和记录机2021a的至少一方也可以进行服务器的作用。当记录机2021a进行服务器的作用时,记录机2021a将服务器的地址替换为记录机2021a的地址,将该地址从TV202b向接收机7019b发送。
图242是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7022c的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7022b。此时,接收机7022c将从发送机7022b(发送机7022b的显示器)发送的信息接收。接收机7022c基于该信息与发送机7022b进行无线通信。这里,发送机7022b当从服务器7022a取得包括向接收机7022c显示的图像等的信息并向接收机7022c发送时,将在该信息中包含的服务器7022a的地址替换为发送机7022b的地址。
图243是表示实施方式12的接收机和发送机的应用例的图。
例如记录机7023b在电视节目的录像时,将实现图239所示的应用例而需要的信息从服务器7023a一起取得。
在电视节目的再现时,记录机7023b将再现画面、和为了实现图239所示的应用例而需要的信息向作为发送机的电视机7023c发送。电视机7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与电视机7023c进行无线通信。
或者,在电视节目的再现时,记录机7023b将再现画面、和记录机7023b的地址等的为了进行无线通信而需要的信息向作为发送机的电视机7023c发送。电视机7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与记录机7023b进行无线通信。
图244是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7045a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7045b。发送机7045b显示歌曲节目等的电视节目的影像,并从显示器发送信息。此时,接收机7045a接收从发送机7045b(发送机7045b的显示器)发送的信息。并且,接收机7045a基于该信息,显示提示在该歌曲节目中视听的歌曲的购买的画面7045c。
图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
搭载在电视机或录像机等中的发送机从服务器作为与放映中的节目关联的信息而取得想要向接收机传递的信息(7117a)。发送机将信号叠加到显示器的背灯中而发送(7117b)。在发送的信号中,也可以包括发送机的URL、发送机的SSID、或用来向发送机访问的口令。
图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
接收机从显示器接收信息(7118a)。判断在接收到的信息中是否包含视听中的频道信息(7118b)。如果其判断结果是假(否),则从具有接收到的信息中包含的ID的电子设备取得视听中的频道信息(7118c)。
另一方面,如果上述判断结果是真(是),则从服务器取得与视听中的画面关联的信息(7118d)。电视机及录像机也可以发挥服务器的作用。接收机将从服务器取得的信息显示(7118e)。接收机基于保存在接收机或服务器中的用户简况调整显示内容(7118f)。例如,进行变更字符的大小、将年龄限制内容不显示、或将根据过去的用户的行动推测为喜欢的内容优先地显示等的控制。
图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
录像机在节目录像的同时,从服务器取得与节目关联的信息并保存(7119a)。在关联的信息随着时刻而变化的情况下,将该时刻也一起保存。
录像机在将录像的图像再现时,将上述保存的信息向显示器发送(7119b)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为显示器的访问信息。
录像机在将录像的图像再现时,将上述保存的信息向接收机发送(7119c)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为录像机的访问信息。
图248是表示实施方式12的发送机的亮度变化的图。
发送机通过使从亮度急剧上升时到下次亮度急剧上升时之间的时间的长度按照代码(0或1)不同,将向接收机发送的信息编码。由此,能够不改变发送的信息的内容,而通过PWM(Pulse Width Modulation)控制进行人感觉的明亮程度的调节。另外,亮度的波形也可以不是正确的矩形波。
图249是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图248所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7120a)。计测从之前亮度急剧上升到下次亮度急剧上升的时间(7120b)。或者计测从之前亮度急剧下降到下次亮度急剧下降的时间。通过上述时间识别信号的值(7120c)。例如,当上述时间为300微秒以下时识别为0,当以上时识别为1。
图250是表示实施方式12的发送机的亮度变化的图。
发送机通过使表示亮度的增减的波长变化,表现向接收机发送的信息的开始点。或者,发送机通过使其波长变化,在1个信息中叠加别的信息。
图251是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图250所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7121a)。求出亮度急剧变化的期间的时间幅度的最低值(7121b)。寻找不是上述最低值的整数倍的亮度变化幅度(7121c)。以不是上述整数倍的亮度变化幅度为信号的开始点,将信号解析(7121d)。求出具有不是上述整数倍的亮度变化幅度的部分间的时间幅度(7121e)。
图252是表示实施方式12的发送机的亮度变化的图。
发送机通过以比接收机的曝光时间短的间隔使亮度变化,能够调整在人的眼睛中看到的明亮程度。此外,能够将随着时间经过而积累的亮度变化复位。
图253是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图252所示的亮度变化的与发送机对应的接收机的处理动作。
当亮度或控制亮度的电流低于一定值时,以相比接收机的曝光时间足够短的时间幅度进行电流的关闭开启(S7125a)。由此,使电流回到初始值,能够防止发光部的亮度下降。此外,当亮度或控制亮度的电流高于一定值时,相比接收机的曝光时间足够短的时间幅度进行电流的开启关闭(S7125b)。由此,使电流回到初始值,能够防止发光部的亮度上升。
图254是表示实施方式12的发送机的亮度变化的图。
发送机通过使亮度的载波频率不同,表现不同的信号(信息)。接收机能够将载波频率在比信号内容早的时点识别。因而,使载波频率不同,适合于表现发送机的ID等应优先识别的内容。
图255是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示与伴随着图254所示的亮度变化的发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7122a)。求出亮度急剧变化的期间的时间幅度的最低值(7122b)。将上述最低值识别为载波频率(7122c)。以载波频率为键字,从服务器取得信息(7122d)。
图256是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7123a)。将亮度变化进行傅立叶变换,将最大成分识别为载波频率(7123b)。以载波频率为键字,从服务器取得信息(7123c)。
图257是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的发送机的处理动作。
将发送信号表现为亮度变化(7124a)。制作以将亮度变化进行傅立叶变换后的最大成分为载波频率那样的亮度变化(7124b)。如制作出的亮度变化那样使发光部发光(7124c)。
图258是表示实施方式12的发送机的结构例的图。
发送机7028a具有发送信号A的部分7028b、发送信号B的部分7028d、和发送信号C的部分7028f。这样,通过沿着接收机的摄像部(照相机)同时曝光的方向具有发送相互不同的信号的部分,接收机能够同时接收多个信号。另外,在各个部分7028b、7028d、7028f之间,也可以设置不发出信号的部分、或者发出特别的缓冲部分7028c、7028e。
图259是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
在发送机中,也可以将图258所示的发送各信号的部分7029a分别如图259所示那样配置。由此,在将接收机倾斜的情况下,接收机的摄像部(照相机)也能够将信号A、B及C的许多部分同时接收(摄像)。
图260是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
发送机的圆形的发光部具备排列为同心圆状的、发送各信号的多个圆环状的部分7030a、7030b、7030c。部分7030a发送信号C,部分7030b发送信号B,部分7030c发送信号A。这样,在发送机的发光部为圆形的情况下,通过如上述那样将发送各信号的部分排列,接收机能够将从各部分发出的信号A、B及C的许多部分同时接收(摄像)。
图261是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示具备图258~图260的任一个所示的发光装置的发送机和接收机的处理动作。
接收机计测同时受光的行的各自的位置的亮度(7126a)。通过在与同时受光行垂直方向上将分别发送的信号接收,能够高速地接收信号(7126b)。
图262是表示由实施方式12的接收机和发送机进行的显示和摄影的例子的图。
发送机将在与接收机的受像部(照相机)同时曝光的方向垂直的方向上构成为均匀的图像的多个一维条码分别作为帧1(7031a)、帧2(7031b)及帧3(7031c)依次显示。另外,一维条码由沿着与上述同时曝光的方向垂直的方向的线(棒)构成。接收机通过将由发送机显示的图像如上述各实施方式那样摄像,取得帧1(7031d)及帧2(7031e)。接收机通过在一维条码的棒中断的部分将一维条码分割,能够依次识别被连续显示的一维条码。在此情况下,不需要使通过发送机的显示与通过接收机的摄像的定时同步,接收机能够将由发送机显示的内容全部识别。此外,由发送机进行的显示的帧速率也可以比由接收机进行的摄像的帧速率快。但是,由发送机进行的显示的1帧的显示时间需要比由接收机摄像的帧间的空白时间长。
图263是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示进行图262所示的显示的发送机具备的显示装置的处理动作。
显示装置将一维条码显示(7127a)。显示装置以比接收机的摄像的空白时间长的间隔使条码显示变化(7127b)。
图264是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图进行进行图262所示的摄影的接收机的处理动作。
接收机将显示在显示装置上的一维条码摄影(7128a)。在条码的行中断的地方,显示装置识别为显示下个条码(7128b)。通过该方法,即使不进行显示与摄像的同步,接收机也能够接收全部的显示内容。此外,还能够接收以比接收机的摄像帧速率快的帧速率显示的信号。
图265是表示实施方式12的接收机和发送机的应用例的图。
例如作为照明设备的发送机7032a将发送机7032a的加密的识别信息(ID)发送。例如构成为智能电话的接收机7032b如果接收到该加密的ID,则将该加密的ID向服务器7032c发送。服务器7032c如果接收到该加密的ID,则将该加密的ID解密。或者,接收机7032b如果接收到该加密的ID,则将该加密的ID解密,向服务器7032c发送。
图266是表示实施方式12的接收机7032b和发送机7032a的处理动作的一例的流程图。
发送机7032a保持一部分或全部被加密的信息(7129a)。接收机7032b将从发送机7032a发送的该信息接收,将接收到的信息解密(7129b)。或者,接收机7032b将加密的状态的信息向服务器7032c发送。在将加密的状态的信息发送的情况下,服务器7032c将该加密的状态的信息解密(7129c)。
图267是表示实施方式12的接收机的状态的图。
用户为了打电话,将例如构成为智能电话的接收机7033a贴在耳朵上。此时,装备在接收机7033a的扬声器附近的照度传感器检测表示较低的照度的照度值。结果,接收机7033a将接收机7033a的状态推测为通话中,停止来自发送机的信息的接收。
图268是表示实施方式12的接收机7033a的处理动作的一例的流程图。
接收机7033a根据照度传感器的传感器值等判断是否推测为通话中(7130a)。在该判断结果是真(是)的情况下,接收机7033a将由前面照相机进行的接收结束(7130b)。或者,接收机7033a将由前面照相机进行的接收处理的优先级降低。
图269是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机7034a在作为用来将来自发送机的信息接收(摄像)的摄像装置的照相机(例如前面照相机)附近具备照度传感器7034b。如果由该照度传感器7034b检测到一定值以下的表示较低的照度的照度值,则接收机7034a将来自发送机的信息的接收中止。或者,在接收机7034a具备其他照相机的情况下,将该照度传感器7034b附近的照相机(例如前面照相机)的优先级比其他照相机降低。
图270是表示实施方式12的接收机7034a处理动作的一例的流程图。
接收机7034a判断照度传感器7034b的传感器值是否是一定值以下(7131a)。在该判断结果是真(是)的情况下,接收机7034a将由前面照相机进行的接收结束(7131b)。或者,接收机7034a将由前面照相机进行的接收处理的优先级降低。
图271是表示实施方式12的接收机的处理动作的一例的流程图。
接收机根据照度传感器的传感器值计测照度变化(7132a)。以用摄像装置(照相机)计测亮度变化而接收信号的方式,接收机根据照度值的变化接收信号(7132b)。由于照度传感器比摄像装置便宜,所以能够将接收机便宜地制造。
图272是表示实施方式12的发送机的波长的一例的图。
发送机如图272的(a)及(b)所示,通过输出同色异谱的光7037a、7037b,表现向接收机发送的信息。
图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示输出图272所示的波长的光的发送机和接收机的处理动作。
发送机将对人而言识别为等色但分光分布不同的光(同色异谱的光)用不同的信号表现,使发光部发光(7135a)。接收机计测分光分布而接收信号(7135b)。根据该方式,能够不注意到闪变而发送信号。
图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备ID解决服务器7038a、中继服务器7038b、接收机7038c、发送机7038d及发送机侧控制装置7038e。
图275是表示实施方式12的系统的处理动作的一例的流程图。
ID解决服务器7038a将发送机7038d的ID、和发送机侧控制装置7038e与接收机7038c通信的方法建立关联而存储(7136a)。接收机7038c接收发送机7038d的ID,从ID解决服务器7038a取得与发送机侧控制装置7038e的通信方法(7136b)。接收机7038c判断接收机7038c和发送侧控制装置7038e是否能够直接通信(7136c)。在其判断结果为假(否)的情况下,接收机7038c经由中继服务器7038b与发送侧控制装置7038e通信(7136d)。另一方面,在其判断结果为真(是)的情况下,接收机7038c与发送侧控制装置7038e直接通信(7136e)。
图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7039g、店铺侧设备7039a及便携设备7039b。店铺侧设备7039a具备发送机7039c和摄像部7039d。便携设备7039b具备接收机7039e和显示部7039f。
图277是表示实施方式12的系统的处理动作的一例的流程图。
便携设备7039b在显示部7039f上以二维条码等的形式显示信息(7137a)。店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d摄像,取得信息(7137b)。店铺侧设备7039a将某些信息从发送机7039c发送(7137c)。
便携设备7039b将发送的信息用接收机7039e接收(7137d)。便携设备7039b基于接收到的信息使显示部7039f的显示内容变化(7137e)。向显示部7039f显示的内容既可以由便携设备7039b决定,也可以由服务器7039g基于接收到的内容决定。
店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d摄像,取得信息(7137f)。店铺侧设备7039a判断所取得的信息与发送的信息的一致性(7137g)。该判断既可以由店铺侧设备7039a进行,也可以由服务器7039g进行。在一致的情况下,正常地完成交易(7137h)。
通过该方法,能够防止将显示在显示部7039f上的赠券信息复制而不正当地使用。此外,还可以通过该方法进行加密密钥交换。
图278是表示实施方式12的接收机的处理动作的一例的流程图。
接收机开始接收处理(7138a)。接收机设定摄像装置的曝光时间(7138b)。接收机设定摄像装置的增益(7138c)。接收机根据摄像图像的亮度接收信息(7138d)。
图279是表示实施方式12的接收机的处理动作的一例的流程图。
设定曝光时间(7139a)。判断是否存在使曝光时间变化的API(ApplicationProgram Interface)(7139b)。在该判断结果是假(否)的情况下,将摄像装置朝向光源等亮度较高的物体(7139c)。进行自动曝光设定(7139d)。如果自动曝光设定值的变化足够小,则将曝光设定值固定(7139e)。
另一方面,在上述判断结果是真(是)的情况下,利用API开始曝光时间的设定(7139f)。
图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7036a、接收机7036b及至少1个发送机7036c。接收机7036b从服务器取得关于存在于接收机7036b的附近的至少1个发送机7036c的信息。
图281是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7036b根据GPS及基站等的信息进行自己位置推测(7133a)。接收机7036b将推测出的自己位置和推测误差范围向服务器7036a发送(7133b)。接收机7036b从服务器7036a取得存在于接收机7036b的位置附近的发送机7036c的ID、和与该ID建立了关联的信息并存储(7133c)。接收机7036b从发送机7036c接收ID(7133d)。
接收机7036b判断是否存储有与接收到的ID建立了关联的信息(7133e)。在其判断结果为假(否)的情况下,接收机7036b以接收到的ID为键字,从服务器7036a取得信息(7133f)。接收机7036b根据从服务器7036a接收到的信息和发送机7036bc的位置关系进行自己位置推测,从服务器7036a取得附近的其他发送机7036c的ID、和与该ID建立了关联的信息并存储(7133g)。
在上述步骤7133e中判断为真(是)的后,或者进行上述步骤7133g后,接收机7036b将与接收到的ID建立了关联的信息显示(7133h)。
图282是表示实施方式12的接收机和发送机的应用例的图。
在建筑物a(7040a)中,配设有例如构成为照明设备的发送机7040c及7040d,在建筑物b(7040b)中,配设有例如构成为照明设备的发送机7040e及7040f。发送机7040c及7040e发送信号A,发送机7040d及7040f发送信号B。例如构成为智能电话的接收机(终端)7040g接收从某个发送机发送的信号。
图283是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7040g检测进入到建筑物中的情况(7134a)。接收机7040g将推测出的自己位置、推测误差范围、和推测为接收机7040g存在的建筑物的名称等向服务器发送(7134b)。接收机7040g从服务器取得在接收机7040g存在的建筑物中存在的发送机的ID、和与该ID建立了关联的信息并存储(7134c)。接收机7040g从发送机接收ID(7134d)。
接收机7040g判断是否存在与接收到的ID建立了关联的信息(7134e)。在其判断结果是假(否)的情况下,接收机7040g以接收到的ID为键字,从服务器取得信息(7134f)。接收机7040g从服务器取得在与接收到ID的发送机存在的建筑物相同的建筑物内存在的其他发送机的ID、和与该ID建立了关联的信息(7134g)。
在上述步骤7134e中判断为真(是)后,或者在进行步骤S7134g后,接收机7040g显示与接收到的ID建立了关联的信息(7134h)。
图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
例如构成为照明设备的发送机7041a发送信号A,发送机7041b发送信号B,发送机7041c发送信号C,发送机7041d发送信号B。例如构成为智能电话的接收机(终端)7041e接收从某个发送机发送的信号。这里,在基于GPS或基站等的信息(其他手段)推测的接收机7041e的自己位置的误差范围中,有发送机7041a、7041b、7041c。
图285是表示实施方式12的系统的处理动作的一例的流程图。
接收机7041e从发送机接收ID(7140a)。接收机7041e进行自己位置推测(7140b)。接收机7041e判断自己位置推测是否成功(7140c)。在其判断结果是假(否)的情况下,接收机7041e将地图及输入表格显示,使用户输入当前位置(7140d)。
接收机7041e将接收到的ID、推测出的自己位置、和自己位置推测的误差范围向服务器发送(7140e)。
服务器判断从接收机7041e的推测自己位置在推测误差范围(推测误差半径)以内是否仅存在一个发送接收机7041e接收到的ID的发送机(7140f)。在其判断结果是假(否)的情况下,接收机7041e将从步骤7140d起的处理重复执行。另一方面,在其判断结果是真(是)的情况下,服务器将与该发送机建立了关联的信息向接收机7041e发送(7140g)。
图286是表示实施方式12的接收机的处理动作的一例的流程图。
首先,接收机检测发出了信号的发光装置(发送机)(7141a),接收信号(7141b)。并且,接收机将接收状况、已接收数据量、发送数据量、对于发送数据量的已接收数据量的比例(7141c)。
接着,接收机确认是否已将发送数据全部接收(7141d)。在确认了已接收的情况下(7141d的是),接收机将接收处理中止(7141e),进行接收完成的显示(7141f)。进而,接收机响起通知音(7141g),进行振动(7141h)。
在步骤7141d中,在确认了没有接收的情况下(7141d的否),接收机确认是否在由接收机的摄像装置(照相机)得到的影像中从发送机离开屏幕(frame)起经过了一定时间(7141i)。这里,在确认经过了一定时间的情况下(7141i的是),接收机将已接收数据丢弃,将接收处理停止(7141m)。进而,接收机响起通知音(7141n),进行振动(7141p)。
在步骤7141i中,在确认了没有经过一定时间的情况下(7141i的否),接收机确认由接收机的加速度传感器得到的传感器值是否以一定值以上的大小变化了,或者是否能够推测出将接收机朝向了别的方向(7141j)。这里,如果确认了以一定值以上的大小变化、或者能够推测出朝向了别的方向(7141i的是),则进行上述步骤7141m以后的处理。
另一方面,如果确认了没有以一定值以上的大小变化,或者不能推测为朝向了别的方向(7141i的否),接收机确认是否接收机的加速度传感器的传感器值以一定的节奏变化了、或者能够推测出接收机被晃动(7141k)。这里,如果确认以一定的节奏变化了、或者能够推测出被晃动,则接收机进行上述步骤7141m以后的处理。另一方面,如果确认没有以一定的节奏变化、或者不能推测出被晃动(7141k的否),则接收机将从步骤7141b起的处理重复执行。
图287A是表示实施方式12的发送机的结构的一例的图。
发送机7046a具备发光部7046b、二维条码7046c和NFC芯片7046d。发光部7046b将与二维条码7046c及NFC芯片7046d的至少一方共通的信息通过上述各实施方式的方法发送。或者,发光部7046b也可以将与二维条码7046c及NFC芯片7046d的至少一方不同的信息通过上述各实施方式的方法发送。在此情况下,接收机也可以以从发光部7046b发送的信息的内容为键字,从服务器取得与二维条码7046c及NFC芯片7046d的至少一方共通的信息。此外,接收机也可以在从发光部7046b接收信息的情况、和从二维条码7046c及NFC芯片7046d的至少一方接收信息的情况中进行共通的处理。在上述哪种情况下,接收机对共通的服务器访问,显示共通的信息。
图287B是表示实施方式12的发送机的结构的另一例的图。
发送机7046e具备发光部7046f,使其发光部7046f显示二维条码7046g。即,该发光部7046f兼具备图287A所示的发光部7046b及二维条码7046c的各自的功能。
这里,发光部7046b、7046f也可以通过发送表示发光部7046b、7046f的大小的信息,使接收机推测从接收机到发送机7046a、7046e的距离。由此,接收机能够将二维条码7046c、7046g更简单或鲜明地摄影。
图288是表示实施方式12的接收机和发送机7046a、7046e的处理动作的一例的流程图。另外,以下举发送机7046a及发送机7046e中的发送机7046a为例说明,但发送机7046e的处理动作也与发送机7046a的处理动作相同。
发送机7046a发送表示发光部7046b的大小的信息(步骤7142a)。另外,将发光部7046b的任意的2点间的距离的最大值作为发光部7046b的大小。另外,该一系列的处理由于速度较重要,所以优选的是,发送机7046a将表示发送机7046a的发光部7046b的大小的信息直接发送,接收机不经由服务器通信而取得表示该大小的信息。此外,优选的是通过能够将发送机7046a的明暗变化的频率等迅速接收的方法发送。
接着,接收机接收作为上述信息的信号,取得发送机7046a的发光部7046b的大小(步骤7142b)。并且,接收机基于发光部7046b的大小、摄像的发光部7046b的图像的大小、和接收机的摄像部(照相机)的特性,计算从接收机到发光部7046b的距离(步骤7142c)。接着,接收机将摄像部的焦点距离匹配于计算出的距离而摄影(步骤7142d)。接收机在将二维条码摄影的情况下取得其内容(步骤7142e)。
(实施方式13)
在本实施方式中,对使用上述实施方式1~12的智能电话等的接收机、和作为LED或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图289是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7201a中,发送机发出特定的频率的声音或以特定的样式变化的声音(该频率例如是2kHz到20kHz等,优选的是人难以听到、用一般的集音器能够集音的频率的声音。此外,由于一般的集音器的采样频率是44.1kHz左右,所以通过采样定理,虽然仅能够正确地识别到其一半的频率,但只要知道发送信号,就能够高精度地推测是否将该信号集音。所以,利用该性质,也可以利用20kHz以上的频率的信号)。
在步骤7201b中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7201c中,接收机将集音部起动。在步骤7201d中,接收机将发送机发出的声音集音。在步骤7201e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7201f中,接收机开始接收并结束。
图290是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7202a中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7202b中,接收机将照度传感器起动。在步骤7202c中,接收机从照度传感器识别照度的变化。在步骤7202d中,接收机从照度传感器接收发送信号。在步骤7202e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7202f中,接收机开始接收并结束。
图291是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7203a中,用户操作接收机,使其开始接收。或者,以某种触发事件,接收机自动地开始接收。在步骤7203b中,使画面整体的平均亮度或亮度最大点的亮度较明亮的摄像部优先地接收并结束。
图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7204a中,摄像部通过在同时摄像行或像素中不进行发送机没有拍摄的同时摄像行或像素的摄像,将发送机拍摄的同时摄像行或像素高速地摄影。在步骤7204b中,接收机用陀螺仪或加速度传感器检测接收机的运动或手抖动,通过电子修正调整以使发送机总是拍摄,并结束。
图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7205a中,接收机显示二维条码A。在步骤7205b中,发送机将二维条码A读取。在步骤7205c中,发送机发送显示变更命令。在步骤7205d中,接收机显示二维条码B。在步骤7205e中,发送机将二维条码B读取并结束。
图294是表示实施方式13的发送机的应用例的图。
发送机7211a具备表示是发送机的标记7211b。人不能将发送信号与通常的光区别,但由此能够识别出7211a是发送机。同样,发送机7211c具备表示是发送机的标记7211d。同样,发送机7211e仅在发送信号的期间中,显示表示是发送机的标记7211f。
图295是表示实施方式13的发送机的应用例的图。
电视机等的发送机7212a使背灯或画面7212b的亮度变化而发送信号。电视机等的发送机7212c使画面以外的部分、例如边框7212d或图标标记等的亮度变化而发送信号。
图296是表示实施方式13的发送机的应用例的图。
电视机等的发送机7213a在画面7213b上显示紧急新闻或屏上显示7213c时发送信号。此外,7213c通过对暗色的字符设为亮色的背景、在画面的横向上较大地显示,能够使接收机容易接收信号。
图297是表示实施方式13的发送机和接收机的应用例的图。
当用户进行了接收机或电视机等的遥控器7214a的操作时,从7214a向发送机7214b发送开始信号,发送机7214b在接受到开始信号后的一定时间中发送信号。发送机7214b显示表示是发送中的显示7214c。由此,即使在电视机本来的显示较暗的情况下,接收机也容易接收信号。显示7214c的明亮的部分越多、在横向越宽,接收机越容易接收信号。
另外,发送机7214b也可以与显示电视的影像的区域另外地具备用于信号发送的区域7214c。另外,发送机7214b也可以将用户的运动及遥控器7214a的运动用照相机7214d或麦克风7214e识别而开始信号发送。
图298是表示实施方式13的发送机和接收机的应用例的图。
发送机7215a、7215b将发送机的ID号码发送。发送机的ID既可以是完全唯一的,也可以是在地域内、建筑物内或房间内唯一的ID。在后者的情况下,优选的是使得在几十m以内不存在相同ID。接收机7215c将接收到的ID向服务器7215d发送。也可以向服务器同时发送由GPS等的位置传感器识别的7215c的位置信息、7215c的终端ID或用户ID、会话ID等同时发送。
数据库7215e与发送机发送的ID建立关联,保持别的ID、发送机的位置信息(纬度、经度、高度、房间号码)、发送机的型号、形状或大小、字符、图像、影像或音乐等的内容、使接收机执行的命令或程序、其他服务器的URL、发送机的所有者信息、ID的登记日或有效期限等。
服务器7215d将与接收到的ID建立了关联的信息从数据库读出,向接收机7215c发送。接收机7215c进行将接收到的信息显示、基于接收到的信息向别的服务器访问、或执行接收到的命令等的处理。
图299是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7216a、7216b将发送机的ID1发送。接收机7216c将接收到的ID1向服务器A7216d发送。服务器A将与ID1建立了关联的ID2和用来向别的服务器B访问的信息(URL或口令等)发送。接收机7216c将ID2向服务器B7216f发送。服务器B7216f将与ID2建立了关联的信息向接收机7216c发送、或进行与ID2建立了关联的处理。
图300是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7217a、7217b将发送机的ID1发送。接收机7217c将接收到的ID1向服务器A7217d发送。服务器A将与ID1建立了关联的信息、和随机生成的密钥信息向服务器B发送。密钥信息也可以由服务器B生成并向服务器A发送。服务器A向接收机发送密钥信息、和用来向服务器B访问的信息(URL或口令等)。接收机7217c将密钥信息向服务器B7217f发送。服务器B7217f将与ID2建立了关联的信息向接收机7217c发送,进行与ID2建立了关联的处理。
图301A是表示实施方式13的发送信号的例子的图。
信号由头部7218a、数据部7218b、填充部7218c、数据结尾部7218e构成。信号将相同的数据在1/15秒间反复发送。由此,在仅接收到信号的1部分的情况下,也能够将信号解码。接收机从接收到的信号中提取头部,将两个头部之间的部分作为数据部将数据解码。如果使1帧的数据部变短,则即使是在接收机的摄像部中将发送机拍摄得较小的情况也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/15秒中重复,用在1秒间摄影30帧的接收机,即使有空白,也能够可靠地将数据部的信号摄像。此外,由于通过相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,在通过其他应用的动作而没有进行不连续的帧的处理的情况下,或者通过在1秒间仅能够摄影15帧的接收机,也能够接收信号。此外,由于越接近于头部则越容易接收数据,所以也可以向距头部较近的部分配置重要度较高的数据。
图301B是表示实施方式13的发送信号的另一例的图。
信号与图301A的例子同样,由头部7218a、数据部7218b、填充部7218c、数据结尾(End of Data)部7218e构成。信号将相同的数据在1/30秒间反复发送。由此,即使在仅接收到信号的一部分的情况下,也能够将信号解码。如果使数据部变短,则即使在接收机的摄像部中较小地拍摄有发送机的情况下也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/30秒间重复,用在1秒间摄影30帧的接收机,即使有空白也能够可靠地将数据部的信号摄像。此外,由于用相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,由于越是接近于头部越容易接收数据,所以也可以在距头部较近的部分配置重要度较高的数据。
图302是表示实施方式13的发送信号的例子的图。
将2位的信号调制为5位的信号的7219a的调制方式与将2位的信号调制为4位的信号的2200.2a等的调制方式相比,虽然调制效率较差,但能够用与数据部分相同的形式表现头样式,所以与插入不同的形式的头样式相比能够抑制闪变。数据结尾也可以通过在数据部中使用头来表现。
图303A是表示实施方式13的发送信号的例子的图。
信号由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/15秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a那样的头。
图303B是表示实施方式13的发送信号的另一例的图。
信号与图303A的例子同样,由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/30秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a那样的头。
图304是表示实施方式13的发送信号的例子的图。
通过频率分配信号。接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。在用接收机的摄像部将发送数据1和数据2的光摄像到一个画面内的情况下,如果在与曝光行垂直的方向上将亮度值进行傅立叶变换,则在数据1和数据2的频率中,出现比将发送一个数据的光的情况弱的尖峰。
根据该方法,即使是在一个画面内将用多个频率依次发送的光摄像的情况,也能够将发送频率解析,即使以比1/15秒或1/30秒短的时间变更发送信号的频率也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,在比1画面长的范围中进行傅立叶变换。在此情况下,可以将摄像的空白时间的亮度值作为不明处置。
图305A及图305B是表示实施方式13的发送信号的例子的图。
在发送信号的频率是200Hz以下的情况下,人能作为闪烁感觉到,但如果是其以上的频率,则感觉为连续发亮。在照相机中,以500Hz(根据条件以1kHz)左右以内的频率将闪烁摄影。因此,信号频率(载波的频率)优选的是1kHz以上。在因在照相机中摄影到闪变带来的影响较低的情况下,信号频率也可以为200Hz以上。由于照明装置的高谐波噪声为20kHz以上变大,所以在避免它的情况下,信号频率只要设为20kHz以下就可以。此外,在500Hz到3kHz的范围中,由于发生因线圈的振动带来的声音,所以需要进行将信号频率设为3kHz以上、或者将线圈固定化等的对策。当将信号频率设为1kHz(1毫秒周期)时,为了非同步地识别该信号,需要将摄像装置的曝光时间设为一半的0.5毫秒(=1/2000秒)以下。在信号的调制方式中使用频率调制的情况下,通过采样定理,同样需要使摄像装置的曝光时间为信号周期的一半以下。但是,如图304那样,在用频率本身表现值的调制方式的情况下,由于能够根据多个时点的信号的值推测频率,所以摄像装置的曝光时间可以是信号周期的4倍左右以下。
图306是表示实施方式13的发送机的应用例的图。
照明等的发送机7223a将ID发送。个人计算机等的接收机7223b接收ID,向服务器7223d发送ID和文件7223e。服务器7223d将文件7223e与ID建立关联而存储,对于发送来相同的ID的个人计算机,进行向文件的访问许可。此时,也可以是仅读取的许可、读写的许可等,通过ID进行多个访问控制。个人计算机等的接收机7223c将ID接收,向服务器7223d发送ID,向服务器上的文件7223e访问。服务器7223d在向文件最后有访问起经过了一定时间的情况下、或个人计算机7223b发送来不同的ID的情况下,将文件删除,或者将访问控制初始化。另外,个人计算机7223b或个人计算机7223c也可以将ID发送。
图307是表示实施方式13的发送机的应用例的图。
发送机7224b将自身的ID信息向服务器7224d登记。接收机7224a将赠券、入场票、会员信息或预付款信息向画面显示。发送机7224b将ID发送。接收机7224a将ID接收,将接收到的ID、用户ID、终端ID和显示在画面上的信息向服务器7224d发送。服务器7224d确认接收机7224a显示的内容是有效的,将其结果向显示装置7224c发送。另外,服务器7224d也可以将随着时间变化的密钥信息向发送机7224b发送,发送机7224b也可以将该密钥信息发送。另外,服务器7224d也可以作为与发送机7224b或显示装置7224c相同的装置安装。在接收机7224a将赠券、入场票、会员信息或预付款信息用二维条码等的形式显示到画面上、将其读取的方式中,通过显示将画面复制的图像而能够容易地伪装,但通过使用该方式,能够防止通过将画面复制进行的伪装。
图308~图310是用来说明实施方式13的摄像元件的图。
图308表示本发明的摄像元件800的前面图。如使用前面的实施例的图说明那样,为了使本发明的光通信速度提高,如果如图310那样,一边使光信号发生部830跟踪、一边仅将该区域的830a的扫描行、例如n=4~n=7之间的行的数据向垂直访问机构802发送扫描行选择信号,反复扫描而取得,则能够如图310的下段的图那样连续地将本发明的光信号取出。具体而言可得到4、5、6、7及空白期间4、5、6、7空白期间的连续的信号。在当前的摄像元件的工序中,该空白能够包含在2μs以下。如果为2μs以下,则在30fps下是1帧33ms,在1000行中是33μs/行,所以能够将数据大致连续地解调。
在本发明中,在卷帘快门方式的摄像元件(图像传感器)中,首先使快门速度变快,在显示本发明的行后得到信号,然后,光源的图像830通过照相机的摄影者的手抖动而上下左右地移动。于是,图像830一部分从行n=4~7中出来。信号中断而发生错误。因此,首先,如果使用手抖动修正检测修正机构832修正,则图像830被固。或者/并且,如果使用检测图像830的位置的行否的机构834确定图像830的行号码n、由行选择部835控制垂直访问机构而变更为希望的行n(例如,n=7~10),则可得到图像830,得到连续的信号,所以成为错误较少的数据,能够进行高速数据接收。
回到图308说明摄像元件800,水平的像素有a~k,能够由水平访问机构801访问。垂直方向的像素从n=1到n=12有12列,803a~803n按照列读出,在读出时读出到行存储器805中,从输出部808输出。
如图309所示,在本发明中,首先,在通常摄影模式中,如(a)所示那样依次读出。在通常的帧与帧之间设有空白期间821,在其之间中进行关于颜色等的影像信号的各种各样的调整作业。
根据摄像元件而不同,但5%~20%的时间带不能得到信号的信号。由于不能得到本发明特有的接收样式,所以在步骤820c中成为数据信号接收模式的情况下,首先使快门速度成为高速,提高增益而接收数据。在是的情况下,通过将上述颜色、明亮程度或感度等的影像摄影作业的一部分中止,成为将空白期间821缩短的空白期间821a。由此,通过将调整作业省略的缩短,在当前的工序中能够将空白期间821a降低到2μs以下,所以能够大幅减少输入信号的猝发错误,所以能够较大地提高传送速度。
接着,当如图310那样仅图像的一部分被摄影了影像830时,由于不能得到n=4~8以外的行的信息,所以成为较大的猝发错误,接收效率下降,传送量大幅下降。
通过图310的图像位置检测机构834检测图像830的位置和大小,在图像较小的情况下,在步骤820d中切换为高速读取模式,仅扫描将图像830摄影的行(n=4~7)。如(c)那样将行信号803d、803e、803f、803g多次反复读取,将本发明特有的样式无缝地读取。因此,成几乎没有猝发错误的连续的数据接收,能够实现大幅的数据速率的提高。
具体而言,如果在当前的摄像元件中使载波为4.8KHz,则能得到2400bps左右的传送速率。将来,随着摄像元件的高速化,能得到几十kbps的传送速率。
另外,如果在步骤820e中数据的读取完成,则使快门速度低速化,使空白期间变长,向(a)的通常摄影模式返回。
通过上述空白期间的缩短和特定行的反复读出,同步信号及地址的读出变可靠,能够大幅地提高本发明的样式传送方式的传送速度。
(变形例)
这里,对关于上述各实施方式的变形例或补充进行说明。
图311A是表示接收装置(摄像装置)的处理动作的流程图。另外,该图311A表示比图128的处理动作更详细的处理动作。
这里,接收机的摄像部不是使全部的受光元件同时曝光的方式(全局快门方式),而是隔开时间差每次使受光元件的一部分依次曝光的方式(卷帘快门方式、焦平面快门方式)。另外,在本发明的解说中使用的“曝光”,包括通过物理的快门控制光照在摄像元件上的时间的曝光方式、和通过电子快门仅将特定的时间内的摄像元件的输出取出的曝光方式。
首先,在步骤7340a中,在摄像模式是全局快门模式的情况下,变更为卷帘快门模式。接着,在步骤7340b中,设定快门速度,以使得在将5毫秒以上的时间幅度的移动平均亮度不变化、在5毫秒以下的区域中使亮度变化的被摄体拍摄时摄影出亮线。
在步骤7340c中,设定受光元件的感度,以使上述亮线的较亮的部分与较暗的部分的差变大。接着,在步骤7340d中,将摄像模式设为微距摄像模式。或者,与将焦点对在发送机上相比,将焦点距离设定得较短。由此,通过将发送机模糊而较大地摄像,能够增加将亮线摄像的曝光行。
在步骤7340e中,在与曝光行垂直的方向上观察亮线的亮度的变化。接着,在步骤7340f中,求出上述亮度相比其他场所急剧变高的部位的间隔、或者急剧变低的部位的间隔,从该间隔读取发送信号。或者,求出亮度变化的周期,从该周期读取发送信号。
图311B是将通过通常摄像模式得到的图像、与通过微距摄像模式得到的图像对比表示的图。如该图311B所示,通过将发光的被摄体以微距摄像模式摄像而得到的图像7307b与通过将相同的被摄体用通常摄像模式摄像得到的图像7307a相比包含许多较亮的区域。结果,在微距摄像模式中,能够增加能够对该被摄体生成亮线的曝光行的数量。
图312是表示将影像等显示的显示装置的图。
例如具备液晶显示器等的显示装置7300a在影像区域7300b中显示影像,在信息显示区域7300c中显示各种信息。并且,显示装置7300a构成为发送机(发送装置),通过使背灯的亮度变化来发送信号。
图313是表示显示装置7300a的处理动作的一例的图。
首先,在步骤7350a中,设为信号发送模式。接着,在步骤7350b中,通过使信息显示区域7300c的背灯的亮度变化而发送信号。
图314是表示显示装置7300a的发送信号的部分的例子的图。
显示装置7300a也可以通过使背灯成为开启的部分(7301d、7301f、7301g、7301i)的亮度变化而发送信号,从其他部分(7301c、7301e、7301h、7301j)不发送信号。
图315是表示显示装置7300a的处理动作的另一例的图。
首先,在步骤7351a中,设为信号发送模式。接着,在步骤7351b中,为了运动分辨率的提高,在画面切换时将背灯关闭的情况下,仅用背灯成为开启的部分发送信号。并且,在步骤7351c中,在画面的全部的部分的背灯成为关闭的期间中不发送信号。
图316是表示显示装置7300a的发送信号的部分的另一例的图。
显示装置7300a将用于各部分(7302b、7302e、7302g、7202j)的运动分辨率提高的背灯控制关闭,从这些部分发送信号。另一方面,显示装置7300a将用于其他各部分(7302c、7302d、7302h、7301i)的运动分辨率提高的背灯控制开启。
图317是表示由显示装置进行的处理动作的再另一例的图。
首先,在步骤7352a中设为信号发送模式。接着,在步骤7352b中,将用于画面的一部分(7302b、7302e、7302g、7202j)的运动分辨率提高的的背灯控制关闭,从该部分发送信号。
并且,在步骤7352c中,调整背灯的平均亮度,以使发送信号的部分的明亮程度与不发送信号的部分的背灯的平均亮度成为同等。该调整既可以通过信号发送时的背灯的闪烁时间比的调整来进行,也可以通过背灯的最大亮度的调整来进行。
图318是表示包括发送机及接收机的通信系统的结构的图。
该通信系统具备发送机7303a、7303b、控制装置7303c、网络7303d、ID管理服务器7303e、无线接入点7303f和接收机7303g、7303h。
图319是表示图318的通信系统的处理动作的流程图。
首先,在步骤7353a中,在ID管理服务器7303e中,将发送机的ID、无线接入点7303f的信息(SSID、口令、无线接入点的ID、无线频率、接入点的位置信息、可连接的位置信息等)、和控制装置7303c的信息(IP地址等)建立关联而存储。接着,在步骤7353b中,发送机7303a或7303b将发送机7303a或7303b的ID发送。另外,发送机7303a或7303b也可以还发送无线接入点7303f的信息和控制装置7303c的信息。并且,在步骤7353c中,接收机7303g或7303h接收发送机7303a或7303b的ID,从ID管理服务器7303e取得无线接入点7303f的信息和控制装置7303c的信息。或者,接收机7303g或7303h接收发送机7303a或7303b的ID和无线接入点7303f的信息。
接着,在步骤7353d中,发送机7303a或7303b连接在无线接入点7303f上。并且,在步骤7353e中,发送机7303a或7303b将网络上的ID管理服务器7303e的地址、向该ID管理服务器7303e的命令、和发送机7303a或7303b的ID向控制装置7303c发送。
进而,在步骤7353f中,控制装置7303c将受理ID向接收机7303g或7303h发送。接着,在步骤7353g中,控制装置7303c进行向网络上的ID管理服务器7303e的命令,得到应答。此时,控制装置7303c作为代理服务器动作。
进而,在步骤7353h中,控制装置7303c从发送机ID所表示的发送机7303a或7303b发送上述应答和上述受理ID。该发送也可以反复进行,直到被从接收机7303g或7303h送来接收完成通知、或者直到经过一定时间。
接着,在步骤7353i中,接收机7303g或7303h接收上述应答。进而,在步骤7353j中,接收机7303g或7303h将上述受理ID向控制装置7303c发送,通知接收完成。
并且,在步骤7353k中,另外,接收机7303g或7303h也可以在处于不能接收到发送机7303a或7303b的信号的位置的情况下向控制装置7303c通知,以经由无线接入点7303f返回应答。
图320是表示上述各实施方式的信号传送的变形例的图。
在本发明的接收方式中,在接收机的摄像部中越大地摄影了发送机的发光部则信号传送效率越高,所以如果将较小的电球或装备在较高的顶棚上的照明作为发送机的发光部,则信号传送效率较差。所以,通过将发送机7313a的照明光照在墙壁、顶棚、地板及照明的灯罩等上,将其反射光7313b用接收机7313c摄像,能够提高信号传送的效率。
图321是表示上述各实施方式的信号传送的变形例的图。
发送机7314d通过向展示品7314a投影包含发送信号的照明光、将其反射光7314b用接收机7314c摄像,进行信号传送。
图322是表示上述各实施方式的信号传送的变形例的图。
发送机7315a发送的信号由具备照度传感器的接收机7315b接收。接收机7315b由于不是摄像元件而是使用照度传感器接收信号,所以耗电较低,适合于总是接收信号,轻量,能够便宜地制造。
接收机7315b作为眼镜、耳环、发饰、腕表、助听器、项链、手杖、手推车、购物推车的一部分构成。接收机7315b按照接收到的信号,进行影像显示、声音再现或振动。此外,接收机7315b将接收到的信号通过无线或有线传送路向便携信息终端7315c发送。
图323A是表示上述各实施方式的信号传送的变形例的图。
投影机7316a将投影光作为发送信号而发送信号。接收机7316c将来自屏幕7316b的反射光摄像而接收信号。接收机7316c将投影机7316a投影的内容和其附属信息显示在画面7316d上。向画面7316d显示的内容既可以作为发送信号传送,也可以基于发送信号中包含的ID从服务器7316e取得。
图323B是表示上述各实施方式的信号传送的变形例的图。
接收机7317b将从发送机7317a发送的信号接收。接收机7317b向登记在接收机7317b中的耳机或助听器7317c发送声音。在登记在接收机7317b中的用户简况中包含视觉障碍的情况下,接收机7317b将视觉障碍者用的解说声音向耳机7317c发送。
图323C是表示上述各实施方式的信号传送的变形例的图。
从发送机7318a、7318b发送的信号由接收机7318c接收。接收机7318c也可以使用照度传感器接收信号。接收机7318c通过具备指向性较高的照度传感器,能够高精度地推测发送机所在的方向。此外,接收机7318c通过具备多个照度传感器,能够扩大能够接收发送信号的范围。接收机7318c将接收到的信号向耳机7318d或头戴显示器7318e发送。
图323D是表示包括显示器或投影机和接收机的通信系统的处理动作的流程图。另外,该流程图比哦是与图323A~图323C所示的信号传送的例子对应的处理动作。
首先,在步骤7357a中,将发送机的ID、显示内容ID和向显示器或投影机显示的内容建立关联,向ID管理服务器记录。接着,在步骤7357b中,发送机在显示器或投影机上显示内容,并使用显示器的背灯或投影机的投影光发送信号。发送信号也可以包括发送机的ID、显示内容ID、保存有显示内容的URL、或显示内容本身。
进而,在步骤7357c中,接收机将上述发送信号接收。并且,在步骤7357d中,接收机基于接收到的信号,取得发送机显示在显示器或投影机上的内容。
接着,在步骤7357e中,在接收机中设定有用户简况的情况下,取得适合于该简况的内容。例如,在设定了听力较差的简况的情况下,取得字幕数据或手边再现用的声音内容,在设定了视力较差的简况的情况下,取得声音解说用的内容。
进而,在步骤7357f中,接收机使接收机的显示器显示所取得的图像内容,使所取得的声音内容从接收机的扬声器、耳机或助听器再现。
图324是表示实施方式12的发送信号的例子的图。另外,该图324是详细地说明图250的发送信号的。
在将发送信号用图84~图87、图302等的方法编码的情况下,接收机只要检测到亮度值急剧变高的点7308c、7308d、7308e,就能够将发送信号解码。此时,发送信号7308a和7308b是等价的,变现相同的信号。
因此,如发送信号7308a和7308b那样,通过调节降低亮度的时间,能够使平均亮度变化。在需要使发送机的亮度变化的情况下,通过这样调节平均亮度,能够不对发送信号的内容添加变化而进行亮度的调节。
图325是表示实施方式7的发送信号的例子的图。另外,该图325是详细地说明图91的发送信号的。
发送信号7309a或7309b如果取7309d左右的长度的平均亮度,则可以看作与发送信号7309c等价。通过如发送信号7309a或7309b那样、以通过其他接收机不能观察的时间幅度使亮度变化,能够叠加别的信号。
图326是表示实施方式7的发送信号的另一例的图。另外,该图326是详细地说明图91的发送信号的。
通过对发送信号7310a添加用其他接收机不能观察的时间幅度下的亮度变化而成为7310c,叠加别的信号。在发送信号7310a中在亮度下降的区间中不能叠加信号的情况下,通过对高速调制部分加上7310e那样的开始信号和结束信号,能够将高速调制信号断续地发送。
图327A是表示上述各实施方式的接收机的摄像元件的一例的图。
许多的摄像元件由于为7311a那样的配置,所以在将光学黑体摄像的期间中不能将发送机摄像。但是,通过使摄像元件的配置成为7311b那样,能够将发送机进行更长时间摄像。
图327B是表示上述各实施方式的接收机的摄像装置的内部电路的结构例的图。
摄像装置7319a具备切换全局快门模式和卷帘快门模式的快门模式变更部7319b。接收机当开始接收时,将快门模式变更为卷帘快门模式,当接收结束时,将快门模式变更为全局快门模式,或者,回到接收开始前的设定。
图327C是表示上述各实施方式的发送信号的例子的图。
在作为在照相机中不映照出闪变的频率而将载波设为1kHz的情况下,1时隙为1毫秒(7320a)。此时,在图85的调制方式(4PPM调制)中,1符号(4时隙)的平均值为75%(7320b)。4毫秒间的移动平均的值域为75%±调制度/4。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,载波为800Hz以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,载波为4kHz以上。
同样,当载波为1kHz时,在图302的调制方式(5PPM调制)中,1符号(5时隙)的平均值为80%(7320c)。5毫秒间的移动平均的值域为80%±调制度/5。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,载波为800Hz以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,载波为5kHz以上。
图327D是上述各实施方式的发送信号的例子。
头样式与表示数据的样式不同,并且为了消除闪变,必须使表示数据的样式与平均亮度相等。作为2200.2a的调制方式的数据样式与平均亮度相等的样式,有7321b、7321c、7321d、7321e等的样式。在能够阶段地控制亮度值的情况下,7321b是优选的。在如7321e那样、亮度的变化相比接收机的摄像装置的曝光时间足够快的情况下,在接收机中如7321b那样观察到。在7219a的调制方式中,以包含头样式的形式决定调制方式。
图328A是用来说明接收机的摄像模式的图。
接收机在通常摄像模式下,通过使用图像传感器中包含的全部的曝光行(摄像行)进行摄像而取得图像7304a。例如,全部的曝光行是3000个。并且,接收机通过该摄像,在时刻t1~t4之间取得1张图像,进而在时刻t5~t8之间取得1张图像。
这里,在仅在图像的一部分中映照出作为发送机的被摄体的情况下,接收机有时不能接受来自该被摄体的信号。例如,在仅第1001~第2000个曝光行捕捉被摄体、其他曝光行未捕捉被摄体的情况下,第1001~第2000个曝光行不曝光时,即当第1~第1000个曝光行曝光时(时刻t1~t2,t5~t6)、和第2001~第3000个曝光行曝光时(时刻t3~t4,t7~t8),不能接受来自该被摄体的信号。
所以,接收机如果摄像模式被从通常摄像模式切换为特别摄像模式A,则仅将全部的曝光行中的、捕捉到被摄体的曝光行用于摄像。即,接收机在时刻t1~t4之间、和时刻t5~t8之间,仅将第1001~第2000个曝光行用于摄像。此外,在该特别摄像模式A中,遍及作为时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,将第1001~2000个曝光行依次仅1次地分别均等地曝光。由此,能够防止来自被摄体的信号的取得失败。
图328B是表示接收机的使用特别摄像模式A的处理动作的流程图。
首先,在步骤7354a中,从摄像图像中找出将亮线摄像的部分。接着,在步骤7354b中,将手抖动修正功能开启。
并且,在步骤7354c中,切换为仅使用将亮线摄像的曝光行的像素进行摄像的特别摄像模式A。在特别摄像模式A中,设定各曝光行的曝光时间,以使从开始将曝光行曝光起到开始将下个曝光行摄像为止的时间成为与将1张图像摄像的期间(例如时刻t1~t4)在时间上等间隔。另外,也可以将与曝光行垂直的方向的像素间隔剔除而进行摄像。
由此,由于来自接收机的摄像部的帧的输出张数与通常摄像模式没有变化,所以该特别摄像模式A适合于具有性能较低的处理装置的接收机、或具有也进行别的处理的处理装置的接收机。
进而,在步骤7354d中,指定用特别摄像模式A摄像的区域。这里,通过作为上述摄像的区域而指定比摄像了亮线的区域窄的区域,由此,即使是因手抖动等而摄像方向变化的情况,也能够将亮线持续摄像。
并且,在步骤7354e中,检测摄像图像的移动。通过使上述摄像的区域向该移动方向移动,即使是摄像图像的位置变化的情况也能够将亮线持续摄像。接着,在步骤7354f中,取得从亮线的样式发送的信息。
图329A是用来说明接收机的其他摄像模式的图。
接收机如果摄像模式被从通常摄像模式切换为特别摄像模式B,则仅将全部的曝光行中的、捕捉到被摄体的曝光行用于摄像。即,接收机在时刻t1~t4之间和时刻t5~t8之间,仅将第1001~第2000个曝光行用于摄像。此外,在该特别摄像模式B中,遍及作为时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,执行多次将第1001~第2000个曝光行依次曝光的动作。由此,能够防止来自被摄体的信号的取得失败。
图329B是表示接收机的使用特别摄像模式B的处理动作的流程图。
首先,在步骤7355a中,从摄像图像中找出将亮线摄像的部分。接着,在步骤7355b中,将手抖动修正功能开启。
并且,在步骤7355c中,切换为仅使用将亮线摄像的曝光行的像素进行摄像的特别摄像模式B。在特别摄像模式B中,通过仅将摄像了亮线的区域进行摄像,从而高速地进行摄像。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
接着,在步骤7355d中,指定用特别摄像模式B摄像的区域。这里,通过作为上述摄像的区域而指定比拍摄有亮线的区域窄的区域,即使在因手抖动等而摄像方向变化的情况下也能够将亮线持续摄像。
并且,在步骤7355e中,检测摄像图像的移动。通过使上述摄像的区域向该移动方向移动,即使在摄像图像的位置变化的情况下也能够将亮线持续摄像。接着,在步骤7355f中,取得从亮线的样式发送的信息。
图330A是用来说明接收机的另一摄像模式的图。
接收机如果摄像模式被从通常摄像模式切换为特别摄像模式C,则仅将全部的曝光行中的、捕捉到被摄体的曝光行用于摄像。即,接收机在时刻t1~t4之间和时刻t5~t8之间,仅将第1001~第2000个曝光行用于摄像。此外,在该特别摄像模式C中,遍及作为时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,执行多次仅将第1001~第2000个曝光行依次曝光的动作。进而,在该特别摄像模式C中,不将通过该多次执行而得到的多个图像分别单独地输出,而是输出包括该多个图像的1个图像(与以通常摄像模式生成的图像相同尺寸的图像)。由此,能够防止来自被摄体的信号的取得失败。
图330B是表示接收机的使用特别摄像模式C的处理动作的流程图。
首先,在步骤7356a中,从摄像图像中找出将亮线摄像的部分。接着,在步骤7356b中,将手抖动修正功能开启。
并且,在步骤7356c中,切换为仅使用将亮线摄像的曝光行的像素进行摄像的特别摄像模式C。特别摄像模式C是仅将亮线摄像的区域进行摄像,忽视原来的像素配置,通过将摄像结果排列来制作一张图像的方法。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
由此,来自接收机的摄像部的帧的输出张数与通常摄像模式没有变化,所以该特别摄像模式C适合于具有性能较低的处理装置的接收机、或具有也进行别的处理的处理装置的接收机。
进而,在步骤7356d中,指定用特别摄像模式C摄像的区域。这里,通过作为上述摄像的区域而指定比摄像了亮线的区域窄的区域,即使在通过手抖动等而摄像方向变化的情况下也能够将亮线持续摄像。
并且,在步骤7356e中,检测摄像图像的移动。通过使上述摄像的区域向该移动方向移动,即使在摄像图像的位置变化的情况下也能够将亮线持续摄像。接着,在步骤7356f中,取得从亮线的样式发送的信息。
以上,基于实施方式对有关一个或多个技术方案的信息通信方法进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个技术方案的范围内。
图331A是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括步骤SA11、SA12及SA13。
即,该信息通信方法包括:曝光时间设定步骤(SA11),设定图像传感器的曝光时间,以使得在通过由上述图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤(SA12),通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;信息取得步骤(SA13),通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331B是有关本发明的一技术方案的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置A10是从被摄体取得信息的信息通信装置,具备构成要素A11、A12及A13。
即,该信息通信装置A10具备:曝光时间设定部A11,设定图像传感器的曝光时间,以使得在通过由上述图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;作为上述图像传感器的摄像部A12,通过将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;解调部A13,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331C是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括步骤SA21~SA26。
即,该信息通信方法包括:第1摄像步骤(SA21),通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第1图像;检测步骤(SA22),从上述第1图像中检测拍摄有上述被摄体的范围;决定步骤(SA23),在上述多个曝光行中,决定将拍摄有上述被摄体的范围摄像的规定的曝光行;曝光时间设定步骤(SA24),设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中、根据上述被摄体的亮度变化而产生与上述规定的曝光行对应的亮线;第2摄像步骤(SA25),通过使用上述规定的曝光行将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的第2图像;信息取得步骤(SA26),通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
图331D是有关本发明的一技术方案的信息通信装置的框图。
有关本发明的一技术方案的信息通信装置A20是从被摄体取得信息的信息通信装置,具备构成要素A21~A26。
即,该信息通信装置A20具备:第1图像取得部A21,通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第1图像;摄像范围检测部A22,从上述第1图像中检测拍摄有上述被摄体的范围;曝光行决定部A23,在上述多个曝光行中,决定对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定部A24,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中、根据上述被摄体的亮度变化而产生与上述规定的曝光行对应的亮线;第2图像取得部A25,通过使用上述规定的曝光行将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的第2图像;解调部A26,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
另外,上述的亮线的样式与各亮线的间隔的差异是同义的。
图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
例如,对于以200Hz以上的频率进行亮度变化的被摄体,将曝光时间设定得比10毫秒短。这里,将图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。在这样的情况下,如图332所示,在通过图像传感器得到的图像中产生一些亮线。即,该图像包含与曝光行平行的亮线。此外,在信息取得步骤(SA13或SA26)中,将通过该亮线的样式中的、与曝光行垂直的方向的样式确定的数据解调。
在通过这样的图331A及图331B表示的信息通信方法及信息通信装置A10中,由于将通过被摄体的亮度变化而发送的信息通过图像传感器的曝光行的曝光取得,所以例如不需要用来进行无线通信的特别的通信设备,能够进行多种多样的设备间的通信。进而,在由图331C及图331D表示的信息通信方法及信息通信装置A20中,由于仅将图像传感器中包含的全部曝光行中的、捕捉到被摄体的曝光行用于包括亮线的第2图像的取得,所以能够省去对于没有捕捉到被摄体的曝光行的处理,能够提高信息取得的效率并防止来自被摄体的信息的取得失败。
图333A是有关本发明的另一技术方案的信息通信方法的流程图。
有关本发明的另一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SB11、SB12及SB13。
即,该信息通信方法包括:决定步骤(SB11),通过将发送对象的信号调制,决定亮度变化的样式;第1发送步骤(SB12),通过发光体按照所决定的上述样式而进行亮度变化,将上述发送对象的信号发送;第2发送步骤(SB13),通过上述发光体在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而进行亮度变化,将与上述发送对象的信号相同的信号发送。并且,在上述决定步骤(SB11)中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
图333B是有关本发明的另一技术方案的信息通信装置的框图。
有关本发明的另一技术方案的信息通信装置B10是通过亮度变化发送信号的信息通信装置,具备构成要素B11及B12。
即,该信息通信装置B10具备:亮度变化样式决定部B11,通过将发送对象的信号调制,决定亮度变化的样式;发光体B12,通过按照所决定的上述样式而进行亮度变化,将上述发送对象的信号发送,通过在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而进行亮度变化,将与上述发送对象的信号相同的信号发送。并且,上述亮度变化样式决定部B11决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
在由这样的图333A及图333B表示的信息通信方法及信息通信装置B10中,由于决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中,所以能够在防止人感到闪变的同时通过亮度变化来发送信号。进而,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白(blanking),也能够可靠地将信号向该接收机发送。
图334A是有关本发明的再另一技术方案的信息通信方法的流程图。
有关本发明的再另一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SC11、SC12、SC13及SC14。
即,该信息通信方法包括:决定步骤(SC11),通过将发送对象的信号调制,决定多个频率;发送步骤(SC12),通过发光体按照所决定的上述多个频率中的某个一定的频率而进行亮度变化,来发送信号;变更步骤(SC14),将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。另外,也可以是,在执行发送步骤SC12后,判断是否所决定的全部的频率已在亮度变化中使用(SC13),在判断为还没有使用全部的频率的情况下(SC13中否),执行更新步骤SC14。此外,在上述发送步骤(SC12)中,上述发光体进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先决定的范围中。
图334B是有关本发明的再另一技术方案的信息通信装置的框图。
有关本发明的再另一技术方案的信息通信装置C10是通过亮度变化发送信号的信息通信装置,具备构成要素C11、C12及C13。
即,该信息通信装置C10具备:频率决定部C11,通过将发送对象的信号调制,决定多个频率;发光体C13,通过发光体按照所决定的上述多个频率中的某个一定的频率而进行亮度变化,来发送信号;频率变更部C12,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。此外,上述发光体C13进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先决定的范围中。
在通过这样的图334A及图334B表示的信息通信方法及信息通信装置C10中,由于决定亮度变化的样式,以使对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先决定的范围中,所以能够在防止人感到闪变的同时通过亮度变化来发送信号。进而,能够发送FM调制的许多信号。
此外,也可以是,信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
此外,也可以是,上述信息通信装置还具备将表示自己的起动状态或用户的使用履历的设备内部的传感到的信息保存的起动履历管理部,上述光发送部取得预先登记有利用的时钟发生装置的性能信息,变更发送速度。
此外,也可以是,上述发光元件具备第一及第二发光元件,在用来通过光的闪烁发送信息的上述第一发光元件的周围配置有上述第二发光元件,上述第二发光元件在通过上述第一发光元件的闪烁进行的信息发送被重复一定次数的情况下,在信息发送的结束与开始之间发光。
此外,上述信息通信装置也可以具备隔开时间差而使各摄像元件曝光的摄像部、和利用上述各摄像元件的曝光时间的差异从1张摄像图像中读取被摄像物的1毫秒以下的时间平均亮度的变化的信号解析部。
此外,上述时间平均亮度也可以是3万分之1秒以上的时间平均亮度。
上述信息通信装置还可以将发送信息调至为发光样式,通过发光样式发送信息。
上述信息通信装置也可以将发送信号用1毫秒以下的时间平均亮度的变化表现,并且使发光部的亮度变化,以使60毫秒以上的时间平均亮度为均匀的。
上述信息通信装置也可以将上述发送信号用3万分之1秒以上的时间平均亮度的变化表现。
此外,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的共通部分,通过以与上述同种的信息通信装置的发光部相同的定时使发光部发光来发送。
进而,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的非共通部分,在上述同种的信息通信装置没有用时间平均亮度表现信号的时间段中,通过发光部的时间平均亮度表现。
此外,也可以是,上述信息通信装置具备将上述发送信号用时间平均亮度的变化来表现的第1发光部、和不将上述发送信号用时间平均亮度的变化来表现的第2发光部,通过第1发光部和第2发光部的位置关系来发送信号。
此外,集中控制装置也可以具备集中控制上述某个信息通信装置的控制部。
此外,建筑物也可以具备上述某种信息通信装置或上述集中控制装置。
此外,列车也可以具备上述某个信息通信装置、或上述集中控制装置。
此外,摄像装置也可以是将2维图像摄像的摄像装置,比使全部的摄像元件曝光而摄像更高速地、仅使任意的摄像元件曝光而摄像。
此外,上述任意的摄像元件也可以是将1毫秒以下的时间平均亮度的变化最大的像素摄像的摄像元件、或者包括该摄像元件的1列的摄像元件。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。例如程序使计算机执行由图331A、图331C、图333A及图334A中的某个流程图表示的信息通信方法。
产业上的可利用性
本发明能够用于信息通信装置等中,特别是能够用于在智能电话、平板电脑、便携电话等的便携终端与空调、照明设备、炊饭机等的家电设备的通信方法中利用的信息通信装置等中。
标号说明
1101 电视机
1105 智能电话
1106 电灶
1107 空气净化机
1201 智能电话
1301 发送侧装置
1309 发送速度判断部
1401 接收侧装置
1404 图像取得部
1406 闪烁信息取得部
3001a 移动终端
3001b 门禁电话宅内器
3001c 门禁电话宅外器
3001e 住宅配送订购服务器
3001f 住宅配送者移动终端
4040a 电灶表
4040b 便携设备表
4040c 便携设备机种表
4040d 用户声音特性表
4040e 用户键字声音表
4040f 用户拥有设备位置表
4040h 用户位置表
A10、B10、C10 信息通信装置
A11 曝光时间设定部
A12 摄像部
A13 解调部
B11 亮度变化样式决定部
B12、C13 发光体
C11 频率决定部
C12 频率变更部