CN102474570B - 信息显示装置、显示控制用集成电路及显示控制方法 - Google Patents

Abstract

本发明提供一种信息显示装置、显示控制用集成电路及显示控制方法，该信息显示装置进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面。该信息显示装置具备：拍摄部，拍摄位于拍摄范围内的图像；高速缓冲存储器，将位于所述图像内的光源发送来的光源信息依次进行缓存；优先级设定部，将缓存于所述高速缓冲存储器中的光源信息，按距离当前的拍摄范围越近的光源优先级就越高的顺序来设定优先级；通信信息处理部，在缓存于所述高速缓冲存储器的光源信息中，从优先级低的光源信息开始按顺序删除。

Description

信息显示装置、显示控制用集成电路及显示控制方法

技术领域

本发明涉及在按时间序列拍摄的图像上重叠显示用信息，并进行显示的信息显示装置，具体涉及一种有效地活用高速缓冲存储器(cachememory)来提高装置的整体性能的技术。

背景技术

现有技术中，已知一种使用图像传感器将通过可见光通信而从拍摄范围内的信息发送源(光源)获得的信息重叠于拍摄图像并向用户显示的装置。专利文献1中记载：与商店摆放商品的陈列架或市内的广告牌等所设置的信息发送源，通过亮度变化来发送与商品或广告牌相应的内容的提示信息，拍摄装置按时间序列拍摄图像，根据每个图像区域的亮度变化来分别提取提示信息，并将所提取的提示信息重叠于所拍摄的图像，由此来明确信息提示对象物与其提示信息之间的对应关系，从而能够防止对信息的把握产生误解。

然而，这样的拍摄装置只能从位于拍摄范围内的信息发送源(光源)来获取信息。因此，当来自光源的信息较大时，从拍摄到将信息进行重叠显示就需要等待一定的时间。当拍摄者边移动边进行拍摄时，拍摄范围发生变化，并且信息发送源的更换也频繁发生。此时当拍摄范围发生变化而拍摄到新的信息发送源时，就会产生通信处理，不用说，只有等到该处理完成，才能显示与新的信息发送源有关的提示信息。

一方面，当同一信息发送源一会儿进入拍摄范围，一会儿脱离拍摄范围的情况频繁发生时，则每当信息发送源进入拍摄范围时，为获取同一信息而产生的通信处理就会产生等待时间，从而降低了装置的整体性能。为了解决这样的技术问题，例如有下述的方法：将在信息发送源进入拍摄范围时所获取的提示信息预先保存到高速缓冲存储器，当同一信息发送源脱离拍摄范围而又再次进入拍摄范围时，就从高速缓冲存储器中读出提示信息来利用。

此外，专利文献2中公开了能够高速且高精度地进行光轴调整的光无线传输系统。专利文献2中记载：设置于顶棚等的母机通过对信号传输用的窄指向性光和光轴调整用的宽指向性光进行同轴地控制并发送，设置于书桌等的光无线传输装置通过第1方向检测部高速地确定母机的位置，并通过第2方向检测部高精度地确定母机的位置，从而在不增加成本的情况下就能够实现装置的小型化，并能够在光通信中高速且高精度地进行光轴调整。

在使用上述的高速缓冲存储器的方法中，一般用于缓存的存储器的容量都一定，因此为了有效地活用高速缓冲存储器，就从储存有缓存时间最旧的信息或访问次数最少的信息的区域开始，按顺序在其上盖写新的信息并进行储存，并依次消去以前的信息。当用户一边移动一边进行拍摄时，随着拍摄范围的变化，所拍摄的光源也发生变化，相同的光源反复被拍摄。虽然通过将被拍摄过一次的光源进行缓存，能够缩短再次获取时的显示时间，或削减通信成本，但上述这样的缓存方法(FIFO(先进先出)或LILO(后进后出))却只能够在向一定的方向移动等特定的条件下才有效。

例如，使所缓存的信息中时间越旧的信息优先级越低(容易使之从缓存中消去)的情况下，当拍摄者一边向右移动一边拍摄市内时，在中途暂停拍摄的状态下，左方向的信息发送源距离暂停的地方越远，则与该信息发送源有关的信息的优先级就变得越低。于是，当继续从暂停前所拍摄的地方的左侧再次开始向右边移动边进行拍摄时，与距离拍摄范围近的信源有关的信息发送源的优先级就变得比与距离拍摄范围远的信源有关的信息的优先级低的状态。

因此，即使是与距离拍摄范围近的信源有关的信息，当其被拍摄的顺序变旧的情况下，不管其是否会立即进入拍摄范围，都会最先被从高速缓冲存储器中消去，当其再次进入拍摄范围时，与第1次拍摄时同样地要花费相同的通信时间和成本，因此很不理想。这样，在中途出现暂停，在附近反复进行拍摄的情况下，就不能够有效地活用高速缓冲存储器。

在这样的状态下，为了再次获取曾经获取过一次的信息而产生的通信处理，就提高了等待时间产生的可能性，导致响应性、存储器效率低下，从而降低了装置的整体性能。并且，在这样的状态下若要确保充分的性能，则需要具备处理速度快的高性能的结构，从而又会导致成本的增加。

此外，假设专利文献2的光无线传输系统用于用户拿在手中边走边使用这样的移动设备的情况下，由于受光部的方向或位置动态地发生变动，所以很难对光轴进行阶段性地调整，因此不实用。

专利文献1：日本特开2001-245253号公报

专利文献2：日本特开2004-349797号公报

发明内容

因此，本发明的目的在于提供一种信息显示装置、显示控制用集成电路及显示控制方法，能够提高被拍摄过一次的光源的缓存命中率，缩短用户等待显示的时间，并能够降低成本。

本发明涉及信息显示装置、显示控制用集成电路及显示控制方法。为解决上述技术问题，本发明的信息显示装置进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面，该信息显示装置具备：拍摄部，拍摄位于拍摄范围内的图像；高速缓冲存储器，将位于图像内的光源发送来的光源信息依次进行缓存；优先级设定部，将缓存于高速缓冲存储器中的光源信息，按距离当前的拍摄范围越近的光源优先级越高的顺序来设定优先级；通信信息处理部，在缓存于高速缓冲存储器的光源信息中，从优先级低的光源信息开始按顺序删除。

优选的是，信息显示装置中，优先级设定部根据从当前的拍摄范围的中心到光源中心的距离值、或将距离量化了的值是否小，来判断是否是距离当前的拍摄范围近的光源。

优选的是，信息显示装置还具备移动特性预测部，该移动特性预测部根据位于图像内的光源的坐标和面积的变化来预测移动特性。优先级设定部可以基于移动特性来补正光源中心的坐标，并根据从当前的拍摄范围的中心到补正后的光源中心的坐标的距离是否近，来判断是否是距离当前的拍摄范围近的光源。

优选的是，信息显示装置也可以将缓存于高速缓冲存储器的光源中、优先级高且位于当前的拍摄范围外的光源的光源信息显示于画面。

为解决上述技术问题，本发明的信息显示方法是进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面，该信息显示方法具备：对位于拍摄范围内的图像进行拍摄的步骤，将位于图像内的光源发送来的光源信息依次缓存到高速缓冲存储器的步骤；将缓存于高速缓冲存储器的光源信息，按距离当前的拍摄范围越近的光源优先级越高的顺序来设定优先级的步骤；在缓存于高速缓冲存储器的光源信息中，从优先级低的光源信息开始按顺序删除的步骤。

此外，为解决上述技术问题，本发明的集成电路用于信息显示装置，该信息显示装置进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面。该集成电路具备：高速缓冲存储器，将位于拍摄范围内的图像中的光源发送来的光源信息依次进行缓存；优先级设定部，将缓存于高速缓冲存储器中的光源信息，按距离当前的拍摄范围越近的光源优先级越高的顺序来设定优先级；通信信息处理部，在缓存于高速缓冲存储器的光源信息中，从优先级低的光源信息开始按顺序删除。

发明效果：如上所述，本发明提供一种信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法，能够提高被拍摄过一次的光源的缓存命中率，从而能够减少用户等待显示的时间，并能够降低通信成本。

附图说明

图1是示出第1实施方式中的信息显示系统1的功能结构的概要图。

图2是示出通过光的强弱从信息发送源100被发送到信息显示装置200的通信信息的数据格式的一例图。

图3是示出的本实施方式中，从信源区域检测处理到信源区域信息处理，以及将显示用信息重叠于所拍摄的图像，并进行显示的显示用处理的一连串顺序的图。

图4是示出进行步骤S7的信源区域信息处理的子程序的一连串顺序的图。

图5是示出进行步骤S18的高速缓冲存储器的优先级计算处理的子程序的一连串顺序的图。

图6是示出步骤S34的优先级计算处理的概要图。

图7是示出缓存优先级的使用例的概要图(其1)。

图8是示出缓存优先级的使用例的概要图(其2)。

图9是示出缓存优先级的使用例的概要图(其3)。

图10是示出缓存优先级的使用例的概要图(其4)。

图11是示出缓存优先级的使用例的概要图(其5)。

图12是示出缓存优先级的使用例的概要图(其6)。

图13是示出第2实施方式中的信息显示系统2的功能结构的概要图。

图14是示出进行图3中的步骤S7的信源区域信息处理的子程序的一连串顺序的图。

图15是示出进行图14中步骤S42的信源移动特性预测处理的子程序的一连串顺序的图。

图16是示出在拍摄部210所拍摄的图像框外，合成通信信息处理部226所提取的、与位于拍摄范围外的信源有关的显示用信息后，显示于显示设备300的画面的例子的图。

附图标记说明

100信息发送源

110识别信息存储部

120通信数据生成部

130调制器

140发送用光源

200信息显示装置

210拍摄部

211镜头

212图像传感器

220信息处理部

221获取信息处理部

222图像信息处理部

223高速缓冲存储器

224识别信息提取部

225存在判定部

226通信信息处理部

227优先级设定部

230显示控制部

231显示用信息生成部

232图像重叠部

240位置坐标获取部

250方位角度获取部

300显示设备

400信息显示装置

428移动特性预测部

具体实施方式

[第1实施方式]

<概要>

第1实施方式的信息显示装置200预先将光源的位置(计算与拍摄视角中心相距的相对距离)及来自光源的通信内容、拍摄条件(拍摄角度、拍摄方向、移动方向、移动量)进行缓存，总是不断地更新光源的位置，对被拍摄过一次的信源中、虽然脱离了拍摄范围但却位于容易再次进入拍摄范围的位置的、与距离拍摄视角近的信源有关的信息附加高的缓存优先级。根据第1实施方式，能够提高重叠于显示图像的信息的响应性，从而提高缓存利用率。

<结构>

图1是示出第1实施方式中的信息显示系统1的功能结构的概要图。

图1所示的信息显示系统1包括：信息发送源100、信息显示装置200及显示设备300。

信息发送源100是与店内摆放商品的陈列架或市内的广告牌等一起设置的台式电子设备，具有将显示用信息作为光源信息来发送的功能，它包括：识别信息存储部110、通信数据生成部120、调制器130及发送用光源140。

信息显示装置200例如是数码相机或带摄像头的移动电话等具备拍摄功能的便携式电子设备，它通过光无线通信来获得显示用信息，具有在所拍摄的图像上重叠显示用信息，并进行显示的功能，该信息显示装置200具备：拍摄部210、信息处理部220、显示控制部230、位置坐标获取部240及方位角度获取部250。

显示设备300是液晶显示器等图像显示装置。

识别信息存储部110储存用于唯一地确定信息发送源的固体识别信息。这里会有相邻的多个信息发送源100的识别信息存储部110都储存同一固体识别信息的情况，在这样的情况下，假设储存同一固体识别信息的多个信息发送源100能够在相同的定时发送相同的信息，并能将它们作为同一信息发送源来对待。

通信数据生成部120生成要在信息显示装置200上显示的显示用信息。

调制器130将识别信息存储部110中所储存的固体识别信息、及通信数据生成部120所生成的显示用信息转换为电信号。

发送用光源140是LED或荧光灯等能够发送具有一定程度以上强度的光的设备，使用经调制器130转换后的电信号，通过光的強弱来向信息显示装置200发送含有固体识别信息和显示用信息的通信信息。

拍摄部210按时间序列来拍摄图像，包括：调整所输入的光的成像状态的镜头211；及图像传感器212，该图像传感器212通过将镜头211而获得的光的強弱转换为电信号，来生成光电转换信息，并通过将之向信息处理部220依次输出来拍摄图像。此外，这里使用图像传感器来作为光电转换元件，但本发明并不局限于此，只要能够将光的强弱作为亮度信息转换为电信号便可。例如，拍摄部210也可以具备排列于二维平面的光电二极管来代替图像传感器212。

信息处理部220确定拍摄部210所拍摄的图像中所有的信源区域，该信源区域的亮度随时间的经过而以规定的模式进行变化，并且，信息处理部220基于每个信源区域的亮度的变化，从在此所确定的1个或多个信源区域中提取各个信源区域的通信信息，该信息处理部220包括：获取信息处理部221、图像信息处理部222、高速缓冲存储器223、识别信息提取部224、存在判定部225、通信信息处理部226及优先级设定部227。

显示控制部230将信息处理部220所提取的各个区域的通信信息中所包含的显示用信息，重叠于拍摄部210所拍摄的图像，并对亮度或尺寸等进行调整后，使之显示于外部的显示设备300，该显示控制部230包括：显示用信息生成部231及图像重叠部232。

位置坐标获取部240例如具备GPS等能够获得绝对位置的功能，用于获取当前的拍摄坐标。

方位角度获取部250例如具备陀螺仪等能够获得方位或角度等的功能，用于获取当前的拍摄方向。

获取信息处理部221基于拍摄部210的图像传感器212所生成的光电转换信息，来提取用于图像解析的图像信息，并将该图像信息输出到图像信息处理部222。并且，获取信息处理部221确定信息发送源的光源，设定每个光源的信源区域，并按每个在此所设定的信源区域来提取亮度信息，该亮度信息表示与时间序列对应的亮度变化，并且，将表示所设定的信源区域的区域信息与所提取的亮度信息建立对应后，输出到识别信息提取部224及通信信息处理部226。

图像信息处理部222通过对获取信息处理部221所提取的图像信息，实施将图像输出到画面所需的色彩空间转换或视角调整等图像信息处理，来进行显示用调整，并将之输出到图像重叠部232。

高速缓冲存储器223保存含有与过去所拍摄的图像中的信息发送源相对应的显示用信息、与用于唯一地确定该信息发送源的固体识别信息的组。

识别信息提取部224按获取信息处理部221所提取的每个区域信息所表示的信源区域，将获取信息处理部221所提取的亮度信息所表示的、按时间序列变化的亮度变化，识别为“0”和“1”中的任意比特，由此按每个信源区域来提取固体识别信息。

存在判定部225按识别信息提取部224所提取的每个固体识别信息，判定高速缓冲存储器223中是否存在该固体识别信息。

对于经存在判定部225判定为不存在的固体识别信息而言，通信信息处理部226就按获取信息处理部221所提取的每个区域信息所表示的信源区域，将获取信息处理部221所提取的亮度信息所表示的、按时间序列变化的亮度变化识别为“0”和“1”中的任意比特，来提取对应的显示用信息，并将该显示用信息与对应的识别信息组成一组来保存到高速缓冲存储器223中，而对于经存在判定部225判定为存在的固体识别信息而言，通信信息处理部226则从高速缓冲存储器223提取对应的显示用信息。

并且，存在判定部225判定高速缓冲存储器223中是否存在识别信息提取部224所提取的固体识别信息以外的固体识别信息。

当存在判定部225判定为高速缓冲存储器223中存在识别信息提取部224所提取的固体识别信息以外的固体识别信息时，优先级设定部227按保存到高速缓冲存储器223中的每个组，根据对应的信源区域与拍摄视角相距的远近程度来设定缓存优先级，该缓存优先级是决定消除该组的顺序时的指标。具体将在下述的动作部分及使用例部分进行说明。

显示用信息生成部231基于通信信息处理部226所提取的每个信源区域的显示用信息，来決定重叠用信息及其显示样态，并将它们输出到图像重叠部232。

图像重叠部232在经图像信息处理部222实施了图像信息处理的图像信息上，重叠显示用信息生成部231所决定的重叠用信息，并将之输出到显示设备300来显示图像。

此外，图像重叠部232也可以将每个信源区域的显示用信息与各自的信源区域的位置建立关联来进行重叠。具体例如，将对应的显示用信息重叠在信源区域的位置、用带箭头的线条将信源区域的位置与对应的显示用信息连接、或从信源区域的位置示出对话框，在其中记载对应的显示用信息。

图2是示出通过光的强弱从信息发送源100而被发送到信息显示装置200的通信信息的数据格式的一例图。其中，图中的“→”表示时间T的行进方向。

如图2所示，通信信息的数据格式包括前导数据(preambledata)部D10和数据部D20，并被信息发送源100反复巡回地输出。

前导数据部D10中所储存的数据用于在信息显示装置200中识别含有显示用信息的通信信息，并包含表示数据部D20的起始点的固定数据，即前导模式。

数据部D20中所储存的数据包括固体识别信息存储部D21及显示用信息存储部D22。

固体识别信息存储部D21中所储存的数据是识别信息提取部224所提取的固体识别信息。

显示用信息存储部D22中所储存的数据是通信信息处理部226所提取的显示用信息。

<动作>

图3是示出本实施方式中从信源区域检测处理到信源区域信息处理、及使显示用信息重叠于所拍摄的图像并进行显示的显示用处理的一连串顺序的图。

步骤S1～步骤S7是信源区域检测处理的流程。

(1)获取信息处理部221将图像传感器212所拍摄的图像的图(image)作为帧数据，将相当于前导数据部D10的比特数的多个帧数据进行缓冲(步骤S1)。

(2)判断步骤S1中所缓冲的多个帧数据中是否有亮度正在变化的光源(步骤S2)。

(3)有亮度正在变化的光源的情况下(步骤S2：是)，获取信息处理部221将所缓冲的帧数据与前导数据部D10中的前导模式进行比较，判断它们是否一致(步骤S3)。

(4)没有亮度正在变化的光源的情况(步骤S2：否)及不一致的情况下(步骤S3：否)，获取信息处理部221判断为没有通信信息，将所缓冲的帧数据废弃，并返回帧数据的缓冲(步骤S1)(步骤S4)。

(5)一致的情况下(步骤S3：是)，获取信息处理部221确定亮度正在变化的光源是发送含有显示用信息的通信信息的光源，并提取用于图像解析的图像信息。并且，计算正在发送帧数据的当前的信源区域位于图像平面上的中心坐标(Px，Py)，并将之与亮度信息一起进行暂时保存(步骤S5)。

(6)图像信息处理部222对在此所提取的图像信息实施显示用调整(步骤S6)。

(7)按每个信源区域进行信源区域信息处理，并输出显示用信息(步骤S7)。此外，步骤S7是进行信源区域信息处理的子程序，具体将结合图4另作说明。

步骤S8～步骤S10是在图像信息上重叠显示用信息并进行显示的重叠处理的流程。

(8)显示用信息生成部231基于在步骤S7中所输出的每个信源区域的显示用信息，决定重叠用信息及其显示样态(步骤S8)。

(9)图像重叠部232在步骤S6中被实施了显示用调整的图像信息上，重叠步骤S8中所决定的重叠用信息(步骤S9)。

(10)将在步骤S9中重叠了信息的图像信息输出到显示设备300，使图像显示(步骤S10)。

图4是示出步骤S7的进行信源区域信息处理的子程序的一连串流程的图。

(1)识别信息提取部224按获取信息处理部221所提取的区域信息所表示的每个信源区域，依次获取相当于图2所示的识别信息存储部D21的比特数的数据，使固体识别信息(ID)复原后提取(步骤S11)。此外，本说明书中所记载的复原处理是一个例子，复原处理将根据光通信协议的不同来相应地进行。

(2)存在判定部225判定高速缓冲存储器223中是否存在在步骤S11中识别信息提取部224所提取的固体识别信息以外的固体识别信息(步骤S12)。

(3)存在所提取的固体识别信息以外的固体识别信息的情况下(步骤S12：是)，进行高速缓冲存储器的优先级计算处理(步骤S13)。

并且，步骤S13是进行高速缓冲存储器的优先级计算处理的子程序，具体将结合图5来另作说明。

(4)高速缓冲存储器的优先级计算处理(步骤S13)结束后，或者，所提取的固体识别信息以外的固体识别信息不存在的情况下(步骤S12：否)，存在判定部225按在步骤S11中识别信息提取部224所提取的每个固体识别信息，来判定高速缓冲存储器223中是否存在该固体识别信息(步骤S14)。

(5)存在固体识别信息的情况下(步骤S14：是)，从高速缓冲存储器223中获取与该固体识别信息建立了对应的、过去的信源区域的中心坐标，并根据其与图3的步骤S5中所计算的当前的信源区域的中心坐标的差分，来计算信源位于图像平面上的移动量(x轴方向dx，y轴方向dy)(步骤S15)。

(6)从方位角度获取部250获取拍摄朝向的角速度信息(水平方向角速度ωx、垂直方向角速度ωy)，并基于该角速度信息和拍摄间隔“t”来计算拍摄朝向的变动量(水平方向角度θx＝ωx×t、垂直方向角度θy＝ωy×t)(步骤S16)。

这里，“拍摄朝向”的意思是指安装在信息显示装置200上的镜头211的法线矢量的方向。步骤S16中，通过水平方向角度θx和垂直方向角度θy来表示以过去拍摄时的法线矢量为基准的移动角度(变动量)。

(7)基于步骤S15中所计算的位于图像平面上的移动量和步骤S16中所计算的拍摄朝向的变动量，通过三角测量方式来计算从拍摄位置到信源的虚拟距离D(＝dx÷tanθx＝dy÷tanθy)(步骤S17)。

(8)从高速缓冲存储器223获取与该固体识别信息建立了对应的显示用信息(步骤S18)。

并且，这里从位置坐标获取部240获取拍摄坐标(纬度X、经度Y、高度Z)，并用该拍摄坐标来计算相对于过去的拍摄坐标的位置变动，由此通过修改从拍摄位置到信源的虚拟距离D还能够提高距离精度。

(9)不存在固体识别信息的情况下(步骤S14：否)，识别信息提取部224依次获取相当于图2所示的显示用信息存储部D22的比特数的数据，复原显示用信息后提取(步骤S19)。

(10)通信信息处理部226从位置坐标获取部240获取拍摄坐标(纬度X、经度Y、高度Z)(步骤S20)。

(11)通信信息处理部将包括步骤S11中所提取的固体识别信息、步骤S19中所提取的显示用信息、图3的步骤S5中所计算的当前的信源区域的中心坐标、步骤S20中所获取的拍摄坐标的组，作为与新的信源有关的信息写入高速缓冲存储器223(步骤S21)。

这里，在高速缓冲存储器223中有空余的情况下，通信信息处理部将与新的信源有关的信息写入空白区域，而在高速缓冲存储器223中没有空余地情况下，通信信息处理部从在步骤S18中所设定的缓存优先级低的组开始，按顺序从高速缓冲存储器中删除来进行写入。例如，预先按从缓存优先级低的组到缓存优先级高的组的顺序排列在高速缓冲存储器的实际区域或虚拟区域上，并进行保存，从储存缓存优先级最低的组的区域开始按顺序盖写新的信息。

图5是示出进行步骤S18的高速缓冲存储器的优先级计算处理的子程序的一连串流程的图。

(1)优先级设定部227从高速缓冲存储器223获取对步骤S14中的判定对象的信源区域进行拍摄时的虚拟距离D和过去的信源区域中心坐标(步骤S31)。

(2)优先级设定部227从方位角度获取部250获取当前的拍摄朝向的角速度，并用拍摄间隔“t”来计算拍摄朝向的变动角度(＝角速度×拍摄间隔)(步骤S32)。

(3)优先级设定部227根据虚拟距离D和拍摄朝向的变动角度，通过三角测量方式来计算信源位于图像平面上的移动量(＝虚拟距离×tan(变动角度))，并将该移动量与从高速缓冲存储器223中获取的过去的信源区域中心坐标相加，由此来推定当前的信源区域中心坐标(步骤S33)。

此外，这里从位置坐标获取部240获取拍摄坐标(纬度X、经度Y、高度Z)，并用该拍摄坐标来计算相对于过去的拍摄坐标的位置变动，并通过对从拍摄位置到信源的虚拟距离D进行修改来提高距离精度，还能够提高对当前的信源区域中心坐标的推定精度。

(4)根据在此所求得的当前的信源区域的推定中心坐标与信息显示装置200的拍摄范围的关系，来计算高速缓冲存储器223中所保存的信息的缓存优先级。具体将结合图6来进行説明(步骤S34)。

此外，本实施方式中用拍摄朝向的变动量和图像平面上的过去的信源区域中心坐标，通过三角测量方式来求出当前的信源区域的推定中心坐标，但也可以通过追加处理程序或组合的变更、仰角·俯角信息及连续的移动信息等信息，来推定当前的信源区域中心坐标。

图6是示出步骤S34的优先级计算处理的概要图。

以下，结合图6来说明优先级计算处理的概要。

优先级设定部227根据步骤S33中所求得的信源区域的推定中心坐标与拍摄区域相距的程度，来对对应的信息附加缓存优先级。具体地，例如图6所示，以拍摄区域10为中心，分别沿X方向、Y方向虚拟地设定大小是拍摄区域10的2倍的第1优先级区域11，并对位于第1优先级区域11内且位于拍摄区域10外的、与信源A1有关的信息附加最高缓存优先级。

并且，以拍摄区域10为中心，分别沿X方向、Y方向虚拟地设定大小是拍摄区域10的3倍的第2优先级区域12，并对位于第2优先级区域12内且位于第1优先级区域11外的、与信源A2有关的信息附加第2高的缓存优先级。

此外，以拍摄区域10为中心，分别沿X方向、Y方向虚拟地设定大小是拍摄区域10的4倍的第3优先级区域13，并对位于第3优先级区域13内且位于第2优先级区域12外的、与信源A3有关的信息附加第3高的缓存优先级。

对位于第3优先级区域13外的、与信源A4有关的信息附加最低缓存优先级。

此外，这里将缓存优先级分为4个阶段，阶段数可以根据实施状况来适当地进行变更。

在实际动作时，各个信源区域的推定中心坐标每当与拍摄区域远离基准距离时，缓存优先级就下降，反之与拍摄区域每接近基准距离时，缓存优先级就提高。即，基于将与视角相距的距离以基准距离为单位而被量化了的值，来决定缓存优先级。并且，基准距离也可以根据实施状况来进行适当地变更。

具体地，在连续进行拍摄的情况下，当在时间t0秒被摄在拍摄区域10中的任意信源，在时间t1秒后的拍摄中脱离拍摄区域，对应的信源区域的推定中心坐标变为A1的位置时，该信源的信息被赋予最高缓存优先级“4”。并且，在时间t2秒后的拍摄中，当该信源区域的推定中心坐标超出第1优先级区域11的框，而从A1的位置移动到A2的位置时，就降低缓存优先级，使之更新为“3”。这样，当信源区域的推定中心坐标每当拍摄时而从A1的位置移动到A2的位置、从A2的位置移动到A3的位置、从A3的位置移动到A4的位置这样，超出优先级区域的框而远离拍摄区域时，就降低对应信源的信息的缓存优先级。反之，当信源区域的推定中心坐标从A4的位置移动到A3的位置、从A3的位置移动到A2的位置、从A2的位置移动到A1的位置这样，超出优先级区域的框而向拍摄区域接近时，就提高对应信源的信息的缓存优先级。此外，当信源区域从拍摄区域10内的A0的位置移动到A1的位置时，高速缓冲存储器223中保存实数据，并被附加最高缓存优先级。而当信源区域从A1的位置移动到拍摄区域10内的A0的位置时，就从高速缓冲存储器223中调出实数据。

此外，在暂停后的拍摄再次开始这样，在高速缓冲存储器223中储存有与信源有关的信息的状态下再次开始拍摄的情况下，在拍摄再次开始时，对高速缓冲存储器223中所保存的所有的各个与信源有关的信息，通过计算暂停中超出优先级区域的边界的次数，或者求出信源区域的推定中心坐标属于哪个优先级区域等，来对缓存优先级进行更新。

由此所附加的缓存优先级表示，高速缓冲存储器223中所储存的各个与信源有关的信息是否再次容易被拍摄的程度。根据本实施方式，在与已被拍摄的信源有关的信息中，与存在于拍摄范围的附近等用户容易拍摄到的位置的信源有关的信息保持高的缓存优先级。

因此，在图4的步骤S21中将与新的信源有关的信息写入高速缓冲存储器223时，缓存优先级就成为决定删除高速缓冲存储器223中所储存的、与信源有关的信息的顺序的有效指标。

<利用例>

缓存优先级可以如下进行使用。

图7～12是示出缓存优先级的利用例的概要图。

图7～12中示出当拍摄者位于固定位置，用信息显示装置200来拍摄周边的情况下，拍摄区域与信源之间的位置关系、及高速缓冲存储器所保存的、与信源有关的信息的缓存优先级按时间序列变动的状况。

这里，拍摄区域20是1920×1080pix(像素)，缓存优先级变动框21是以拍摄区域为中心的3840×2160pix，缓存优先级变动框22是以拍摄区域为中心的5760×3240pix。这里设定缓存优先级为3个阶段，并能够保存4个与信源有关的信息。并且，在拍摄区域20的周边存在7个信源A～G，且各个信源不动。

(1)图7示出拍摄开始状态。图7中，拍摄区域20内存在信源A和信源B，高速缓冲存储器30是空的。这里，从信源A获取与信源A有关的信息a，从信源B获取与信源B有关的信息b。

(2)接着，图8示出拍摄者使信息显示装置200向右滑动时的状态。图8中，拍摄区域20内存在信源A和信源C。这里，由于信源C新进入拍摄区域20内，所以从信源C获取与信源C有关的信息c。并且，由于图7中存在于拍摄区域20内的信源B脱离了拍摄区域，所以如图8所示，高速缓冲存储器30保存从信源B获取的与信源B有关的信息b。并且，在保存信息b时，附加最高缓存优先级，即缓存优先级“3”。

(3)此外，图9示出当拍摄者使信息显示装置200向上滑动时的状态。图9中，拍摄区域20内只存在信源D。这里，由于信源D是新进入拍摄区域20内的，所以从信源D获取与信源D有关的信息d。并且，由于图8中存在于拍摄区域20内的信源A和信源C脱离了拍摄区域，所以如图9所示，高速缓冲存储器30中保存从信源A获取的与信源A有关的信息a、及从信源C获取的与信源C有关的信息c。并且，在保存信息a及信息c时，由于信源B及信源C的推定中心坐标在缓存优先级变动框21内，所以分别被附加缓存优先级“3”。另一方面，由于信源A的推定中心坐标没有在缓存优先级变动框21内，而是在缓存优先级变动内22内，所以被附加缓存优先级“2”。

(4)此外，图10示出拍摄者使信息显示装置200向左滑动时的状态。图10中，拍摄区域20内存在信源E和信源F。这里，由于信源E和信源F是新进入拍摄区域20内的，所以从信源E获取与信源E有关的信息e，从信源F获取与信源F有关的信息f。并且，由于图9中存在于拍摄区域20内的信源D脱离了拍摄区域，所以如图10所示，高速缓冲存储器30中保存从信源D获取的与信源D有关的信息d。并且，在保存信息d时，由于信源B及信源D的推定中心坐标在缓存优先级变动框21内，所以分别被附加缓存优先级“3”。另一方面，由于信源A的推定中心坐标不在缓存优先级变动框21内，而在缓存优先级变动框22内，因此被附加缓存优先级“2”，并且，由于信源C的推定中心坐标没有在缓存优先级变动框22内，所以被附加缓存优先级“1”。

(5)此外，图11中示出拍摄者使信息显示装置200向下滑动时的状态。图11中，拍摄区域20内存在信源F和信源G。这里，由于信源G是新进入拍摄区域20内的，所以从信源G获取与信源G有关的信息g。此外，由于图10中存在于拍摄区域20内的信源E脱离了拍摄区域，所以如图11所示，高速缓冲存储器30中保存从信源E获取的与信源E有关的信息e。然而，由于此时高速缓冲存储器30中已经保存有4个与信源有关的信息，而没有空余的区域，因此，进行检索处理，检索被附加了最低优先级的信源，并决定要删除的信息。由于信源B的推定中心坐标在缓存优先级变动框21内，所以被附加缓存优先级“3”。另一方面，由于信源A、信源D及信源E的推定中心坐标不在缓存优先级变动框21内，而在缓存优先级变动框22内，所以被赋予缓存优先级“2”，而信源C由于推定中心坐标没有在缓存优先级变动枠22内，因此被附加缓存优先级“1”。从而，将优先级最低的、与信源C有关的信息c决定为要删除的信息，并将信息e盖写在高速缓冲存储器30中保存信息c的区域。

(6)此外，图12示出拍摄者使信息显示装置200向右滑动时的状态。图12中，拍摄区域20内存在信源F、信源G和信源B。这里，尽管信源B是新进入拍摄区域20内的，但与信源B有关的信息b已经保存在高速缓冲存储器30内，因此从高速缓冲存储器30获取信息b。另一方面，由于信源A及信源D的推定中心坐标在缓存优先级变动框21A内，所以各自的缓存优先级被提高，而被附加缓存优先级“3”。

此外，获取信息处理部221、图像信息处理部222、高速缓冲存储器223、识别信息提取部224、存在判定部225、通信信息处理部226、优先级设定部227、显示用信息生成部231、图像重叠部232、位置坐标获取部240、及方位角度获取部250等的各个功能块也可以通过集成电路LSI(LargeScaleIntegration)来实现。这些构成可以被单独地做成单芯片，或做成包含一部分或全部的单芯片。本发明中称为LSI，但根据集成度的不同，也可以称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI。此外，电路集成的方法不仅仅局限于LSI，也可以通过专用电路或通用处理器来实现。此外，也可以利用LSI制造后而能够进行编程的现场可编程门阵列(FieldProgrammableGateArray)，或LSI内部的电路元件的连接或设定能够重构的可重构处理器。此外，随着半导体技术的进步或派生出另外的技术，若出现了能够取代LSI的电路集成技术，理所当然，也可以应用该技术对功能块进行集成。也有可能应用生物技术。

<总结>

根据本实施方式的信息显示系统，基于拍摄范围、拍摄坐标及拍摄朝向的变化关系来附加缓存优先级，能够对一次被拍摄过的信源中、与脱离了拍摄范围但却位于容易再次进入拍摄范围的位置的、接近拍摄视角的信源有关的信息，赋予高的缓存优先级。因此，能够提高重叠于显示图像的信息的响应及缓存的利用率，从而能够缩短信息源再次进入拍摄范围时的信息显示时间，并能够降低成本。

[第2实施方式]

<概要>

第2实施方式是在第1实施方式的对缓存优先级的赋予进行判断的基础上，组合拍摄范围内的信源的移动特性预测。第2实施方式能够使用按照拍摄范围内的信源的移动特性预测而进行补正的信源的坐标，来附加信源的缓存优先级。

<结构>

图13是示出第2实施方式中的信息显示系统2的功能结构的概要图。

图13所示的信息显示系统2包括：信息发送源100、信息显示装置400及显示设备300。

此外，对与图1的信息显示系统1相同的结构赋予相同的标记，并省略其说明。

信息显示装置400是在第1实施方式中的信息显示装置200的结构的基础上追加移动特性预测部428。此外，由于追加了移动特性预测部428，信息处理部220而被换为信息处理部420。

移动特性预测部428用于预测拍摄范围内的信源的移动特性，当从获取信息处理部221输入的信源区域及固体识别信息，与高速缓冲存储器223中已经保存的固体识别信息一致的情况下，根据信源的坐标和面积的变化来预测移动特性。具体在下述的动作部分进行说明。

<动作>

从信源区域检测处理到信号复原处理、及将显示用信息重叠于所拍摄的图像上，并进行显示的重叠处理的一连串顺序，与第1实施方式中结合图3所作的说明相同。

图14是示出进行图3中的步骤S7的信源区域信息处理的子程序的一连串顺序的图。

这里，对于第1实施方式中的图4的流程相同的步骤赋予相同的符号标记，并省略其说明。

(1)～(2)与图4中说明的(1)～(2)相同(步骤S11～S12)。

(3)通过将信源移动特性预测处理而计算的移动特性、和从存在判定部225输入的信源的拍摄时间与从高速缓冲存储器223获取的信源的拍摄时间之间的差分相乘，来预测当前的信源的位置，并基于该预测值，对高速缓冲存储器223中所保存的、含有对应的固体识别信息的信源的坐标进行补正(步骤S41)。并且，使用在此补正后的信源的坐标来进行步骤S13的优先级计算处理。

(4)～(8)与图4中说明的(3)～(7)相同(步骤S13～S17)。

(9)进行信源移动特性预测处理，从高速缓冲存储器223获取与具有相符的固体识别信息的信源相关的显示用数据，并将信源区域和显示用信息输出到显示用信息生成部231(步骤S42)。

图15是示出进行图14中的步骤S42的信源移动特性预测处理的子程序的一连串顺序的图。

(1)移动特性预测部428从高速缓冲存储器223获取具有从获取信息处理部221输入的固体识别信息的信源区域的坐标和面积(步骤S51)。

(2)通过计算从获取信息处理部221输入的信源区域的面积、与从高速缓冲存储器223获取的信源区域的面积之间的增减比率，来判定在前后方向上的移动方向，并通过将移动特性预测部428预先所保存的面积的增减比率和移动量的基准值、与在此所求得的信源区域的面积的增减比率进行比较，来计算前后方向上的移动量(步骤S52)。

(3)根据从获取信息处理部221输入的信源区域的坐标、与从高速缓冲存储器223获取的信源区域的坐标之间的差分，来计算在图像平面上方向的移动方向和移动量(步骤S53)。

(4)移动特性预测部428分别将在此所得到的在前后方向上的移动方向、在图像平面上方向上的移动方向及移动量，除以从获取信息处理部221输入的信源区域拍摄时间与从高速缓冲存储器223获取的信源区域的拍摄时间之间的差分，计算单位时间内信源的虚拟移动方向及虚拟移动量，来作为信源的虚拟移动特性(步骤S54)。

(5)移动特性预测部428从高速缓冲存储器223获取具有从获取信息处理部221输入的固体识别信息的信源被拍摄时的拍摄坐标及拍摄方向(步骤S55)。

(6)从位置坐标获取部240及方位角度获取部250分别获取当前的拍摄坐标及拍摄方向(步骤S56)。

(7)根据从高速缓冲存储器223获取的拍摄方向与当前的拍摄方向之间的差分，计算旋转方向及旋转量，并根据从高速缓冲存储器223获取的拍摄坐标与当前的拍摄坐标之间的差分，来计算移动方向及移动量。接着，将在此所求得的旋转方向、旋转量、移动方向和移动量分别进行相加，并且，将其除以从获取信息处理部221输入的信源区域的拍摄时间与从高速缓冲存储器223获取的信源区域的拍摄时间之间的差分，来计算单位时间内信息显示装置400的虚拟移动方向及虚拟移动量，从而作为信息显示装置400的虚拟移动特性(步骤S57)。

(8)移动特性预测部428通过将步骤S54中所计算的相符的信源的虚拟移动特性与步骤S57中所计算的信息显示装置400的虚拟移动特性相加来进行补正，并预测信源在单位时间内的移动方向及移动量，从而将之作为信源的移动特性(步骤S58)。

(9)移动特性预测部428用在此所预测的相符合的信源的移动特性，来对高速缓冲存储器223的相符合的信源信息进行更新(步骤S59)。

此外，本实施方式中的移动特性的预测方法只是一个例子，例如也可以用三角测法及连续的移动信息来预测移动特性，也可以从外部(从信源发送来的信息)获取移动特性。

<总结>

第2实施方式的信息显示系统能够使用按照拍摄范围内的信源的移动特性预测而进行了补正的信源的坐标，来对信源附加缓存优先级。由此，在移动信源从拍摄范围脱离后，拍摄坐标及拍摄方向追踪该移动信源的预测移动位置，从而缓存优先级提高，因此当移动对象的信源再次进入拍摄范围的情况下，能够提高重叠于显示图像的信息响应及缓存的利用率，并能够降低成本。

此外，在第1实施方式及第2实施方式中，通信信息处理部226不仅能够处理与拍摄范围内的信源有关的信息，还能够处理与拍摄范围外的信源有关的信息。例如，可以基于优先级设定部227所附加的缓存优先级，将缓存优先级越高相距就越近等作为信息显示装置与该信源的位置关系，来输出给显示用信息生成部231。

此时，显示用信息生成部231基于从通信信息处理部221输入的信息，通过生成列表形式的显示用信息等，将显示用信息和信源区域信息输出到图像重叠部232。

此外，图像重叠部232根据从显示用信息生成部231输入的信源区域信息，判别同时被输入的显示用信息是否是与拍摄范围以外的信源有关的显示用信息。然后，图像重叠部232通过在从图像信息处理部222输入的、已完成图像处理的图像信息的框外的列表上，合成从显示用信息生成部231输入的、与拍摄范围以外的信源有关的显示用信息等后，输出到显示部18。

显示设备300将从图像重叠部232输入的合成图像的亮度及尺寸调整到，能够显示已完成图像处理的图像信息和、配置于框外的列表上的、与拍摄范围以外的信源有关的显示用信息两者之后进行显示。这样，通信信息处理部226、显示用信息生成部231、图像重叠部232及显示设备300基于优先级设定部227所赋予的缓存优先级，也能够显示位于拍摄范围以外的信源的信息。

图16是示出在拍摄部210所拍摄的图像框外合成通信信息处理部226所提取的、与拍摄范围以外的信源有关的显示用信息后，显示于显示设备300的画面的例图。

图16所示的画面上显示有：基于已完成图像处理的图像信息的图像41、及位于图像41框外的列表上的、与拍摄范围以外的信源有关的显示用信息42。

此外，第1实施方式及第2实施方式中，作为从信息发送源100发送的信息的数据格式的一例，示出了巡回地发送前导数据部D10和数据部D20的例子。

这里，假设与1个信源有关的显示控制所需的信息被分割为多个(例如3个)分割信息，且分别与图2所示的数据部D20和相同的前导数据部D10一起被分组化，从而在不同的定时被发送的情况。在这样的情况下，实际储存各个分割信息的是图2所示的显示用信息存储部D22，各自的固体识别信息存储部D21中储存相同的固体识别信息。并且，各个分组中包含表示原始的信息属于哪一位置的分割位置数据。

在这样的情况下，高速缓冲存储器223还保存含有显示信息、识别信息及分割位置信息的组。并且，识别信息提取部224还提取分割位置数据。存在判定部225还按识别信息提取部224所提取的每个分割位置数据，来判定高速缓冲存储器223中是否存在分割位置数据。

此外，通信信息处理部226用识别信息提取部224所提取的分割位置数据，基于亮度的变化，只接收储存有剩余的分割信息的分组，并提取剩余的分割信息，使分割前的原始的信息复原。

例如，从高速缓冲存储器223获取的显示用信息只是3个分割信息中的1个的情况下，通信信息处理部226使用分割位置数据来只接收保存有剩余的分割信息的2个分组，并获取剩余的2个分割信息，从而能够根据3个分割信息来使分割前的原始的信息复原。

由此，通信信息处理部226根据分割位置数据可以知道从高速缓冲存储器223所能够获取的信息是相当于从1个信源所能够获取的信息整体的一部分的分割信息，从该信源只获取高速缓冲存储器223中没有保存的分割信息，从而将高速缓冲存储器223中所保存的分割信息与从信源新获取的分割信息结合。

(工业实用性)

本发明的信息显示装置、显示控制用集成电路及显示控制方法能够用于具有显示拍摄图像的功能的数码相机、移动电话、笔记本电脑等，能够提高重叠于显示图像的信息的响应，提高缓存利用率，工业实用价值非常高。

Claims (6)

1.一种信息显示装置，进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面，其特征在于，具备：

拍摄部，按时间序列拍摄位于拍摄范围内的图像；

高速缓冲存储器；

信息处理部，提取从位于所述拍摄范围内的光源发送来的光源信息；以及

显示控制部，在由所述拍摄部拍摄的图像上重叠所述光源信息并显示到所述画面上，

所述信息处理部，

提取从位于所述拍摄范围内的光源发送来的所述光源信息，

向所述高速缓冲存储器依次存储被提取的所述光源信息，

对存储于所述高速缓冲存储器的光源信息中的、当前的图像平面上的当前的拍摄范围外的光源的光源信息，赋予作为决定将存储于所述高速缓冲存储器的光源信息删除的顺序时的指标的优先级，所述当前的拍摄范围外的光源的位置距离所述当前的拍摄范围越近，则赋予越高的优先级，

在所述高速缓冲存储器没有空余的情况下，在存储于所述高速缓冲存储器的光源信息中，从优先级低的光源信息开始，按顺序盖写新的光源信息，

所述显示控制部，在从位于所述拍摄范围内的光源发送来的光源信息已经存储于所述高速缓冲存储器的情况下，将存储的光源信息重叠到所述画面上并进行显示。

2.根据权利要求1所述的信息显示装置，其特征在于：

所述信息处理部对于所述当前的拍摄范围外的光源，根据从当前的拍摄范围的中心到光源中心的距离值、或将所述距离量化了的值是否小，来判断是否是距离所述当前的拍摄范围近的光源。

3.根据权利要求2所述的信息显示装置，其特征在于：

所述信息处理部还根据位于所述图像内的光源的坐标和面积的变化来预测移动特性，基于预测的所述移动特性来补正所述光源中心的坐标，并对于所述当前的拍摄范围外的光源，根据从所述当前的拍摄范围的中心到所述補正后的光源中心坐标的距离是否近，来判断是否是距离当前的拍摄范围近的光源。

4.根据权利要求1所述的信息显示装置，其特征在于：

所述信息显示装置将存储于所述高速缓冲存储器的光源信息中的、优先级高且位于当前的拍摄范围外的光源的光源信息显示于画面。

5.一种信息显示方法，进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面，其特征在于，包括下述步骤：

按时间序列对拍摄范围内的图像进行拍摄的步骤；

提取从位于所述拍摄范围内的光源发送来的光源信息的步骤；

向高速缓冲存储器依次存储被提取的所述光源信息的步骤；

在拍摄的所述图像上重叠所述光源信息并显示到所述画面上的步骤；

对存储于所述高速缓冲存储器的光源信息中的、当前的图像平面上的当前的拍摄范围外的光源的光源信息，赋予作为决定将存储于所述高速缓冲存储器的光源信息删除的顺序时的指标的优先级，所述当前的拍摄范围外的光源的位置距离所述当前的拍摄范围越近，则赋予越高的优先级的步骤；

在所述高速缓冲存储器没有空余的情况下，在存储于所述高速缓冲存储器的光源信息中，从优先级低的光源信息开始，按顺序盖写新的光源信息的步骤；以及

在从位于所述拍摄范围内的光源发送来的光源信息已经存储于所述高速缓冲存储器的情况下，将存储的光源信息重叠到所述画面上并进行显示的步骤。

6.一种用于信息显示装置的集成电路，该信息显示装置进行可见光通信，在按时间序列拍摄的图像上重叠从光源发送来的光源信息，并显示于画面，所述集成电路具备：

高速缓冲存储器、信息处理部、以及显示控制部，

所述信息处理部，

提取从位于所述拍摄范围内的光源发送来的所述光源信息，

向所述高速缓冲存储器依次存储被提取的所述光源信息，

对存储于所述高速缓冲存储器的光源信息中的、当前的图像平面上的当前的拍摄范围外的光源的光源信息，赋予作为决定将存储于所述高速缓冲存储器的光源信息删除的顺序时的指标的优先级，所述当前的拍摄范围外的光源的位置距离所述当前的拍摄范围越近，则赋予越高的优先级，

所述显示控制部，

在拍摄的所述图像上重叠所述光源信息并显示到所述画面上，

在从位于所述拍摄范围内的光源发送来的光源信息已经存储于所述高速缓冲存储器的情况下，将存储的光源信息重叠到所述画面上并进行显示，

所述信息处理部还在所述高速缓冲存储器没有空余的情况下，在存储于所述高速缓冲存储器的光源信息中，从优先级低的光源信息开始，按顺序盖写新的光源信息。