CN104885382B - 可视光通信信号显示方法以及显示装置 - Google Patents

可视光通信信号显示方法以及显示装置 Download PDF

Info

Publication number
CN104885382B
CN104885382B CN201380067417.3A CN201380067417A CN104885382B CN 104885382 B CN104885382 B CN 104885382B CN 201380067417 A CN201380067417 A CN 201380067417A CN 104885382 B CN104885382 B CN 104885382B
Authority
CN
China
Prior art keywords
mentioned
image
communication
visible light
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380067417.3A
Other languages
English (en)
Other versions
CN104885382A (zh
Inventor
大岛光昭
中西幸司
青山秀纪
青砥宏治
前田敏行
塩川晃
植木亮裕
铃木崇司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104885382A publication Critical patent/CN104885382A/zh
Application granted granted Critical
Publication of CN104885382B publication Critical patent/CN104885382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0085Time domain based watermarking, e.g. watermarks spread over several images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/18Use of optical transmission of display information

Abstract

一种可视光通信信号显示方法,显示由影像信号表示的图像、和通过对可视光通信信号进行编码而得到的图像,包含:通过对上述可视光通信信号的至少一部分进行编码而生成编码图像的编码步骤(S101);对应于通过将上述编码图像分割而得到的多个局部图像的每一个,生成包含相对应的局部图像并且该局部图像以外为规定的亮度值以下且具有大致均匀的亮度值的图像即多个分割图像的分割步骤(S102);在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示的显示步骤(S103)。

Description

可视光通信信号显示方法以及显示装置
技术领域
本公开涉及用于通过可视光通信、使任意的信息混杂在显示装置所显示的影像之中来进行发送的可视光通信信号显示方法以及显示装置。
背景技术
提出了利用可视光的通信技术。例如,如专利文献1以及2那样,在显示器、以及包含投影仪等的影像显示装置中,提出了在通常的显示影像之中叠加基于可视光的通信信息来进行显示的技术。
此外,有如下技术:在印刷物中使用的数字水印(digital watermark)技术;将QR码(注册商标)、或者条码等在图像中进行显示,经由这些被编码了的信号将信息通过便携电话、智能手机、或者数码相机等的摄像设备向互联网世界传播。
但是,这些技术中,通过各像素的驱动和背灯的控制来进行影像信号显示,在其中的背灯的控制的一部分将可视光通信信号编码并叠加。因此,这些技术中,仅能适用通过2个系统的控制来进行影像显示的影像显示器件。
此外,提出了对图像整体如数字水印那样将信息以不醒目的形式叠加、在接收侧将叠加的信息解码等、使用影像显示装置将与影像不同的信息(例如与影像关联的信息等)以与影像同步或不同步的方式进行收发的方法。此外,还实现了如下方案:如新闻发布(press release)1那样,虽然存在些许影像的劣化,但利用通常存在的接收装置迅速地进行信息的分离。
现有技术文献
专利文献
专利文献1:特开2007-43706号公报
专利文献2:特开2009-212768号公报
发明内容
发明要解决的课题
但是,在以往的可视光通信中,需要进一步的改善。
用于解决课题的手段
本公开的一个技术方案的可视光通信信号显示方法,显示由影像信号表示的图像、和通过将可视光通信信号进行编码而得到的图像,其特征在于,包括:编码步骤,通过将上述可视光通信信号的至少一部分进行编码而生成编码图像;分割步骤,对应于将上述编码图像进行分割而得到的多个局部图像的每一个,生成多个分割图像,该多个分割图像是包含相对应的局部图像、并且该局部图像以外在规定的亮度值以下且具有大致均匀的亮度值的图像;以及显示步骤,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示。
发明效果
根据本公开,在可视光通信中能够实现进一步的改善。
附图说明
图1是表示实施方式1的可视光通信系统的一例的概略图。
图2是表示实施方式1的显示装置的概略结构的框图。
图3是表示实施方式1的接收装置的概略结构的框图。
图4是表示实施方式1的可视光通信信号的编码图像的一例的概略图。
图5是表示在实施方式1的显示装置中将可视光通信信号的编码图像向通常的影像进行插入来显示的例子的图。
图6是表示实施方式1的接收装置的动作的图。
图7是表示实施方式1的编码图像和接收装置的角度、与摄像错误发生概率之间的关系的例子的图。
图8是表示实施方式1的编码图像的其他生成例的图。
图9是表示实施方式1的编码图像的其他显示例的概略图。
图10是表示实施方式1的光源亮度的高频噪声与曝光时间的关系的图。
图11A是表示实施方式2的将编码图像分割、与点亮定时相匹配而发送信号的发送方法的概略图。
图11B是表示实施方式2的将编码图像分割、与点亮定时相匹配而发送信号的发送方法的概略图。
图12是表示实施方式2的将编码图像分割、与分割后的图像的显示次序相匹配而发送信号的发送方法的概略图。
图13是表示实施方式2的正对投影的情况和其他情况的所投影的编码图像的示意图。
图14是表示实施方式2的用于向通常的屏幕以外利用编码图像对信号进行发送的图像的生成例的概略图。
图15是表示实施方式2的用于向通常的屏幕以外利用编码图像对信号进行发送的图像的其他生成例的概略图。
图16是用于说明实施方式2的曝光时间与图像的显示时间的关系的图。
图17是实施方式2的可视光通信信号显示方法的流程图。
图18是实施方式2的可视光通信信号显示方法的流程图。
图19是表示实施方式3的排列为1列的摄像元件同时曝光、按列从近到远的顺序使曝光开始时刻错开而进行摄像的情况的例子的图。
图20是表示实施方式3的一个曝光行的曝光完成后下一曝光行的曝光开始的情况的图。
图21是表示实施方式3的一个曝光行的曝光完成后下一曝光行的曝光开始的情况的图。
图22是表示实施方式3的一个曝光行的曝光完成前下一曝光行的曝光开始的情况的图。
图23是表示实施方式3的在各曝光行的曝光开始时刻相等的情况下、曝光时间的不同所带来的影响的图。
图24是表示实施方式3的在曝光时间相等的情况下、各曝光行的曝光开始时刻的不同所带来的影响的图。
图25是表示实施方式3的在各曝光行的曝光时间不重叠的情况下、曝光时间短的情况的优点的图。
图26是表示实施方式3的光源亮度的最小变化时间、曝光时间、各曝光行的曝光开始时刻的时间差、以及摄像图像之间的关系的图。
图27是表示实施方式3的光源亮度的转变时间、与各曝光行的曝光开始时刻的时间差之间的关系的图。
图28是表示实施方式3的光源亮度的高频噪声与曝光时间的关系的图。
图29是表示实施方式3的光源亮度的高频噪声为20微秒的情况的、曝光时间与高频噪声的大小的关系的曲线图。
图30是表示实施方式3的曝光时间tE与识别成功率的关系的图。
图31是表示实施方式3的接收装置的各模式的一例的图。
图32是表示实施方式3的发光部的亮度的观测方法的一例的图。
图33是表示实施方式4的服务提供系统的图。
图34是表示实施方式4的服务提供的流程的图。
图35是表示实施方式4的其他例的服务提供的流程的图。
图36是表示实施方式4的其他例的服务提供的流程的图。
具体实施方式
以下,适当参照附图,详细说明实施方式。但是,存在将必要以上的详细说明省略的情况。例如,存在将已广为公知的事项的详细说明或对实质相同的结构的重复说明省略的情况。这是为了避免以下的说明不必要地冗长,从而使本领域技术人员容易理解。
另外,申请人为了本领域技术人员充分理解本公开而提供附图及以下的说明,并不意欲由此限定权利要求中记载的主题。
(得到发明的经过)
如专利文献1公开的那样,有通过背灯的闪烁来叠加可视光通信信号的方法。根据该方法,在背灯的熄灭时间中,无法进行可视光通信信号的发送。无法发送可视光通信信号的期间成为信号的传递失误的主要原因,所以只能在画质降低的状态下进行通信。
此外,在近年来的影像显示装置、特别是液晶显示器、或者使用液晶的投影仪等领域中,为了画质改善,采用称作背灯扫描(backlight scanning)的技术。所谓背灯扫描,是将显示画面分割为几个区域、对背灯的发光进行控制以使得分割出的各区域定期地依次点亮的技术。此外,利用液晶的影像显示装置为了改善其动态图像特性的不佳程度,采用根据图像信号来限制背灯的点亮等对策。由此,在想要对这样的影像显示装置适用利用背灯的可视光通信时,难以兼顾动态图像特性的改善和基于背灯的调制的可视光通信。
另一方面,除此以外的影像显示装置、例如搭载有数字微镜器件(以下DMD)的类型的投影仪、有机EL(Electro Luminescence)显示器、以及等离子显示器自不必说,对于利用CRT(阴极射线管)的影像显示装置,也不可能通过专利文献1或2那样的手法对影像信号以外的信号进行叠加发送。此外,还有在印刷物中使用的数字水印技术、将QR码(注册商标)或条码等在图像中显示并经由这些编码后的信号从影像信号取得信息、进而通过便携电话、智能手机或数码相机等的摄像设备将取得的信息向互联网世界传播的方法。但是,根据这些方法,在画格尺寸上有制约,并且存在必须对焦到一定水平等的限制,所以存在图像识别花费时间的课题。此外,为此,必须将专用的影像信号持续输出至少几秒以上等,不是耐一般的使用的水平(level)。另外,本公开中,画格是指画面尺寸。
因此,本公开中,使影像信号中混入仅在非常短的期间被编码的信号,并将其以某种程度的周期重复。进而,通过使用利用了依次曝光型的图像传感器的摄像装置来取同步。由此,说明不用极度在意画格、以及到影像显示装置的距离等、即使较长也为1秒以内的较短时间的显示、并且不对影像信号有大的扰动即不使画质较大劣化而能够将可视光通信的信息插入到图像信息中进行发送的显示装置、接收装置、可视光通信系统及其信号传递方法。此外,在投影仪中,说明不向屏幕以外的单纯的平面而向构造物等进行投影的技术。
本公开的一个技术方案的可视光通信信号显示方法,显示由影像信号表示的图像、和通过将可视光通信信号进行编码而得到的图像,其特征在于,包含以下步骤:编码步骤,通过将上述可视光通信信号的至少一部分进行编码而生成编码图像;分割步骤,对应于将上述编码图像进行分割而得到的多个局部图像的每一个,生成多个分割图像,该多个分割图像是包含相对应的局部图像、并且该局部图像以外在规定的亮度值以下且具有大致均匀的亮度值的图像;以及显示步骤,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示。
由此,能够将编码图像分割为多个分割图像并适当地显示。
例如可以是,在上述编码步骤中,通过将上述可视光通信信号的一部分进行编码而生成上述编码图像,将上述可视光通信信号的其它部分编码为显示上述多个分割图像的定时,在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述定时以时间序列进行显示。
由此,除了编码图像以外,还能够将分割图像被显示的定时用于信号发送。由此,能够使基于可视光通信的发送数据量增加。
例如可以是,在上述分割步骤中,进一步,对应于上述多个局部图像的每一个,生成多个反转图像,该多个反转图像是包含将相对应的局部图像的亮度反转而得到的反转局部图像、并且该反转局部图像以外在规定的亮度值以下且具有大致均匀的亮度值的图像,在上述显示步骤中,进一步,在上述通信期间,将上述多个反转图像按时间序列进行显示。
由此,能够抑制编码图像被视觉识别。
例如可以是,在上述编码步骤中,通过将上述可视光通信信号的一部分进行编码而生成上述编码图像,将上述可视光通信信号的其它部分编码为显示上述多个分割图像的顺序,在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述顺序以时间序列进行显示。
由此,除了编码图像以外,还能够将分割图像被显示的顺序用于信号发送。由此,能够使基于可视光通信的发送数据量增加。
例如可以是,在上述显示步骤中,在上述通信期间,在上述多个分割图像之间,显示在规定的亮度值以下且具有大致均匀的亮度值的黑图像,上述黑图像被显示的时间为30μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,上述黑图像被显示的时间为100μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,在上述显示步骤中,一张上述分割图像被显示的时间为200μ秒以下。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,在上述显示步骤中,一张上述分割图像被显示的时间为10μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
此外,本公开的一个技术方案的可视光通信信号显示方法,显示由影像信号表示的图像、和用于发送可视光通信信号的图像,其特征在于,包含以下步骤:编码步骤,将上述可视光通信信号的至少一部分编码为对基准图像进行分割的样式;分割步骤,按照上述样式,将上述基准图像分割为多个分割图像;以及显示步骤,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述基准图像的亮度反转而得到的反转图像以及上述多个分割图像按时间序列进行显示。
由此,能够实现将对基准图像进行分割的分割样式用于信号发送的可视光通信。进而,通过显示反转图像,接收装置能够利用反转图像把握基准图像的样式的位置。由此,在影像被显示在屏幕以外的不是单纯平面的构造物等上的情况下,也能够实现可视光通信。
例如可以是,用于发送上述可视光通信信号的图像包含上述基准图像以及上述多个分割图像。
例如可以是,在上述编码步骤中,通过将上述可视光通信信号的一部分进行编码而生成上述样式,将上述可视光通信信号的其它部分编码为显示上述多个分割图像的定时,在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述定时以时间序列进行显示。
由此,除了分割样式以外,还能够将分割图像被显示的定时用于信号发送。由此,能够使基于可视光通信的发送数据量增加。
例如可以是,在上述编码步骤中,从将上述基准图像分割为相同数量的上述分割图像的多个样式中,选择与上述可视光通信信号的至少一部分对应的样式,由此将上述可视光通信信号的至少一部分以上述样式进行编码,上述多个样式包含上述多个分割图像包含在规定的亮度值以下且具有大致均匀的亮度值的全黑图像的样式。
由此,能够增加样式的数量,并且能够容易地进行样式与信号的变换。
例如可以是,在上述编码步骤中,从将上述基准图像分割为不同数量的分割图像的多个样式中,选择与上述可视光通信信号的至少一部分对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
由此,能够抑制不需要的图像的显示。
例如可以是,在上述分割步骤中,对应于将上述基准图像进行分割而得到的多个局部图像的每一个,生成上述多个分割图像,该多个分割图像是包含相对应的局部图像并且该局部图像以外在规定的亮度值以下且具有大致均匀的亮度值的图像。
由此,能够将基准图像分割为多个分割图像而进行适当地显示。
例如可以是,在上述编码步骤中,通过将上述可视光通信信号的一部分进行编码而生成上述样式,将上述可视光通信信号的其它部分编码为显示上述多个分割图像的顺序,在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述顺序以时间序列进行显示。
由此,除了分割样式以外,还能够将分割图像被显示的顺序用于信号发送。由此,能够使基于可视光通信的发送数据量增加。
例如可以是,在上述编码步骤中,通过将上述可视光通信信号的一部分进行编码而生成上述样式,将上述可视光通信信号的其它部分编码为上述基准图像。
由此,除了分割样式以外,还能够将图像的内容用于信号发送。由此,能够使基于可视光通信的发送数据量增加。
例如可以是,在上述显示步骤中,在上述通信期间,在上述多个分割图像之间,显示在规定的亮度值以下且具有大致均匀的亮度值的黑图像,上述黑图像被显示的时间为30μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,上述黑图像被显示的时间为100μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,在上述显示步骤中,一张上述分割图像被显示的时间为200μ秒以下。
由此,能够显示在接收装置中能够适当地接收信号的影像。
例如可以是,在上述显示步骤中,一张上述分割图像被显示的时间为10μ秒以上。
由此,能够显示在接收装置中能够适当地接收信号的影像。
此外,本公开的一个技术方案的显示装置,显示由影像信号表示的图像、和通过将可视光通信信号进行编码而得到的图像,其特征在于,包括:编码部,通过将上述可视光通信信号的至少一部分进行编码而生成编码图像;分割部,对应于将上述编码图像进行分割而得到的多个局部图像的每一个,生成多个分割图像,该多个分割图像是包含相对应的局部图像、并且该局部图像以外在规定的亮度值以下且具有大致均匀的亮度值的图像;以及显示部,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示。
由此,该显示装置能够将编码图像分割为多个分割图像而适当地显示。
此外,本公开的一个技术方案的显示装置,显示由影像信号表示的图像、和用于发送可视光通信信号的图像,其特征在于,包含:编码部,将上述可视光通信信号的至少一部分,编码为将基准图像进行分割的样式;分割部,按照上述样式,将上述基准图像分割为多个分割图像;以及显示部,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述基准图像的亮度反转而得到的反转图像以及上述多个分割图像按时间序列进行显示。
由此,能够实现将对基准图像进行分割的分割样式用于信号发送的可视光通信。进而,通过显示反转图像,接收装置能够利用反转图像把握基准图像的样式的位置。由此,在影像被显示在屏幕以外的不是单纯平面的构造物等上的情况下,也能够实现可视光通信。
此外,本公开的一个技术方案的显示装置,能够将时间划分而显示基于影像信号的频率的1帧的长度以下的图像,具备:显示面,输出影像;显示控制部,进行控制以使得基于影像信号在上述显示面上显示影像;通信信号控制部,基于可视光通信信号进行编码,将其变换为显示图像;以及影像信号控制部,在上述显示影像信号的1帧以下的规定时间输出基于可视光信号的上述显示图像;将可视光通信信号的时间轴编码并向存在显示面的方向映照,将包含显示为在与其垂直的方向上移动了一定长度后的映像的条纹状的图像的图像插入通常影像信号并在1帧以下的短期间中显示,将其用依次曝光型的图像传感器摄影,在包含上述条纹状的图像的图像被重复显示的期间,持续进行依次曝光并且曝光数据反复覆盖,在上述条纹状图像被图像传感器识别的阶段将上述曝光数据的覆盖停止,在一并取得了上述条纹状图像的曝光数据的阶段,从上述取得的条纹状图像的数据进行解码,能够得到可视光通信信号。此外,本公开中,使难以应用于以往困难的向屏幕等平面以外的构造物进行投影的被称为投影映射等的技术的、基于条纹状图像的信号通信,也通过在信号的识别符(头)部分使用表示信号的大小的图像,从而能够进行应用。
另外,这些全局性或具体性的技术方案可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
另外,以下说明的实施方式均表示本公开的一具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等作为一例而不意欲限定本公开。此外,以下的实施方式的构成要素之中,对于表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素来说明。
(实施方式1)
图1是表示实施方式1的能够进行可视光通信的影像显示系统的一例的概略图。
显示装置100是例如液晶显示装置,能够在显示部110上显示影像。此外,该显示部110上显示的影像中,还叠加有表示与该影像相关的信息的可视光通信信号。接收装置200,将从显示装置100的显示部110发送的可视光通信信号,通过对显示部110上显示的影像进行摄像来接收。接收装置200例如是内置有依次曝光型的图像传感器的智能手机。由此,用户能够接收与显示装置100上显示的影像相关联的信息等。
另外,实施方式1中,作为显示装置,举例了液晶显示装置,但显示装置也可以是有机EL显示装置、或者等离子显示装置等显示设备,或者,也可以是投影显示装置、或投影仪等投影型的显示装置。
此外,作为接收装置,举例了智能手机,但接收装置为搭载有能够依次曝光的类型的图像传感器的电子设备即可。例如,接收装置也可以是数字静物相机等。
图2是表示实施方式1的显示装置100的概略结构的一例的框图。如图2所示,显示装置100具备显示部110、第一输入部120、第一信号处理部130、显示控制部140、第二输入部150以及第二信号处理部160。
第一输入部120,从广播电波、录像机、影像播放机、或者PC等,通过天线线缆、影像信号线(例如复合线缆、HDMI(注册商标)线缆、或PJLink线缆等)、或者LAN线缆等,接收与在显示部110上显示的影像相关的影像信号,将接收到的影像信号向第一信号处理部130发送。另外,录像机或影像播放机可以使用在各种记录介质中保存的信号。
第一信号处理部130,在对被输入的影像信号实施了解码处理等一般的图像处理后,将各帧分解为多个子帧。第一信号处理部130,将表示子帧及影像信号的大小、显示定时及明亮度等的信息向显示控制部140和第二信号处理部160发送。
第二输入部150,通过专用的线缆或LAN线缆等,接收由PC等生成的可视光通信信号。另外,可视光通信信号也可以被叠加于广播电波的一部分,并通过天线线缆输入第二输入部150。此外,第二输入部150也可以将对广播进行录像而得到的影像信号、或叠加有另行由PC等生成的可视光通信信号的影像信号,经由HDMI(注册商标)线缆或PJLink线缆等从录像机或影像播放机进行接收。录像机或影像播放机可以利用在各种记录介质中保存的信号。此外,除了从外部接收信号以外,还有利用显示装置的ID等内置于显示装置的信息、通过互联网等从服务器取得信息并利用该信息的方法。第二输入部150将接收到的信号向第二信号处理部160发送。以下,将可视光通信信号的一系列的数据的1组标记为1块(block)。
第二信号处理部160生成被输入到第二输入部150中的可视光通信信号的调制信号,基于调制信号生成编码图像。可视光通信信号的编码可以是依照JEITA-CP1222或者1223的编码,也可以是依照IEEE-P802.15.7等标准的编码。此外,利用与所使用的编码对应的接收装置即可。此外,也可以利用除此以外的编码方法、例如曼彻斯特编码等进行调制。进而,以下,对以二值进行编码的情况进行说明,但鉴于能够将灰阶表现原样使用,也可以用三值以上进行编码。由此,能够传递二值情况的2倍以上的信息量。
此外,第二信号处理部160,基于从第一信号处理部130输入的影像信号中包含的与影像的明亮度等有关的信息,决定向构成1帧的子帧之中、或者多个帧之中的哪个子帧插入编码图像。例如,第二信号处理部160选择被比较明亮地显示的帧中包含的子帧来插入编码图像。此外,第二信号处理部160也可以选择被比较明亮地显示的子帧来插入编码图像。
第二信号处理部160也可以设定向帧中插入的子帧,也可以选择显示部110比较明亮地显示的子帧来插入编码图像。此外,在利用赋予了权重的子帧表现灰阶的情况下,存在由于误差扩散等而扩展灰阶表现的宽度的情况。该情况下,可以是,在想要利用权重低的子帧进行表现时,选择亮度不因误差扩散等而变动、点亮状态持续的期间,来显示编码图像。
并且,关于通常的影像的显示,可以利用如下显示方法,即:将由于显示可视光通信信号的编码图像而引起的亮度的上升及下降利用其他子场(subfield)来修正、视听者能够无不适感地视听到连续的影像的显示方法。
另外,也可以不是在已有的子帧而是在1帧内设定显示通常影像的时间区域和显示编码图像的时间区域。此时,作为显示编码图像的帧,可以选择显示部110比较明亮的帧。
此外,将编码图像插入的位置或时间区域已预先决定的情况下,第二信号处理部160也可以不进行与将编码图像插入的子帧或时间区域的决定相关的处理。该情况下,向预先决定的子帧或时间区域插入编码图像来显示即可。
此外,显示编码图像的时间优选是尽可能短的时间,但还较大地依赖于接收装置侧的性能,因此对此在之后详述。
第二信号处理部160将生成的编码图像、和表示插入编码图像的子帧或时间区域的显示定时信息向显示控制部140发送。
显示控制部140根据从第一信号处理部130以及第二信号处理部160分别输入的显示定时信息,向从第一信号处理部130输入的影像信号,插入从第二信号处理部160输入的编码图像。另外,显示控制部140如后述那样,考虑到影像的响应速度等,优选的是利用固体半导体元件等能够进行开关的元件对图像进行显示。显示部110显示从显示控制部140输入的影像信号。
图3是表示实施方式1的接收装置200的一结构例的框图。
如图3所示,接收装置200具备摄像部210、影像化部220、信号判断部230以及信号解调部240。
摄像部210对显示部110所显示的图像进行摄像。摄像部210例如由依次曝光型的图像传感器构成。当开始摄像,图像传感器按每行依次进行曝光,将摄像到的数据保存在缓冲器(未图示)中。根据图像传感器的不同,存在按每列依次进行曝光的情况、按每个曝光元件依次进行曝光的情况、按包含预先设定的数量的多个元件的每个群依次进行曝光的情况等,但处理相同,总之目的是取得图像的横向排列的数据。
影像化部220将由摄像部210摄像并保存在缓冲器中的数据,变换为将各个像素的亮度进行二维显示的位图,将该位图作为影像向信号判断部230输出。
信号判断部230判断从影像化部220输入的影像中是否包含编码图像。首先,信号判断部230利用重复数据(repeated data)判断1块数据的大小,搜索数据的头部分,从而判断是否包含编码图像。信号判断部230在判断为所输入的影像中插入有编码图像的情况下,将输入的影像向信号解调部240输出,并且对摄像部210指示将摄像动作停止。此外,信号判断部230判断为在所输入的影像中没有插入编码图像的情况下,摄像部210一边将缓冲器中保存的数据覆盖(write over)在通过摄像得到的图像数据上一边进一步重复进行依次曝光。这里,信号判断部230什么都不做。即使进行了一定期间的摄像,如果不判断为输入了插入有编码图像的影像,则摄像部210的摄像动作停止。另外,该情况下,信号判断部230可以返回表示错误的信号。
信号解调部240从由信号判断部230输出的影像取出编码图像,将该编码图像解调为原始的可视光通信信号。具体而言,信号解调部240将二值化的数据解码,将得到的数据作为可视光通信信号保存在存储器中。
接着,对将可视光通信信号图像化得到的编码图像进行说明。
图4是表示编码图像的一例的图。图4的(a)表示将1块的可视光通信信号编码而得到的编码图像P。可视光通信信号由水平方向的明暗的显示来表现。图4的(a)的编码图像P如图4的(b)所示那样按原样在铅垂方向上延伸到画面的两端附近从而生成编码图像P1。然后,如图4的(c)所示那样,通过将图4的(b)的编码图像P1在横向上重复配置5次,生成最终的编码图像(可视光通信图像)。这里,沿横向的重复次数根据1块的编码图像的大小和影像的大小决定。
另外,如后述那样,将1块的编码图像延伸是为了使得能够用较多的曝光行捕捉编码图像。由此,能够提高接收概率。此外,将1块的编码图像重复显示是为了对应根据显示装置与接收装置间的距离、以及接收装置的摄像部的性能而画格不同这一情况。这意味着,即使接收装置不具有将显示部110整体进行摄影的性能,只要将显示部110所显示的编码图像的某部分摄影,也能够取得图4的(a)所示的编码图像P1。通过这样生成编码图像,能够缓和接收装置的摄影状况的制约。编码图像的重复次数越多对近距离的摄影越有效。此外,接收装置如果以能够对画面整体摄像为前提,则不一定需要将编码图像重复。
以下,具体说明实施方式1的可视光通信系统的动作。首先,说明显示装置100的动作。图5是用于说明实施方式1的显示装置的动作的图。图5中,横向是时间轴。
图5的(a)表示从第一信号处理部130输出的图像,该图的(b)表示从第二信号处理部160输出的图像,该图的(c)表示从显示控制部140输出的图像。
首先,如图5的(a)所示,从第一信号处理部130,在1/F秒间输出4张图像。这表示被输入到第一输入部120中的影像在1/F秒间显示4个图像。第一信号处理部130向显示控制部140发送在1/F秒间显示4个图像的显示定时信息。此外,第一信号处理部130按每1/F秒将4个图像(图像A11、A21、A31、A41等)向显示控制部140输出。进而,第一信号处理部130将与向显示控制部140发送的显示定时信息相同的显示定时信息向第二信号处理部160发送。
接着,如图5的(b)所示,在第二信号处理部160中,将预先保持的全黑图像B1和从第二输入部150输入的从可视光通信信号生成的编码图像C1向显示控制部140输出。该情况下,第二信号处理部160将图像A1x、A2x、A3x、A4x根据图像的明亮度等决定为插入编码图像的图像(x表示帧为第x个)。此外,第二信号处理部160决定为,在1/F秒间显示4张图像,在第3张插入全黑图像Bx,在第4张插入编码图像Cx。第二信号处理部160将与决定的显示有关的信息作为显示定时信息向显示控制部140输出。
接着,如图5所示,显示控制部140根据所输入的显示定时信息,决定从第一信号处理部130输入的图像A和从第二信号处理部160输入的全黑图像Bx以及编码图像Cx的显示定时。该情况下,显示控制部140进行控制以使得显示部110在1/F秒间显示4张图像。显示控制部140进行控制,以使得在4张图像中,在第1张及第2张,显示部110显示从第一信号处理部130发送的图像A11及A21,在第3张,显示部110显示从第二信号处理部160发送的全黑图像B1,在第4张,显示部110显示从第二信号处理部160发送的编码图像C1。
进而,显示控制部140进行控制以使得在接下来的1/F秒间显示4张图像。该情况下,显示控制部140进行控制,以使得在4张图像中,在第1张及第2张,显示部110显示图像A12及A22,在第3张,显示部110显示全黑图像B2,在第4张,显示部110显示编码图像C2。在图5的例子中,插入有将第4张编码图像C1进行90度旋转、且成形为与编码图像C1相同尺寸的编码图像C2。即,当插入多次编码图像时,可以将相同编码图像多次插入,也可以插入使原始的编码图像反转而得到的图像。这对于与接收装置200的摄像方向以及角度等相对应是有效的。即,图像B1和图像B2可以是相同的图像,也可以如上述那样是不同的图像。同样,图像C1和图像C2可以是相同的图像也可以是不同的图像。
此外,各图像A1x、A2x、A3x、A4x、全黑图像Bx、以及编码图像Cx分别以1/F秒间隔而被显示。
另外,根据影像的不同,编码图像可以不在连续的帧中显示,而是按每几个帧显示,或者随机显示。
另外,本实施方式的子帧,不限于为了灰阶表现而生成的子帧,也可以是液晶显示装置等的所谓4倍驱动等为了提高画质而生成的子帧。
接着,说明接收装置200的动作。图6是说明实施方式1的接收装置的动作的图。图6中,横向是时间轴。
图6的(a)表示在显示装置100的显示部110上显示的图像,该图的(b)表示摄像部210的各曝光行的曝光时间,该图的(c)表示摄像部210摄像得到的图像。
如图6的(a)所示,显示部110按每1/F秒显示4张图像。图6的(a)的例子中,在4张图像中,在第3张显示全黑图像B1,在第4张显示编码图像C1。
摄像部210对显示部110显示的影像进行摄像。摄像部210由依次曝光型的图像传感器构成的情况下,当开始摄像,则图像传感器按每单位行进行依次曝光,将摄像得到的数据保存在缓冲器(未图示)中。特别是,这里假定为以行状依次进行,所以将进行依次曝光的单位称为曝光行。图6的(b)的情况下,按曝光行L1、L2、L3、…的顺序进行曝光。
另外,图6的(b)中,作为一例而将图像分割为10条曝光行,但也可以是这以外的分割数,此外,分割单位也可以不是行状。成为各个曝光行在非常短的时间重叠、依次将曝光行曝光的结构。
图6的(c)表示在全部曝光行的摄像结束的时间点的缓冲器中保存的图像。该情况下,帧内的图像的开始与摄像的1单位的开始偶然一致,但即使其有偏差,也一定观察到横纹。例如,相对于在图6的(c)中从上起第3个信号被摄像为宽度短的横纹这一情况,在有偏差的情况下仅仅是横纹在图像中的位置上下移动。因此,不需要特别地控制定时,接收装置也不需要从某处获得触发信号。图6的(c)的情况下,在曝光行L6中摄像有编码图像。
影像化部220将由摄像部210摄像且保存在缓冲器中的数据变换为将每个像素的亮度二维显示的位图,并将该位图作为影像向信号判断部230输出。
信号判断部230判断从影像化部220输入的影像中是否包含编码图像。图6的情况下,信号判断部230当图6的(c)的影像被输入时判断为曝光行L1~L10中的曝光行L6中插入有编码图像,将输入的影像向信号解调部240输出,并且指示摄像部210停止摄像动作。
信号解调部240从由信号判断部230输出的影像中取出表示编码图像的曝光行L6的图像,将曝光行L6的图像解码为原始的可视光通信信号。
另外,这里,信号判断部230按所输入的影像单位进行该判断,但也可以按每个曝光行进行。该情况下,可以是,信号判断部230在判断为在曝光行L6中包含编码图像的时间点,不进行曝光行L7以后的判断而停止摄像部210的动作。
此外,如图6所示那样,在1秒间由F个帧构成影像,编码图像被显示的期间是1帧中的一部分时间。本实施方式中,说明了该时间为1帧的1/4的情况。另外,编码图像被显示的显示时间也可以为1/4帧以外,但从使编码图像尽可能难以视觉识别的观点来看,该显示时间优选为1/4帧以下。进而,该显示时间优选为,在接收装置侧的可对应的范围内尽可能小的值。
通过以上那样的结构,显示装置在短期间在影像中插入可视光通信信号的编码图像。此外,接收装置通过将曝光时间设定得充分短,能够对编码图像进行摄影。基于图6,如果是与nF分之1秒(图6的情况下n=4)相比足够快的快门速度(曝光时间),则某一曝光行与编码图像被显示的时间相对应。此外,在曝光行的曝光时间中,优选不插入其他图像。由此,在图6的例子中,通过设为比4F分之1秒的一半更小的曝光时间,能够可靠地将未插入其他图像的图像摄像。
这样,通过使用具备依次曝光型的摄像部的接收装置,摄像的定时不被制约。由此,能够用简单的结构收发可视光信号。
另外,关于插入编码图像的时间、以及依次曝光型的摄像部的扫描速度和曝光时间,优选满足(式1)的关系。这是因为,通过编码图像与该编码图像的前后的影像一起被曝光从而S/N比极度劣化。
(式1)曝光行1行的曝光时间<1/(2×nF)
(式1)中,n是将影像的1帧均等地分割得到的子帧的数量,F是在1秒间显示的帧数。n、F都是正的整数。
此外,考虑到可视光通信信号的编码图像不易被人眼识别为残像的时间宽度,曝光行1行的曝光时间优选为1msec以内,更优选为0.2msec以内。当前的影像信号的一般的帧数F=60的情况下,为了满足(式1),优选n>8,更优选n>40。
以下,说明作为对可视光通信信号的编码图像进行显示的时间而设定优选的范围的理由。对于人眼的时间分辨率而言,一般在时间上为50msec左右,其以下作为残像被识别为与前后的影像交叠的图像。另一方面,关于人眼作为亮度的差能够捕捉到的界限,虽然有个人差,但大约当邻接的区域的亮度差为2%时,大部分人识别到有亮度差。因而,为了使插入的编码图像与前后的图像交叠且不被识别为亮度差,编码图像被显示的时间优选为50msec的2%即1msec以下。
通过将可视光通信信号插入到图像中,产生色度差。一般公知的是人眼能够识别邻接区域的色度坐标中的差异的数值为0.3。一般的影像显示装置由RGB的3色的组合表现,将其应用于RGB时相当于20%的差。由此,为了使编码图像不被人眼识别为色度差,显示编码图像的时间优选为,乘以其而得到的值即0.2msec以下。进而,在一般的依次曝光型图像传感器中,考虑到通用性,最低限度将1帧进行二分割,否则残像完全作为图像留下。如果将1帧原样使用,则可能有阈下(subliminal)效应等副作用,因此n=2成为最低限度需要的帧分割数。由此,作为具体的优选数值,举出选择小于1/480的快门速度(曝光时间)。
此外,说明从影像设备在非常短的期间输出可视光通信信号的编码图像的具体手法。如PDP(等离子显示器)以及EL(电致发光)那样动作速度快的设备能够通过由驱动信号进行控制来与之对应。另一方面,LCD(液晶显示器)等中,仅驱动信号高速化也由于液晶的反应速度慢而无法对应。但是,在背灯中使用LED(发光二极管)等能高速进行闪烁的元件的情况下,能够将LED熄灭并在短时间显示编码图像。对于投影仪,只要使用LCOS(LiquidCrystal On Silicon)等液晶,就能够通过同样地在光源侧施加控制,实现短时间的显示。进而,在利用通过数字微镜器件(DMD)等能够高速驱动的微镜器件向投影侧射出光的方法的投影仪的情况下,也能够通过DMD的控制实现短时间的显示。此外,通过光源侧的控制,也能够使显示时间较短,所以通过将他们组合还能够使显示时间更短。
另外,实施方式1中,说明了将可视光通信信号横向排列的情况,但不限于此。在将可视光通信信号横向排列的情况下,编码图像成为纵纹。因此,接收装置200的摄像部210不通过以横向为单位的向纵向的依次曝光将图像摄像的情况下,无法取得可视光通信信号的编码图像。
此外,若以一定以上的角度将接收装置倾斜来进行摄像,则数据的作为1组的1块不全部进入摄像范围,或者成为与条纹图样平行,所以会发生无法取得数据等的课题。
图7表示编码图像和接收装置的角度与接收错误的发生概率之间的关系的一例。
如图7所示,编码图像的条纹图样和接收装置的角度与接收错误(摄像错误)的发生概率之间的关系表现出大致余弦定律的形状。由接收装置中的一个曝光行得到的画格当角度变化则按照余弦定律变化。由此能够摄像的数据的范围变小,一个曝光行能够摄像的数据变小为与1块的量大致同等的区域时,误识别的概率急剧变高。
图7表示利用在一个画面中保存有4块的数据的编码图像、接收装置从能够将大致整个画面摄影的位置对编码图像进行了摄像时的结果。如图7所示可知,如果是到135度(倾斜45度摄影的情况)左右的角度则能够没有问题地得到数据。错误发生概率急剧变化的角度根据如下而不同,即:在整个画面中保存几块数据,或者在摄像时以何种程度的距离进行摄像、即在相对于整个画面而言编码图像看起来为何种程度的大小的位置进行摄像。进而,当画面与接收装置垂直时,理论上取不到数据,因此可以认为,根据视听者将接收装置沿哪个朝向(纵向或是横向)放置,会产生完全无法接收可视光通信信号的状况。为解决这些问题,可以将编码图像纵向或斜交叉地配置,或者配置将纵部分和横部分纵横反转得到的样式。
图8的(a)表示将图4中的仅一个编码图像显示在整个画面上的例子。通过利用这样的配置,摄影的图像中的编码图像的大小的限制得以缓和,能够从相对于显示部110的显示面隔着较长距离的位置接收可视光通信信号。图8的(b)表示编码图像P2为横纹、该编码图像P2在纵向上重复显示4次的图像。此时,在接收装置的曝光行大致为铅垂方向的情况下能够接收。图8的(c)表示将画面整体倾斜且大致倾斜45度的编码图像的例子。图8的(d)表示将画面整体在与(c)相反的方向上倾斜约45度的编码图像的例子。
图4或图8中明确表示的图像或使它们以一定的角度旋转后的图像由于各有长处和短处,所以能够根据用途来使用将这些图像任意旋转并组合而得到的图像。
进而,在时间上重复进行显示的情况下,可以将这些图像根据用途按每个帧依次或随机地变化来显示。
另外,在进行背灯扫描的液晶显示装置等存在不同时显示整个画面的期间的显示装置中,通过使用垂直方向的条纹图样,能够期待通信概率的提高。另一方面,在一般的液晶显示装置中,由于纵向进行扫描,所以优选应用横纹即图4的(b)。
此外,整面亮度低的水平的图像即全黑图像的亮度水平不需要与编码图像中的黑的部分即亮度低的部分的亮度一致。但是,考虑到接收可视光通信信号的灵敏度,全黑图像的亮度优选尽可能低。
此外,通过将图9的(a)和(b)在一定的期间内插入,如图9的(c)那样,识别为平均亮度的单一色的图像。由此,可以将1帧中的显示编码图像的子帧或者时间区域进行2分割,显示上述的2张1组的白黑反转图像。进而,例如,在RGB3原色系中,可以使用与R(红)和C(青)等互为补色关系的颜色的组合。即,可以与白黑的情况同样地将补色关系的2色用作反转图像的组合。
本实施方式中,将可视光通信信号在编码后作为图像数据输出,但为了明示数据的块的边界,可以将通常的编码信号中不存在的框状的图像信号插入块的信号的前后。该情况下,可以是,接收装置如果能够识别2个以上框状的图像信号,则判断为得到1块的信号,并且使用该框状的图像信号以确定1块的信号在图像上的大小。
图10表示周边照明等的光源亮度的高频噪声与曝光时间的关系。与高频噪声的周期相比曝光时间越大高频噪声对摄像图像的影响越少,光源亮度的推定变得容易。曝光时间为高频噪声周期的整数倍时,高频噪声的影响消失,可视光通信信号的接收最容易。高频噪声的主要原因来自于开关电源电路。较多的电灯用的开关电源中,其周期为20微秒以下,因此通过使曝光时间为20μsec以上,能够容易地进行光源亮度的推定。
另外,本实施方式中,作为显示装置100,例举了显示影像的显示器,但显示装置100也可以是投影仪那样投影影像的设备。此外,作为接收可视光通信信号的电子设备的接收装置200,例举了智能手机,但接收装置200只要是搭载有能够依次曝光的类型的图像传感器的电子设备,则可以是数字静物相机等,不限于智能手机。
接着,对影像显示中的灰阶表现进行说明。关于本内容,对于本领域技术人员而言是显然的内容,所以简单说明。PDP中,1帧被分割为赋予了权重的子场,通过各子场的点亮和非点亮的组合进行灰阶表现。此外,LCD中,也与PDP同样,只要进行赋予了权重的子场分割,则存在简单地通过控制在1帧内开放快门的时间来调整各色的亮度从而进行灰阶表现的情况。对于有机EL显示器的驱动,也多使用上述的任一种方法。
此外,使用液晶的投影仪、以及使用LCOS的投影仪中,灰阶表现的方法与液晶显示器同样。另一方面,使用DMD的投影仪中,使用二维排列有像素数量的将来自光源的光在投影透镜侧和阻尼器(damper)侧高速切换的微镜的元件,按每帧通过从各色的光源向投影透镜侧投影光束的时间的长度进行灰阶表现。DMD投影仪中,将1帧更细地进行时间划分,将影像信号变换为DMD的控制信号,从投影透镜投射影像。
这样,近来的显示影像信号的影像显示装置中,通过控制RGB、或者还包含其他颜色的原色在1帧内的发光时间而进行影像显示。由此,1帧以下的水平的图像插入在原理上不困难。
此外,作为编码图像的显示方法,说明了将一个图像在一定期间重复显示的方法,但也可以与图4或图8所示的图像例连续而显示白黑反转的图像。这里,人眼只能识别将两个图像平均化而得到的像,所以进一步减轻识别到条纹图样的情况。即,人眼识别将两个图像合成且进行了平均而得到的灰阶级的整面均匀的图像,仅对比度些许劣化。白黑的表现不限于100%水平和0%水平,也可以是亮度比较高的一个水平和亮度比较低的一个水平。另外,水平的差大则接收装置侧的制约等得以缓和,另一方面,由于信号的平均亮度上升,也存在对比度的劣化以及编码图像容易识别等的弊端,因此优选综合考虑而选择适当的水平。
此外,关于白黑的表现,可以是使RGB全部显示的白,也可以通过使用白以外的颜色而降低条纹的亮度高的部分的亮度。此外,对于黑而言,意味着亮度低,可以不是使用RGB的全部或者设为非显示状态的意味的黑。进而,设为由亮度高的部分和低的部分生成条纹图样,但只要是能够用颜色进行分离的组合,也可以由R和G的条纹等表现条纹图样。但是,此时,在摄像时需要使用能够进行RGB分离的图像传感器以及搭载了软件的接收装置。
此外,根据本实施方式,需要由接收装置侧的图像传感器使一系列的信号在一个图像中完结,但当信息量多时,可以在编码信号的头的部分写入如下等信息:该编码信号是否是由于信息多而被分割为多个的信号、是该分割出的第几个等的信息。作为具体例,通过使用JEITA-CP1222标准的前导和类型的部分,能够将上述的信息分割为几个图像。当然,分割的方法、分割信号的输出方法以及其分割信息向图像的容纳方法不限于该例。此外,有为了可靠传递可视光信号而重复显示编码图像的方法,此时,还有重复显示基于分割的可视光通信信号的一个图像、接着重复显示分割的接续的图像的方法。此外,还有依次显示一系列的基于分割的信号的图像、并将其作为一组重复显示的方法。在这些方法中,可以根据信息量的大小以及通常的影像信号的种类等选择某个方法。
(实施方式2)
如上所述,作为本公开的实施的例示,说明了实施方式1。但是,本公开不限于此,还能够应用于进行了适当变更、替换、附加、省略等的实施方式。此外,还能将上述实施方式1说明的各构成要素组合而作为新的实施方式。
因此,以下,一并说明其他实施方式。
实施方式1中,作为所显示的编码图像的例子,说明了使某个编码图像沿铅垂方向延伸后横向重复多次的配置的例子。但是,配置例不限于此。
图8表示编码图像的其他生成例。
图8的(a)表示将图4的(a)的编码图像P拉伸配置在整个画面上的例子。通过这样的配置,摄影得到的图像的像素的大小的限制得以缓和,能够从相对于显示部110隔着长距离的位置接收信号。
图8的(b)表示在纵向上重复显示了4次将图4的(a)的编码图像P进行90度旋转、将得到的图像横向延伸后的编码图像P2的图像。该情况下,在接收装置的曝光行是大致铅垂方向的情况下能够接收信号。
图8的(c)表示将图4的(a)的编码图像P向左倾斜大致45度、将得到的图像在画面整体中拉伸而得到的编码图像的例子。该图的(d)表示将编码图像P向右倾斜约45度的编码图像的例子。
以图8的(a)~(d)的配置为基本形,通过将它们组合而实现各种各样的配置。进而,在时间上重复显示编码图像的情况下,可以根据用途使显示的次序变化,也可以随机使图像的显示变化。
另外,进行背灯扫描的液晶显示装置等存在不同时显示整个画面的期间的显示装置中,通过使用垂直方向的条纹图样,能够期待通信概率的提高。另一方面,一般的液晶显示装置中,由于纵向进行扫描,所以优选应用图4的(b)那样的横纹的图像。此外,实施方式1中,在1/F秒间显示4张图像,在第4张显示将可视光通信信号编码而得到的图像,但不限于此。例如可以是,仅在相应的期间显示编码图像,对于除此以外的期间,显示基于通常的影像信号的图像。此时,与编码图像的插入量相应地,影像信号变化,但可以通过对1帧内的影像信号的其他部分的信号进行修正来对应。
此外,也可以将通常的影像处理部所处理的信号原样送至显示控制部进行显示。进而,也可以采用如下方法,即:相应的1帧的编码图像以外的影像信号全部无视,与其前后的影像匹配而进行黑显示或一定的灰阶的灰色显示,仅将该信号对接收侧进行强调的方法。
此外,实施方式1中,在编码图像之前显示全黑图像,这是为了避免与影像信号的图像混杂地将编码图像摄像,不是必须的。但是,接收装置侧的性能的制约由于加入这样的全黑图像而得以缓和,所以也可以在一定的期间插入全黑图像。
此外,实施方式1中,仅在编码图像的前侧插入全黑图像,但也可以在后侧插入全黑图像。进而,也可以在编码图像的前后双方插入全黑图像。该情况下,可以将加上前后的全黑图像的部分的时间替换为插入上述可视光通信信号的编码图像的时间来考虑。
此外,全黑图像不限于整面的亮度水平为0%的图像。全黑图像只要是整面亮度低的水平,则其亮度水平可以不是0%。此外,其亮度水平不需要与编码图像中的黑的部分即亮度低的部分的亮度一致。但是,考虑到接收可视光通信信号的灵敏度,整面亮度低的水平的图像的亮度优选的是亮度尽可能低。
此外,关于编码图像,说明了将一个图像以一定期间重复显示的方法,但也可以如图9所示那样,将该图的(a)所示的编码图像和使该图的(a)的编码图像的白黑反转而得到的该图的(b)的编码图像连续显示。这样,如图9的(c)那样,人眼仅识别将二个图像平均化后的像,所以进一步减轻条纹图样被识别的情况,仅对比度些许劣化。白黑的表现不限于100%水平和0%水平,也可以是亮度比较高的水平和亮度比较低的水平。此外,亮度水平的差高则接收装置侧的制约等得以缓和,另一方面由于信号的平均亮度上升,所以也有对比度的劣化以及编码图像变得容易识别等的弊端,因此优选综合考虑而选择适当的水平。此外,也可以将1帧中的显示编码图像的子帧或时间区域进行2分割,显示上述2张1组的白黑反转图像。
此外,关于白黑的表现,可以是使RGB全部显示的白,也可以使用白以外的颜色降低条纹的亮度高的部分的亮度。此外,对于黑而言,意味着亮度低,可以不是使用RGB的全部或者设为非显示状态的意味的黑。进而,设为由亮度高的部分和低的部分生成条纹图样,但只要是能够用颜色进行分离的组合,也可以由R和G的条纹等表现条纹图样。进而,可以使用与R和C等互为补色关系的颜色的组合。即,可以与白黑的情况同样地将补色关系的2色用作反转图像的组合。此时,在摄像时需要使用能够进行RGB分离的图像传感器以及搭载了软件的接收装置。
此外,关于条纹图样,在重复显示时,可以通过进行在画面上使条纹图样一点一点地移动的滚动从而使条纹图样不醒目,也可以将编码图像分割为2个以上的区域来滚动。此时,2个以上的区域的滚动的方向及速度等可以互不相同,也可以进行分别同步的滚动。
此外,实施方式1中,将可视光通信信号编码后作为图像数据来输出,但为了明示数据的块的边界,可以将通常的编码信号中不存在的框状的图像信号插入块的信号的前后。该情况下,可以是,接收装置如果能够识别2个以上框状的图像信号,则判断为得到1块的信号,并且使用该框状的图像信号以确定1块的信号在图像上的大小。
此外,根据实施方式1,需要由接收装置侧的图像传感器使一系列的信号在一个图像中完结,但当信息量多时,可以在编码信号的头的部分写入如下等信息:该编码信号是否是由于信息多而被分割为多个的信号、是该分割出的第几个等的信息。作为具体例,通过使用JEITA-CP1222标准的前导和类型的部分,能够将上述的信息分割为几个图像。当然,分割的方法、分割信号的输出方法以及其分割信息向图像的容纳方法不限于该例。此外,有为了可靠传递可视光信号而重复显示编码图像的方法,此时,还有重复显示基于分割的可视光通信信号的一个图像、接着重复显示分割的接续的图像的方法。此外,还有依次显示一系列的基于分割的信号的图像、并将其作为一组重复显示的方法。在这些方法中,可以根据信息量的大小以及通常的影像信号的种类等选择某个方法。
此外,也可以考虑周边照明等的光源亮度的高频噪声,对曝光时间进行控制。
图10表示高频噪声的周期为20微秒的情况下周边照明等的光源亮度的高频噪声与曝光时间的关系。与高频噪声的周期相比曝光时间越大高频噪声对摄像图像的影响越少,光源亮度的推定变得容易。曝光时间为高频噪声周期的整数倍时,高频噪声的影响消失,可视光通信信号的接收最容易。高频噪声的主要原因来自于开关电源电路,较多的电灯用的开关电源中,其周期为20微秒以下,因此通过使曝光时间为20μsec以上,能够容易地进行光源亮度的推定。
此外,也可以通过在通常的影像的画面的一部分中嵌入编码图像的方式来实施。该情况下,仅画面的有限的部分用于可视光信号的接收,所以接收装置与画面的关系产生制约。另一方面,影像信号中,通过在画面的该有限的部分显示引导为朝向接收装置的图像,能够解决该问题。进而,实施方式1中,说明了将编码图像不醒目地进行插入的方法,但这里由于区域被限制,所以可以减少使信号的条纹图样不醒目的努力。当然,可以尽可能采取不醒目的方法,也可以不采取。此外,也可以是,使编码图像被显示的时间不为非常短的时间(例如,1msec以下,优选0.2msec以下)而设定为连续的或比较长的时间,通过同样的方法进行接收。此时,接收错误的概率大大减少从而重复发送等的制约得以缓和。
另外,本实施方式中,作为显示装置100例举了显示影像的显示器,但显示装置100也可以是投影仪那样投影影像的设备。
此外,编码图像被显示的帧是连续的或比较长的时间等、编码图像被人眼识别的情况下,接收装置所具备的摄像部可以是CCD等图像传感器,可以不是依次曝光型的图像传感器。
(对一般显示装置的增加信号量的编码的一例)
说明了在输出编码图像时,编码信号单独、或者编码图像的明暗反转图像的组合、或者进一步将编码图像分割进行输出并显示的方法。这里,显示装置将原始的编码图像的明状态的各个行分为几张图像进行输出,并且设定输出多个图像的定时。并且,接收装置检测在按时间序列分割后的框的哪个部分显示有图像,通过将检测结果与原始信号匹配使用来增加发送信号量。
图11A是表示上述内容的一例的概略图。右端的图像是原始的编码图像,显示装置将其分割为例如4个分割编码图像。该例中,编码图像是明暗的横行在纵向上层叠12条的形式。分割编码图像1~4中,分别将相当于原始编码图像的各3行的区域包含在与原始编码图像相同的位置。相应区域的明的部位为明,暗的部位为暗,除此以外的区域显示为暗的行。各分割编码图像按在图下方描绘的时间轴上的矩形波所示的定时来显示。矩形波的时间轴被纵虚线划分为4个区间,该4个区间的各个区间中,显示对应的一个分割编码图像。
另外,分割数不限于4,可以是任意数。例如,可以将编码图像分割为3个。该情况下,各分割编码图像包含编码图像的4行。此外,表示所显示的定时的框的纵线进行的分割成为3个(未图示)。
进而,各个表示分割编码图像的区间被分割为4个小区间。4个小区间中,例如,图11A中,最开始的分割编码图像1显示在第1个小区间中,接着的分割编码图像2显示在第3个小区间中,分割编码图像3显示在第2个小区间中,最后的分割编码图像4显示在第4个小区间中。这样,使各分割编码图像发光的定时存在第1个~第4个小区间这4种。即,能够将该定时作为2bit量的信号进行使用。由此,与简单地输出12行的编码图像的情况相比,能够通过4张分割编码图像增加共计8bit量的信号量。
当然,通过使编码图像的分割数较多、或者更细地设定对各分割编码图像进行显示的定时(图11A中分割为4个小区间),能够进一步增加信号量。另一方面,若较细地分割编码图像或者使进行显示的定时的数量增加,则分割编码图像被显示的时间变短,所以接收装置侧的制约变严格。
图11B是对通过上述方法显示的编码图像进行摄像而得到的示意图。这里,依次曝光的时间轴方向是横向,所以在纵向上依次取得横纹的图像。若使时间方向的分割数增加,则图11B中的摄像得到的图像的横向的宽度变小,所以对摄像部要求能够检测出该部分的性能。此外,发光的部分的面积变小,因此在图像处理时判断为明部分的阈值降低,从而容易受到噪声的影响。
为了发光的时间短而分解为较多的时间宽度来接收信号,在接收侧需要高响应速度。此外,为了对短期间的发光或投影进行摄像来判断明暗,需要能够实现明暗的行的区别的亮度差。特别是,在外光射入的情况下,明亮度等的环境带来的S/N比的降低对明部分的判别造成较大影响从而难以极度增加分割数。最终,相比于使分割数怎样的组合,使矩形波的一个脉冲宽度短到多少没有问题作为接收装置侧的制约而存在。例如,在应用JEITACP-1222下的频率即9.6kHz的情况下,如果约10kHz即脉冲宽度为100μsec左右则能够没有问题地进行接收。进而,根据环境的不同,使脉冲宽度短到其几倍程度、具体而言为4倍的38.4kHz、或与40kHz程度的频率相当的25μsec左右也能够进行信号的接收。
此外,混杂在影像中输出编码图像。由此,对编码图像的输出分配的期间变长,从而影像信号相对于整体的亮度比不断变小,结果导致影像信号的对比度的降低。当1帧中能够插入编码图像的期间成为整体的10%左右则影像信号的对比度急剧劣化。由此,显示编码图像的时间相对于通常的每秒60帧的影像信号而言,16.6msec的10%即1.66msec左右为界限,优选抑制为其一半即0.833msec左右。
此外,例如,偶然将分割编码图像连续显示的情况下,即,将某分割编码图像在最后的小区间中显示、将接着的分割编码图像在最开始的小区间中显示的情况下,连续输出编码图像。该情况下,可以在两个分割编码图像之间设置整面暗的期间。为了将该方法一般化地应用,可以在显示分割编码图像的小区间和接下来的小区间之间始终设置全面暗的期间。
此外,这里,将原始的编码图像进行了4分割,但也可以进行2分割,生成两个分割编码图像的明暗逆转图像,将两个分割编码图像和两个明暗逆转图像共计4张图像同样地与定时匹配来显示。
进而,图11A中,从上起依次将4分割后的编码图像按该顺序显示,但也可以替换进行显示的顺序。将4个不同的图像按序排列的顺序存在4P4=24种。由此,通过将该顺序也作为信号来使用,能够进一步发送24倍的种类的信号,能够期待约多于4bit的信号量的增加。
相反,这里,通过使显示定时变化,实现了信号量的增加,但也可以是,定时一定,仅根据输出4个分割编码图像的顺序实现信号量的增加。
图12是表示分割方法的其他例的概略图。图12所示的逆转图像(明暗逆转分割编码图像)中,仅各个成为对象的分割区域明暗逆转,其他区域是暗水平。例如,图12的例子中,逆转图像1中,将从上数的3列作为对象,所以第4列以后为暗显示,仅第1列和第3列为明显示。由此,不是分割编码图像和明暗逆转分割编码图像准确地在整个区域明暗逆转的图像。通过这样生成逆转图像,从而将多个逆转图像的明行相加(取逻辑与)而得到的图像与原始的编码图像的逆转图像一致。
接着,说明变更对分割编码图像进行输出的顺序、将该顺序作为信号来使用的方法。例如,使用通常的编码图像和逆转图像,将它们分别4分割,将进行显示的定时固定8处而设置的情况下,将8张图像点亮的顺序为,正相24种,反相24种,共存在576种。即,能够实现多于9bit的信号的增加。进而,任意地决定8张图像的顺序的情况下的顺序为8P8=40320种,能够预计大致相当于12bit的信号量的增加。但是,根据编码的方法的不同,有原始图像和逆转图像无法区别的情况,因此若避免重复,则会有信号量大大减少的情况。如果不使定时变化,则即使将通信期间进行8分割,显示时间也相比于图11A的例子变长,所以能够更有效地使信号量增加。
这里,采用最初将原始的编码图像的分割图像依次输出、接着将逆转图像的分割图像依次输出的顺序,但也可以是,按照分割编码图像1及其明暗逆转图像、分割编码图像2及其明暗逆转图像这样的顺序,将相互逆转的图像在相邻的定时进行显示。由此,能够降低编码图像的视觉识别性。另外,采用这样的方法的情况下的顺序为,上述的24种、和将正反替换的顺序,为48种。即,仅4bit半左右的信号量的增加。此外,分割图像可以连续,也可以在分割图像之间显示整面黑的图像。换言之,可以设置什么信号也不输出的期间。
(应用投影仪等时的编码的一例)
在投影仪等将影像投影显示的显示装置中,可以考虑到如下情况:显示面不固定为一定的形状,此外通过基于设置的方法等的倾斜等,例如编码图像的表示明暗的最小单位即1行的宽度变化。图13中,(a)是通常的情况的示意图,(b)是将图像向平面倾斜投影的情况的示意图,(c)是将图像向曲面投影的情况的示意图。这样,可以考虑到如下情况:除了显示装置倾斜设置的情况以外,还在投影的对象弯曲等情况下,在摄影的编码图像中,1行的宽度不一定是固定的,而是进行变化。以下,利用图14说明该情况的编码处理的一例。
假设编码图像是将横向延伸的明暗的行在纵向上层叠8条的构造,各行能够独立地表现明暗。
首先,由于1行的宽度根据位置而变化,所以不可能从摄像得到的图像数据唯一地求取1行的宽度。由此,需要表示各位置的与1行相当的宽度在被投影的情况下作为怎样的宽度而被摄像。将该表示各行的位置(宽度)的信息作为头使用。图14的虚线内所示的头具有按每行交替重复明暗的样式。另外,图示的样式也可以是明暗逆转的样式。
此外,利用将图像分割的样式发送可视光通信信号。例如,利用图14的(a)~(e)那样的样式。以下,说明生成发送信号的样式的数量。
图14的(a)是头的明暗逆转图像,该样式只存在1样式。图14的(b)表示将图14的(a)的图像分割为白存在1条的分割图像和白存在3条的分割图像的情况。该情况下,对于分割样式而言,最开始1条的情况为4种,后面1条的情况为4种,共计存在8种。
图14的(c)表示将图14的(a)的图像分割为白存在2条的2个分割图像的情况。该情况下,组合是从4个中选择2个的组合,所以具有4C2=6样式。此外,对于其次序而言,若考虑全部的情况,则当选择最开始的样式时接下来的图像只能选择剩下的2条从而是唯一确定的,所以分割样式存在6种。
图14的(d)表示将图14的(a)的图像分割为白存在2条的分割图像和白存在1条的2个分割图像的情况。对于该情况的组合而言,若以最开始2条的情况固定,则是从4个中选择2个的组合,所以具有4C2=6样式。考虑到剩下的2样式的替换则其2倍、进而白为2条的图像各存在最开始、中、后这3种,所以分割样式存在6×2×3=36种。
图14的(e)表示将图14的(a)的图像分割为白存在1条的4个分割图像的情况。对于该情况的分割样式而言,由于是从4个中选择4个的排列所以具有4P4=24种。
这是能够分解的全部的情况,所以合计75种,以单纯地将8条以4PPM等编码时的128种相比,能够发送的信号量大大减少。但是,若对这种考虑方法组合考虑之前说明的将进行发光的定时进行4分割的方法,则在(a)中信号影像发光的定时是1张的量所以能够生成4倍的组合,在(b)中是2张的量所以能够生成16倍的组合,在以后的(c)中能够生成16倍的组合,在(d)中能够生成64倍的组合,在(e)中能够生成256倍的组合。将他们合计,则为8676种,能够发送不足13比特但12比特以上的信息量。
另外,图像是与头完全逆转的图14的(a)的情况下,由于考虑到信号的误识别,因此优选避免该情况而将信号编码。
作为进一步的发展形式,可以如图15所示,在图14的(a)~(e)的组合中,加上全黑显示,设定用于始终将图像显示相同次数的期间框。该情况下,接收装置判别与各个被固定的期间框相符的信号的种类,从它们的组合将信号解码。
图15的(a)的情况下,含有信号的图像是一张,所以该一张图像放在4处的某处。因此,分割样式是4C1=4样式。若将显示定时与图11A同样地进行4分割,则存在16种的输出样式。
同样,图15(b)的情况下,相对于用图14说明的8种的每一种,将含有黑的位置从4处中选择2处的组合有4C2=6种。因此,分割样式为48种,将定时选择与其匹配则存在768种输出样式。
图15的(c)的情况下,相对于用图14说明的6种的每一种,将含有黑的位置从4处中选择2处的组合有4C2=6种。因此,分割样式为36种,将定时选择与其匹配则存在576种输出样式。
图15的(d)的情况下,相对于用图14说明的36种的每一种,将含有黑的位置从4处中选择1处的组合有4C1=4种。因此,分割样式为144种,将定时选择与其匹配则存在9216种输出样式。
图15的(e)的情况下,分割样式不从用图14说明的24种改变,匹配定时选择则存在6144种输出样式。
图15所示的全部样式共计256种,这相当于8bit的信息量。此外,若匹配定时选择则样式为16384,这相当于14bit。
另外,对于图15的(a),如上述那样,与头的误识别的可能性变高因此可以除外。该情况下,通过不进行定时选择,样式为252种,这相当于不足8bit。此外,若加入定时选择,则样式为16704种,可以预计相当于14bit的信息量的增加。
另外,头可以与编码图像在同一帧的通信期间中显示,也可以在不同的期间中显示。此时,可以在头的前、后、或前后双方插入全黑图像。
此外,可以将通过定时控制增加的信号单纯地用于使信息量增加,也可以将与编码信号相同的信号编码并输出,将该信号用于接收信号的相互检查。此时,能够进行大致全部信号的检查。
另外,本实施方式中,说明了行为8行的情况,但如果增加行数则信号量增大。该情况下也能够通过同样的方法计算,所以不详细记载,但在16行的情况下,在4分割下通过不进行定时选择,样式为65536种,这相当于16bit。进而,在一并进行定时选择的情况下,样式为3334800种,这相当于21bit。这样,能够发送大致依赖于行数的信号量。
这是因为,若将横向(时间方向)的分割数设为m,对于纵向的明行数n的各个能够独立设定m种,这些样式全部不同,所以通过不进行定时选择,始终存在m的n次方的样式。由此,能够以m进制用n位数字表现全部的样式,所以在编码及解码处理中,仅以m进制将n位的数字变换为2进制即可,能够非常简便地进行该处理。
此外,在上述说明中,头的图像示出与信号图像相同数量的明线,但通过使行数为奇数,能够避免头的图像与全部行聚集在一个分时的期间中的情况的信号图像相重复。并且,接收装置仅通过搜索存在不同条数的明行的位置就能够找到头。这样,行数优选为奇数。进而,在考虑变换为2进制等时,优选信号的明行的数量为偶数,所以行数优选为以4k+1(k为1以上的整数)表示的行数。
另一方面,若增加分割数,则由于信号的S/N比劣化,且还含有对定时选择动作的影响,所以优选设定分割数以使得输出一个图像的期间为50~100μsec程度以上。此外,在通信期间与影像显示期间的比例中,当通信期间的比例变大,则容易发生对比度的劣化等画质劣化的课题,所以该通信期间的比例也需要设定为一定值以下。
(时间的制约)
如上所述,曝光时间优选为20μsec以上。此外,优选在一个曝光时间之中可靠地包含全部的编码图像。进而,还考虑到图像显示开始的定时和曝光行的曝光开始的定时不同的情况,曝光时间优选为其一半的10μsec以上。此外,如上所述,根据人眼观察时的视觉识别性,曝光时间优选为0.2msec程度以内。
使用图16进一步详细说明。图16是表示摄像部的曝光时间与曝光行数及摄像的帧速率(表示能够在1秒间拍摄多少张照片的指标。单位为fps:frame per second)之间的关联的概略图。这里,帧速率设为一般的Ffps,曝光行数设为k行,曝光时间设为E秒。
如图16那样,一个帧为1/F秒,各曝光行依次推迟各1/kF秒开始曝光。曝光时间E大于将1帧的时间1/F除以曝光行数而得到的值的情况下,即,比1/kF秒长的情况下,在某时刻多个曝光行被曝光。根据现状的一般的规格,为F=30fps或F=60fps,曝光行数为720条或1080条等。即,与通常最短的曝光时间即1万分之1秒的程度相比,曝光时间较长,多个曝光行的曝光期间重叠的情况较多,因此考虑重合的情况而进行以下的说明。
假设为了发送两个信号而连续显示不同的2种以上的图像的情况。该情况下,在曝光期间有重合的情况下,不可能使各个曝光行仅摄像一个图像。
以下,说明在多个曝光行中曝光了多个图像的情况下、用于识别显示有多个图像这一情况的条件。如果图像的显示时间为E秒以下,则一个曝光行中多个图像被曝光。该情况下,该曝光行的图像是否对应于两个以上的图像能够参照前后的曝光行的图像来决定。但是,如果显示时间为E秒以下,则以一定的概率发生前后的曝光行中没有摄像有图像的情况,所以导致接收概率的大幅降低。
另一方面,如果显示时间为(E+1/kF)秒以上,则至少连续的图像的至少某个图像能够不与另一方的图像混杂地曝光。并且,为了使得不同的图像连续3个以上、在两端的图像以外也能够同样地识别,需要将显示时间设定为(E+2/kF)秒以上。该情况下,多个图像混杂曝光的曝光行成为1行以下,能够可靠地判别图像。即,在现状的一般的设备类的性能即F=30fps、k=1080、E=1/10000sec的情况下,优选在将不同的图像连续显示时的、一个图像的显示时间为约160μsec以上。
接着,说明通过在图像与图像之间显示整面黑(亮度低的灰阶)的黑图像从而能够识别图像的可能性提高的情况。黑图像的显示非常短的情况下,即小于(1/kF)秒的情况下,前后的不同的图像双方都被曝光的曝光行存在至少1行以上。在该曝光行中,得到对前后的图像和黑图像赋予了时间的权重而得到的积分像。因此,优选在不同的图像之间插入的黑图像被显示至少(1/kF)秒以上。此外,为了该黑图像的前后的信号图像也能够不与其它图像混杂地曝光的曝光行分别存在一个以上,黑图像的显示时间为曝光时间E秒以上即可。此时,无论前后的信号图像的显示时间如何,都不存在成为信号图像与黑图像混杂或者仅信号图像被曝光、与多个信号图像一起被曝光的曝光行。因此,插入的黑图像的显示时间优选为曝光时间E秒以上。
进而,说明黑图像的显示时间为1/kF秒至E秒之间的情况。该情况下,如上所述,能够将不同的信号图像由不同的曝光行识别的条件是,不同的信号图像不同时被曝光的曝光行存在至少一个以上,所以显示时间优选为(E-(黑图像的显示时间))秒以上。即,如果使黑图像的显示时间为1/kF秒以上,则信号图像的显示时间优选为(E-1/kF)秒以上。此外,黑图像的显示时间取得越长,则信号图像的显示时间可以越短。即,根据黑图像的显示时间,信号图像的显示时间的优选时间变化。此外,黑图像的显示时间比曝光时间E长的情况下,信号图像的显示时间不受该最低限度需要的优选时间的制约。
接着,使用图16说明显示2个以上的信号图像的组合的情况下的曝光时间。在各曝光行的曝光期间L1至Lk中入射到摄像系统的图像作为将该期间的图像的时间变化积分得到的图像而被记录。因而,例如,在曝光期间L1,使得以不包含不同的信号图像被输出的定时的方式,在曝光期间L1的开始显示同步的信号图像时,至少接下来的信号图像的开始优选为曝光期间L1结束后、即相当于曝光时间E秒的时间后。这是最严格的情况,所以相邻的信号图像的输出开始时刻优选空出至少曝光时间以上间隔。这里,可以认为,如果假设信号图像的显示时间为曝光时间以上,则不仅曝光期间L1及L2,在接下来的信号图像的显示期间所对应的曝光期间L3中也受到双方的信号的影响。因此,优选为,在满足先前的制约、即相邻的信号图像的输出开始时刻空出曝光时间以上间隔的基础上,在信号图像之间,将黑图像显示曝光期间L1与曝光期间L2的开始时刻的差分(1/kF)秒以上。
此外,对图像进行显示的定时也作为信号来使用的情况也与上述的例子同样。例如,如图11A及图11B所示,将有显示图像的可能性的期间设置16期间。优选为,该期间的各个期间将黑图像显示曝光时间以上、并且在曝光行的错开时间以上的时间。
另一方面,如图14说明的那样,在一个通信期间内显示例如5张图像的情况下,即使是相同的条件,也设定为信号图像的显示时间较短且黑图像的显示时间足够长。这样可知,在图14所示那样的情况下,适用上述条件也没有任何问题。
最后,对于信号图像的显示时间而言,考虑到现状的设备的性能等,在图像间不显示黑图像的情况下,优选设为160μsec以上。此外,在图像间显示黑图像的情况下,信号图像的显示时间优选满足10μsec以上以及200μsec以下的至少一方。此外,黑图像的显示时间优选设定为30μsec以上,更优选设定为100μsec以上。通过将显示时间设定在这些优选的范围,能够期待接收概率提高的效果。
如上,通过采取这样的方法,接收装置能够可靠判断与各行相当的位置。具体而言,接收装置能够判断1行的宽度相当于所摄像的图像的哪个大小,利用相应的位置的行的大小,进行从明暗的图像向编码的变换和从信号输入的定时向编码的变换。由此,在将图像向平面投影以外的情况下,也能够通过插入在投影图像之中的编码图像,实现12比特以上的信号的收发。例如,在称为投影映射(projection mapping)等的、将构造物等作为屏幕使用的情况下也能够实现信号的收发。
如以上那样,本实施方式的显示装置,进行对影像信号所表示的图像、和通过将可视光通信信号编码而得到的图像进行显示的可视光通信信号显示方法。
具体而言,如图17所示,首先,显示装置中包含的编码部(例如,图2的第二信号处理部160)通过将可视光通信信号的至少一部分编码而生成编码图像(S101)。具体而言,编码部生成图8等所示的、表示可视光通信信号的图像样式,并生成表示该图像样式的编码图像。例如,编码图像由明部和比明部暗的(亮度低的)暗部构成。
例如,编码部通过将全部的可视光通信信号进行编码而生成编码图像。或者,编码部通过将可视光通信信号的一部分进行编码而生成编码图像,将其它部分通过其它方法编码。这里,其它方法是指,如上述那样,(1)将可视光通信信号编码为显示多个分割图像的定时的方法、(2)将可视光通信信号编码为显示多个分割图像的顺序的方法、以及(3)将可视光通信信号编码为多个分割图像的分割样式的方法。另外,可以仅进行这些方法中的一个,也可以进行两个或三个。
接着,显示装置中包含的分割部(例如,图2的第二信号处理部160)对应于通过将编码图像分割而得到的各个局部图像,生成包含相对应的局部图像并且该局部图像以外为黑图像的多个分割图像(S102)。具体而言,各分割图像将对应的局部图像包含在与编码图像中的该局部图像的位置相同的位置。此外,各分割图像的尺寸与编码图像的尺寸相同。
此外,所谓黑图像,不需要是完全的黑(0水平),而是与预先设定的值相比亮度低的图像。此外,黑图像也可以是与上述的编码图像的暗部相同的图像。即,黑图像是规定的亮度值以下且具有大致均匀的亮度值的图像。此外,在将分割样式用于编码的情况下,分割部按照在步骤S101中决定的分割样式,对编码图像进行分割。
此外,如上所述,也可以是,在步骤S102中,分割部进一步对应于多个局部图像的每一个,生成包含由相对应的局部图像的亮度反转而得到的反转局部图像并且该反转局部图像以外为黑图像的多个反转图像。这里,亮度反转是指,例如,将上述的编码图像(局部图像)的明部和暗部替换。
接着,显示装置包含的显示部(例如,图2的显示控制部140以及显示部110),在影像显示期间,显示用影像信号表示的图像,在与影像显示期间不同的通信期间,将多个分割图像按时间序列进行显示(S103)。例如,影像显示期间以及通信期间包含于1帧期间。此外,在编码中利用显示多个分割图像的定时或显示多个分割图像的顺序的情况下,显示部在通信期间将多个分割图像按所决定的定时或顺序以时间序列进行显示。
此外,如上所述,在生成多个反转图像的情况下,显示部除了多个分割图像以外,还将该多个反转图像以时间序列进行显示。
另外,显示部也可以在通信期间在多个分割图像之间显示黑图像。此外,在显示多个反转图像的情况下,也可以在多个分割图像以及多个反转图像之间显示黑图像。另外,黑图像的含义与上述同样,并不意味着完全的黑。
此外,作为其它方式,本实施方式的显示装置,进行显示由影像信号表示的图像、和用于发送可视光通信信号的图像的可视光通信信号显示方法。
如图18所示,编码部将可视光通信信号的至少一部分编码为将基准图像分割的样式(S111)。基准图像例如由明部和比明部暗的(亮度低的)暗部构成。具体而言,例如,如图14所示,编码部从将基准图像分割为不同数量的分割图像的多个样式中,选择与可视光通信信号的至少一部分对应的样式,由此将可视光通信信号的至少一部分编码为样式。例如,如图14所示,多个样式不包含多个分割图像包含全黑图像(全部为黑图像的图像)的样式。
另外,如图15所示,编码部也可以从将基准图像分割为相同数量的分割图像的多个样式中,选择与可视光通信信号的至少一部分对应的样式,由此将可视光通信信号的至少一部分编码为样式。例如,如图15所示,多个样式包含多个分割图像包含全黑图像的样式。
例如,编码部将全部的可视光通信信号编码为将基准图像分割的样式。此外,编码部将可视光通信信号的一部分编码为将基准图像分割的样式,将其它部分通过其他方法编码。这里,其他方法是指,(1)将可视光通信信号编码为显示多个分割图像的定时的方法、(2)将可视光通信信号编码为显示多个分割图像的顺序的方法、以及(3)将可视光通信信号编码为编码图像(基准图像)的方法。另外,可以仅进行这些方法中的一个,也可以进行两个或三个。
这样,用于发送上述可视光通信信号的图像包含基准图像以及多个分割图像。
接着,分割部按照在步骤S101中决定的样式,将基准图像分割为多个分割图像(S112)。具体而言,分割部对应于将基准图像分割而得到的多个局部图像的每一个,生成包含相对应的局部图像并且该局部图像以外为黑图像的多个分割图像。另外,黑图像的含义与上述同样,并不意味着完全的黑。
接着,显示部在影像显示期间,显示由影像信号表示的图像,在与影像显示期间不同的通信期间,将基准图像的亮度反转而得到的反转图像以及多个分割图像按时间序列进行显示(S113)。这里,亮度反转是指,例如,将上述的基准图像的明部和暗部替换。例如,影像显示期间以及通信期间包含于1帧期间。此外,在编码中利用显示多个分割图像的定时或显示多个分割图像的顺序的情况下,显示部在通信期间将多个分割图像按所决定的定时或顺序以时间序列进行显示。
另外,显示部也可以在通信期间在多个分割图像以及反转图像之间显示黑图像。
进而,也可以将这些变形例组合。
(实施方式3)
以下,对实施方式3进行说明。
(发光部的亮度的观测)
提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图19是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光行,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将正在闪烁的光源拍摄到摄像元件的整面上而摄像的情况下,如图20那样,在摄像图像上发生沿着曝光行的亮线(像素值的明暗的线)。通过识别该亮线的样式(pattern),能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度下的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低也可以是光源不发光的状态,也可以是与高相比较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别1毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图20表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光行数为l时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图21那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
图22表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。即,为相邻的曝光行的曝光时间部分地具有时间上的重叠的结构。通过这样的结构,(1)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被摄体的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使各曝光行的曝光时间变长,所以即使在被摄体较暗的情况下,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要在全部的曝光行中相邻的曝光行的曝光时间部分地具有时间上的重叠,也可以是一部分的曝光行部分地不具有时间上的重叠。通过做成一部分的曝光行部分地不具有时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
图23表示在各曝光行的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来拍摄相同的明亮度的图像的摄像灵敏度抑制得较低,能够得到噪声较少的图像,所以通信失败被抑制。
图24表示在曝光时间相等的情况下、因各曝光行的曝光开始时刻的差异带来的影响。7501a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7501b是比前个曝光行的曝光结束更早地开始下个曝光行的曝光的情况。通过如7501b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光行的曝光量的差来识别比曝光时间短的光源的闪烁。
如在图23、图24中说明那样,在以使相邻的曝光行的曝光时间部分地具有时间上的重叠的方式将各曝光行依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可视光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的空白最大为1帧的一半的大小。即,由于空白时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以产生了至少曝光时间比1/(2f×4)短的需要。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
图25表示在各曝光行的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,做成在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,能够检测7502f那样的更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光行的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光行的曝光时间部分地具有时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生规定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生规定的不曝光的时间来实现。此外,通过如7502g那样使各曝光行的曝光开始时刻的间隔tD变大,也能够采用在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够拍摄明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光行变少,所以如7502h那样具有样本数变少的缺点,所以优选的是根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要在全部的曝光行中相邻的曝光行的曝光时间部分地具有时间上的重叠,也可以是一部分的曝光行部分地不具有时间上的重叠。此外,不需要在全部的曝光行中、在一个曝光行的曝光结束后到下个曝光行的曝光开始之前设置规定的不曝光的空闲时间(规定的等待时间),也可以是一部分的曝光行部分地具有时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。
图26表示光源亮度的最小变化时间tS、曝光时间tE、各曝光行的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,一个以上的曝光行从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。
图27表示光源亮度的变迁时间tT和各曝光行的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,成为中间色的曝光行越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光行连续地为2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图28表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比,tE越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当tE为tHT的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tHT是20微秒以下,所以通过使tE成为20微秒以上,能够容易地进行光源亮度的推测。
图29是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。考虑tHT根据光源而有偏差,根据曲线图,tE是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,tE优选的是较大,但如上述那样,还具有在tE越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时tE优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE优选的是设定为74微秒以上。
图30表示曝光时间tE与识别成功率的关系。曝光时间tE相对于光源的亮度为一定的时间具有相对性的意义,所以取将光源亮度变化的周期tS用曝光时间tE除的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1kHz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而拍摄明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为图31的中间模式优选的是使用这些曝光时间。
如图32那样,根据摄像装置,也有存在不进行曝光的时间(空白)的情况。
在存在空白的情况下,不能观察该时间的发光部的亮度。
通过发光部将相同的信号反复发送两次以上,或附加错误校正码,能够防止由空白带来的传送损失。
发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互素(relatively prime)的周期、或者比将图像摄像的周期短的周期发送信号。
(实施方式4)
图33表示使用在已经说明的实施方式中记载的显示方法及接收方法的服务提供系统。
首先,对于管理服务器ex8002的企业A ex8000,其他企业B或个人ex8001委托向便携终端的信息的分发。例如委托对于与标牌可视光通信的便携终端发送详细的广告信息、优惠券信息或地图信息等。管理服务器的企业A ex8000与任意的ID信息对应而管理向便携终端分发的信息。便携终端ex8003通过可视光通信从被摄体ex8004取得ID信息,将所取得的ID信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并将发送了与ID信息对应的信息的次数计数。管理服务器的企业A ex8000将与计数的次数对应的费用对委托的企业B或个人ex8001核款。例如,计数数越大,使核款的金额越大。
图34表示服务提供的流程。
在步骤ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在步骤ex8001中,在企业A管理的服务器中,将接受到分发委托的信息与特定的ID信息建立关联。在步骤ex8002中,便携终端通过可视光通信从被摄体接收特定的ID信息,向企业A管理的服务器发送。关于可视光通信方法的详细情况,由于在其他实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的ID信息对应的信息对便携终端发送。在步骤ex8003中,在服务器中,将信息分发的次数计数。最后,在步骤ex8004中,将与信息分发的计数数对应的费用对企业B核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业B核款。
图35表示另一例的服务提供的流程。关于与图34重复的步骤省略说明。
在步骤ex8008中,判断是否从信息分发的开始起经过了规定时间。如果判断为规定时间内,则在步骤ex8011中,不进行对企业B的核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8009中,将分发了信息的次数计数。并且,在步骤ex8010中,将与信息分发的计数对应的费用对企业B核款。这样,在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等后接受核款服务。
图36表示另一例的服务提供的流程。关于与图35重复的步骤省略说明。
在步骤ex8014中,将分发了信息的次数计数。在步骤ex8015中,在判断为从信息分发开始起没有经过规定期间的情况下,在步骤ex8016中不进行核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8017中进行分发了信息的次数是否为规定值以上的判断。在分发了信息的次数不到规定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到规定值的规定期间,对企业B不进行核款。在步骤ex8017中,如果计数数是规定值以上,则在步骤ex8018中将计数数复位一次,再次再开始计数。在步骤ex8019中,将与计数数对应的费用对企业B核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业B能够以适当的定时接受核款服务。此外,企业A也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业B提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的规定的期间短的期间。通过比初次的规定的期间短,能够使对于企业A的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。
另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在规定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的ID信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时间点能够决定费用。
如以上那样,通过附图及详细的说明,提供了申请人认为是最优模式的实施方式和其他实施方式。它们是为了通过参照特定的实施方式、对本领域的技术人员例证权利要求书所记载的主题而提供的。因而,在附图及详细的说明所记载的构成要素中,不仅包括为了解决问题而必须的构成要素,还可能包括其以外的构成要素。因此,不能因为这些不是必须的构成要素记载在附图及详细的说明中,而认为这些是必须的构成要素。此外,在权利要求书或其等价的范围中,能够对上述实施方式能够进行各种变更、替换、附加、省略等。
以上,说明了本公开的实施方式的显示装置、接收装置以及可视光通信系统,但本公开不限于该实施方式。
此外,上述实施方式的显示装置、接收装置、或者可视光通信系统包含的各处理部典型地作为集成电路LSI来实现。它们可以单独地被单芯片化,也可以以包含一部分或全部的方式被单芯片化。
此外,集成电路化不限于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array)、或者可重构LSI内部的电路单元的连接及设定的可重构处理器。
此外,在上述各实施方式中,各构成要素由专用的硬件构成,或者可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以由CPU或处理器等程序执行部将在硬盘或半导体存储器等记录介质中记录的软件程序读出并执行来实现。
进而,本公开也可以是上述程序,也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外,上述程序当然能够经由互联网等传送介质流通。
此外,在上述中使用的数字均为用于具体说明本公开而例示的,本公开不限于例示的数字。进而,由高/低表示的逻辑级或由通(on)/断(off)表示的开关状态是用于具体说明本公开而例示的,通过例示的逻辑级或开关状态的不同组合,能够得到等同的结果。
此外,框图中的功能块的分割是一例,可以将多个功能块作为一个功能块实现,或将一个功能块分割为多个,或将一部分功能移至其它功能块。此外,也可以将具有类似功能的多个功能块的功能由单一硬件或软件并行或分时地处理。
此外,上述可视光通信信号显示方法中包含的多个步骤被实行的顺序是用于具体说明本公开而例示的,也可以是上述以外的顺序。此外,上述步骤的一部分可以与其他步骤同时(并行)执行。
以上,对于一个或多个技术方案的显示装置、接收装置以及可视光通信系统,基于实施方式进行了说明,但本公开不限于该实施方式。只要不脱离本公开的主旨,将本领域技术人员想到的各种变形实施于本实施方式、或将不同的实施方式中的构成要素进行组合而构筑的方式也可以包含在一个或多个技术方案的范围内。
工业实用性
本公开的可视光通信信号显示方法以及显示装置,能够安全且能动地取得图像以外的信息,因此,家庭中的电视机、PC以及平板电脑等设备自不必说,在外出目的地的标牌、信息终端以及信息显示设备中也由于其能动性且安全地取得需要的信息,而能够适用于各种情况下的图像附带信息的转送、以及信息发送等各种各样的用途。
附图标记说明
100 显示装置
110 显示部
120 第一输入部
130 第一信号处理部
140 显示控制部
150 第二输入部
160 第二信号处理部
200 接收装置
210 摄像部
220 影像化部
230 信号判断部
240 信号解调部

Claims (22)

1.一种可视光通信信号显示方法,显示由影像信号表示的图像、和通过将可视光通信信号进行编码而得到的图像,其特征在于,包含以下步骤:
编码步骤,通过将上述可视光通信信号的至少一部分进行编码而生成编码图像;
分割步骤,对应于将上述编码图像进行空间上的分割而得到的多个局部图像的每一个,生成多个分割图像,该多个分割图像是包含相对应的局部图像、并且该局部图像以外具有规定的亮度值以下且大致均匀的亮度值的图像;以及
显示步骤,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示,
在上述编码步骤中,选择显示上述多个局部图像中的每一个局部图像的定时的样式中的、与上述可视光通信信号的至少一部分相对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
2.如权利要求1记载的可视光通信信号显示方法,
在上述编码步骤中,
通过将上述可视光通信信号的一部分进行编码而生成上述编码图像,
将上述可视光通信信号的其它部分编码为显示上述多个分割图像的定时;
在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述定时以时间序列进行显示。
3.如权利要求1或2记载的可视光通信信号显示方法,
在上述分割步骤中,进一步,对应于上述多个局部图像的每一个,生成多个反转图像,该多个反转图像是包含将相对应的局部图像的亮度反转而得到的反转局部图像、并且该反转局部图像以外具有规定的亮度值以下且大致均匀的亮度值的图像,
在上述显示步骤中,进一步,在上述通信期间,将上述多个反转图像按时间序列进行显示。
4.如权利要求1或2记载的可视光通信信号显示方法,
在上述编码步骤中,
通过将上述可视光通信信号的一部分进行编码而生成上述编码图像,
将上述可视光通信信号的其它部分编码为显示上述多个分割图像的顺序,
在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述顺序以时间序列进行显示。
5.权利要求1或2记载的可视光通信信号显示方法,
在上述显示步骤中,在上述通信期间,在上述多个分割图像之间,显示具有规定的亮度值以下且大致均匀的亮度值的黑图像,
上述黑图像被显示的时间为30μ秒以上。
6.权利要求5记载的可视光通信信号显示方法,
上述黑图像被显示的时间为100μ秒以上。
7.权利要求1或2记载的可视光通信信号显示方法,
在上述显示步骤中,一张上述分割图像被显示的时间为200μ秒以下。
8.权利要求1或2记载的可视光通信信号显示方法,
在上述显示步骤中,一张上述分割图像被显示的时间为10μ秒以上。
9.一种可视光通信信号显示方法,显示由影像信号表示的图像、和用于发送可视光通信信号的图像,其特征在于,包含以下步骤:
编码步骤,将上述可视光通信信号的至少一部分编码为对基准图像进行分割的样式;
分割步骤,按照由在互相不同的时间显示的多个分割图像所表示的上述样式,将上述基准图像分割为上述多个分割图像;以及
显示步骤,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将反转上述基准图像的亮度而得到的反转图像以及上述多个分割图像按时间序列进行显示,
在上述编码步骤中,选择将上述基准图像分割为上述多个分割图像的样式中的、与上述可视光通信信号的至少一部分相对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
10.如权利要求9记载的可视光通信信号显示方法,
用于发送上述可视光通信信号的图像包含上述基准图像以及上述多个分割图像。
11.如权利要求9或10记载的可视光通信信号显示方法,
在上述编码步骤中,
通过将上述可视光通信信号的一部分进行编码而生成上述样式,
将上述可视光通信信号的其它部分编码为显示上述多个分割图像的定时,
在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述定时以时间序列进行显示。
12.如权利要求9或10记载的可视光通信信号显示方法,
在上述编码步骤中,从将上述基准图像分割为相同数量的上述分割图像的多个样式中,选择与上述可视光通信信号的至少一部分对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式,
上述多个样式包含:上述多个分割图像包含具有规定的亮度值以下且大致均匀的亮度值的全黑图像的样式。
13.如权利要求9或10记载的可视光通信信号显示方法,
在上述编码步骤中,从将上述基准图像分割为不同数量的分割图像的多个样式中,选择与上述可视光通信信号的至少一部分对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
14.如权利要求9或10记载的可视光通信信号显示方法,
在上述分割步骤中,对应于将上述基准图像进行分割而得到的多个局部图像的每一个,生成上述多个分割图像,该多个分割图像是包含相对应的局部图像并且该局部图像以外具有规定的亮度值以下且大致均匀的亮度值的图像。
15.如权利要求9或10记载的可视光通信信号显示方法,
在上述编码步骤中,
通过将上述可视光通信信号的一部分进行编码而生成上述样式,
将上述可视光通信信号的其它部分编码为显示上述多个分割图像的顺序,
在上述显示步骤中,在上述通信期间,将上述多个分割图像按上述顺序以时间序列进行显示。
16.如权利要求9或10记载的可视光通信信号显示方法,
在上述编码步骤中,
通过将上述可视光通信信号的一部分进行编码而生成上述样式;
将上述可视光通信信号的其它部分编码为上述基准图像。
17.如权利要求9或10记载的可视光通信信号显示方法,
在上述显示步骤中,在上述通信期间,在上述多个分割图像之间,显示具有规定的亮度值以下且大致均匀的亮度值的黑图像,
上述黑图像被显示的时间为30μ秒以上。
18.如权利要求17记载的可视光通信信号显示方法,
上述黑图像被显示的时间为100μ秒以上。
19.如权利要求9或10记载的可视光通信信号显示方法,
在上述显示步骤中,一张上述分割图像被显示的时间为200μ秒以下。
20.如权利要求9或10记载的可视光通信信号显示方法,
在上述显示步骤中,一张上述分割图像被显示的时间为10μ秒以上。
21.一种显示装置,显示由影像信号表示的图像、和通过将可视光通信信号进行编码而得到的图像,其特征在于,包括:
编码部,通过将上述可视光通信信号的至少一部分进行编码而生成编码图像;
分割部,对应于将上述编码图像进行空间上的分割而得到的多个局部图像的每一个,生成多个分割图像,该多个分割图像是包含相对应的局部图像、并且该局部图像以外具有规定的亮度值以下且大致均匀的亮度值的图像;以及
显示部,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将上述多个分割图像按时间序列进行显示,
上述编码部,选择显示上述多个局部图像中的每一个局部图像的定时的样式中的、与上述可视光通信信号的至少一部分相对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
22.一种显示装置,显示由影像信号表示的图像、和用于发送可视光通信信号的图像,其特征在于,包含:
编码部,将上述可视光通信信号的至少一部分,编码为将基准图像进行分割的样式;
分割部,按照由多个分割图像表示的上述样式,将上述基准图像分割为上述多个分割图像,其中上述多个分割图像在互相不同的时间显示;以及
显示部,在影像显示期间,显示由上述影像信号表示的图像,在与上述影像显示期间不同的通信期间,将反转上述基准图像的亮度而得到的反转图像以及上述多个分割图像按时间序列进行显示,
上述编码部,选择将上述基准图像分割为上述多个分割图像的样式中的、与上述可视光通信信号的至少一部分相对应的样式,由此将上述可视光通信信号的至少一部分编码为上述样式。
CN201380067417.3A 2012-12-27 2013-12-27 可视光通信信号显示方法以及显示装置 Active CN104885382B (zh)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US201261746315P 2012-12-27 2012-12-27
JP2012286339 2012-12-27
US61/746,315 2012-12-27
JP2012-286339 2012-12-27
JP2013110445 2013-05-24
JP2013-110445 2013-05-24
JP2013-203349 2013-09-30
JP2013203349 2013-09-30
US201361896874P 2013-10-29 2013-10-29
JP2013224801 2013-10-29
US61/896,874 2013-10-29
JP2013-224801 2013-10-29
US201361907467P 2013-11-22 2013-11-22
JP2013-242338 2013-11-22
US61/907,467 2013-11-22
JP2013242338 2013-11-22
JP2013-242407 2013-11-22
JP2013242407 2013-11-22
PCT/JP2013/007675 WO2014103329A1 (ja) 2012-12-27 2013-12-27 可視光通信信号表示方法及び表示装置

Publications (2)

Publication Number Publication Date
CN104885382A CN104885382A (zh) 2015-09-02
CN104885382B true CN104885382B (zh) 2017-08-22

Family

ID=51020443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067417.3A Active CN104885382B (zh) 2012-12-27 2013-12-27 可视光通信信号显示方法以及显示装置

Country Status (5)

Country Link
US (1) US9262954B2 (zh)
EP (1) EP2940889B1 (zh)
JP (2) JP5557972B1 (zh)
CN (1) CN104885382B (zh)
WO (1) WO2014103329A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521125B2 (ja) 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
AU2013368082B9 (en) 2012-12-27 2018-11-29 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP5608834B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 映像表示方法
SG10201610410WA (en) 2012-12-27 2017-01-27 Panasonic Ip Corp America Information communication method
JP6184776B2 (ja) * 2013-07-04 2017-08-23 ローム株式会社 可視光通信システム
US9900092B2 (en) * 2013-07-23 2018-02-20 Philips Lighting Holding B.V. Modulation of coded light components
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
US9294666B2 (en) 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
JP6379811B2 (ja) * 2014-07-30 2018-08-29 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム
JP6670996B2 (ja) * 2014-09-26 2020-03-25 パナソニックIpマネジメント株式会社 表示装置及び表示方法
JP6425173B2 (ja) 2015-03-06 2018-11-21 パナソニックIpマネジメント株式会社 照明装置及び照明システム
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
KR101645136B1 (ko) * 2015-07-28 2016-08-02 성균관대학교산학협력단 디스플레이 화면에 데이터 통신을 위한 색상 코드를 출력하는 방법 및 색상 코드를 이용하여 데이터를 전달하는 방법
US20200186245A1 (en) * 2017-01-16 2020-06-11 Signify Holding B.V. Detecting coded light
US11221477B2 (en) * 2017-04-28 2022-01-11 Sony Corporation Communication apparatus, communication system, and data communication method
US11202044B2 (en) * 2017-05-26 2021-12-14 Sony Corporation Image processing apparatus and method
TWI650962B (zh) 2017-08-04 2019-02-11 財團法人工業技術研究院 光通訊系統及其方法、傳送裝置、接收裝置
WO2019041167A1 (zh) 2017-08-30 2019-03-07 陕西外号信息技术有限公司 光通信装置和系统以及相应的信息传输和接收方法
US11417246B2 (en) * 2017-10-19 2022-08-16 The Quantum Group, Inc. Personal augmented reality
CN111670548B (zh) * 2018-01-31 2023-07-21 软银股份有限公司 提供补充下行链路的通信系统、显示控制装置及通信终端
CN108172194B (zh) * 2018-03-22 2019-11-22 京东方科技集团股份有限公司 显示面板及其驱动方法、驱动装置、驱动系统
DE102018124339A1 (de) * 2018-10-02 2020-04-02 Technische Universität Dortmund Verfahren und Vorrichtung zur zeitlichen Synchronisation der optischen Übertragung von Daten im freien Raum
US11201670B2 (en) 2019-04-05 2021-12-14 Comcast Cable Communications, Llc Visible light communication
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
TWI759955B (zh) 2020-11-10 2022-04-01 財團法人工業技術研究院 通訊系統及其方法
WO2023127400A1 (ja) * 2021-12-28 2023-07-06 株式会社デンソーウェーブ 情報コード表示装置及び情報コード表示システム
CN114677956B (zh) * 2022-03-28 2023-09-29 暨南大学 一种长距离实时显示摄像通信系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001093473A2 (en) * 2000-05-31 2001-12-06 Optinetix (Israel) Ltd. Systems and methods for distributing information through broadcast media
CN101490985A (zh) * 2006-08-21 2009-07-22 松下电器产业株式会社 采用了图像传感器的光空间传输装置
CN102006120A (zh) * 2009-09-02 2011-04-06 株式会社东芝 可见光通信装置及方法

Family Cites Families (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347163B2 (en) 1994-10-26 2002-02-12 Symbol Technologies, Inc. System for reading two-dimensional images using ambient and/or projected light
WO1994026063A1 (en) 1993-05-03 1994-11-10 Pinjaroo Pty Limited Subliminal message display system
JPH07200428A (ja) 1993-12-28 1995-08-04 Canon Inc 通信装置
JP3949679B2 (ja) 1995-05-08 2007-07-25 ディジマーク コーポレイション ステガノグラフィシステム
EP1049320B1 (en) 1995-05-08 2003-01-02 Digimarc Corporation Initiating a link between computers based on the decoding of an address steganographically embedded in an audio object
US5765176A (en) 1996-09-06 1998-06-09 Xerox Corporation Performing document image management tasks using an iconic image having embedded encoded information
US5974348A (en) 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
JP2002144984A (ja) 2000-11-17 2002-05-22 Matsushita Electric Ind Co Ltd 車載用電子機器
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
US6831643B2 (en) 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US20030026422A1 (en) 2001-06-19 2003-02-06 Usa Video Interactive Corporation Method and apparatus for digitally fingerprinting videos
JP3861113B2 (ja) 2001-08-30 2006-12-20 株式会社日立プラズマパテントライセンシング 画像表示方法
JP2003179556A (ja) 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
US7415212B2 (en) 2001-10-23 2008-08-19 Sony Corporation Data communication system, data transmitter and data receiver
JP3829743B2 (ja) 2002-03-22 2006-10-04 株式会社デンソーウェーブ 光学的情報記録媒体及び光学的情報読取装置
JP4207490B2 (ja) * 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1865631B1 (en) * 2002-10-24 2011-04-13 Nakagawa Laboratories, Inc. Illumination light communication device
US20040101309A1 (en) 2002-11-27 2004-05-27 Beyette Fred R. Optical communication imager
JP4233371B2 (ja) 2003-04-10 2009-03-04 株式会社京三製作所 踏切障害物検知装置
KR101110009B1 (ko) 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
EP1744475B1 (en) 2004-05-31 2017-07-26 Casio Computer Co., Ltd. Information reception device, information transmission system, and information reception method
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP4803385B2 (ja) 2004-08-05 2011-10-26 独立行政法人科学技術振興機構 空間光通信を用いた情報処理システム及び空間光通信システム
US8254791B2 (en) 2004-09-22 2012-08-28 Kyocera Corporation Optical transmitting apparatus and optical communication system
JP2006092486A (ja) 2004-09-27 2006-04-06 Nippon Signal Co Ltd:The Led信号灯器
JP4736397B2 (ja) 2004-10-22 2011-07-27 日本電気株式会社 撮像素子、撮像モジュール及び携帯端末
EP1816858A1 (en) 2004-11-02 2007-08-08 Japan Science and Technology Agency Image pickup device, and its signal reading method
KR20060087744A (ko) 2005-01-31 2006-08-03 삼성전자주식회사 이동통신 단말기에서 잔상효과를 이용한 데이터 표시장치및 방법
JP3939327B2 (ja) 2005-02-03 2007-07-04 三菱電機株式会社 データ送信及び受信方法、データ送信及び受信装置
JP4789481B2 (ja) 2005-02-16 2011-10-12 シャープ株式会社 画像表示装置及びデータ伝達システム
WO2006109829A1 (ja) 2005-04-12 2006-10-19 Pioneer Corporation 通信システム、通信装置及び方法、並びにコンピュータプログラム
JP2006319545A (ja) 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd ディスプレイ装置および可視光送受信システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
JP4660818B2 (ja) 2005-06-03 2011-03-30 清水建設株式会社 照明システム
US20080290988A1 (en) 2005-06-18 2008-11-27 Crawford C S Lee Systems and methods for controlling access within a system of networked and non-networked processor-based systems
WO2007004530A1 (ja) 2005-06-30 2007-01-11 Pioneer Corporation 照明光通信装置および照明光通信方法
JP2007019936A (ja) 2005-07-08 2007-01-25 Fujifilm Holdings Corp 可視光通信システム、撮像装置、可視光通信準備方法及び可視光通信準備プログラム
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
JP4765027B2 (ja) 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
US7570246B2 (en) 2005-08-01 2009-08-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for communication using pulse-width-modulated visible light
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP4643403B2 (ja) 2005-09-13 2011-03-02 株式会社東芝 可視光通信システム及びその方法
JP2007082098A (ja) 2005-09-16 2007-03-29 Nakagawa Kenkyusho:Kk 送信データ割り当て方法および光通信システム
JP4939024B2 (ja) 2005-09-27 2012-05-23 京セラ株式会社 光通信装置、及び光通信方法
JP4325604B2 (ja) 2005-09-30 2009-09-02 日本電気株式会社 可視光制御装置、可視光通信装置、可視光制御方法及びプログラム
JP4739914B2 (ja) * 2005-10-28 2011-08-03 京セラ株式会社 通信装置、通信システム及び通信方法
JP4371108B2 (ja) 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム,オブジェクトの関連情報の記録方法,テレビジョン受像機及び表示制御方法
JP4868217B2 (ja) 2006-01-25 2012-02-01 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US20060242908A1 (en) 2006-02-15 2006-11-02 Mckinney David R Electromagnetic door actuator system and method
JP2007221570A (ja) 2006-02-17 2007-08-30 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2007228512A (ja) 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置
JP4980633B2 (ja) 2006-03-16 2012-07-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法
JP4767747B2 (ja) 2006-04-27 2011-09-07 京セラ株式会社 可視光通信のための発光装置およびその制御方法
DE102006024421B3 (de) 2006-05-24 2007-10-25 Siemens Ag Verfahren und Anordnung zur Übertragung von Daten mit wenigstens zwei Strahlungsquellen
JP5162850B2 (ja) 2006-07-10 2013-03-13 セイコーエプソン株式会社 プロジェクタ及び画像表示システム
JP4873623B2 (ja) 2006-07-28 2012-02-08 Kddi株式会社 カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム
JP4996175B2 (ja) 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
JP2008124922A (ja) 2006-11-14 2008-05-29 Matsushita Electric Works Ltd 照明装置、および照明システム
JP5288579B2 (ja) * 2006-12-13 2013-09-11 ルネサスエレクトロニクス株式会社 表示装置及び、コントローラドライバ
JP2008187615A (ja) 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US20080205848A1 (en) 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2008252466A (ja) 2007-03-30 2008-10-16 Nakagawa Kenkyusho:Kk 光通信システム、送信装置および受信装置
JP2008269486A (ja) 2007-04-24 2008-11-06 Olympus Corp 撮像機器及びその認証方法
JP4935492B2 (ja) 2007-05-11 2012-05-23 株式会社豊田中央研究所 光通信装置
JP2008292397A (ja) 2007-05-28 2008-12-04 Shimizu Corp 可視光通信を用いた位置情報提供システム
JP4867874B2 (ja) 2007-09-12 2012-02-01 富士通株式会社 画像処理プログラム、画像処理装置、および画像処理方法
JP5048440B2 (ja) 2007-09-27 2012-10-17 株式会社豊田中央研究所 光通信システム
JP4998232B2 (ja) 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
JP5285301B2 (ja) 2008-02-26 2013-09-11 パナソニック株式会社 光伝送システム
JP2009212768A (ja) 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
WO2009113415A1 (ja) 2008-03-10 2009-09-17 日本電気株式会社 通信システム、制御装置及び受信装置
JP5541153B2 (ja) 2008-03-10 2014-07-09 日本電気株式会社 通信システム、送信装置及び受信装置
JP2009232083A (ja) 2008-03-21 2009-10-08 Mitsubishi Electric Engineering Co Ltd 可視光通信システム
JP5171393B2 (ja) 2008-05-27 2013-03-27 パナソニック株式会社 可視光通信システム
US20110025730A1 (en) 2008-05-30 2011-02-03 Sharp Kabushiki Kaisha Illumination device, display device, and light guide plate
CA2727711A1 (en) 2008-06-12 2009-12-17 Ryan Steelberg Barcode advertising
JP2010103746A (ja) 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2010117871A (ja) 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
JP5185087B2 (ja) 2008-11-25 2013-04-17 三星電子株式会社 可視光通信システム、及び信号伝送方法
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
US8571217B2 (en) 2008-12-18 2013-10-29 Nec Corporation Display system, control apparatus, display method, and program
JP2010152285A (ja) 2008-12-26 2010-07-08 Fujifilm Corp 撮像装置
JP5282899B2 (ja) 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
JP2010232912A (ja) 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 照明光伝送システム
JP5193124B2 (ja) 2009-04-23 2013-05-08 株式会社日立情報制御ソリューションズ 電子透かし埋め込み方法及び装置
JP2010268264A (ja) 2009-05-15 2010-11-25 Panasonic Corp 撮像素子及び撮像装置
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
KR20100133806A (ko) 2009-06-12 2010-12-22 삼성전자주식회사 이미지 디스플레이 방법 및 장치
JP5537841B2 (ja) 2009-06-15 2014-07-02 ビーコア株式会社 発光体及び受光体及び関連する方法
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
KR101621095B1 (ko) * 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
US8831279B2 (en) 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
BR112012017094A8 (pt) 2010-01-15 2017-07-11 Koninklijke Philips Electronics Nv Sistema de deteccção para determinar uma primeira sequência de repetição de n símbolos incluída em um primeiro código, método para determinar uma primeira sequência de repetição de n símbolos incluídos em um primeiro código e programa de computador
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
WO2011139980A1 (en) 2010-05-05 2011-11-10 Digimarc Coporation Hidden image signaling
JP5750837B2 (ja) 2010-05-28 2015-07-22 カシオ計算機株式会社 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム
JP2011254317A (ja) 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP5619885B2 (ja) 2010-06-08 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報表示装置、表示制御用集積回路、及び表示制御方法
JP5635312B2 (ja) 2010-06-28 2014-12-03 株式会社アウトスタンディングテクノロジー 可視光通信送信機
JP5561860B2 (ja) 2010-08-19 2014-07-30 西日本電信電話株式会社 広告配信装置及び方法、ならびに、プログラム
WO2012026039A1 (ja) 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
US8891977B2 (en) 2010-09-29 2014-11-18 Supreme Architecture Ltd. Receiver chip and method for on-chip multi-node visible light communication
US8523075B2 (en) 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
US8634725B2 (en) 2010-10-07 2014-01-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting data using visible light communication
JP2012095214A (ja) 2010-10-28 2012-05-17 Canon Inc 撮像装置
US9112606B2 (en) * 2010-12-15 2015-08-18 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving data using visible light communication
US8553146B2 (en) * 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
JP2012169189A (ja) 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
US9251577B2 (en) 2011-03-04 2016-02-02 The University Of Tokushima Information providing method and information providing device
KR20140012734A (ko) 2011-03-16 2014-02-03 지멘스 악티엔게젤샤프트 가시광 통신을 위한 시스템 내에서 통지를 위한 방법 및 디바이스
EP2503852A1 (en) 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012205168A (ja) 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
US9667823B2 (en) 2011-05-12 2017-05-30 Moon J. Kim Time-varying barcode in an active display
JP2012244549A (ja) 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
US8964016B2 (en) 2011-07-26 2015-02-24 ByteLight, Inc. Content delivery based on a light positioning system
JP2013042221A (ja) 2011-08-11 2013-02-28 Panasonic Corp 通信端末、通信方法、マーカ装置及び通信システム
KR20130093699A (ko) 2011-12-23 2013-08-23 삼성전자주식회사 광정보 전송장치 및 광정보 수신장치
JP2013197849A (ja) 2012-03-19 2013-09-30 Toshiba Corp 可視光通信送信装置、可視光通信受信装置および可視光通信システム
US9450671B2 (en) 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
JP2013201541A (ja) 2012-03-23 2013-10-03 Toshiba Corp 受信装置、送信装置、及び通信システム
JP5936902B2 (ja) 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
JP5902995B2 (ja) 2012-05-10 2016-04-13 株式会社フジクラ Ledチューブを用いた移動システム、移動方法及びledチューブ
JP5934940B2 (ja) 2012-05-17 2016-06-15 パナソニックIpマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
JP5521125B2 (ja) 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
AU2013368082B9 (en) 2012-12-27 2018-11-29 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
SG10201610410WA (en) 2012-12-27 2017-01-27 Panasonic Ip Corp America Information communication method
JP5608834B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 映像表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001093473A2 (en) * 2000-05-31 2001-12-06 Optinetix (Israel) Ltd. Systems and methods for distributing information through broadcast media
CN101490985A (zh) * 2006-08-21 2009-07-22 松下电器产业株式会社 采用了图像传感器的光空间传输装置
CN102006120A (zh) * 2009-09-02 2011-04-06 株式会社东芝 可见光通信装置及方法

Also Published As

Publication number Publication date
JP2015122719A (ja) 2015-07-02
JPWO2014103329A1 (ja) 2017-01-12
EP2940889A4 (en) 2015-12-30
US20140205136A1 (en) 2014-07-24
EP2940889B1 (en) 2019-07-31
EP2940889A1 (en) 2015-11-04
CN104885382A (zh) 2015-09-02
JP5557972B1 (ja) 2014-07-23
US9262954B2 (en) 2016-02-16
JP6236356B2 (ja) 2017-11-22
WO2014103329A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
CN104885382B (zh) 可视光通信信号显示方法以及显示装置
CN104871453B (zh) 影像显示方法和装置
CN104871452B (zh) 可视光通信方法及可视光通信装置
US20120086862A1 (en) Video display device, video display method, video display screen and liquid crystal display device
JP4621795B1 (ja) 立体視映像表示装置及び立体視映像表示方法
TW200617430A (en) Lenticular based autostereoscopic display apparatus and method, and associated method of synthesizing autostereoscopic images
JP6362608B2 (ja) 表示方法および表示装置
CN101414449A (zh) 彩色序列式显示器的驱动方法
CN105578080A (zh) 成像方法、图像传感器、成像装置及电子装置
TWI416472B (zh) 背光源驅動方法與背光源驅動裝置
CN104301710B (zh) 显示辅助装置、显示系统及显示方法
US20130141426A1 (en) Three-dimensional imaging
CN115098898A (zh) Led屏显示方法、显示屏、装置、电子设备及存储介质
CN102270440B (zh) 背光模块、显示器系统及其背光模块的驱动方法
CN110521212A (zh) 视频录制及处理系统以及方法
CN108810498A (zh) 一种扫描投影方法及扫描投影设备
US8866880B2 (en) Display-camera system with selective crosstalk reduction
CN107492366B (zh) 一种图像信息的显示、采集方法及其装置
KR102123166B1 (ko) 색상 변조 기반 가시광 통신 방법 및 장치
JP2004166887A (ja) 遊技機
Takahashi et al. Photographing-decodable steganography by use of a high-frame-rate LED display
JP2011053707A (ja) 立体視映像表示装置及び立体視映像表示方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant