CN104885383A - 影像显示方法 - Google Patents

影像显示方法 Download PDF

Info

Publication number
CN104885383A
CN104885383A CN201380067420.5A CN201380067420A CN104885383A CN 104885383 A CN104885383 A CN 104885383A CN 201380067420 A CN201380067420 A CN 201380067420A CN 104885383 A CN104885383 A CN 104885383A
Authority
CN
China
Prior art keywords
image
visible light
light communication
signal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380067420.5A
Other languages
English (en)
Other versions
CN104885383B (zh
Inventor
大岛光昭
青山秀纪
中西幸司
青砥宏治
前田敏行
塩川晃
植木亮裕
铃木崇司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104885383A publication Critical patent/CN104885383A/zh
Application granted granted Critical
Publication of CN104885383B publication Critical patent/CN104885383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0085Time domain based watermarking, e.g. watermarks spread over several images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543Billing, e.g. for subscription services
    • H04N21/2547Third Party Billing, e.g. billing of advertiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/024Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/18Use of optical transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Optical Communication System (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

能够将可见光通信信号适当地发送的影像显示方法包括:步骤(SL11),通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;步骤(SL12),在规定的帧中,显示上述影像信号中包含的图像;步骤(SL13),在该规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。

Description

影像显示方法
技术领域
本发明涉及对影像信号中包含的图像进行显示的影像显示方法等。
背景技术
提出了使用可见光的通信技术。例如如专利文献1及2那样,提出了在包括显示器、投影仪等的影像显示装置中,在通常的影像显示中叠加基于可见光的通信信息进行显示的技术。
此外,有在印刷物中使用的电子水印技术、以及将QR码(注册商标)、条码等显示在图像中、经由这些编码的信号将信息通过便携电话或智能电话、数字照相机等的摄像设备向因特网的世界展开的技术。
但是,这些技术是将可见光通信信号编码并叠加到通过各像素的驱动器和背灯的控制进行影像信号的显示时的、背灯的控制的一部分中的技术,仅能够应用到通过两个系统的控制进行影像显示的影像显示设备中。
此外,提出了对于图像整体将信息以不醒目的形式叠加为电子水印状、在接收侧将叠加的信息解码等,使用影像显示装置将不同于影像的信息与影像同步或不同步地来收发关联的信息等的方法。此外,虽然有一些影像的劣化,但是使用通常存在的接收机迅速地进行信息的分离的措施也被采用。
现有技术文献
专利文献
专利文献1:日本特开2007-43706号公报
专利文献2:日本特开2009-212768号公报
发明内容
发明所要解决的课题
但是,在以往的影像显示方法中,存在无法将可见光通信用的信号适当地发送的问题。
解决课题所采用的技术手段
本发明的影像显示方法,是将影像信号中包含的图像按照帧显示的影像显示方法,包括:可见光通信图像生成步骤,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;第1显示步骤,在规定的帧中,显示上述影像信号中包含的图像;第2显示步骤,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
根据本发明,能够将可见光通信用的信号适当地发送。
附图说明
图1是表示实施方式1的可见光通信的系统的一例的概略图。
图2是表示实施方式1的影像显示装置的概略结构的框图。
图3是表示实施方式1的接收装置的概略结构的框图。
图4是表示可见光通信图像及编码图像的一例的概略图。
图5是说明实施方式1的影像显示装置将可见光通信图像混入到通常的影像中而显示的动作的一例的图。
图6A是说明实施方式1的影像显示装置和接收装置的动作的图。
图6B是说明实施方式1的影像显示装置和接收装置的动作的图。
图7是表示可见光通信图像、接收装置的角度和摄像错误发生概率的例子的图。
图8A是说明实施方式1的影像显示装置将可见光通信图像混入到通常的影像中而显示的动作的另一例的图。
图8B是说明实施方式1的影像显示装置将可见光通信图像混入到通常的影像中而显示的动作的另一例的图。
图9是表示可见光通信图像的另一生成例的图,是表示可见光通信图像的条纹图样、接收机的角度和需要的图像的大小的关系的一例的概略图。
图10是表示可见光通信图像的其他显示例的图。
图11是表示周边照明等的光源亮度的高频噪声与曝光时间的关系的图。
图12是表示将实施方式1的影像显示方法应用到3D显示系统中的情况的一例的图。
图13是表示编码图像的反转图像的时间间隔与条纹图样识别率的关系的图。
图14是表示使编码图像以两张一组变得不醒目的一例的示意图。
图15是表示编码图像以4张一组变得不醒目的一例的示意图。
图16是表示编码图像以8张一组变得不醒目的一例的示意图。
图17是表示调整编码图像而使原来的影像不紊乱的修正方法的一例的图。
图18是表示调整编码图像而使原来的影像不紊乱而插入的方法的一例的图。
图19是表示调整编码图像而插入的方法的一例的图。
图20是表示调整编码图像而插入的方法的一例的图。
图21是表示调整编码图像而插入的方法的一例的图。
图22是表示调整编码图像而插入的方法的一例的图。
图23是表示调整编码图像而插入的方法的一例的图。
图24是表示调整编码图像而插入的方法的一例的图。
图25是表示调整编码图像而插入的方法的一例的图。
图26是用来说明编码图像的图。
图27是表示投影仪的焦点距离调整连动操作的一例的流程图。
图28是通过焦点距离进行了调整的情况下的示意图。
图29是表示通过焦点距离显示的编码图像的一例的示意图。
图30是表示将投影仪的投影图像进行摄像的接收机的焦点距离连动操作的一例的流程图。
图31A是表示用来避免编码图像与类似影像样式的误识别的一例的影像输出图。
图31B是表示用来避免编码图像与类似影像样式的误识别的一例的影像输出图。
图32是表示将实施方式1的影像显示方法应用到照明装置中的一例的图。
图33是表示编码方式的图。
图34是表示在从斜向摄像的情况下也能够受光的编码方式的图。
图35是表示根据距离而信息量不同的编码方式的图。
图36是表示根据距离而信息量不同的编码方式的图。
图37是表示显示与距离对应的可见光通信图像的例子的图。
图38是表示根据接收装置的摄像结果而对可见光通信图像进行切换的例子的图。
图39是表示将数据分割的编码方式的图。
图40是表示将影像、可见光通信图像和黑图像进行显示的时间序列的图。
图41是表示将逆相图像插入的效果的图。
图42是表示超析像处理的图。
图43是表示与可见光通信对应的显示的图。
图44是表示使用可见光通信信号的信息取得的图。
图45是表示对影像数据添加了可见光通信的信号数据的数据格式的图。
图46是表示用来推测立体形状并使用其结果来进行接收的发送机的动作的一例的图。
图47是表示用来推测立体形状并使用其结果来进行接收的发送机的结构及动作的一例的图。
图48是表示立体投影的图。
图49是表示立体投影的图。
图50是表示实施方式2的发光部的亮度的观测方法的一例的图。
图51是表示实施方式2的发光部的亮度的观测方法的一例的图。
图52是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53A是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53B是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53C是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53D是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53E是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53F是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53G是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53H是表示实施方式2的发光部的亮度的观测方法的一例的图。
图53I是表示实施方式2的发光部的亮度的观测方法的一例的图。
图54是表示实施方式2的接收机的各模式的一例的图。
图55是表示实施方式2的发光部的亮度的观测方法的一例的图。
图56是表示将编码图像使用两台投影仪合成而投影的情况下的影像和信号的偏差量的示意图。
图57是说明将编码图像使用两台投影仪合成而投影的情况下的接合处的处理的示意图。
图58是表示在投影的对象上存在孔等的情况下的编码图像的应对法的示意图。
图59是表示在投影的对象中存在纵横方向的柱等的情况下的编码图像的一例的示意图。
图60是本实施方式的概念图。
图61是在屏幕上显示的条码信息的说明图。
图62是移动设备的信息取得的流程图。
图63是移动设备的信息取得的流程图。
图64是移动设备的信息取得的流程图。
图65是移动设备的信息取得的流程图。
图66是屏幕显示的信息的说明图。
图67是移动设备的信息取得的流程图。
图68是表示使用在各实施方式中记载的显示方法及接收方法的服务提供系统的图。
图69是表示服务提供的流程的流程图。
图70是表示另一例的服务提供的流程图。
图71是表示另一例的服务提供的流程图。
图72A是表示本发明的一个方式的影像显示方法的流程图。
图72B是表示本发明的一个方式的影像显示装置的框图。
具体实施方式
以下,适当参照附图详细地说明实施方式。但是,有时将不必要的详细说明省略。例如,有时将周知事项的详细说明或对于实质上相同的结构的重复说明省略。这是为了避免以下的说明不必要地变得冗长,使本领域的技术人员容易理解。
另外,申请人为了使本领域的技术人员充分地理解本发明而提供附图及以下的说明,但是并不通过它们限定权利要求书所记载的主题。
(得到发明的过程)
在专利文献1中,采取通过背灯的闪烁来叠加可见光通信信号的方法。因此,在背灯的灭灯时间中不能进行可见光通信信号的发送。不能发送可见光通信信号的期间成为信号的传递遗漏的原因,所以只能在降低画质的状态下进行通信。
此外,在近年来的影像显示装置、特别是液晶显示器、使用液晶的投影仪等的领域中,为了改善画质而采用被称作背灯扫描的技术。所谓背灯扫描,是将显示画面分割为若干区域,控制背灯的发光以按照每个区域定期地依次点亮的技术。为了改善利用摄像设备的方法、或者改善使用液晶的影像显示装置的运动图像特性的缺陷,采用根据图像信号限制背灯的点亮等的对策,当想要应用使用背灯的可见光通信时,难以实现运动图像特性的改善和基于背灯调制的可见光通信的兼顾。
另一方面,除此以外的影像显示装置,例如搭载有数字镜设备(以下称作DMD)的类型的投影仪、有机EL显示器、等离子显示器、以及使用CRT的影像显示装置,也无法利用专利文献1或2那样的方法将影像信号以外的信号叠加而发送。此外,还有在印刷物中使用的电子水印技术,以及将QR码(注册商标)或条码等显示在图像中、经由这些编码的信号从影像信号得到信息、再通过便携电话或智能电话、数字照相机等的摄像设备向因特网的世界展开的方法。但是,在这些方法中,因为画格尺寸有制约,存在必须将焦点对到一定水平等的限制,所以存在图像识别花费时间的问题,此外,因为以上理由必须将专用的影像信号以至少几秒以上的水平持续输出等,并不能够承受通常的使用。
所以,本发明提供一种影像显示装置、接收装置、可见光通信系统(影像显示系统)及影像显示方法,在影像信号中仅在非常短的期间混入编码的信号,将其以一定程度的循环重复,还使用利用了依次曝光型的图像传感器的摄像装置,由此,既不用取得同步,也不用特别注意画格、到影像显示装置的距离等,至多在1秒以内的比较短时间内就能够将可见光通信的信息插入到图像信息中而发送,并且对于影像信号没有大的干扰,也不会使画质严重下降。另外,在本发明中,所谓画格指的是是画面尺寸。
本发明的一形态的影像显示方法,是将影像信号中包含的图像按照帧显示的影像显示方法,包括:可见光通信图像生成步骤,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;第1显示步骤,在规定的帧中,显示上述影像信号中包含的图像;第2显示步骤,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
由此,例如在将全黑图像或均匀地为灰色的图像作为识别用图像显示后显示第1可见光通信图像,所以在通过将按照帧显示的图像使用依次曝光型的图像传感器摄像而得到的摄像图像中,显示表示可见光通信信号的开始位置的均匀地为黑或灰色的行。因而,能够从该摄像图像容易地读出可见光通信信号。结果,能够将可见光通信信号适当地发送。
此外,也可以是,上述影像显示方法还包括:第3显示步骤,在显示上述第1可见光通信图像后,显示可见光通信用的条纹图样的图像作为第2可见光通信图像。
由此,将条纹图样的可见光通信图像重复显示,所以能够将由这些可见光通信图像表示的可见光通信信号可靠地接收。
此外,也可以是,在上述第3显示步骤中,显示朝向与上述第1可见光通信图像的条纹图样的朝向不同的条纹图样的上述第2可见光通信图像。
由此,由于重复显示的可见光通信图像的条纹图样的朝向不同,所以能够抑制根据图像传感器中包含的各曝光行的朝向而可见光通信信号的接收概率下降的情况。
此外,也可以是,在上述第3显示步骤中,显示通过将构成上述第1可见光通信图像的条纹图样的相互不同的两个亮度值或颜色替换而表示的反转图像,作为上述第2可见光通信图像。
由此,由于将重复显示的可见光通信图像例如作为负和正等的反转图像显示,所以能够抑制因显示可见光通信图像造成的图像的闪变。此外,上述第1及第2可见光通信图像的各自的条纹图样也可以使用具有互补色的关系的两个颜色构成。
此外,也可以是,在上述第3显示步骤中,以上述1的可见光通信图像与上述第2可见光通信图像的显示间隔为20毫秒以下的方式,显示上述第2可见光通信图像。
由此,能够使可见光通信图像难以被人的眼睛辨识,能够抑制影像信号的对于图像的影响。
此外,也可以是,在上述第3显示步骤中,显示通过示出与上述第1可见光通信图像的条纹图样不同间距的条纹图样来表示与由上述第1可见光通信图像表示的信息的量不同的量的信息的图像,作为上述第2可见光通信图像。
由此,在距第1及第2可见光通信图像较近的位置将这些可见光通信图像摄像的情况下,能够从第1及第2可见光通信图像中的一方取得许多信息。此外,在距第1及第2可见光通信图像较远的位置将这些可见光通信图像摄像的情况下,由于上述一方的可见光通信图像的条纹图样较细,所以即使通过将该可见光通信图像摄像而得到的摄像图像不鲜明,也能够从另一方的较粗的条纹图样的可见光通信图像适当地取得信息。
此外,也可以是,上述影像显示方法还包括:摄像步骤,对上述第1可见光通信图像进行摄像;指示步骤,根据上述摄像的结果,进行使条纹图样的间距变更的指示;在上述第3显示步骤中,当进行了上述指示时,显示上述第2可见光通信图像。
由此,例如在智能电话将由投影仪映照出的第1可见光通信图像摄像的情况下,如果通过智能电话的摄像得到的摄像图像不鲜明,则智能电话能够对投影仪使其变更第1可见光通信图像和第2可见光通信图像。结果,智能电话能够得到鲜明的摄像图像,能够适当地接收可见光通信信号。
此外,也可以是,上述影像显示方法还包括:距离确定步骤,确定用来通过投影透镜的投影将上述第1可见光通信图像显示到屏幕上的焦点距离;数量决定步骤,根据上述焦点距离,决定所显示的上述第1可见光通信图像的数量;在上述第2显示步骤中,将上述第1可见光通信图像以所决定的上述数量排列显示在上述屏幕上。
由此,例如如果焦点距离较长,即如果投影距离较长,则能够使在屏幕上较大地显示的投影图像中的第1可见光通信图像的数量增加,提高可见光通信信号的接收概率。此外,例如如果焦点距离较短,即如果投影距离较短,则通过减少较小地显示在屏幕上的投影图像中的第1可见光通信图像的数量,能够抑制第1可见光通信图像被缩小,此时,也能够提高可见光通信信号的接收概率。
此外,也可以是,上述影像显示方法还包括:通知步骤,显示上述影像信号中包含的图像的显示装置将表示能够显示上述第1可见光通信图像的识别信息向输出上述影像信号的终端装置通知。
由此,例如作为投影仪的显示装置将表示自己是对应于可见光通信图像的显示的装置的识别信息向作为个人计算机的终端装置通知。结果,终端装置能够基于该通知的识别信息,容易地判断显示装置是否能够进行可见光通信。
此外,也可以是,上述影像显示方法还包括:摄影步骤,将图像传感器的各曝光行的曝光依次在不同的时刻开始,并且以1/480秒以下的曝光时间进行上述第1可见光通信图像的摄影,以使上述各曝光行的曝光时间在与相邻的曝光行之间部分性地具有时间上的重叠。
由此,能够从第1可见光通信图像适当地取得可见光通信信号。
以下,参照附图对实施方式具体地说明。
另外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
图1是表示实施方式1的能够进行可见光通信的影像显示系统的一例的概略图。
显示装置100是影像显示装置,例如是液晶显示装置,能够在显示部110上显示影像。此外,在该显示部110所显示的影像中,插入或叠加了表示与所显示的影像有关的信息的可见光通信信号。接收装置200通过对显示部110所显示的影像进行摄像,将通过在显示装置100的显示部110上显示而发送的可见光通信信号接收。接收装置200例如是内置有依次曝光型的图像传感器的智能电话。由此,用户能够获取与显示部110上显示的影像关联的信息等。
另外,在实施方式1中,作为显示装置而列举了液晶显示装置,但显示装置也可以是有机EL显示装置、等离子显示装置等的显示器设备、或者投影显示装置、投影仪等的投影型的显示装置。
此外,作为接收装置而列举了智能电话,但接收装置只要是搭载有能够进行依次曝光的类型的图像传感器的电子设备就可以。例如也可以是数字静像照相机等。
图2是表示实施方式1的显示装置100的概略结构的一例的框图。如图2所示,显示装置100具备:显示部110、第1输入部120、第1信号处理部130、显示控制部140、第2输入部150、第2信号处理部160。
第1输入部120经由天线、影像信号线例如复合线缆、HDMI(注册商标)线缆、PJLink线缆等、或LAN线缆等从广播电波、影像录像机、影像再现机、PC等接收与显示部110上显示的影像有关的影像信号,向第1信号处理部130发送。另外,在影像录像机或影像再现机中也可以使用保存在各种记录介质中的信号。
第1信号处理部130在对输入的影像信号实施解码处理等通常的图像处理后,将各帧分解为多个子帧。第1信号处理部130将表示子帧和影像信号的大小、显示定时或明亮度等的信息向显示控制部140和第2信号处理部160发送。
在第2输入部150中,将由PC等制作的可见光通信信号经由专用的线缆等或LAN线缆等接收。另外,可见光通信信号既可以叠加到广播电波的一部分而经由天线线缆输入,也可以将对其录像的影像录像机或PC等另行制作的可见光通信信号与影像信号叠加后的信号从影像录像机或影像再现机装载到HDMI(注册商标)线缆或PJLink线缆等的一部分的线路中而收发。在影像录像机或影像再现机中也可以使用保存在各种记录介质中的信号。此外,除了从外部接收以外,还有利用显示装置的ID等内置在显示装置中的信息,来替代经由因特网等读取服务器信息而得到信息的方法。第2输入部150将接收到的信号向第2信号处理部160发送。以下,将可见光通信信号的一连串的数据的1个集合标记为1个块。
第2信号处理部160制作从第2输入部150输入的可见光通信信号的调制信号,基于调制信号制作可见光通信图像。在可见光通信信号的编码中,既可以进行依据JEITA-CP1222或1223的编码,也可以使用IEEE-P802.15.7等的规格。此外,如果只是编码,也可以使用与其对应的接收装置来构成。也可以使用它们以外的编码方法例如曼彻斯特编码等调制,还可以是,虽然在这里只是进行二值下的编码,但鉴于能够将灰度表现原样使用,还可以进行三值以上的编码,即传递以往的2倍以上的信息量。
此外,第2信号处理部160基于与从第1信号处理部130输入的影像信号中包含的影像的明亮度等有关的信息,决定向构成1帧的子帧中、或多个帧中的哪个子帧(影像信号期间)的哪个区域插入可见光通信图像。例如,选择比较明亮地显示的帧中的子帧,插入可见光通信图像。此外,也可以选择比较明亮地显示的子帧而插入可见光通信图像。
既可以设定混入到帧中的子帧,也可以选择显示部110比较明亮地显示的子帧而混入可见光通信图像。此外,在使用加权后的子帧进行灰度表现的情况下,有时通过误差扩散等扩大灰度表现的幅度。在此情况下,当使用权重较低的子帧时,也可以选择即使误差扩散等亮度也不变动而点灯状态持续的期间,来显示可见光通信图像。
进而,关于通常的影像显示,也可以使用如下的显示方法:利用其他的子场来修正因显示可见光通信图像而带来的亮度的上升下降,能够作为连续的影像而顺利地视听。
另外,也可以不是已有的子帧,而在1帧内设定或制作显示通常影像的时间区域和显示可见光通信图像的时间区域。此时,作为被插入或显示可见光通信图像的帧,也可以由显示部110选择比较明亮的帧。
此外,在预先决定了插入可见光通信图像的位置或时间带的情况下,也可以不进行由第2信号处理部160进行的、关于插入可见光通信图像的子帧或时间区域的决定的处理。在此情况下,只要向预先决定的子帧或时间区域插入可见光通信图像并显示或输出即可。
此外,显示可见光通信图像的时间优选的是尽可能为短时间,但是受到接收装置侧的性能的影响也很大,所以本件在后面详述。
第2信号处理部160将所生成的可见光通信图像和表示插入可见光通信图像的子帧或时间区域的显示定时信息向显示控制部140发送。
显示控制部140根据从第1信号处理部130及第2信号处理部160分别输入的显示定时信息,向从第1信号处理部130输入的影像信号插入从第2信号处理部160输入的可见光通信图像。另外,显示控制部140如后述那样,如果考虑影像的响应速度等,优选的是使用能够进行利用固体半导体元件的开关的元件来进行图像显示。显示部110显示从显示控制部140输入的影像信号。
图3是表示实施方式1的接收装置200的一结构例的框图。
如图3所示,接收装置200具备:摄像部210、影像化部220、信号判定部230及信号解调部240。
摄像部210对显示部110上显示的图像进行摄像。摄像部210例如由依次曝光型的图像传感器构成。如果开始摄像,则图像传感器依次进行横列的曝光,将摄像的数据保存到缓存器(未图示)。根据图像传感器,有的按照列依次进行曝光,有的按照各曝光元件作为一定的元件群依次曝光,但处理是相同的,目的只是取得在图像的横向上排列的数据。
影像化部220对于由摄像部210摄像并保存在缓存中的数据,将各像素的亮度表现为二维显示的位图,作为影像向信号判定部230输出。
信号判定部230判定在由影像化部220输入的影像中是否包含可见光通信图像。首先,按照1块的大小的数据搜索数据的头部分,判断是否包含有数据。在信号判定部230判定为在输入的影像中插入有可见光通信图像的情况下,将输入的影像向信号解调部240输出,并指示摄像部210停止摄像动作。此外,在信号判定部230判定为在输入的信号中没有插入可见光通信图像的情况下,摄像部210将保存在缓存中的数据向通过摄像得到的图像数据进行覆盖,并且再次重复依次曝光。这里,信号判定部230什么都不做。如果虽然进行了一定期间摄像但不能判定插入了可见光通信图像的影像、或者没有判断为输入了数据,则信号判定部230使摄像部210的摄像动作停止。信号判定部230也可以作为错误而返回信号。
信号解调部240从由信号判定部230输出的影像取出可见光通信图像,解调为原来的可见光通信信号。信号解调部240将二值化的数据解码,作为可见光通信信号向存储器保存。
接着,对将可见光通信信号图像化的可见光通信图像进行说明。
图4是表示可见光通信图像的一例的图。图4的(a)表示将1块的可见光通信信号编码的编码图像P,在水平方向上作为明暗的显示而表现。通过将图4的(a)的编码图像P如图4的(b)所示那样直接在铅直方向上延伸到显示部110的两端附近,生成编码图像P1。然后,如图4的(c)所示,将图4的(b)的编码图像P1在横向上重复显示5次,生成最终的可见光通信图像。这里,横向的重复次数根据1块的编码图像的大小和影像的大小决定。
另外,通过将1块的编码图像延伸,如后述那样能够用许多曝光行捕捉编码图像,所以能够期待接收概率的提高。此外,将1块的编码图像重复显示,是为了应对因显示装置与接收装置间的距离、接收装置的摄像部的性能而画格不同的问题。这表示,即使接收装置没有对显示部110整体进行摄影的性能,只要将显示部110上显示的可见光通信图像的某个部分摄影,就能够取得由图4的(a)表示的编码图像P1。通过这样生成可见光通信图像,能够缓和接收装置的摄影状况的制约。编码图像的重复次数越多,近距离的摄影越有效。此外,如果以接收装置能够对画面整体进行摄像作为前提,则并不一定需要将编码图像重复。
以下,对实施方式1的可见光通信系统(影像显示系统)的动作具体地说明。首先,说明显示装置100的动作。图5是说明实施方式1的显示装置的动作的图。在图5中,将横向作为时间轴。
图5的(a)表示从第1信号处理部130输出的图像,该图的(b)表示从第2信号处理部160输出的图像,该图的(c)表示从显示控制部140输出的图像。
首先,如图5的(a)所示,从第1信号处理部130在1/F秒内输出4张图像。这表示输入到第1输入部120中的影像在1/F秒内显示4个图像。第1信号处理部130向显示控制部140发送在1/F秒内显示4个图像的显示定时信息。此外,第1信号处理部130将图像A11、A21、A31、A41,…每1/F秒向显示控制部140输出。进而,第1信号处理部130将与发送给显示控制部140的显示定时信息相同的显示定时信息向第2信号处理部160发送。
接着,如图5的(b)所示,在第2信号处理部160中,将预先保持的全黑图像B1、和根据从第2输入部150输入的可见光通信信号生成的可见光通信图像C1向显示控制部140输出。在此情况下,第2信号处理部160将图像A1x、A2x、A3x、A4x根据图像的明亮度等决定为混入可见光通信图像的图像(x表示是帧的第x个)。此外,第2信号处理部160在1/F秒内显示4张图像,决定在第3张混入全黑图像Bx,在第4张混入可见光通信图像Cx。第2信号处理部160将与所决定的显示有关的信息作为显示定时信息向显示控制部140输出。例如,x是1。
接着,如图5所示,显示控制部140根据输入的显示定时信息,决定从第1信号处理部130输入的图像A、从第2信号处理部160输入的全黑图像Bx、可见光通信图像Cx的显示定时。在此情况下,显示控制部140进行控制,使显示部110在1/F秒内显示4张图像。显示控制部140进行控制,使得显示部110在4张图像中,在第1张、第2张中显示从第1信号处理部130发送的图像A11、A21,在第3张中显示从第2信号处理部160发送的全黑图像B1,在第4张中显示从第2信号处理部160发送的可见光通信图像C1。
进而,显示控制部140进行控制,在下个1/F秒内显示4张图像。在此情况下,显示控制部140进行控制,使得显示部110在4张图像中,在第1张、第2张中显示图像A1(x+1)、A2(x+1),在第3张中显示全黑图像B(x+1),在第4张中显示可见光通信图像C(x+1)。在图5的例子中,将第4张的可见光通信图像C1旋转90度,混入成型为与可见光通信图像C1相同尺寸的可见光通信图像C2。即,当使可见光通信图像混入多次时,既可以使相同的可见光通信图像混入多次,也可以使原来的可见光通信图像反转或旋转而混入。这是为了应对接收装置200的各种摄像方向、角度等。全黑图像B1和B2也可以是相同的,可见光通信图像C1和C2也可以是相同的,也可以如上述那样是不同的。
此外,将各图像A1x、A2x、A3x、A4x、全黑图像Bx、可见光通信图像Cx分别以1/F秒内隔显示。
另外,根据影像不同,可见光通信图像也可以不以连续的帧显示,而按照一些帧显示或随机地显示。
另外,本实施方式的子帧并不限于为了灰度表现而制作的子帧,也可以是液晶显示装置等的所谓4倍驱动等为了提高画质而制作的子帧。
接着,说明接收装置200的动作。图6A是说明实施方式1的接收装置的动作的图。在图6A中,将横向设为时间轴。
图6A的(a)表示显示装置100的显示部110所显示的图像,该图的(b)表示摄像部210中的各曝光行的曝光时间,该图的(c)表示接收装置摄像的图像。
如图6A的(a)所示,在显示部110中,以1/F秒显示4张图像。在图6A的(a)的例子中,在4张图像中,在第3张显示全黑图像B1,在第4张显示可见光通信图像C1。
摄像部210对显示部110上显示的影像进行摄像。在摄像部210由依次曝光型的图像传感器构成的情况下,如果开始摄像,则图像传感器依次作为横列而依次进行曝光,将摄像出的数据向缓存器(未图示)保存。将各依次进行曝光的单位,特别是这里由于设想了以行状依次进行,所以称作曝光行。在图6A的(b)的情况下,以曝光行L1、L2、L3,…的顺序进行曝光。
另外,在图6A的(b)中,作为一例而图像传感器被分割为10条曝光行,但也可以是其以外的分割数,此外,也可以不是行状。各个曝光行是在非常短的时间中交迭而依次将行曝光的结构。
图6A的(c)表示在全曝光行的摄像结束的时点在缓存中保存的图像。在此情况下,帧内的图像的开始部与摄像的1单位的开始部偶然一致,但其也可以错开而开始摄像的单位。在此情况下,接收装置侧的摄像的图像在图6A的(c)中被摄像为从上起第3个在横向上信号宽度较短的横条纹,相对于此,图像中的场所只是上下波动,必定观察到横条纹,所以不需要特别控制定时,也不需要从某处开始拾取触发信号。在图6A的(c)的情况下,在曝光行L6中摄像有可见光通信图像。
影像化部220对于由摄像部210摄像并保存在缓存中的数据,将各像素的亮度表现为二维显示的位图,作为影像向信号判定部230输出。
信号判定部230判定在从影像化部220输入的影像中是否包含可见光通信图像。在图6A的情况下,如果被输入图6A的(c)的影像,则信号判定部230判定为在曝光行L1~L10中,在曝光行L6中插入了可见光通信图像,将被输入的影像向信号解调部240输出,并对摄像部210指示停止摄像动作。
信号解调部240从由信号判定部230输出的影像中取出表示可见光通信图像的曝光行L6的图像,解码为原来的可见光通信信号。
另外,信号判定部230的判定以输入的影像单位进行,但也可以按照曝光行进行。在此情况下,也可以在判定为在曝光行L6中包含可见光通信图像的时点不进行曝光行L7以后的判定,停止摄像部210的动作。
此外,如图6A所示,说明了在1秒内由F个帧构成影像、显示可见光通信图像的期间是1帧中的一部分的时间、在本实施方式中是1帧的1/4的情况。显示可见光通信图像的期间也可以是1/4帧以外,但是从尽可能使信号难以辨识的角度来说,优选的是至少为1/4帧以下。进而,在接收装置侧可处理的范围内尽可能小的值是优选的。
通过以上那样的结构,在较短的期间中插入可见光信号编码图像,如果曝光时间充分短,即如果基于图6A,若是比nF分之1秒(在图6的情况下是n=4)充分快的快门速度曝光时间,则相当于某处的相应的曝光行显示可见光信号编码图像的时间。优选的是在曝光行的曝光时间中不插入其他图像,所以在图6A的例子中,如果设为比4F分之1秒的再小一半的曝光时间,则能够可靠地将没有被插入其他图像的图像摄像。另外,如图6B所示,也可以代替全黑图像Bx而插入亮度相比全黑图像均匀地较亮的全灰图像Bx。
这样,通过用依次曝光型的摄像部摄像的接收装置的组合,简单且在时机上没有制约,所以能够以简单的结构收发可见光信号。
另外,关于将可见光通信图像插入的时间、和依次曝光型的摄像部的扫描速度及曝光时间,优选的是满足(式1)的关系。这是因为,如果与可见光通信图像的前后的影像信号一起对于可见光通信图像将曝光行曝光,则S/N会变得很差。
(式1)1曝光行的曝光时间<1/(2×nF)
在(式1)中,n是将影像的1帧均等地分割的子帧的数量,F是在1秒内显示的帧数。N、F都是正整数。
如果考虑可见光通信图像或编码图像在人的眼中不易被作为残像识别的时间宽度,则显示可见光通信图像或编码图像的1曝光行的曝光时间优选的是1msec以内,更优选的是0.2msec以内。如果以当前的影像信号的通常的帧数F=60考虑,则为了满足(式1)而n>8,优选的是n>40。
以下,对设定作为显示上述可见光通信图像或编码图像的时间优选的范围的理由进行说明。这是因为,人的眼睛的时间分辨能力一般在时间上是50msec左右,在此以下会作为残像成为与前后的影像混杂的图像被识别到。另一方面,人的眼睛被作为亮度差能捕捉到的极限虽然有个人差异,但大体可以说,如果相邻的区域的亮度差达到2%,则几乎所有的人都识别出有亮度差。因而,为了使插入的可见光通信图像或编码图像不与前后的图像混杂而被作为亮度差识别到,优选的是50msec的2%,即1msec以下的时间。
如果将帧直接使用,可能会产生潜意识效应等的副作用,所以n=2为所需最低限度的帧分割数。据此,可以举出选择比1/480小的快门速度或曝光时间作为具体优选的数值。关于详细情况后述。
此外,作为从影像设备在非常短的期间中发出可见光通信图像或编码图像的具体方法,如PDP或EL那样动作速度较快者可以通过用驱动信号控制来应对,而在LCD等即便驱动高速化、液晶的反应速度也较慢的情况下不能应对。在这样的时候,特别是如果背灯是LED等能够高速闪烁的装置,则可以将LED灭灯而显示较短的时间。关于投影仪,LCOS等使用液晶的装置也同样,能够对光源侧施加控制而实现短时间的显示。进而,在采取用数字镜设备(DMD)等能够高速驱动反射镜设备向投影侧射出光的方法的投影仪的情况下,也可以通过DMD的控制进行短时间显示,此外,在光源侧的控制中也能够将时间裁剪,还可以将这些组合而使时间变短。
另外,在实施方式1中,对将可见光通信信号在横向上排列的情况进行了说明,但并不限定于此。在将可见光通信信号在横向上排列的情况下,编码图像为纵条纹。因此,在接收装置200的摄像部210不在朝向以横向为单位的纵向依次曝光的方向上对图像进行摄像的情况下,不能取得可见光通信信号的编码图像。
此外,如果以一定以上的角度将接收装置倾斜摄像,则数据的一个集合的1块没有全部进入到摄像范围,或与条纹图样成为平行,所以也出现不能取得数据等的问题。
在图7中,表示可见光通信图像与接收装置的角度和接收错误的发生概率、以及需要的图像的大小的关系的一例。
如图7所示,可见光通信图像的条纹图样、接收装置的角度和摄像接收错误的发生概率的关系成为大致表示余弦法则的形状的曲线图。这是因为,由接收装置机的1个曝光行得到的画格如果角度变化,则按照余弦法则,其能够摄像的数据的范围变小,如果用1个曝光行能够摄像的数据变小到与1块大致同样的区域,则其误识别的概率急剧变高。在图7中,使用在整个画面中保存有4块数据的可见光通信图像或编码图像,是接收装置机的摄像从能够取得整个画面的位置摄像时的结果,可见,只要是135度(45度倾斜摄影的情况)左右以内的角度,就能够没有问题地获得数据。急剧地变化的角度根据在整个画面中保存有几块数据、或者在摄像时以怎样程度的距离将整个画面看起来是何种程度的大小的位置摄像而不同。进而,当垂直时,在理论上也不能取得数据,所以根据视听者将接收装置放置到哪个朝向(纵向还是横向),会发生完全不能进行可见光通信信号的接收的状况。为了解决这些不良状况,可以将可见光通信图像在纵向上或斜向配置,或配置为在纵部分和横部分反转的样式。
例如,也可以如图8A所示那样,显示纵向的条纹图样的可见光通信图像C1、横向的条纹图样的可见光通信图像C2、斜向的条纹图样的可见光通信图像C3、与可见光通信图像C3相反的斜向的条纹图样的可见光通信图像C4。进而,也可以如图8B所示那样,显示纵向的条纹图样的可见光通信图像C1a、作为使可见光通信图像C1a的亮度(白和黑)反转的图像的可见光通信图像C1b、横向的条纹图样的可见光通信图像C2a、作为使可见光通信图像C2a的亮度(白和黑)反转的图像的可见光通信图像C2b、斜向的条纹图样的可见光通信图像C3a、作为使可见光通信图像C3a的亮度(白和黑)反转的图像的可见光通信图像C3b、与可见光通信图像C3a相反的斜向的条纹图样的可见光通信图像C4a、和作为使可见光通信图像C4a的亮度(白和黑)反转的图像的可见光通信图像C4b。
图9的(a)是使1个图4的编码图像P铺满到整个画面的显示例。通过做成这样的配置,缓和了由摄影的可见光通信图像的像素的大小带来的限制,能够从相对于显示部110隔开较远距离的场所进行接收。图9的(b)与图4完全同样,是编码图像P由横条纹构成、在纵向上重复显示了4层的图像。此时,接收机的依次曝光行能够在为大致铅直方向的方向上接收。图9的(c)是将画面整体斜向排列为大致45度的编码图像的例子。图9的(d)是在与(c)反方向上排列为约45度的编码图像的例子。此后是以图4及图9的(a)至(d)的某个为基本形、表示为将它们组合的例子的图。图9的(e)在以棋盘格图样进行这样的配置时,通过以画面的至少棋盘格图样的一个单位以上的画格进行摄像,不论接收机的摄像装置的朝向及角度朝向哪里都能够接收信号。图9的(f)是将画面的约一半倾斜45度、将其余部分在与其正交的方向上排列的编码图像。图9的(g)为数据的1块在画面上侧以画面整体(由于是纵条纹,所以在横向上)显示4块数据、在画面下一半以画面整体重复显示两块数据的图像。这是因为,如果由接收机摄像的场所与显示面的距离较近,则在接收机侧摄像的图像较大,其析像度变高,所以数据的块数变多时较有利。但是,当从比较远离的场所摄像时,由于析像度变低,所以数据的块数变少是优选的。因而,为了能够应对任何情况,可以制作将它们加在一起的图像而显示。这里表示了4块和两块的例子,但也可以是其以外的数量的组合。图9的(h)是将1图像在上下方向上分割、在各自的区域中使可见光通信图像的条纹的相位变化的图像。据此,能够避免因场所带来的明暗的局部化,所以能够期待伴随着视线移动的闪变防止的效果。这里,在纵条纹中,使纵向的分割为5个,以使最上和最下的相位一致的方式依次进行相位变化,但分割数并不限于此,此外,相位变化也可以是随机的。
此外,图4或图9所明示的图像或使它们旋转一定的角度的图像各有长处和短处,所以根据用途,可以使用将这些图像任意旋转并组合的图像。
进而,在时间上进行重复显示的情况下,也可以使这些图像根据用途而按照帧依次或随机地变化来显示。
另外,在进行依次扫描、背灯扫描的液晶等存在不同时显示整个画面的期间的显示设备中,通过使用与扫描的方向垂直方向的条纹图样,能够期待通信概率的提高。在通常的液晶显示装置中,由于在纵向上进行扫描,所以优选的是采用横条纹即图4的(b)。
全黑图像的亮度等级不需要与可见光通信图像或编码图像中的黑色的部分即亮度较低的部分的亮度一致。但是,考虑到接收可见光通信信号的灵敏度,遍及整面的亮度为低等级的图像的亮度优选的是尽可能亮度低。也可以如图10的(a)、(b)和(c)那样,将显示1帧中的显示可见光通信图像的子帧或时间区域分割为两部分,使用上述两片1组的白黑反转图像。进而,也可以使用R和C等相互处于互补色关系的颜色的组合。如果使用互补色关系的2色,则与白黑的情况同样,也可以使用反转图像的组合。
在本实施方式中,将可见光通信信号编码后作为图像数据输出,但为了明示数据的块的边界,也可以将在通常的编码信号中不可能有的框状的图像信号在前后插入,如果识别到两个以上上述框状的图像信号则判断为得到了1块的信号,并且用于确定1块的信号的图像上的大小。
图11表示周边照明等的光源亮度的高频噪声与曝光时间的关系。曝光时间相比高频噪声周期越大,摄像图像受到高频噪声的影响越小,光源亮度的推测越容易。当曝光时间为高频噪声周期的整数倍时,高频噪声的影响消失,可见光通信信号的接收变得最容易。高频噪声的主要原因来源于开关电源电路,在许多电灯用的开关电源中,其周期是20微秒以下,所以通过使曝光时间为20μsec以上,能够容易地进行光源亮度的推测。
另外,在本实施方式中,作为显示装置100而列举了显示影像的显示器,但如图1所示,也可以是投影仪那样将影像投影的设备。此外,作为接收可见光通信信号的电子设备而列举了智能电话200,但只要是搭载有能够接收可见光通信信号的能够依次曝光的类型的图像传感器的电子设备,并不限于数字静像照相机、智能电话等。
接着,对影像显示中的灰度表现进行说明。关于本内容,对于本领域的技术人员而言是当然的内容,所以简单地触及。在显示器的范畴中,PDP也有将1帧分割为加权的子场(子帧)、用各子场的点灯非点灯的组合来进行灰度表现的结构。此外,在LCD中,也与PDP同样,有的进行加权的子场分割,有的单纯地在1帧内控制将快门开放的时间来调整各色的亮度而进行灰度表现。有机EL的显示器的驱动也采取上述某种方法的情况较多。另一方面,在投影仪关联中,在使用液晶的投影仪或使用LCOS的投影仪中,灰度表现的方法与液晶显示器是同样的。在使用DMD的投影仪中,使用将来自光源的光向投影透镜侧和衰减器侧高速地切换的反射镜以像素数的量二维排列的元件,按照各帧用从各色的光源向投影透镜侧投影光束的时间的长度进行灰度表现。在DMD投影仪中,将1帧更细地进行时间分割,将影像信号变换为DMD的控制信号,从投影透镜投射影像。这样,显示最近的影像信号的影像显示装置通过控制包括RGB或其他颜色的原色的1帧内的发光时间,进行影像显示,1帧以下的程度的图像插入在原理上不困难。
以下,对上述实施方式重新说明。
图2是表示显示装置100的概略结构的框图。如图2所示,显示装置100具有:第1输入部120、第1信号处理部130、显示控制部140、显示部110、第2输入部150和第2信号处理部160。
向第1输入部120输入与显示部110上显示的影像有关的影像信号。该影像信号被传送给第1信号处理部130,实施画质处理等的通常的图像处理。然后,将影像信号向显示控制部140发送。
显示控制部140基于影像信号进行控制,在显示部110上显示影像。显示部110例如是投影仪的投影透镜或者将来自投影透镜的光信号投影的屏幕。显示控制部140基于影像信号进行DMD的反射方向控制等。
对于第2输入部150,输入在可见光通信中使用的信号。将输入的可见光通信信号向第2信号处理部160传递,进行可见光通信信号的编码处理或以此为基础的图像的制作等。此外,对于第2信号处理部160,也发送来自第1信号处理部130的影像信号。在该影像信号中,包含与影像的明亮度等有关的信息。第2信号处理部160基于该信息,决定使用1帧的多个时间区域中的哪个区域作为可见光通信区域。例如,也可以将显示部110内比较明亮地显示的时间区域设定为可见光通信区域。然后,将在第2信号处理部160中编码的可见光通信信号图像化,在上述可见光通信区域中代替通常的影像信号而编码,将图像化的可见光通信信号作为影像信号经由显示控制部140显示到显示部110上,视听者能够辨识。
另外,在可见光通信区域的时间带被预先决定的情况下,也可以进行与上述那样的第2信号处理部160中的可见光通信区域的决定有关的处理。
此外,显示将可见光通信信号编码的图像的时间宽度优选的是设为尽可能短的期间,但受到接收机侧的性能的影响也较大,所以本件在后面详细叙述。
此外,上述是显示将可见光通信信号编码的信号时的前后的影像信号的处置,但也可以仅在对应的期间中显示将可见光通信信号编码的图像,关于其以外的期间显示基于通常的影像信号的图像。此时,影像信号仅变化插入了可见光通信图像或编码图像的部分,但也可以通过将1帧内的影像信号以外的部分的信号修正来应对,也可以原样将由通常的影像处理部处理后的信号原样向显示控制部发送来进行显示。进而,也可以将除了对应的1帧的可见光通信图像或编码图像以外的影像信号全部忽视,与其前后的影像相匹配地进行黑显示或一定灰度的灰色显示,仅将该信号对接收侧强调。
接着,对可见光通信图像或编码图像进行说明。图4是表示可见光通信图像或编码图像的一例的图。在该图中,在水平方向上编码了可见光信号的数据成为明暗的显示而被表现,是原样地沿铅直方向延伸到两端附近的图像。它在横向上将编码图像的数据在上下(左右)重复多次显示相同的样式。这是为了避免接收侧的图像传感器中的摄像画格必须将画面整体摄影等的制约,重复次数越多,对于近距离的摄影越有效。此外,如果以取画面整体为前提,则不重复而一次就足够。图像的制作例的详细情况后述,使用图4的例子,关于接收可见光通信信号时的形态举例说明。
图5是例示将可见光通信图像或编码图像混入到通常的影像中而显示时的与接收侧的关联的图。
假设时间在横向上推移,当显示混入了对应的可见光通信图像或编码图像的影时,如果在接收机侧进入到接收扫描,则依次曝光型的图像传感器开始工作。这里,特别是作为依次横列而进行依次曝光、数据的保存。根据图像传感器,有的按列进行依次曝光,有的按照各曝光元件作为一定的元件群而依次曝光等,但处置是相同的,只是为了取得在图像的横向上排列的数据。此时,关于保存的数据,如果不是被判断为相当于可见光通信信号的信号,就再继续依次曝光,此外,如果判断为相当于上述信号,则将保存的数据取出,向进行解码的部分发送信号。
在本例中,由于在横向上排列信号,所以成为纵条纹,接收机侧的图像传感器如果不在朝向以横向为单位的纵向依次曝光的方向上将图像摄像,就不能得到数据。此外,如果以一定以上的角度将接收机倾斜而摄像,则数据的一个集合未完全进入到摄像范围中或与条纹图样成为平行,所以也存在不能取得数据等的问题。
在图7中表示可见光图像的条纹图样、接收机的角度和需要的图像的大小的关系的一例。这样,成为表示大致余弦法则的形状的曲线图,所以只要是30度左右以内的角度就不成为大的问题。另一方面,当垂直时,在理论上也没有能取得数据的可能性,所以根据视听者将接收机放置为哪个朝向(纵向或横向),会产生完全不能进行可见光通信信号的接收的状况。作为用来解决这些问题的一例,也可以使用图9所示的各种信号样式。
也可以是不论纵、横还是斜都在纵部分和横部分反转的样式等。
在图6A中表示接收机的图像传感器的性能及设定与显示可见光通信图像或编码图像的期间的关系等。进行各依次曝光的单位,特别是这里设想了以行状依次进行,所以称作曝光行。在图6A中,作为一例而分割为10条曝光行,但也可以是其以外的分割数,此外也可以不是行状。各个曝光行是在非常短的时间中交迭而依次将行曝光的结构。假设如图那样在1秒内用F个帧构成影像。可见光通信图像或编码图像在其中的一部分的时间中显示。在本实施方式中,将该时间设为1帧的1/n,但也可以是其以外。在使信号尽可能难以辨识的角度来说,在至少1/4以下,优选的是在接收机侧能够应对的范围内尽可能小的值。在图中,表示使用依次曝光的图像传感器在影像显示中在接收机侧摄像的图像的例子。在图6A中,帧内的图像的起始与摄像的1单位的起始也会偶然一致,但也可以是其错开而开始摄像的单位。接收机侧的摄像的图像在图6A中在从上起第3个的作为在横向上信号宽度较短的横条纹被摄像,相对于此,图像中的场所仅上下移动,必定能观察到横条纹,所以也不特别需要控制定时,也不需要从某处开始拾取触发信号。通过以上那样的结构,在非常短的期间内插入可见光通信图像或编码图像,使曝光时间充分变短。这里,如果基于图9,则只要是相比nF分之1秒充分快的快门速度,某处的对应的曝光行就对应于显示可见光信号图像或编码图像的时间。由于希望在曝光行的曝光时间中不混入其他图像,所以如果再设为比图6A中的nF分之1秒再小一半的曝光时间,则必定能够得到不混入其他图像的图像。这样,通过用依次曝光型图像传感器摄像的接收机的组合,因为在定时上没有制约,所以能够简便地以简单的结构收发可见光信号。
另外,关于将可见光通信图像或编码图像插入的时间和依次曝光型的图像传感器的扫描速度及快门速度,优选的是满足下述的关系。这是因为,如果与可见光通信图像或编码图像的前后的影像信号一起对于可见光通信图像将曝光行进行曝光,则S/N会变得很差,优选的是满足上述(式1)那样的的条件。
这里,如果考虑不易作为残像残留到人的眼睛中的时间宽度,则曝光时间为1msec以内,优选的是0.2msec以内。如果用目前的通常的帧数F=60考虑,则为了满足式1,为n>8,优选的是n>40。
这是因为,人的眼睛的时间分辨能力在时间上是50msec左右,在此以下会作为残像成为与前后的影像混杂的图像被识别到。另一方面,人的眼睛被作为亮度的差捕捉到的极限据说为2%,在极短的期间中插入可见光通信编码图像,它与前后的图像混杂而作为亮度差识别到,所以,只要是50msec的2%即1msec以下,就不能作为亮度差识别到,所以优选的是1msec以下的时间。进而,通常的影像显示装置进行RGB显示,作为它们的色度差,如果是相同的亮度,则Δu‘v’是0.3左右,差变得醒目,所以如果将其用RGB单色的能量比表示,则相当于约20%的差。因此,更优选的是在0.2msec以下的期间中显示。
另外,在通常的依次曝光型图像传感器中,如果考虑通用性,则如果不最低限度将1帧分割为两部分,则残像完全作为图像残留,如果将1帧原样使用,可能会产生潜意识效应等的副作用,所以n=2是所需最低限度的快门速度的速度,对此,可以举出1/480的快门速度作为具体的数值。
此外,在图6A中,在可见光通信图像或编码图像之前放置了全黑图像,但这如上述那样,是为了避免与影像信号图像混杂而接收信号,并不一定是需要的。但是,由于上述受光机侧的性能的制约通过放入这样的信号而被缓和,所以也可以在一定的期间中插入全黑图像。此外,在图6A中,仅在前侧插入全黑图像,但仅在后侧也能够期待一定的效果。进而,通过在前后两方插入,更优选的范围的制约被改善,可以将也包括前后的全黑的部分的时间置换为上述将可见光通信图像或编码图像插入的时间来考虑。另外,关于记述为全黑图像的部位,并不限于图像级0%,只要遍及画面整体是同一级别,并不限于0%。
以上说明了关于可见光信号图像或编码图像将一个图像在一定期间中重复显示的方法,但通过与图4或图9所示的图像例连续地设置使白黑反转的图像(也称作反转图像、白黑反转图像、逆转图像、逆相图像或逆相位图像),在人的眼睛中仅残留平均化的像,所以条纹图样的识别被进一步减少。即,被识别为合成而平均的灰色等级的整面一样的图像,只不过是对比度稍稍变差。白黑的表现并不限定于100%级别和0%级别,也可以是亮度比较高的一个级别和亮度较低的1个级别。另外,级别差较高者其接收机侧的制约等被缓和,另一方面,由平均的信号带来的亮度上升,所以还有对比度变差及容易看到信号图像等的坏处,所以优选的是综合地考虑来选择较好的级别。
关于白黑的表现,也可以是使RGB全部显示的白,但特别是作为用来降低亮度的方法,也可以使用白以外的颜色,将条纹的亮度较高的部分的亮度降低。此外,为了使条纹不醒目,黑也是亮度较低的意思,也可以不是使用RGB全部或设为非显示形态的意义上的黑。进而,以上用亮度较高的部分和较低的部分制作了条纹图样,但只要是能够用颜色区分的组合,也可以用R和G的条纹等来表现条纹图样。但是,此时需要使用搭载有在摄像时能够进行RGB分离的图像传感器和软件的接收机。
此外,关于条纹图样,在重复显示时,既可以通过进行在画面上稍稍一点点移动的滚动而使其不醒目,也可以将信号编码图像分割为两个以上的区域而滚动。此时,既可以为滚动的方向、速度等分别不同的运动方式,也可以分别进行同步的滚动。
如图12所示,近年来,在各种影像中采取的眼镜式的3D影像中,在将影像信号输出的定时,仅向左右中的一方的眼睛输出。可见光信号编码图像不向两方的眼睛输出。在显示有可见光通信图像的期间中,通过将眼镜的快门关闭,视听者能够没有别扭感地视听。
为了实现这样的功能,本实施方式的显示装置100具备制作可见光通信信号的调制信号的第2信号处理部160、用来基于调制信号制作可见光通信图像或编码图像并将其显示一定期间的时间控制部、和用来将可见光通信图像输出的影像输出部。即,显示装置100具备通过接受表示将信号图像显示或转送的时间带的信号而从影像输出部将信号图像在一定期间中输出的机构。另外,如果考虑影像的响应速度等,则优选的是采用能够进行使用固体半导体元件的开关的元件进行图像显示。
此外,在本实施方式中,采用了由相当于显示部110的最上部的部分将可见光通信信号优先输出的结构,但以可见光通信信号为优先的区域只要是显示部110的至少1个区域就可以。此外,关于该区域,也优选的是在要求信号传递的精度的情况下使区域变大,此外在以画质为优先的情况下用背灯扫描的最小单位中的尽可能少的区域进行。
此外,在将可见光通信信号编码时,既可以进行依据JEITA-CP1222或1223的编码,也可以使用IEEE-P802.15.7等的规格。此外,如果只是编码,则也可以使用与其对应的接收装置来构成。它们以外的编码方法例如也可以使用曼彻斯特编码等调制。进而,这里只不过进行二值下的编码,但鉴于能够将灰度表现原样使用,也可以以三值以上编码,即传递以往的2倍的信息量。
此外,根据本实施方式,在接收机侧的图像传感器中需要将一系列的信号在一个图像中完结,但在信息量较多时,也可以使用编码信号的头的部分,写入是否有该信号画面(可见光通信图像或编码图像)、是否因信息较多而分割为多个、处于该分割中的第几个等的信息。作为具体的例子,如果使用JEITA-CP1222的规格的前同步码和类型的部分,则也可以将上述信息分割为若干个图像。当然,关于分割的方式、分割信号的发出方式及该分割信息向图像的纳入方法,并不限于该例。此外,当可靠地传递可见光通信信号时,有显示重复信号图像的方法,但此时,也有将基于分割出的可见光通信信号的一个图像重复显示、接着使分割出的下一图像重复显示的方法。此外,也有将基于一系列的分割的信号的图像依次显示、将其作为一组而重复显示的方法。关于这些选择,也可以根据信息量的大小或通常影像信号的种类等来选择是哪个。
如以上这样,作为本发明的例示说明了实施方式1。但是,本发明并不限定于此,对于适当进行了变更、替换、附加、省略等的实施方式也能够应用。此外,也可以将在上述实施方式1中说明的各构成要素组合而做成新的实施方式。
所以,以下关于变形例一起说明。
在实施方式1中,作为可见光通信图像的编码图像的配置例,说明了在使编码图像在铅直方向上延伸后、在横向上多次重复的配置的例子。但是,配置例并不限定于此。
在图9中表示可见光通信图像的另一生成例。
图9的(a)是将图9的(a)的编码图像P拉伸到整个画面而配置的例子。通过进行这样的配置,缓和了由摄影的图像的像素的大小带来的限制,能够从相对于显示部110离开较远距离的场所进行接收。
图9的(b)是使图9的(a)的编码图像P旋转90度、将在横向上延伸的编码图像P2在纵向上4次重复显示的图像。在此情况下,接收装置的依次曝光行能够在为大致铅直方向的方向上接收。
图9的(c)是将图4的(a)的编码图像P向斜左方旋转大致45度、拉伸到画面整体而排列的可见光通信图像的例子。该图的(d)是将该图的(c)的可见光通信图像向斜右方旋转约45度而排列的可见光通信化图像的例子。
以图9的(a)~(d)的配置为基本形,通过将它们组合,能够进行各种各样的配置。例如,图9的(e)是将画面分割8份、使在纵向和横向上排列的可见光通信图像以棋盘格图样混杂的例子。在进行这样的配置时,通过用画面的至少棋盘格图样的一个单位以上的画格进行摄像,接收装置的摄像部的朝向及角度不论朝向哪里都能够摄像。图9的(f)是将画面在斜向上分割、将该图的(c)和该图的(d)的配置组合而排列的一例。
图9的(g)是在画面上侧将把原来的编码图像沿纵向延伸而生成的编码图像Q1在画面整体中在横向上重复配置4次、在画面下侧将把原来的编码图像沿横向延伸而生成的编码图像Q2在画面整体中在横向上重复配置两次的例子。通过这样配置,如果由接收装置摄像的场所与显示部的距离较近,则在接收装置侧摄像的图像较大,其析像度变高,当从比较远离的场所摄像时,析像度变低。即,在与显示部110的距离较近的地方摄像的情况下,优选的是使重复显示数较多,在距离远离的地方,优选的是使重复显示次数较少。因而,通过如图9的(g)那样显示,在哪种情况下都能够对应。另外,在图9的(g)中,表示了两次和4次的重复配置的组合,但也可以是其以外的数量的组合。
图9的(h)是将生成并在水平方向上重复的可见光通信图像在上下方向上分割5份、在分割出的各个区域中使可见光通信图像的条纹的相位变化的图像。据此,能够避免因场所造成的明暗的局部化,所以能够期待伴随着视线移动的闪变防止的效果。这里,将纵条纹的可见光通信图像在纵向上分割5份、以使最上与最下的相位一致的方式依次相位变化,但分割数及相位变化并不限于此,也可以是随机的。
此外,在图4或图9中说明的图像各有长处及短处,所以也可以根据用途而使用将这些图像任意地组合的图像。此外,此时也可以将图像旋转为任意的角度而使用。
进而,在将可见光通信图像在时间上重复显示的情况下,也可以根据用途而按照帧使显示的顺序或随机地使图像的显示变化。
另外,在进行依次扫描、进行背灯扫描的液晶显示装置等、存在不同时显示整个画面的期间的显示装置中,通过使用与扫描方向垂直的方向的条纹图样,能够期待通信概率的提高。在通常的液晶显示装置中,由于在纵向上进行扫描,所以优选的是应用图4的(b)那样的横条纹的图像。此外,在实施方式1中,在1/F秒内显示4张图像,在第4张中显示将可见光通信信号编码的图像,但并不限定于此。例如,也可以仅在对应的期间中显示可见光通信图像,关于其以外的期间显示基于通常的影像信号的图像。此时,影像信号变化了插入可见光通信信图像的量,但也可以通过将1帧内的影像信号之外的部分的信号修正来对应。
此外,也可以原样将由通常的影像处理部处理后的信号原样向显示控制部发送而进行显示。进而,也可以采取将对应的1帧的可见光通信图像以外的影像信号全部忽视、与其前后的影像相匹配地进行黑显示或一定灰度的灰色显示、仅将该信号对接收侧强调的方法。
此外,在实施方式1中,在可见光信号图像之前放置全黑图像,但这为了避免与影像信号图像混杂而接收信号的,并不一定需要。但是,由于接收装置侧的性能的制约由于放入这样的信号而被缓和,所以也可以在一定的期间中插入全黑图像。
此外,在实施方式1中,仅在可见光通信图像的前侧插入全黑图像,但也可以在后侧插入。进而,也可以在可见光通信图像的前后两方插入。在此情况下,也可以将前后的全黑图像的部分都加在一起的时间替换为上述插入可见光信号编码图像的时间。
此外,全黑图像并不限于整面的亮度等级为0%的图像。全黑图像只要是遍及整面亮度为较低的级别即可,其亮度等级也可以不是0%。此外,其亮度等级不需要与可见光通信图像中的黑色的部分即亮度较低的部分的亮度一致。但是,如果考虑接收可见光通信信号的灵敏度,则遍及整面的亮度较低的等级的图像的亮度优选的是亮度尽可能低。
此外,说明了关于可见光通信图像将一个图像在一定期间中重复显示的方法,但也可以如图10所示那样,将该图的(a)所示的可见光通信图像、和在该图9的(a)的可见光通信图像中使白黑反转的该图的(b)的可见光通信图像连续地显示。通过这样,如图10的(c)那样,在人的眼睛中仅残留有平均化的像,所以条纹图样的识别被进一步减轻,只不过是对比度稍稍变差。白黑的表现并不限定于100%级别和0%级别,也可以是亮度比较高的级别和亮度较低的级别。此外,由于亮度等级的差较高者其接收装置侧的制约等被缓和,另一方面由平均的信号带来的亮度上升,所以还有对比度变差及容易看到信号图像等的坏处,所以优选的是综合考虑来选择较好的级别。此外,也可以将1帧中的显示可见光通信图像的子帧或时间区域分割两份,使用上述两张1组的白黑反转图像。
此外,关于白黑的表现,也可以是使RGB全部显示的白,但特别作为用来降低亮度的方法,也可以使用白以外的颜色,将条纹的亮度较高的部分的亮度降低。此外,为了使条纹不醒目,黑也是亮度较低的意思,它也可以不是使用RGB全部或设为非显示形态的意义上的黑。进而,用亮度较高的部分和较低的部分制作条纹图样,但只要是能够用颜色区分的组合,也可以用R和G的条纹等来表现条纹图样。进而,也可以使用R和C等相互处于互补色关系的颜色的组合。如果使用互补色关系的两色,则与白黑的情况同样,也可以使用反转图像的组合。此时,需要使用搭载有在摄像时能够进行RGB分离的图像传感器和软件的接收装置。
此外,关于条纹图样,在重复显示时,既可以通过进行在画面上稍稍一点点移动的滚动而使其不醒目,也可以将信号符号图像分割为两个以上的区域而滚动。此时,既可以为滚动的方向、速度等分别不同的运动方式,也可以分别进行同步的滚动。
此外,在实施方式1中,在将可见光通信信号编码后作为图像数据输出,但为了将数据块的边界明示,也可以在在通常的编码信号中不可能有的框状的图像信号在前后插入,如果识别出两个以上上述框状的图像信号则判断为得到了1块的信号,并且用于确定1块的信号的图像上的大小。
此外,根据本实施方式,在接收机侧的图像传感器中需要将一系列的信号在一个图像中完结,但在信息量较多时,也可以使用编码信号的头的部分,写入是否有该信号画面、是否因信息较多而分割为多个、处于该分割中的第几个等的信息。作为具体的例子,也可以使用JEITA-CP1222的规格的前同步码和类型的部分,将上述信息分割为一些图像。当然,关于分割的方式、分割信号的发出方式及该分割信息向图像的纳入方法,并不限于该例。此外,当可靠地传递可见光通信信号时,有显示重复信号图像的方法,但此时,也有将基于分割出的可见光通信信号的一个图像重复显示、接着使分割出的接着的图像重复显示的方法,此外,也有将基于一系列的分割的信号的图像依次显示、将其作为一组而重复显示的方法。关于这些选择,也可以根据信息量的大小或通常影像信号的种类等来选择是哪个。
此外,也可以考虑周边照明等的光源亮度的高频噪声来控制曝光时间。
在图11中表示高频噪声周期是20微秒的情况下的周边照明等的光源亮度的高频噪声与曝光时间的关系。与高频噪声周期相比曝光时间越大,摄像图像受高频噪声的影响越少,光源亮度的推测变容易。当曝光时间为高频噪声周期的整数倍时,高频噪声的影响消失,可见光通信信号的接收变得最容易。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,其周期是20微秒以下,所以通过使曝光时间为20μsec以上,能够容易地进行光源亮度的推测。
此外,也可以以将可见光通信图像或编码图像嵌入到通常的影像的画面的一部分中的形态来实施。在此情况下,仅通过显示部的画面的有限的部分就能够接收可见光通信信号,所以在接收装置与画面的关系中产生制约。另一方面,也可以通过在影像信号中的画面的该有限的部分中显示指引将接收装置机朝向的图像来解决。进而,在实施方式1中,对将可见光通信图像或编码图像不醒目地插入的方法进行了说明,但这里由于区域被限制,所以也可以减轻使信号的条纹图样变得不醒目的措施。当然,既可以采取尽可能不醒目的方法,也可以不采取。此外,时间也可以不是非常短的时间、例如1msec以下优选的是0.2msec以下,而仅在连续或比较长的时间中显示、用同样的方法接收。此时,接收错误的概率大幅减少,所以缓和了重复发送等的制约。
另外,在本实施方式中,作为显示装置100而列举了显示影像的显示器,但也可以是投影仪那样将影像投影的设备。
此外,如图12所示,也可以应用到近年来在各种影像中采取的眼镜式的3D影像中。在此情况下,在与影像信号至少相同的定时,将可见光通信图像或编码图像仅向左右中的至少一方输出,或向两方不输出。由此,在显示有信号图像的期间中,通过将显示侧的眼镜的快门关闭,视听者能够没有别扭感地视听。
此外,在本实施方式中,在可见光通信图像的显示帧是连续或比较长的时间等、被人的眼睛识别到的情况下,接收机中具备的摄像部如果是CCD等的图像传感器,也可以不是依次曝光型的图像传感器。
以下,公开向第2输入部150的信号输入的例子。
在从外部输入可见光通信信号、在显示装置的内部解码、进行到编码图像化而显示的情况下,在从外部输入编码图像而进行显示的情况下,有时在显示装置的内部在存储器中记录可见光通信信号或编码图像、按照输出编码图像的命令而显示。
在第一情况和第二情况下,需要来自外部的通信机构。如上述那样,通信机构也有有线的情况和无线的情况,在有线的情况下,可以使用HDMI(注册商标)、DVI、RS232C、USB、LAN、RGB监视器线缆等的各种影像或信号通信用的线缆。此外,也可以使用同轴线缆或双绞线线缆等单独的线缆输入信号。进而,也有在电视发送等的电波中叠加信号、用天线等将其接收并用同轴线缆输入的方法。在通过无线进行的通信中,还可以是通常的使用Wifi、Bluetooth(注册商标)、Zegbee等的电波的方法、使用IrDA等的红外线的方法、此外使用NFC等的近距离通信的方法下的输入。
作为具体的输入行的例子,在下述中表示一例。
在HDMI(注册商标)中,优选的是使用13、14号针输入,或者也可以与通常的影像信息等的信息通过时间分割而使用1、3、4、6、7、9、16、19号针进行通信。
在DVI中,也可以与通常的影像信息等的信息通过时间分割而使用1、2、4、5、7、9、10、12、13、16、17、18、20、21、23、24号针进行通信。
在LAN中,也可以使用1、2、3、6号针进行通信。
在RS232C中,也可以使用2或3号针进行通信。
在USB中,也可以使用2或3号针进行通信。
在RGB监视器线缆中,也可以与通常的影像信息等的信息通过时间分割而使用12或15号针进行通信。
在将叠加在电视的电波中的信息经由天线线缆等输入的情况下,也可以使用为了发送影像或声音而使用的频带及时间分割空间以外的空间。此外,也可以使用在文字广播等中使用的区域、在数据广播中使用的区域,也可以使用在多通道的别的通道中将编码图像作为影像信号原样装载后、在显示装置内将它们组合的方法。在此情况下,相当于上述第二情况。
这些信息可以与各帧的影像信息等同步发送,也可以每隔若干个帧收发。此时,优选的是以下述识别信号预先发送表示该消息的识别信号。
接着,对具体的通信信号的内容和将其处理并显示的次序进行说明。
在第一情况下,作为通信内容也可以包含以下的内容。
即,在包括多个图片的通信数据之前,首先,利用在本发明中公开的可见光通信方法将表示发送了数据的识别信号发送。此时,在发送的显示设备能够应用本发明的可见光通信方法的情况下,也可以具有通过将该消息经由显示装置显示到显示面或投影面上、显示装置向使用者传递本发明的可见光通信开始使用的功能。此外,也可以是,显示设备能够使用可见光通信,在接收到识别信号的情况下,在将通信数据对显示设备发送的终端的显示画面上,进行显示设备能够应用可见光通信的意思的显示。可见光通信用的数据的显示在非常短时间中进行,所以不易看到。因而,通过在将通信数据对显示设备发送的终端的显示画面或投影面上进行显示设备能够进行可见光通信的意思的显示,能够容易地掌握显示设备可进行可见光通信的情况。识别信号也可以是表示包含可见光通信数据的识别码。在有识别码的情况下,能够判断为包含可见光通信数据,在没有识别码的情况下,能够判断为不包含可见光通信数据。通过使用识别码,仅在包含可见光通信数据的情况下通过发送识别码能够判别,所以能够使发送的数据量变少。此外,识别信号也可以是表示是否包含可见光通信数据的识别信息。例如,通过以图片单位附加识别信息,能够以图片单位识别是通常的影像数据还是可见光用的通信数据。另外,识别码或作为识别信息的识别信号既可以附加在通信数据的头中,也可以附加在各图片的头中,也可以附加在通信数据的头和各图片的头的两者中。在附加在通信数据的头和各图片的头的两者中的情况下,能够使用通信数据的头将显示设备是否可应用可见光通信的意思直接显示在发送通信数据的终端的显示画面或投影面上。
进而,使用各图片的头,能够以图片单位来变更表示是否是可见光通信用的数据的识别码、显示方法等。不能进行可见光通信的显示设备由于不能读入判断识别信号,所以还可以持续发送判别将通信数据编码的方式的识别信号。发送侧将可见光通信信号以PPM方式或曼彻斯特方式等的设定的编码方法进行编码,附加表示编码方法的识别信号。显示设备用由接收到的识别信号指定的方法解码。此外,也可以发送表示是将可见光通信用的纵条纹的画面作为纵条纹显示、还是旋转90度而作为横条纹显示的识别信息。
显示装置基于识别信息,能够容易地切换是将可见光通信用的画面作为纵条纹显示、还是作为横条纹显示。进而,也可以将为了将其图像化而需要的以下的信号在可见光通信信号发送后发送。即,也可以是,在用一组或一个图像显示将几组通信信号(可见光通信信号)图像化、作为编码数据的最小单位的条纹的最小间距、与条纹状信号垂直方向的条纹的长度(信号的显示区域)、在画面内重复显示的次数、画面中的显示区域、在显示区域以外显示的内容、ON信号和OFF信号所对应的灰度、图像是纵条纹还是横条纹、在斜向的情况下其角度、在低灰度时停止发送的阈值等作为制作图像的根据的信息等多个信号的情况下,也可以将其组数的信号发送,基于它制作图像。
此外,也可以如在本发明中说明那样,基于周边的明亮度等的环境信息、影像的明亮度的分布或变化等的信息,使用显示装置接收到的在上述图像制作中需要的信息以外来制作编码图像。也可以接着在这些图像制作中需要的信息,发送用来显示由显示装置制作的编码图像的以下那样的信息。即,也可以发送在显示的期间及帧内的哪个期间中显示、在前后是否显示用来提高可见光通信信号的接收概率的以黑为代表的OFF信号显示期间、在显示的情况下该期间等用于显示的信息。显示装置既可以使用这些接收到的用于显示的信息,决定实际显示的定时等而显示影像和编码图像,也可以如上述那样,基于周边的明亮度等的环境信息、影像的明亮度的分布或变化等的信息,使用显示装置接收到的上述用于显示的信息以外来显示影像和编码图像。进而,也可以是,通过将反转图像等多张一起调整以使画面整面看起来为均匀的灰度的方法,发送是将几张图像组合而制作、将该组合跨越几帧分割显示等的信息,接收到的显示装置基于该信息来变更显示编码图像的次序。当然,也可以不基于该信息,而基于影像信息或环境信息来判断。另外,这些识别信号或为了图像化而需要的信号既可以附加在包含多个图片的通信数据的头中,也可以按照各图片附加。通过附加到通信数据的头中,能够以通信数据单位处置统一的信息。另一方面,通过按照图片附加,能够以图片单位变更信号信息。
对第二情况进行说明。在第二情况下也与第一情况同样,在发送识别信号后,已经拥有纵横的方向及条纹间距、显示区域、重复次数等用于制作图像的信息,将已经在显示装置外部作为编码图像制作的图像数据发送。
此时,在识别信号的内容中,也可以包含在显示的期间及帧内的哪个期间中显示、是否在前后显示用来提高可见光通信信号的接收概率的以黑为代表的OFF信号显示期间等的显示所需要的信息。
接收到的图像数据在显示装置内被作为编码图像暂时存储。
然后,显示装置也可以使用上述接收到的显示所需要的信息,决定实际显示的定时等,来显示影像和编码图像,也可以基于周边的明亮度等的环境信息、影像的明亮度的分布及变化等的信息,使用显示装置接收到的上述用于显示的信息以外来显示影像和编码图像。
此外,在第二情况下,在使用将反转图像等多张一起调整以使画面整面看起来为均匀的灰度的方法的情况下,也可以在识别信号中包含反转图像的图像数据。在识别信号后的图像数据发送时,也可以将多张编码图像作为图像数据发送。
进而,也可以是,发送将该组合跨过几帧分割显示等的信息,接收的显示装置基于该信息来变更编码图像显示的次序。当然,也可以不基于该信息,而基于影像信息或环境信息来判断。
在第三情况下,没有与外部的信息交换,所以在显示的情况下,也可以采取基于环境及影像信号来判断的方法,也可以预先将作为由识别信号以下的信号发送的内容而记述的内容记录到显示装置内部中并使用。
〔液晶等显示器所特有的方式〕
(液晶特有的可选项)
在液晶显示器中,在与各像素对应地控制透射率等的液晶面板中,从最透明的状态到最不透明的状态的时间花费非常长。如果也包含中途变化的状态而照射背灯,则成为拖尾等的运动图像特性变差的诱因,所以现状是通过将背灯微细地重复点灯不点灯而进行拖尾对策,从而提高运动图像特性。在上述方法中,从通常的影像图像突然显示黑或条纹状的编码图像,然后立即回到原来的影像图像的继续,从液晶面板的时间响应性的观点看是非常困难的。在使用液晶显示设备时,优选的是,在1帧中的输出影像图像的期间结束而输出编码图像之前,液晶面板在进入图像的切换的同时,将背灯灭灯,在编码图像出来的阶段将背灯点灯,在点灯了上述极短的时间后,将背灯灭灯,液晶面板开始返回原来的影像图像,当1帧结束时变更为通常的背灯控制。另外,在输出了编码图像时,在将背灯点灯的时点,即便使液晶面板制作的图像变化,由于在极短的时间中液晶面板的变化不大,所以至少可以采取较快地回到原来的图像的方法。进而,为了上述对比度对策而插入反转图像、使得条纹图样难以由人的眼睛判别的方法变得难以实现。因而,编码图像需要进行调整,以限定于尽可能短的期间、平均亮度也尽可能低的编码图像。
(与环境APL对应的信号等级)
近年来,在液晶显示器显示装置等中,大多具有将显示装置的设置环境的明亮度用内置在显示装置中的明亮度的传感器计测显示面的照度等、匹配于显示面的照度来调整输出影像的明亮度的功能。这里,对与它们同样使用该功能匹配于显示面的照度使信号的等级变化的情况进行说明。如上述那样,混入到影像信号中的编码信号图像,使其明亮度尽可能变暗在相对于影像显示变得不醒目这一点上是优选的。另一方面,作为来自将画面摄像而接收信号的接收机侧的要求,图像的S/N依存于由编码信号的以黑为代表的一个信号与以白为代表的另一个信号的摄像时的明亮度之比表示的信号的对比度,较大地受到外光的影响。当外光的影响较大、对比度变低时,影像信号的对比度也不能发挥原来显示装置在暗室等中能够发挥的对比度的性能(暗处对比度),对比度变差。因而,即使将编码图像的明亮的部分(用白表示的区域)的亮度提高,对比度也不会极端下降,采取鉴于接收侧的能力使亮度对应于外光的强度而变亮的方法是有效的。相反,在环境较暗的情况下,在具有更接近于暗处对比度的值的情况下,将对比度性能降低。即便使编码图像的明亮度变暗,在接收机侧摄像的图像的对比度也能够保持为一定以上。这样,根据进入显示面(显示部)的外光的强度来调整编码信号图像的明亮度的方法是非常有效的。
此外,当原本的图像的平均的亮度等级(Average Picture Level;以下称作APL)小到一定以上时,作为图像的对比度比变差,所以即使混入少许编码图像也会给对比度带来较大的影响,所以优选的是,在一定以下的APL的图像输出的期间中,增加编码信号的明亮度或者不混入信号。
关于APL,对于影像信号的APL随着时间变化的情况,也有通过设置一定的阈值而在其前后实施或中止信号输出、使得特别急剧的变化在人的眼睛中看起来如画面的闪光现象那样。因而也可以是,在一定以下的APL下,在识别出有接收机侧不能获取信号的情况后才根据APL以平缓的时间变化使编码信号影像的亮度变化。此外,为了避免接收机侧的信号的误识别,也可以在混入编码信号的部分处代之而插入将编码信号图像与APL加在一起的灰的图像或混色了与其匹配的颜色的图像,以使平均亮度成为上述那样平缓的时间变化。
作为它们的具体的方法,如上述那样,可以通过调整信号的灰度的方法、调整发出信号的期间的方法、调整背灯等反映到亮度中的光源部分的亮度、或调整光源部分的发光时间来实现。此外,根据状况,也可以通过它们的组合来实现。
关于环境照度、APL,更优选的是通过组合来调整。
(混入校准用信号)
当开始编码图像的插入时、或编码图像被变更时、或其期间中、或其后的每一定期间,为了将编码信号的ON状态、OFF状态各自的颜色及亮度、信号的最小单位的宽度等、此外信号的长度等事前在接收机侧识别而使编码信号容易捕捉,将以下这样的信号作为校准用信号插入。例如,为了表示信号长,将周围用框镶边。为了表示信号的单位长、或ON、OFF各信号的亮度、色度,采取整面交替地显示ON信号和OFF信号等的方法。通过插入这样的校准用信号,能够期待接收性能的提高。另外,关于校准信号,也可以施加上述的各种保持画质的措施。
(当信号变化时,取消信号)
在一定的期间中使某个编码信号持续流过、与影像关联或完全任意地变更编码信号的种类的情况下,将不同的两个以上的编码信号用图像传感器取得在一个图像内,或者,如果在接近的时间中将不同的两个以上的编码信号用图像传感器取得,将它们互相补全或进行确认等,则会引起误识别或出现错误。因此,当编码信号被变更时,例如也可以将头等的前同步码多次重复输出等,使信号在前后发生了变更这一情况更加明确。
(两张负/正时的显示间隔)
已经说明了,在将某个编码图像和其反转图像以比较接近的时间间隔输出的情况下,忧郁人眼的时间分辨能力的制约,与条纹图样消失而存在平均的亮度的均匀画面是等同的,对上述两个图像的显示间隔进行说明。
关于人眼的时间分辨能力,通常已知以50msec前后为阈值急剧地下降。因此,在图13中示出通过编码图像与其反转图像的间隔来调查辨识性以何种程度变化的曲线图。在图13中,是通过实验调查时间间隔与能看到条纹图样的人的比例的关系的结果,关于间隔,进行整面黑显示。此外,条纹的间距在横条纹时是3mm间距,从与画面离开1m的地方进行辨识试验。根据该结果,如以往所述那样,在50msec附近急剧地上升,所以优选的是使编码图像与反转图像的间隔为50msec以下。此外,作为几乎不能辨识的极限,可以举出20msec附近,所以更优选的是设为20msec以下。根据该结果,在通常的1秒内60帧的影像中,使反转信号跨越4帧以上离开并不好。更优选的是限于1帧以内。
(由对比度灵敏度函数的条纹图样带来的时间宽度的制约)
根据视觉特性的领域中的对比度灵敏度函数,条纹图样停止时的对比度灵敏度在2cycle/degree附近取最大,例如如果增加到10cyle/degree左右,则对比度灵敏度下降为几分之一。如果条纹图样的空间频率变低而对比度灵敏度下降,则时间分辨能力也下降。在峰值附近,时间分辨能力也会变快到20msec左右。峰值附近的空间分辨能力相当于条纹的间距为9mm、从离开1m的地方观察的情况,在3mm间距、从离开1m的地方观察的情况下,为10cyle/degree左右,此时大约具有50msec左右的时间分辨能力。空间频率由空间频率[cycle/degree]=1/[arctangent(条纹的间距[m])/(显示面与视听者的距离[m])}]的式子表示。因而,根据条纹的间距、和由画格等考虑的通常的与视听者的距离计算,由此,能够决定时间宽度的最大值。
(将两张负/正者用3~4张负/正)
如上述那样,将编码信号在非常短的时间中显示。对于在APL较低等图像更受到影响的情况下,将编码信号图像的反转图像即表示ON状态和OFF状态的两个明亮度或颜色或其组合反转的方法进行了说明。这里,为了避免亮度更高的图像被显示,也可以采取将反转的一组图像再分割为两个以上、将它们组合来降低峰值亮度、避免画质的进一步劣化的方法。图14~图16是示意地表示该一例的图。另外,图14~图16画出了以白和黑二值化的信号的例子,但也可以是其他颜色的组合,白不是仅表示100%点灯,黑也不是仅表示0%点灯,也可以是使色温变化或将峰值亮度降低的白,黑也可以是混入了一些光的黑。
图14是将通常的反转图像作为一组装入到1帧内的例子,与上述同样。图15的图像B11是将图14A的图像A11的编码信号的条纹图样和垂直方向上1:1的白黑的条纹图样重叠而成的。将与图像A21叠加了该编码信号的条纹图样而得到的图像作为图像B21放置到下个帧中。进而,将使该编码信号的条纹图样的白黑反转后的条纹图样与图像A11、图像A21叠加而得到的图像作为图像B12、图像B22,配置到各自的帧内。通过这样,由各帧中的信号合成的亮度成为将原来的信号图像与其反转图像合成时的亮度的一半,在影像的对比度提高方面可以期待效果。同样,在图16中表示在垂直方向上做成使黑和白为3:1的条纹图样而装载的例子。此时,由于将垂直方向分割为4份,所以用4帧合成为与(a)相同的图像,合成亮度较大地下降到原来的4分之1。这样,通过将编码图像用与信号垂直方向的黑来间隔剔除,使得能够用几张图像合成为原来的图像,能够降低整体的亮度。但是,人的眼睛的时间分辨能力通常为50msec左右,所以横跨较多的帧分割会通过残像合成,不能识别条纹图样的效果降低,所以如果是1秒内60帧,则分割4份以上并不好。此外,当将(a)与(b)比较时,在(a)中使第2帧为全黑时,成为与(b)相同的亮度,在将(a)与(c)比较时,如果在(a)中使第2到第4帧为全黑则也成为与(c)相同的亮度。但是,通过进行(a)和全黑的组合,发生影像中的亮度的定期性的时间变化,所以有发生看起来闪变的不良状况。因为这样的原因,进行(b)或(c)等的组合能够期待画质提高的效果。
(设有偏倚部的低亮度侧的处置)
如上述那样,由于在影像图像之间插入编码图像,该图像具有一定的亮度,所以显示比各帧的各原色的输入时的灰度高的灰度的图像。特别在低灰度的情况下影响较大,所以虽然记载了在一定以下的灰度的影像图像的情况下不发送信号的方法,但除此以外再公开用于修正的方法。
图17表示输入信号与输出信号的关系。另外,输入信号是已经完成了伽马修正等的显示器等的显示装置所特有的修正后的信号。c是对于编码图像将加上了两张以上的编码图像和其反转图像的明亮度变换为灰度表现的值。
如图17的实线(细线)那样,本来输入和输出优选的是1对1地对应,但如单点划线那样,附加了偏倚部分与将两张以上的编码图像合成(相加)后的明亮度对应的灰度的量。为了将其修正,例如,如果设原色为RGB的3原色、设输入为(Rp,Gq,Br)(p,q,r表示输入时的各色的灰度)、设输出为(Rs,Gt,Bu)(s,t,u表示输出时的各色的灰度),则在上述编码图像的插入例中,s=p+c,t=q+c,u=r+c的关系成立。如果想要将输出侧的值保持为基于原来的影像信号的值,则输入信号可以通过设为图中的双点划线(Rp-c,Gq-c,Br-c)来实现。但是,在p,q,r<c的情况下,由于影像信号为0,所以影像信号也可以不显示其颜色。显示它的是图中的虚线,为了实现这样的关系,在低灰度下由于牺牲影像并输出编码信号而对比度变差,但在其他区域中能够保持影像的画质。
此外,作为另一个方法,在灰度比作为编码信号的合成的灰度的c小(暗)的部分中不输出信号,仅在灰度比灰度c大(明亮)的部分叠加编码信号。
在图18中表示用来具体地实现上述说明的内容的方法的概要。
这里,表示设置信号期间并预先设置显示编码信号的期间的方法(上图)、和在影像信号中放入编码信号的方法(中图)。
上图将到此为止说明的内容示意性地通过将RGB时间分割的方法进行了记载,但RGB也可以是时间分割,也可以在空间上设置与RGB对应的区域并使用全部的时间进行灰度表现。(时间分割对应于如投影仪等或MEMS那样将光源依次变更而显示的装置,在EL或PDP等的1像素中设置RGB的单元而发光的类型对应于空间分割。)
此外,在上图的方法中,既可以是使用全期间的PWM显示(是用发光时间的长度控制亮度(灰度)的方法,但不是分割为清晰的子帧并将子帧内全部ON(点灯)或OFF(不点灯)的方法,既可以是各像素一齐ON而按照各像素设定OFF的时刻来灭灯的方法,相反也可以是按照各像素设定点灯开始(ON)的时刻而在最后将各像素OFF),也可以使用由电流控制等带来的强度变化来显示。信号配设在帧的最后,但它也可以是中途,是哪里都可以。此外,如果是如液晶显示装置那样在画面的灰度变更中需要时间的结构,则也可以通过将信号与影像远离配设以便能够尽可能取得变更所花费的时间、将背灯以其中的规定的时间照射等的方法来表现编码图像对应的灰度c。
同样,在为了将虚线(粗线)再现而使用图18的下方那样的子帧的情况下,例如在c=1的情况下,将作为编码信号的1组反转图像的负和正(以下称作负/正)各自的图像的白部分用灰度1显示,所以负/正都对1灰度的子帧即将2的权重的子帧分割为2的部分分别应用负/正。此时,编码图像不是图18的下图,而是图14所示的负/正那样的由整面编码信号构成的图像,此时,低灰度被牺牲。另外,此时,包括权重1的子帧在内,全部的子帧被原样显示由原来的图像信号制作的图像。
在想要直到低灰度将全部原来的图像再现的情况下,作为一例而相当于图18的下图。在此情况下,关于低灰度的部分(图像中的较暗的部分)不叠加信号(即,原来的分解的图像的黑部分(对应的子帧中为0的场所)仍然是黑),仅对明亮的部分(在对应的子帧中为1的部分)叠加编码信号。
这里,如果设编码图像的灰度c为1,则在通过将权重2的子帧分割而得到的两个子帧中显示图18的下图那样的图像(负/正)。仅对应图像中白的场所和编码图像的白的场所为白,其以外的部分全部为黑。其他子场全部是原来的图像的原状。通过这样,能够在包含编码图像的状态下将原来的影像图像本身再现。此时的缺点,可以举出仅明亮的场所、且在对应的子场中仅明亮的场所才叠加信号,所以接收概率下降或信号完全没有进入。此外,需要注意的是,这里的明暗只不过是对应的子场中的明暗,不是仅在由人的眼睛看到的明亮的部分中叠加信号,与人直观地感到的感觉方式完全无关。
这里,表示了想要以负/正的形式、通过两个编码图像和其反转图像的组合使整面成为一样的灰度的例子,但只要是多张组合,也可以是其以外的组合。此外,这里作为一例,将具有2的乘方的权重的子帧中的较小的子帧分割为二来表现负/正的组合。这是因为,为了使编码信号图像的亮度尽量下降而变得不醒目,所以c较小的值根据情况而成为1以下的值,所以预测为使用较小的子帧的情况较多。
首先,将影像信号在前面所述的阈值c下,制作影像中的要显示的一张图像的全部像素的、从各原色的灰度减去c的图像数据,将其分解为由各子帧显示的图像。这里,计算在黑底上作为1子帧显示白的“A”字符。此外,将作为平均灰度c的条纹图样的编码图像进行子帧分解后,成为横向的条纹状的图像被显示在1子帧中的结果。
在1子帧中,将原来的影像信号的作为1子帧的图像的黑底上叠加“A”字符的图像和作为编码图像的横条纹状图像。此时,都仅将ON信号即白显示的部分进行白显示,其余进行黑显示。这是图中“NEGA”(左下图)。另一方面,关于反转图像,也在黑底上叠加“A”字符的图像。该图像是图中“POSI”(中下图)。以下,关于2子场以后的各子场也以同样的次序进行发送。
灰度c优选的是编码图像较暗,所以如上述那样c的值变小的情况较多,但在c的值较小的情况下,存在分解到较大的子帧的图像的可能性较低。因此,同样的处理分解到至少超过整体的2%那样的子帧并进行确认的处理的必要性较低。因而,将子场分割为二而预先对应的子场在本例的情况下,即如果为2的乘方的8位、255灰度,则优选的是对应到1子场、2子场为止。此外,如果考虑处理时间,则优选的是到2子场的图像结构为止,停止进行本处理。
以以上那样的次序设置阈值,较低的APL图像被牺牲,但能够对通常的APL的影像显示几乎没有影响而发送编码信号。
以下,使用图19~图26更详细地说明图18所示的例子。
图19是表示在帧的最后有信号区域的情况下的可见光通信图像的显示例的图。
例如,在帧的最后有信号区域的情况下,如图19所示,在帧内依次显示R,G,B,W的图像后,或依次显示R,G,B的图像后,显示可见光通信图像。或者,在帧内,在将R,G,B的图像同时显示后,显示可见光通信图像。这里显示的可见光通信图像例如是由上述负/正构成的图像。
图20是表示使信号叠加到影像的子帧中的例子的图。
为了显示可见光通信图像的灰度c,计算从输入的影像信号的各灰度减去c后的成分。结果,输入和输出成为图17的双点划线所示的关系。进而,为了显示可见光通信图像的灰度c,分割由灰度c×2确定的权重的子帧。将通过该分割得到的分割子帧的影像图像(影像信号的图像)分别与可见光通信图像的负或正叠加。此时,在将亮度较明亮的部分设为1、将亮度较暗的部分设为0处置的情况下,通过亮度的逻辑和,将可见光通信图像的负或正与影像图像叠加。由此,可见光通信图像的信号比影像信号更优先,输入和输出成为图17的虚线所示的关系。图20表示将1帧以RGBW的时间分割表示的例子,如图21所示,即使是将1帧用RGB的单元分割表示的情况,也能够进行与时间分割的例子同样的处理。
例如,在c的灰度为1的情况下(c=1),从影像信号的各成分的灰度减1,进行子帧分割。此时,在通过减去1而灰度成为负值的情况下,将该灰度设为0。为了出现c=1的灰度,需要在负/正的各自中出现1的灰度,所以将2的权重的子帧分割为两个。对通过该分割得到的分割子帧的各自的影像图像叠加负或正(逻辑和)。在2的权重的子帧以外的子帧中,通过通常的处理,显示遵循图17的双点划线所示的关系的影像图像。
此外,在c的灰度为2的情况下(c=2),从影像信号的各成分的灰度减去2,进行子帧分割。此时,也在通过减去2而灰度成为负值的情况下,将该灰度设为0。为了出现c=2的灰度,需要在负/正分别出现2的灰度,所以将4的权重的子帧分割为两个。对通过该分割得到的分割子帧的各自的影像图像叠加负或正。在2的权重的子帧以外的子帧中,通过通常的处理,显示遵循图17的双点划线所示的关系的影像图像。
此外,在c的灰度为3的情况下(c=3),从影像信号的各成分的灰度减去3,进行子帧分割。此时,也在通过减去3而灰度成为负值的情况下,将该灰度设为0。为了出现c=3的灰度,需要在负/正分别出现3的灰度,所以将1和4的权重的子帧分别分割为两个。对通过该分割得到的分割子帧的各自的影像图像叠加负或正。在2的权重的子帧以外的子帧中,通过通常的处理,遵循图17的双点划线所示的关系显示影像图像。
图22是表示子帧的分割和叠加负或正的位置的图。另外,1表示正,-1表示负。如图22的(a)所示,在c=1的情况下,将权重2的子帧分割,对该分割子帧的各自的影像图像叠加负或正。此外,在图22的由灰的区域表示的子帧中,通过通常的处理,显示遵循图17的双点划线所示的关系的影像图像。关于c=2及c=3的情况,也与上述是同样的。此外,在c=3的情况下,如图22的(a)所示,用2的权重的子帧显示负和正,接着,用4的权重的子帧显示负和正。这样,在以负、正、负、正的顺序将可见光通信图像连续显示的情况下,接收装置侧的制约变严格。所以,也可以如图22的(b)所示那样,将2的权重和3的权重的各自的分割子帧的顺序改变。结果,以负、负、正及正的顺序将可见光通信图像连续显示,所以能够缓和接收装置侧的制约。
图23是表示使信号向影像的子帧叠加的另一例的图。
为了显示输入的影像信号的各灰度,即为了使输入和输出遵循图17的实线所示的关系,进行子帧分割。为了显示可见光通信图像的灰度c,追加与灰度c对应的子帧。将与灰度c对应的子帧的影像图像(影像信号的图像)分别与可见光通信图像的负或正叠加。此时,在将亮度较亮的部分设为1、将亮度较暗的部分设为0处置的情况下,通过亮度的逻辑积将可见光通信图像的负或正与影像图像叠加。由此,使影像信号比可见光通信图像的信号更优先,输入和输出成为图17的实线所示的关系。图23表示1帧由RGBW的时间分割表示的例子,如图24所示,即使是将1帧用RGB的单元分割表示的情况,也能够进行与时间分割的例子同样的处理。
例如,在c的灰度为1的情况下(c=1),对影像信号的各成分进行子帧分割。为了出现c=1的灰度,需要在负/正的分别出现1的灰度,所以追加1的权重的子帧,对1的权重的子帧的影像信号分别叠加负或正(逻辑积)。在两个1的权重的子帧以外的子帧中,通过通常的处理,显示遵循图17的实线所示的关系的影像图像。
此外,在c的灰度为2的情况下(c=2),对影像信号的各成分进行子帧分割。为了出现c=2的灰度,需要在负/正分别出现2的灰度,追加2的权重的子帧,对2的权重的子帧的影像信号分别叠加负或正(逻辑积)。在两个2的权重的子帧以外的子帧中,通过通常的处理,显示遵循图17的实线所示的关系的影像图像。
此外,在c的灰度为3的情况下(c=2),对影像信号的各成分进行子帧分割。为了出现c=3的灰度,需要在负/正分别出现3的灰度,追加1的权重的子帧和2的权重的子帧,对两个1的权重的子帧的影像信号和两个2的权重的子帧的影像信号分别叠加负或正(逻辑积)。在两个1的权重的子帧和两个2的权重的子帧以外的子帧中,通过通常的处理,显示遵循图17的实线所示的关系的影像图像。
图25是表示子帧的追加和将负或正叠加的位置的图。另外,1表示正,-1表示负。如图25的(a)所示,在c=1的情况下,追加权重1的子帧(权重1’的子帧),在权重1的子帧的各自的影像图像中叠加负或正。此外,在由图25的灰的区域表示的子帧中,通过通常的处理,显示遵循图17的实线所示的关系的影像图像。关于c=2及c=3的情况也与上述同样。此外,在c=3的情况下,如图25的(c)所示,在权重1的子帧和权重1’的子帧中显示负和正,接着,在权重2的子帧和权重2’的子帧中显示负和正。这样,在以负、正、负、正的顺序将可见光通信图像连续显示的情况下,接收装置侧的制约变严格。所以,也可以如图25的(d)所示那样将权重1’的子帧和权重2的子帧的顺序改变。结果,以负、负、正及正的顺序将可见光通信图像连续显示,所以能够将接收装置侧的制约缓和。另外,在将RGB以时间分割显示的情况下,也可以在c=3时制作3的灰度。此外,在RGB是单元分割的情况下,原来的图像在RGB中并不一定一致,所以优选的是跨越多个子帧使可见光通信图像连续。另外,图26是表示编码图像的生成的一例的图。
此外,本实施方式的各用语的定义是以下这样的。
编码图像是将通过将可见光通信信号编码得到的数值的排列用条纹图样表示的图像。即,将可见光通信信号用一定的方法编码,变换为0,1的数值的排列。将该排列的数值分别校正为一定的宽度的明、暗的两种明亮度的直线,通过将这些直线在与该直线正交的方向上以数值的排列的顺序配设而出现的条纹图样是编码图像。
灰度是将构成影像信号的一个图像用RGB等的光的原色(不需要限定于3原色)的组合表现时表示各个原色的亮度等级的指标。例如,如果是用各色8bit表现的图像,则各色都用0~255的灰度的组合表现,灰度与各自的原色的亮度除了伽马修正或数字修正等以外表示处于线性关系的数值。
帧是显示构成影像信号的一张图像的期间。在通常的影像信号中,由于在1秒内显示60张图像,所以帧是1/60秒。
子帧也称作子场,是为了显示构成影像信号的一个图像而用来将1帧内分割为几个而显示的单位。关于能够调整每单位时间的发光能量的液晶显示器或电阻可变的EL等,能够不分割为子帧,而调整每单位时间的发光能量来赋予亮度变化,但是仅该处理并不足够的情况下,也可以增加能够分割为几个子帧而表现的亮度的数量(情况的数量,即灰度数)。此外,也有与在各子帧内发光的时间控制相匹配地进行灰度表现的情况。在不能调整每单位时间的发光能量、并且将原色通过单元排列分离的类型的显示器、即等离子显示器或电阻固定型的EL中,仅通过发光的时间来进行灰度表现。但是,基本上是制作具有权重的子帧,将该子帧的期间全部设为ON或OFF,将ON的子帧的权重的合计表现为灰度。在最低的情况下,如果例如是8位,则能够将0~255的数值用2的n次幂(n=0~7)的组合没有冗长性地表现。但是,在实际的显示器中,例如,在使127和128的灰度在时间上反复地往来那样的影像中,根据其结构,有与人的眼睛的运动连动而虚拟地看到别的影像的情况,所以故意具有冗余性而进行避免这样的极端的子帧的组合的变化。
在不能调整每单位时间的发光能量、将各原色等通过时间序列分离的类型的显示装置、即使用DMD的投影仪或使用MEMS的显示器中,仅通过发光的时间进行灰度表现,但DMD或MEMS的动作非常快,不需要二维的驱动数据的写入并存储的功能,所以采取在分割为子帧后、在各子帧内通过PWM控制(控制为ON的期间)进行发光亮度的控制的方法。但是,由于以时间序列将RGB等的原色等分离,所以如果使1帧各自的原色为一个,则在发光的重心不同的情况下等,用人的眼睛观察时还是会发生感到别扭感(虚拟运动图像轮廓等),所以在比较细地分割为子帧后将各子帧进行PWM驱动。还实施具有冗余性而进行虚拟运动图像轮廓对策等的处理。
编码图像的灰度如以下这样定义。即,编码信号以将两个以上的反转影像组合、将该组合用整面相同的颜色(相同的原色成分,相同的明亮度)表现为前提。在这样的前提下,将被合成的整面相同颜色的各原色的亮度、和在将该影像信号输出时输出相同亮度的灰度定义为编码信号的灰度。例如,在以完全的反转图像做成两张一组的情况下,有明和暗的部分,显示与明的部分的亮度对应的亮度的灰度是编码图像的灰度。
另外,在上述例子中,将c的灰度用整数表示,但也可以是小数。例如在c=0.67的情况下,通过在连续的3个帧中分别设为c=1,c=1,c=0,能够在3个帧的整体中设为c=0.67。即,能够通过误差扩散将c的灰度作为小数处置。
(包含DLP的投影仪所固有的方式)
(通过焦点距离的修正)
对通过变更投影仪与投影面的距离来变更画格、或通过设置场所的环境等而必须将上述距离变更而使用的情况下的对应进行说明。
为了变更上述距离而投影,必须调整投影仪的焦点,将图像投影到投影面上。此时的焦点的调整如图27所示那样,自动焦点和手动焦点都存在。在自动的情况下,在投影仪内残留有用来将焦点对准的透镜形的组合的信息。此外,在手动的情况下,也是使用者一边观察投影面一边利用遥控器等使焦点的位置前后变化、通过在焦点对准的位置处停止该操作来对准焦点。这样,在投影仪的主体侧,残留有能够计算投影仪与投影面的距离的信息,根据该信息计算投影仪与投影面的距离。
此时,作为投影仪具有的性质,画格和焦点距离都与距离成反比例。投影面的亮度也受投影面的材质影响,但至少在相同的投影面中与距离的平方成反比例而变暗。另一方面,当将其在接收机侧摄像时,即使接收机与投影面的距离较远地离开,由于在图像中横轴为时间轴,所以当进行相同的驱动时也能够得到同样的图像。但是,该摄像的图像的明亮度根据摄像的投影面的亮度而变化,当投影仪与投影面较近时投影面较明亮,所以摄像出的图像的编码信号的对比度也显示比较高的值,作为接收环境较好。但是,在离开的情况下,相反投影面变暗,所以摄像的编码信号的对比度也恶化。此外,一般而言,当投影仪与投影面离开时,画格变大,所以投影影像的视听者匹配于此而从比较远离的位置视听的情况较多,所以可以认为将编码图像摄像时的画格不较大地变化的情况较多。因而,为了提高接收机侧的接收性能,需要提高编码图像的对比度。
对具体的方法使用图28进行说明。为了提高对比度,采取通过使投影的投影仪的光束变大、即通过使光源的亮度变明亮、或使灰度变高或它们的组合而使投影面上的照度不较大地下降的对策是最简便的。除此以外,通过使投影编码图像的时间变长,受光机侧能得到的曝光图像中的编码信号作为信号量变大,所以能够期待提高S/N比的效果。如图27所示,作为进行这些操作的指标而事前进行基于焦点距离的投影仪与投影面的距离的关联建立,从而能够随着将焦点对准的动作而维持接收性能。此外,由于对比度较强地受到外光的影响,所以也可以与上述基于环境照度的对应组合而进行关联,在投影仪主体中自动地控制适当的投影条件。
之前考虑了视听者匹配于投影的影像的画格来决定其距离的情况较多,但有时不是观察投影影像整体、而是如标牌那样关注特定的部位而视听。如果考虑该情况,则需要考虑存在于各种各样的距离的视听者而将编码图像摄像。在如图29那样投影面较远的情况下,如果考虑以较远的距离视听的视听者观看图像整面,或者考虑到对中心方向进行视听的情况较多,则优选的是在中心附近包含1块的数据全部。因此,在上述1画面中将多个数据块几个重复显示的情况下,重复数优选的是1个或奇数。此外,在将编码图像的中心对准于中心而配设的情况下,在周边残留有1块以下的区域的情况下,既可以将其余的部分设为加上了亮度的灰的单色,也可以将数据的间距变更而将通信数据1块的占用的区域缩小。此时,各自的数据既可以相同,也可以不同。此外,也可以在中心部配设比较大的1块的编码图像,其他显示相同的缩小的数据或不同的数据、或加上了亮度/色度D单色。投影仪也可以根据焦点距离推测状况来决定对应。
关于接收侧,例如在接收侧使用智能电话的情况下,如图30的流程图所示,通过启动智能电话的应用而摄像部动作,进行对焦动作。由此,作为智能电话的接收机也可以采取识别摄像部与投影面的距离、通过Wifi等无线信号向投影仪侧设定接收机容易接收信号的大小及照度而接收的方法。
(通过投影面进行的修正:投影映射)
近年来,除了平面且由适合于将图像投影的材料形成的屏幕等以外,还有代替屏幕而使用具有凹凸、或原本带有颜色的立体物例如建造物等来立体地显示图像的投影映射的方法。它是预先得到投影面的形状及颜色、反射率等作为事前的信息后、进行基于与投影的各部位的影像信号对应的上述各种信息的修正、使得能够投影为人观察时能够自然地看到的图像、此外具有立体感的图像的技术。进而,在向人物或装置等移动体投影时,还考虑并实施了将投影的对象摄像并匹配其运动将投影图像修正而显示的方法等。在这样的情况下,也通过进行以下这样的对应,能够进行接收概率较高的可见光通信信号的发送。
当匹配于事前保存的对象的运动或摄像的对象的运动而施加图像的修正时,通过根据其修正内容将编码图像与投影图像同样地修正并显示,能够从接收机侧将线性的信号作为线性捕捉到。此外,通过原来的投影图像信号与修正信号的比较,关于畸变比较少的部分,能够识别是投影面接近于平面等变形较少的地方,所以也能够以该部分为中心配置编码图像。此时,关于变形较大、即通过修正而信号的畸变较大的部分,通过不发出编码信号,能够期待避免接收时的错误或误识别的效果。另外,向畸变较少的部分发出的编码信号也可以制作编码图像以使得仅在对应部位处编码信号的1块至少全部进入。此外,通过制作在畸变较少的场所仅具有1块编码图像的编码图像,能够增加接收机侧的每1个信号单位的像素数,所以在错误减轻方面能够期待效果。
进而,在能够从各种各样的方向视听投影影像的情况下,可以想到通过接收的方向修正后的编码图像为畸变较少的图像的情况。在这样的情况下,容易将编码图像的修正在各种各样的场所接收,以便能够从各种各样的位置视听影像、接收可见光通信信号,即,也可以制作一些修正图像以便能够在各种各样的场所以畸变较少的接近于原来的编码图像的形式摄像,将其按照时间依次或随机地重复或输出一定时间。此时,也可以使与影像内容相关而最容易接收的位置变化。进而,也可以通过接收位置改变为了接收而摄像的投影图像的位置,将某个时刻的编码图像改变投影场所而混入多张。此时,并不需要一定同时输出,也可以将1帧中的时间分割,在不同的场所以少许的时间差显示相同的或不同的编码信号。
(用2台一起输出信号)
在投影仪的情况下,有时在制作一个投影图像的情况下使用多台投影仪等。这包括大型的结构、亮度非常高的结构等、将RGB3原色的管球独立地带有透镜系统而驱动、在投影面上合并为一个图像的情况。作为具体的方法,至少1台在插入投影图像和编码图像的期间中或其前后的较短的期间中什么都不显示。其余的至少1台与将投影图像投影的其他的投影仪匹配相位而仅将编码信号投影。此时,这些投影仪取得图像显示的同步,进行时间分配以使投影影像和编码图像不晃动。将编码图像投影的投影仪既可以多台以相同的画格显示,也可以以不同的画格或在不同的区域中显示。此外,也可以根据场所而显示不同的编码图像。也可以作为对于说明向投影映射的应用时的从不同位置的摄像的对应,而利用多个投影仪。此时,关于投影仪放置的场所或其画格、投射方向等,只要没有前面举出的与投影影像的时间分配、和不同的编码图像在时间或空间上重叠,就没有这以外的限制。
(不是DLP投影仪所固有的课题,但却是DLP固有的解决对策)
对于在影像信号是包含条纹图样的影像等、是与编码信号图像相似的样式的情况下、避免接收时的误识别的方法进行说明。
图31A及图32B表示使用DMD的投影仪、使用MEMS的显示器等将RGB光源或一个光源分离而以时间分割进行RGBW的灰度表现的情况下的解决方法。
(a)表示影像信号和编码图像为相似的结构、有可能发生误识别的一例。即,是不论是影像还是编码图像都显示白黑的条纹图样、无法区分的一例。
(b)是将影像信号的输出的图像的定时错开而应对的一例。将影像信号部分的白显示根据场所而错开发光或投影的定时,在由图像传感器摄像时,在该瞬间影像不构成条纹图样。因此,不会误识别,在作为影像而由人的眼睛观看的情况下,结果看起来与原来的影像同样。这样,通过根据面内的场所将发光或投影的定时错开,能够发光或投影,以使得不存在能够作为包含与编码信号相同的条纹图样或条纹图样的影像摄像的定时。
(c)表示将影像信号的白色不使用白发光而使用RGB等的原色的发光来输出影像进行对应的一例。采取以下结构:使影像信号的白黑的白显示在白色发光的定时打开开口;或者不想要通过投影来制作影像,而在RGB的各色发光的定时分别打开开口;或者进行投影,RGB的颜色混合而看起来为白色。在此情况下,也可以构成为,在用图像传感器摄像的情况下,不存在能够从影像信号捕捉包含白色的条纹图样的图像的瞬间,但通过人的眼睛不知道差异。如以上这样,通过将白色时间分割为其他原色而显示,能够解决问题。
(d)表示在(c)的结构中、进一步将RGB的定时错开的一例。通过将构成影像的RGB等的原色的发光的定时根据画面内的场所等错开,在编码图像具有白黑以外的颜色的条纹图样而成的情况下也能够应对。这对于哪个定时而言,都不将R、G或B的条纹图样通过图像传感器摄像,能够避免与编码图像的误识别。
(e)及(f)表示将影像信号的一部分变更来应对的一例。通过将影像信号的一部分变更,通过使影像信号成为在编码图像中不出现的样式,能够防止误识别。(e)通过将影像信号间隔剔除、(f)通过将影像信号追加来实现。
以上那样的对策,不仅是影像中的条纹状的图样是与编码信号的条纹图样平行或接近的状态的情况,也可以以所有角度的影像中的条纹图样为对象来进行。这是因为,在接收侧的摄像时,当设想了将图像传感器的方向以某个朝向摄像或是否倾斜摄像等各种各样的场合时,即使编码图像在能够识别为与图像传感器的曝光行上的条纹图样垂直方向的带的范围即可接收的倾斜的角度范围中,只要它不是正好垂直,就有将影像信号误识别为间距不同的编码信号的可能性。
此外,在本实施方式中,说明了使用显示装置进行可见光通信的方法,但在招牌等的照明装置中也能够通过同样的方法实现。
此外相反,在相同的灰度的信号中,由于使RGB的组合和定时的顺序变化的动作以至少将时间进行颜色分割的数量的位数而情况的数量增加,所以通信信息量也增加。例如,在发出相同的白的情况下,在仅发出W的情况和将RGB的3色依次发出的情况下,有顺序为3×2×1的6种组合,将其在发送侧控制而发送,在接收侧,也通过将该组合作为时间序列分离并接收,能够增加6倍的信息量。这样,也可以通过原色的组合的顺序使信息量增加。另外,这样的方法并不限于将固体光源的RGBW以时间序列分割而改变使各自的光源光向投射透镜系统入射的时间宽度来进行影像显示的类型的投影仪或使用MEMS的显示器,在使用色轮的投影仪等中,也能够通过与光源的闪烁的组合来实现。即,通过重复在显示规定的顺序以外的颜色的期间中将光源灭灯、如果成为将规定的顺序的颜色显示的期间则将光源点灯的方式,每单位时间的传递速度下降的情况变多,但通过识别上述颜色的顺序,能够使通信的信息量增大。
在图32中表示在纵向配设有多个LED的照明装置和其驱动信号的一例。
图32的(a)是在纵向配设有多个LED的照明装置。各LED元件相当于将可见光通信信号编码的横条纹的最小单位,相当于编码的ON/OFF信号。由于是照明装置,所以为了使明亮度不根据信号而变化,也可以除了在图32的(b)中表示的通常的信号以外,还将该图的(c)及(d)所示的将点灯非点灯反转的编码信号在可见光通信信号的输出期间中发送。
在图32的(e)中表示该图的(a)中的LED1和LED3的控制的状态。在图32的(e)中,横轴表示时间。如图32的(e)所示,在可见光通信信号的输出期间内的时刻t1输出该图的(c)的信号,在时刻t2输出该图的(d)的信号。即,进行控制,以使得在时刻t1,LED3为非点灯,在时刻t2,LED1为非点灯。通过将该动作以一定周期重复,在照明装置中也同样能够进行可见光通信信号的发送。另外,如果考虑照明中的闪变等,则在t1、t2为非点灯状态的期间中,优选的是0.2msec以下。
(编码方式)
图33是说明可见光通信图像的编码方式的之一的图。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和逆相图像的平均亮度为相同程度,有人不易感到闪变的优点。
(在从斜向摄像的情况下也能够受光的编码方式)
图34是说明可见光通信图像的编码方式之一的图。
图像1001a是将白和黑的行以均匀的宽度显示的图像。如果将该图像1001a从斜向摄像,则在通过该摄像得到的图像1001b中,左方的行较细地呈现,右方的行较粗地呈现。此外,在将图像1001a投影到曲面上的情况下,在通过该摄像得到的图像1001i中,显示不同粗细的行。
所以,通过以下的编码方式制作可见光通信图像。可见光通信图像1001c从左起,由白行、白行的3倍的粗细的黑行、该黑行的3分之1的粗细的白行构成。这样,作为左邻行的3倍的粗细的行、左邻行的3分之1的粗细的行连续的图像,将前同步码编码。如可见光通信图像1001d、1001e那样,将与左邻行相同粗细的行编码为“0”。如可见光通信图像1001f、1001g那样,将左邻行的2倍的粗细或左邻行的一半的粗细的行编码为“1”。即,在使编码对象行的粗细与左邻行的粗细不同的情况下,将该编码对象行编码为“1”。作为使用该编码方式的例子,将接着前同步码而包含“010110001011”的信号用可见光通信图像1001h那样的图像表现。另外,这里将与左邻行相同粗细的行编码为“0”,将与左邻行不同粗细的行编码为“1”,但也可以将与左邻行相同粗细的行编码为“1”,将与左邻行不同粗细的行编码为“0”。此外,并不限于与左邻行的对比,也可以进行与右邻行的对比。即,在编码对象行的粗细与右邻行的粗细的对比中,也可以根据粗细相同或不同而将“1”、“0”编码。这样,在发送机侧,通过是与编码对象行不同的颜色,并且使相邻的行的粗细与编码对象行的粗细相同,将“0”编码,通过设为不同的粗细,将“1”编码。
在接收机侧,将可见光通信图像摄像,在摄像出的可见光通信图像中,检测白或黑的行的粗细。在是与解码对象的行不同的颜色、并且将与解码对象的行相邻的(左邻或右邻)行的粗细与解码对象的行的粗细比较而粗细相同的情况下,将解码对象行解码为“0”,在粗细不同的情况下,将解码对象行解码为“1”。也可以在粗细相同的情况下解码为“1”,在粗细不同的情况下解码为“0”。基于进行了解码的1、0的数据列,最终进行数据的解码。
该编码方式使用局部性的行的粗细的关系。在图像1001b及图像1001i中可见,由于附近的行的粗细之比不较大地变化,所以在从斜向摄像的情况或投影到曲面上的情况下,也能够将以该编码方式制作的可见光通信图像正确地解码。
在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和逆相图像的平均亮度为相同程度,有人不易感到闪变的优点。此外,该编码方式由于没有白黑的分别,所以有不论是正相信号和逆相信号的哪种可见光通信图像都能够用相同的算法解码的优点。
此外,有代码的追加较容易的优点。例如,可见光通信图像1001j是左邻的4倍的粗细的行与左邻的4分之1的行的组合。这样,如“左邻的5倍和5分之1”“左邻的3倍和3分之2”那样,存在较多唯一的样式,能够定义为具有特别的意义的信号。例如,可见光通信图像可以用多张表示一个数据,但由于发送的数据被变更,所以可以考虑作为显示到此为止接收到的数据的一部分为无效的取消信号而使用可见光通信图像1001j。另外,关于颜色,并不限于白、黑,只要是不同的颜色,是怎样的颜色都可以。例如也可以使用互补色。
(根据距离而信息量不同的编码方式)
图35及图36是说明可见光通信图像的编码方式之一的图。
如图35的(a-1)那样,如果通过使分割为四个的图像中的一个部分为黑、使其余的部分为白来表现2位的信号,则该图像的平均亮度在设白为100%、黑为0%的情况下为75%。如图35的(a-2)那样,如果使白和黑的部分成为相反,则平均亮度为25%。
图像1003a是将以图34的编码方式制作的可见光通信图像的白的部分用图35的(a-1)的图像表现、将黑的部分用图35的(a-2)的图像表现的可见光通信图像。该可见光通信图像表示以图34的编码方式编码的信号A和以图35的(a-1)及(a-2)编码的信号B。如果较近的接收机1003b将可见光通信图像1003a摄像,则能够得到精细的图像1003d,能够接收信号A和信号B的两者。如果较远的接收机1003c将可见光通信图像1003a摄像,则能够得到较小的图像1003e。在图像1003e中,不能确认详细的部分,是图35的(a-1)的部分变白、图35的(a-2)的部分变黑的图像,所以仅能够接收信号A。由此,可见光通信图像与接收机的距离越近,能够传递越多的信息。作为将信号B编码的方式,也可以使用图35的(b-1)和(b-2)的组合、或图35的(c-1)和(c-2)的组合。另外,也可以将该方式递归地使用,将3个以上的信号编码。
通过使用信号A和信号B,能够用信号A表示基本且重要的信息、用信号B表示附加性的信息。此外,在接收机将信号A、B作为ID信息向服务器发送、服务器将与ID信息对应的信息向接收机发送的情况下,能够根据信号B的有无使服务器发送的信息变化。
图37是表示通过发送机将可见光通信图像切换的例子的图。
发送机8501a显示可见光通信图像8501b。此时,发送机8501a对于在可见光通信图像8501b的附近将该可见光通信图像8501b摄像的接收机8501d,将较多包含信息的可见光通信图像8501f作为可见光通信图像8501b显示。进而,发送机8501a对于在从可见光通信图像8501b稍稍离开的位置将该可见光通信图像8501b摄像的接收机8501d,将包含比可见光通信图像8501f少的信息的可见光通信图像8501g作为可见光通信图像8501b显示。进而,发送机8501a对于从可见光通信图像8501b较远地离开而将该可见光通信图像8501b摄像的接收机8501d,将包含比可见光通信图像8501g少的信息的可见光通信图像8501h作为可见光通信图像8501b显示。这样的可见光通信图像8501f、8501g、8501h被连续或断续地显示。因而,无论距可见光通信图像的距离如何,接收机8501d都能够将可见光通信图像摄像而从该可见光通信图像得到信息。
图38是表示根据来自接收机的指示切换可见光通信图像的例子的图。
发送机8501a从设备8501c接收影像数据和信号数据,显示可见光通信图像8501b。接收机8501d将该可见光通信图像8501b摄像。这里,在可见光通信图像8501b包含较多的信息、用较细的条纹图样表示的情况下,接收机8501d有时通过摄像取得不鲜明的图像8501i。在此情况下,接收机8501d不能从该图像8501i取得信息,所以对于设备8501c指示将可见光通信图像8501b向较粗的条纹图样的可见光通信图像切换。接受到该指示的设备8501c对发送机8501a发送其他信号数据,接受到其他信号数据的发送机8501a显示较粗的条纹图样的可见光通信图像。接收机8501d通过将该可见光通信图像摄像,能够取得鲜明的图像8501j并从该图像8501j适当地取得信息。
(将数据分割的编码方式)
图39是说明可见光通信图像的编码方式之一的图。
将发送的信号1005a分割为多个数据片1005b、1005c、1005d。对各数据片附加表示该数据片的位置的地址,再附加前同步码、错误检测/校正码及帧类型描述等,构成帧数据1005e、1005f、1005g。将帧数据编码,制作可见光通信图像1005h、1005i、1005j并显示。在显示区域充分大的情况下,也可以显示将多个可见光通信图像连结成的可见光通信图像1005k。
(插入逆相图像的效果)
图40和图41是说明可见光通信图像的编码方式之一的图。
如图40的(1006a)那样,发送机向影像与可见光通信图像(正相图像)之间插入黑图像。由接收机将其摄像出的图像为图40的(1006b)所示的图像那样。由于同时被曝光的像素的行为黑单色的部分的探索较容易,所以接收机能够容易地将摄像了可见光通信图像的位置确定为在从该曝光时刻经过规定的时间后被曝光的像素的位置。另外,也可以在黑图像与可见光通信图像之间显示影像。
如图40的(1006a)那样,发送机在显示可见光通信图像(正相图像)后,显示使白黑反转的逆相的可见光通信图像。接收机通过求正相图像与逆相图像的像素值的差,能够得到仅利用正相图像的情况下的2倍的SN比。相反,在确保相同的SN比的情况下,能够将白黑的亮度差抑制为一半,能够抑制人观察时的闪变。此外,如图41的(1007a)及(1007b)那样,影像与可见光通信图像的亮度的差的期望值的移动平均在正相图像和逆相图像中被取消。由于人的视觉的时间分辨能力是1/60秒左右,所以通过使显示可见光通信图像的时间为其以下,对于人而言能够使其感到没有显示可见光通信图像。
如图40的(1006c)所示,发送机也可以还在正相图像与逆相图像之间也插入黑图像。在此情况下,通过接收机的摄像,能够得到图40的(1006d)所示的图像。在图40的(1006b)所示的图像中,由于正相图像的样式与逆相图像的样式相邻,所以有在边界部分处像素值被平均化的情况,但在图40的(1006d)所示的图像中不发生这样的问题。
(超析像)
图42是说明可见光通信图像的编码方法之一的图。
如图42的(a)那样,在影像数据和以可见光通信发送的信号数据被分离的情况下,对影像数据进行超析像处理,向得到的超析像图像叠加可见光通信图像。即,对可见光通信图像不进行超析像处理。在如图42的(b)那样,在影像数据中已经叠加有可见光通信图像的情况下,进行超析像处理,以使得(1)将可见光通信图像的边缘(通过白/黑等颜色的差异来表示数据的部分)保持为陡峭的原状,(2)可见光通信图像的正相图像与逆相图像的平均图像成为均匀亮度。这样,通过根据在影像数据中是否叠加有可见光通信图像来变更对于可见光通信图像的处理,能够更适当地进行可见光通信(使错误率降低)。
(能够应对可见光通信的情况的显示)
图43是说明发送机的动作之一的图。
发送机8500a将能够对应可见光通信的情况叠加到投影的图像中而显示。该显示例如仅在从将发送机8500a起动起规定的时间的期间中显示。
发送机8500a将自身能够应对可见光通信的情况向连接的设备8500c发送。设备8500c显示发送机8500a能够应对可见光通信的情况。例如,在设备8500c的显示器上,显示发送机8500a能够应对可见光通信。设备8500c在连接的发送机8500a能够应对可见光通信的情况下,将可见光通信用的数据向发送机8500a发送。发送机8500a能够应对可见光通信的消息的显示既可以在设备8500c被连接到发送机8500a上时显示,也可以在从设备8500c对发送机8500a发送了可见光通信用的数据的情况下显示。在从设备8500c发送了可见光通信用的数据时显示的情况下,发送机8500a从数据中取得表示可见光通信的识别信息,在识别信息表示在数据中包含有可见光通信用的数据的情况下,发送机8500a也可以显示能够应对可见光通信的情况。
这样,通过在投影画面8500b或连接设备8500c的显示器上显示表示发送机(照明、投影仪、影像显示设备)能够应对可见光通信的消息、或是否能够应对,用户能够容易地掌握发送机是否能够应对可见光通信。因而,能够防止尽管从设备对发送机发送可见光通信用的数据也不能进行可见光通信的不良状况。
(使用可见光通信信号的信息取得)
图44是说明可见光通信的应用例之一的图。
发送机8501a从设备8501c接收影像数据和信号数据,显示可见光通信图像8501b。接收机8501d将可见光通信图像8501b摄像,接收包含在可见光通信图像中的信号。接收机8501d根据包含在接收信号中的信息(地址或口令等)与设备8501c进行通信,将发送机8501a显示的影像本身及其附带信息(影像ID、URL、口令、SSID、翻译数据、声音数据、散列标签、商品信息、购买信息、优惠券、空席信息等)接收。也可以是,设备8501c将向发送机8501a的发送状况向服务器8501e发送,接收机8501d从服务器8501e得到上述信息。
(数据格式)
图45是说明可见光通信数据的格式之一的图。
图45的(a)所示的数据具有在存储域中表示影像数据的位置的影像地址表、和表示通过可见光通信发送的信号数据的位置的位置地址表。在不能应对可见光通信的影像显示装置中,由于仅参照影像地址表,所以即使在输入中包含信号地址表和信号数据,对影像显示也没有影响。由此,保持对于不能应对可见光通信的影像显示装置的后方互换性。
在图45的(b)所示的数据的格式中,将表示后面接着的数据是影像数据的识别码配设在影像数据之前,将表示后面接着的数据是信号数据的识别码配置在信号数据之前。通过设置识别码,仅在有影像数据或信号数据的情况下插入到数据中,所以能够使整体的代码量变小。此外,也可以配设表示是影像数据还是信号数据的识别信息。进而,也可以在节目信息中包含表示是否包含可见光通信用的数据的识别信息。通过在节目信息中包含表示是否包含可见光通信用的数据的识别信息,用户在节目检索时能够判断是否能够进行可见光通信。另外,节目信息中包含的也可以是表示包含可见光通信用的数据的识别码。进而,通过按照数据附加识别码/识别信息,能够进行按照数据的亮度的切换及超析像的切换等处理的切换,能够使可见光通信时的错误率降低。
图45的(a)所示的数据的格式适合于从光盘等的储存型介质将数据读出的状况,图45的(b)所示的数据的格式适合于电视广播等流介质型的数据。另外,在信号数据中,包括通过可见光通信发送的信号的值、发送开始时刻、发送结束时刻、显示器或投影面上的由于发送的场所、可见光通信图像的亮度、可见光通信图像的条码的朝向等的信息。
(推测立体形状并接收)
图46和图47是说明可见光通信的应用例之一的图。
如图46所示,例如构成为投影仪的发送机8503a除了影像和可见光通信图像以外,还投影测距用图像。在测距用图像中表示的点样式,是任意的点的附近的规定数量的点的位置关系与其他任意的组合的点的位置关系不同的点样式。接收机通过将测距用图像摄像,能够确定局部的点样式,推测投影面8503b的立体形状。接收机将因投影面的立体形状而畸变的可见光通信图像向平面图像复原而接收信号。另外,测距用图像及可见光通信图像也可以用人不能感知的红外线投影。
如图47所示,例如构成为投影仪的发送机8504a具备以红外线投影测距用图像的红外线投影装置8504b。接收机根据测距用图像推测投影面8504c的立体形状,将可见光通信图像的畸变复原而接收信号。另外,发送机8504a也可以将影像用可见光投影,将可见光通信图像用红外线投影。另外,红外线投影装置8504b也可以将可见光通信图像用红外线投影。
(立体投影)
图48和图49是说明可见光通信图像的显示方法之一的图。
在进行立体投影的情况或在圆筒状的显示面上显示可见光通信图像的情况下,如图48所示,通过显示可见光通信图像8505a~8505f,能够进行从较大的角度的接收。通过显示可见光通信图像8505a、8505b,能够在水平方向上从较大的角度接收。通过将可见光通信图像8505a和8505b组合,即使将接收机倾斜也能够接收。既可以将可见光通信图像8505a和可见光通信图像8505b交替地显示,也可以显示作为将这些图像合成的图像的可见光通信图像8505f。进而,通过添加可见光通信图像8505c和可见光通信图像8505d,在垂直方向上能够从较大的角度接收。也可以通过如可见光通信图像8505e那样设置以中间色投影的部分或不投影的部分,来表现可见光通信图像的区分。通过使可见光通信图像8505a~8505f旋转,能够从更大的角度接收。另外,在图48中,在圆筒状的显示面上显示可见光通信图像,但也可以在圆柱的显示面上显示可见光通信图像。
在进行立体投影的情况或在球状的显示面上显示可见光通信图像的情况下,如图49所示,通过显示可见光通信图像8506a~8506d,能够进行从较大的角度的接收。在可见光通信图像8506a中,水平方向上的可接收区域较大,但由于垂直方向上的可接收区域较窄,所以与具有相反的性质的可见光通信图像8506b组合来显示可见光通信图像8506a。既可以将可见光通信图像8506a和可见光通信图像8506b交替地显示,也可以显示作为将这些图像合成的图像的可见光通信图像8506c。如可见光通信图像8506a的上部那样条码集中的部分显示较细,将信号误接收的可能性较高。所以,通过如可见光通信图像8506d那样将该部分用中间色显示、或什么都不投影,能够防止接收错误。
(实施方式2)
以下,对实施方式2进行说明。
(发光部的亮度的观测)
提出以下这样的摄像方法:当对1张图像进行摄像时,不是使全部的摄像元件以相同的定时曝光,而是按照各摄像元件在不同的时刻将曝光开始/结束。图50是排列为1列的摄像元件同时曝光、以列较近的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光行,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将闪烁的光源拍摄到摄像元件的整面上而摄像的情况下,如图51那样,在摄像图像上发生沿着曝光行的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度下的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低既可以是光源不发光的状态,也可以与高相比较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
当在一张摄像图像中有曝光时间不重叠的曝光行20行、摄像的帧速率为30fps时,能够识别1毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,将曝光时间设定得比例如10毫秒短。
图51表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光行数为l时,如果通过各曝光行是否受光一定以上的光来传送信息,则最大能够以fl比特每秒的速度传送信息。
另外,在不是按照行而是按照像素以时间差进行曝光的情况下,能够以更高速进行通信。
此时,在每个曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm比特每秒。
如图52那样,如果能够将由发光部的发光带来的各曝光行的曝光状态以多个等级识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
在能够将曝光状态以Elv阶段识别的情况下,最大能够以flElv比特每秒的速度传送信息。
此外,通过以与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
图53A表示在一个曝光行的曝光完成前开始下个曝光行的曝光的情况。即,成为相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构。通过这样的结构,(1)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使规定的时间内的样本数变多。由于规定时间内的样本数变多,能够将作为被摄体的光发送机产生的光信号更适当地检测。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光行的曝光时间的结束而开始次的曝光行的曝光的情况相比,能够使各曝光行的曝光时间变长,所以即使是被摄体较暗的情况,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要为在全部的曝光行中、相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,也可以做成关于一部分的曝光行部分性地不具有时间上的重叠的结构。通过构成为,关于一部分的曝光行部分性地不具有时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光行的明亮度计算曝光时间,识别发光部的发光的状态。
另外,在将各曝光行的明亮度用亮度是否是阈值以上的2值判别的情况下,为了识别不发光的状态,必须将发光部不发光的状态持续各行的曝光时间以上的时间。
图53B表示在各曝光行的曝光开始时刻相等的情况下、由曝光时间的差异带来的影响。7500a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7500b是将曝光时间取得比其长的情况。通过如7500b那样做成相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,能够将曝光时间取得较长。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来将相同的明亮度的图像摄像的摄像灵敏度抑制得较低,能够得到噪声较少的图像,所以通信错误被抑制。
图53C表示在曝光时间相等的情况下、因各曝光行的曝光开始时刻的差异带来的影响。7501a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时相等的情况,7501b是比前个曝光行的曝光结束更早地开始下个曝光行的曝光的情况。通过如7501b那样做成相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,能够增加每时间能够曝光的行。由此,析像度变得更高,能够得到许多信息量。通过样本间隔(=曝光开始时刻的差)变密,能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光行的曝光量的差来识别比曝光时间短的光源的闪烁。
如用图53B、图53C说明那样,在以相邻的曝光行的曝光时间部分性地具有时间上的重叠的方式将各曝光行依次曝光的结构中,通过在信号传送中使用通过将曝光时间设定得比通常摄影模式短而发生的亮线样式,能够使通信速度飞跃性地提高。这里,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,曝光时间如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时发生的空白最大为1帧的一半的大小。即,空白时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下为1/2f。进而,由于需要在1/2f的时间内接受4值的信息,所以产生至少使曝光时间比1/(2f×4)短的需要。通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
图53D表示在各曝光行的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,光源即使如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样出现中间色的部分,有识别光源的亮度变化变困难的倾向。但是,通过如7502d那样,做成在一个曝光行的曝光结束后到下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,能够检测7502f那样的更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光行的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构的情况下,可以通过将曝光时间相比通常摄影模式时设定得较短、直到发生规定的不曝光的空闲时间来实现。此外,在通常摄影模式是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况下,也可以通过将曝光时间设定得较短、直到发生规定的不曝光的时间来实现。此外,可以如7502g那样,采取通过使各曝光行的曝光开始时刻的间隔tD变大、也在一个曝光行的曝光结束后到下个曝光行的曝光开始之前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够将明亮的图像摄像,由于噪声变少,所以错误耐受性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光行变少,所以如7502h那样,有样本数变少的缺点,所以优选的是根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要是在全部的曝光行中、相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,也可以做成关于一部分的曝光行部分性地不具有时间上的重叠的结构。此外,不需要是在全部的曝光行中、在一个曝光行的曝光结束后到下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)的结构,也可以做成关于一部分的曝光行部分性地具有时间上的重叠的结构。通过做成这样的结构,能够发挥各自的结构中的优点。
图53E表示光源亮度的最小变化时间tS、曝光时间tE、各曝光行的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,必定有一个以上的曝光行从曝光的开始到结束以光源不变化的状态摄像,所以如7503d那样得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有得到与光源的亮度变化不同的样式的亮线的情况,难以从摄像图像识别光源的亮度变化。
图53F表示光源亮度的变迁时间tT与各曝光行的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,作为中间色的曝光行越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光行连续为2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图53G表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比,tE越大,摄像图像其高频噪声的影响越小,光源亮度的推测越容易。当tE为tHT的整数倍时,高频噪声的影响消失,光源亮度的推测最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多的电灯用的开关电源中,tHT是20微秒以下,所以通过使tE为20微秒以上,能够容易地进行光源亮度的推测。
图53H是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。如果考虑tHT根据光源有离差,则由曲线图可以确认,如果tE设定为作为与噪声量取极大时的值相等的值的15微秒以上、35微秒以上、54微秒以上或74微秒以上,则效率较好。从高频噪声降低的观点看,tE优选的是较大,但如上述那样,还有在tE越小则越不易发生中间色部分这一点上光源亮度的推测变容易的性质。因此,优选的是,当光源亮度的变化的周期为15~35微秒时tE设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE设定为74微秒以上。
图53I表示曝光时间tE与识别成功率的关系。曝光时间tE相对于光源的亮度是一定的时间具有相对的意思,所以以将光源亮度变化的周期tS用曝光时间tE除的值(相对曝光时间)为横轴。由曲线图可知,在想要使识别成功率为大致100%的情况下,只要将相对曝光时间设为1.2以下就可以。例如,在使发送信号为1kHz的情况下只要使曝光时间为约0.83毫秒以下就可以。同样可知,在想要使识别成功率为95%以上的情况下只要使曝光时间为1.25以下、在想要使识别成功率为80%以上的情况下只要使曝光时间为1.4以下就可以。此外可知,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以应设定为,使相对曝光时间不超过1.5。此外可知,在识别率在7507c中成为0后,在7507d及7507e、7507f中再次上升。因此,在使曝光时间变长而想要摄像较明亮的图像的情况下等,只要利用相对曝光时间为从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间就可以。例如,作为图54的中间模式,优选的是使用这些曝光时间。
如图55那样,根据摄像装置,有时存在不进行曝光的时间(空白)。
在存在空白的情况下,不能观察该时间的发光部的亮度。
通过发光部将相同的信号两次以上重复发送、或附加错误校正码,能够防止因空白带来的传送损失。
发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互质的周期、或以比将图像摄像的周期短的周期发送信号。
(实施方式3)
(发送表示发送方式的顺序的识别码)
记载了在显示装置从HDMI(注册商标)等外部获取通信信号的情况下、首先在编码图像中配置表示进行通信的识别码,但通过制作还包含编码图像的朝向及大小、其显示的顺序的识别码信息、基于识别码信息而输出编码图像,能够以更短的通信量实现最优的编码图像的显示状况。
此外,关于识别码,优选的是与表示发送通信信号的识别码一起、同时包含表示数据的大小是128bit以下的识别码。
进而,在不分割为多个信号块的情况下,优选的是包含表示数据长是64bit以下的识别码。
(通过声音的编码进行的编码图像的补充)
通过编码图像,将与影像信号有关联的或其他信号发送,在接收机侧能够从另外接收到的信号取得信息,但作为相对于编码图像暂时成为死角等不能取得来自图像的信号时的补充方法,也可以通过将编码的声音信号从扬声器等播放,用接收机所具备的麦克风等录音并解码,来进行信号的补充。此时,声音信号和影像信号优选的是采取同步改变信号的种类等的方法,但并不一定需要两者发送相同的信号,只要在接收到发送的信号后通过接收机获取的信息的路径最终能够得到相同的信息,就能够充分发挥作为补充方法的作用。此外,声音也可以发送用来得到与声音建立关联的信息的信号。从扬声器发出的声音信号通过利用17kHz带的高音域,在通常的事件等的噪声比较多的会场中能够几乎使人不感觉为噪声或不愉快的声音而发送,并且还能够将数字声音信号的一定区域原样应用而将信号输入输出。
(使用多个投影仪的情况下的应对方案)
在利用多个投影仪将影像投影的情况下,优选的是采取下述这样的对应方案。
(使用多个投影仪将连续的影像投影时的连接部分的处理)
图56是表示将编码图像使用两台投影仪合成投影的情况下的影像和信号的偏差量的示意图。如图那样,当使用多个投影仪显示连续的影像时,为了能够辨识为影像至少连续,将该图像的投影位置相互加以修正以保持连接域中的连续性,但在编码信号中也被要求与影像同等或其以上的连续性。
作为一例,设为多个投影仪部分重复地具有投影的区域的配置,为了使将重复域的两者的输出合计后的影像信号与不重复的区域的影像信号在亮度及色度的方面也保持一定的连续性、并且图像的偏差量也一般以不能明显地知道不连续性的程度具有连续性,将输出的影像进行影像的偏差的修正,进行修正以用1像素到几像素左右的图像的偏差容纳。此外,也可以想到即使可投影区域重复、也相互设定边界面而将输出信号修正以使投影范围不重复而连续的方法等。但是,本发明中的编码图像的连续性因为接收侧的信号处理上的制约,被更严格地要求为1像素左右、优选的是1像素以内。关于投影仪的位置修正,既有事前或在影像投射时将投射的图像摄像、依次将修正更新的方法,也可以事前进行对作为对象的投影对象物的修正,制作用于修正的数据表来投影。作为用来进行修正的校准用的图像,也可以输出棋盘格图样的图像。不论投影面是曲线还是倾斜的平面,都可以通过检测棋盘格图样的位置畸变和各自的场所的亮度来得到用于修正的参数。另外,棋盘格图样的间距通过与编码图像的最小单位相等,能够进行对于接收更适当的修正。此外,棋盘格图样也通过以明暗的反转图像为一组插入,具有不易作为对于影像信号的干扰辨识的效果。
在后者的情况下,关于编码图像也可以进行同样的处理,但如果继续影像投影,则有时由于投影仪主体的热等逐渐发生来自多个投影仪的投影图像的边界面处的偏差。作为其对策,可以考虑以下这样的对策。即,由于需要将影像信号以1秒内60张等每一定的时间更新为新的图像并将其修正,所以细致地对准来进行在时间上较困难,但关于人的眼睛对于运动图像的识别度,在稍稍的偏差以内不会较大地变醒目的影像较多,编码图像并不一定需要每帧更新为新的信号,所以例如可以采取输出跨越由多个投影仪显示的区域的直线状的校准用的样式、例如由相对于边界面垂直的方向的条纹图样构成的横条纹等、将输出的投影图像摄像并检测边界部分的连续性、再加以反馈来进一步减小编码图像的偏差的对策。另外,该方法通过几帧连续地进行反复反馈,能够非常高精度地显示。另外,关于校准用样式,也可以以上述棋盘格图样进行。
此外,关于重复部分的亮度也能够采用同样的对策。在存在重叠的区域的情况下,调整各自的输出,以使将来自多个投影仪的投影影像加在一起的亮度色度具有连续性。在编码信号的情况下,亮度的不连续性出现直接在边界区域黑沉或浮白的图像。此外,在如上述那样发生了两者的位置偏差的情况下,被摄像为双重线,也成为误识别的原因,所以既需要偏差的修正,也需要亮度的修正。
图57是说明将编码图像使用两台投影仪合成而投影的情况下的接合处的处理的示意图。
作为简便地解决这些课题的方法,使用图57进行说明。图57是说明将编码图像使用两台投影仪合成而投影的情况下的接合处的处理的示意图。如图57那样,也可以将边界区域的一定的部分用与编码图像的平均的亮度色度同等的灰度等级的单色的区域夹住。当然,在进行上述编码图像和其反转图像的组合的情况下等,优选的是以由组合的合计表示的图像的平均的亮度色度进行计算。通过这样对应,在边界部分附近的一定的区域中不能发送信号,但也能够使信号的误识别大幅减少,此外还能够避免影像看起来边界面因编码信号而特别醒目的坏处。当然,以上述内容的组合向重复区域仅投影来自一方的编码信号而不从另一方输出,作为解决策也是有效的,但在因投影仪的热等带来的老化而重复区域变化的情况下等、有可能在投影中边界变化的情况下,采取仅在可能变化的很近处显示修正后的灰度等级、在尽可能确保能够接收信号的区域的同时不带来对影像的影响的方法也是有效的。
另外,关于多个投影仪的影像信号的同步,只要是1帧以内的同步就可以,但编码信号的输出定时也依存于输出宽度,优选的是以10usec以内的误差进行同步。这是为了避免因将边界区域摄像时的定时的偏差造成的数据的误识别,如上述那样,发光时间为了避免与外光的干涉而优选的是20usec以上,相对于此,是为了避免如果在一个图像中发生20usec的至少一半以上的误差则成为由10usec以下的外光带来的干涉的影响变大的区域。为了实现这一点,在多个投影仪的同步中,关于影像显示期间是通常那样的,为了输出编码信号,首先输出黑信号的时刻的同步也可以与影像信号是同等的,但使光源发光的定时由与影像信号不同的信号系统加以触发,在至少相当于影像信号的误差与显示编码信号的期间的和的期间中,投影仪的影像输出为将对应的编码信号输出的状况,而且,通过将光源关掉、在多个投影仪中同步将光源点灯,能够将编码信号的时间同步进行精度更高的同步。在将编码信号与HDMI(注册商标)等影像信号同步而输入的情况下,由于对于影像信号和编码图像的同步的精度没有大的差别,所以能够使影像信号的同步精度提高,或者,关于编码信号也通过作为包含同步误差的能够进行比较长的期间显示的图像发送、与其另外地进行光源的控制,能够提高编码信号发送的同步精度。
(对于投影映射的应用的情况下的应对方案)
在下述中,记载在投影的对象是建造物或构造物、造形物、自然的地形、自然的构成物等、向屏幕以外的地方投影的情况下特别优选地进行对策的内容。
(投影对象物的反射率、颜色等不同的情况下的应对方案)
需要采取以下方法等:对于投影的面的反射率、颜色等在辨识时受到影响的因素,事前进行测量,制作用于修正的各原色的系数表,施加与对影像信号施加的修正同样的修正而输出编码图像;或者,将与投影仪同步地对影像进行摄像而与时刻一起计算修正的系数的装置配置到投影仪附近,观测投影图像而依次施加修正。这与影像信号的修正的方法没有大的差别,在编码图像中也需要进行同样的亮度及色度的修正。这是因为,当将在接收机侧摄像的数据区别为明区域和暗区域而处理时,在名区域的亮度根据场所而不连续地变化的情况下,发生是明状态还是暗状态的判断变困难等的不良状况。通过采取以上那样的措施,不良状况较大地改善。
特别是,使用图58,对在投影面上开设有孔等、反射率为0或非常低的情况下的应对法进行说明。图58是表示在投影的对象上有孔等的情况下的编码图像的应对法的示意图。如图58那样,关于投影面上开设有孔等反射率为0或非常低的情况,穿过反射率为0或非常低的区域的条纹状信号不投影,通过显示表示将不穿过反射率0的区域的很近处的编码图像的信号中断的识别码、和在另一侧显示将信号再开始、用来与中断前的信号继续的识别码,能够避免信号的误识别。
另外,关于接收机侧,在向屏幕以外投影的情况下,优选的是将摄像的曝光时间延长,尽可能使时间轴方向的数据量增加,避免因投影面带来的干扰。
(投影光达到比投影对象靠背面侧的情况下的对策)
在可投影区域比投影对象物大、投影光达到比投影面靠背面侧的情况下,在到投影面和背面侧的投影光达到的区域的距离不较大地变化的情况下,在谋求向背景面也投影图像而带来立体感等的效果的情况下,关于编码图像也优选的是不投影到背面侧的投影面而将投影的区域限定。其目的是,特别在使用激光的投影仪等具有大型的各原色的光源的投影仪中,避免投影到背面侧的信号与投影到本来的投影面上的信号发生干涉而助长误识别。
(在投影对象上有纵或横的平面的情况下的应对方案)
在建造物、构造物等的投影的情况下,也有在该投影面中包含平面的情况,平面也由纵长的平面、横长的平面等的组合构成。
此时,通过有选择地对纵柱等纵向延伸的平面输出横条纹上的编码图像、对横柱等横向延伸的平面输出纵条纹的编码图像,能够提高接收概率。使用图59说明具体的方法。
图59是表示在投影的对象中存在纵横向的柱等的情况下的编码图像的一例的示意图。
在预先获得投影对象的形状及表面的反射率色等的信息后、对影像信号施加修正而输出的方法的情况下,在保持原来的信号和影像的显示位置的修正信号的线性的区域中,由于表示该区域是平面,所以判断这样的作为平面的区域的形状。由于优选的是遍及尽可能长的距离连续是平面,所以通过图像处理检测对应的区域的形状在哪个方向上遍及最长的距离是平面,即,遍及较长的距离判断能够取得信号的范围。根据判断出的信息,将有选择地显示纵向、横向或它们的组合、或它们的中间的角度等的编码信号或可能性较高的编码信号的方向依次更换,决定是否显示,通过将其显示,能够期待接收概率的提高。
此外,也可以与编码图像独立地、以非常短的列插入用来判断编码图像朝向哪里的识别码,为了决定接收机的解码的优先顺位而显示,也可以对具有接收机的接收者提示接收的方向。另外,也可以代替使用与编码图像不同的判别用图像进行,而使用光的闪烁来发送判别信号,也可以采用使用Wifi等的手段、在接收机的应用下载的同时指示最优的配置等的方法。
另外,关于识别信号,也可以采用通过在显示编码图像和其明暗反转图像时在其之间显示、提高下个帧中的接收概率、并通过非常短期间的显示来尽可能使得不醒目的方法。
(与摄像的画格对应的信息的分类)
也可以是,将显示的编码图像在接收机中摄像,通过将编码图像解码而接收发送的信号,对基于接收到的信号预先分配的发送目标、或基于接收到的信号决定的发送目标,通过将摄像出的图像向服务器等发送,能够在服务器侧判定从投影发送的被照射物得到的ID和1块尺寸(图像信息的大小),基于该判定的结果进行向不同的信息的引导。此外也可以是,从服务器向投影仪侧发送持有接收机的人处于哪里的位置,基于该信息,将接收的人容易接收的编码图像或其组合插入到影像中而投影。进而,也可以是,通过由接收机接收、向服务器等发送的多个图像的数据等,使从服务器向接收机返送的信息的种类变化。例如也可以采取以下方法:通过将从各种各样的方向、角度场所等摄像的记录发送,对接收者提供所谓集邮那样的兴趣爱好。
进而,也可以是,根据接收到的图像的取得时刻,变更从服务器返送的信息的种类,通过较少的信息量的接收,使各种各样的组合的信息匹配于影像而变化来返送。
(实施方式4)
在图60中表示本实施方式的使用情景的概略。
大型屏幕n100具有可见光通信功能,发信信息。移动设备n101具有可见光通信的接收功能,还同时具备向ID变换服务器n104及因特网连接的功能。大型屏幕n100按照上映中的电影的场景发信不同的ID,移动设备n101如果取得该ID,则经由ID变换服务器n104或因特网,取得例如该场景的多语言的字幕信息、在场景中使用的器材的信息、制作影像等与在屏幕n100上显示的影像内容关联的信息。
在图61中表示大型屏幕n100显示条码的样式、通过可见光通信接收该信息的情况下的概略图。移动设备n101的使用者不知道应将移动设备朝向垂直方向还是水平方向。因此,优选的是使水平方向的条码和垂直方向的条码交替地显示。
在图62中表示本实施方式的基本的流程图。
在步骤Sn300中,使移动设备n101的照相机的快门速度变快,在步骤Sn301中将屏幕n100摄影,接收内容ID,在步骤Sn302中,将内容ID向ID变换服务器n104查询,在步骤Sn303中,从ID变换服务器n104取得内容URL,在步骤Sn304中向服务器n105访问,取得内容,在步骤Sn305中显示内容。
在图62那样的流程中用户接受内容的情况下,在大型的电影院或音乐会场中,可以想到许多用户同时向ID变换服务器n104进行查询。因此,可以想到例如移动设备n101如果使用无线通信功能向ID变换服务器n104访问、则无线负荷集中而不能访问的情况。
作为解决该课题的方法,在图63中,对预先接收内容与内容ID的对应表、不向ID变换服务器n104查询而使移动设备n101显示内容信息的方式进行说明。
在步骤Sn300中,使移动设备n101的照相机的快门速度变快,在步骤Sn401中接收全部内容和内容ID的对应表,在步骤Sn301中,将屏幕n100摄影,接收内容ID,在步骤Sn402中,参照内容变换表决定内容,在步骤Sn305中显示内容。
此外,为使通信的访问不集中,如图64那样,通过使向ID变换服务器n104访问的定时以设备ID和内容ID为键字分散,能够减小负荷。使移动设备n101的照相机的快门速度变快,在步骤Sn301中将屏幕n100摄影,接收内容ID,在步骤Sn501中,根据设备ID和内容ID决定待机时间,在步骤Sn502中确认是否待机时间结束,在“是”的情况下向步骤Sn302前进,在“否”的情况下再次确认步骤Sn502。
将步骤Sn302内容ID向ID变换服务器n104查询,在步骤Sn303中从ID变换服务器n104取得内容URL,在步骤Sn304中向服务器n105访问,取得内容,在步骤Sn305中显示内容。
此外,如图65那样,也可以设为进行了付费的移动设备n101的用户立即许可向ID变换服务器n104的访问、没有进行付费的用户在规定时间待机后许可向ID变换服务器n104的访问的机制。通过提高付费用户的方便性,能够增加付费用户。
在步骤Sn300中,使移动设备n101的照相机的快门速度变快,在步骤Sn301中,将屏幕n100摄影,接收内容ID,在步骤Sn601中,确认移动设备n101是否是付费设备,在“是”的情况下向步骤Sn302前进,在“否”的情况下向步骤Sn602前进。
在步骤Sn302中,将内容ID向ID变换服务器n104查询,在步骤Sn303中从ID变换服务器n104取得内容URL,在步骤Sn304中,向服务器n105访问,取得内容,在步骤Sn305中显示内容。
在步骤Sn602中确认是否待机时间结束,在“是”的情况下向步骤Sn302前进,在“否”的情况下再次确认步骤Sn602。
此外,屏幕n100也可以不仅分发内容ID、还分发内容本身。此时,屏幕n100优选的是如图66那样,将内容ID和内容A~N以时间带分隔来发送。
此外,也可以如图67那样做成以下结构:在屏幕n100分发内容的情况下,在负荷集中等而不能对ID变换服务器n104访问的情况下,从屏幕n100取得信息。
在步骤Sn300中,使移动设备n101的照相机的快门速度变快,在步骤Sn301中,将屏幕n100摄影,接收内容ID,在步骤Sn302中将内容ID向ID变换服务器n104查询,在步骤Sn701中,确认是否能够对ID变换服务器n104访问,在“是”的情况下向步骤Sn702前进,在“否”的情况下向步骤Sn703前进。
在步骤Sn702中,确认通信速度是否是规定值以上,在“是”的情况下向步骤Sn303前进,在“否”的情况下向步骤Sn703前进。
在步骤Sn303中,从ID变换服务器n104取得内容URL,在步骤Sn304中,向服务器n105访问,取得内容,在步骤Sn305中显示内容。
在步骤Sn703中,将屏幕n100摄影,显示到移动设备n101上,在步骤Sn704中,从屏幕n100接收内容。
另外,在本实施方式中,ID变换服务器和内容服务器也可以相同,也可以使用上述负荷降低的技术,以使向内容服务器n105的访问不集中。
(实施方式5)
图68表示使用已经说明的实施方式所记载的显示方法及接收方法的服务提供系统。
首先,对于管理服务器ex8002的企业A ex8000,其他企业B或个人ex8001委托向便携终端的信息的分发。例如委托对于与标牌可见光通信的便携终端发送详细的广告信息、优惠券信息或地图信息等。管理服务器的企业A ex8000与任意的ID信息对应而管理向便携终端分发的信息。便携终端ex8003通过可见光通信从被摄体ex8004取得ID信息,将所取得的ID信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并将发送了与ID信息对应的信息的次数计数。管理服务器的企业A ex8000将与计数的次数对应的费用对委托的企业B或个人ex8001核款。例如,计数数越大,使核款的金额越大。
图69表示服务提供的流程。
在步骤ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在步骤ex8001中,在企业A管理的服务器中,将接受到分发委托的信息与特定的ID信息建立关联。在步骤ex8002中,便携终端通过可见光通信从被摄体接收特定的ID信息,向企业A管理的服务器发送。关于可见光通信方法的详细情况,由于在其他实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的ID信息对应的信息对便携终端发送。在步骤ex8003中,在服务器中,将信息分发的次数计数。最后,在步骤ex8004中,将与信息分发的计数数对应的费用对企业B核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业B核款。
图70表示另一例的服务提供的流程。关于与图69重复的步骤省略说明。
在步骤ex8008中,判断是否从信息分发的开始起经过了规定时间。如果判断为规定时间内,则在步骤ex8011中,不进行对企业B的核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8009中,将分发了信息的次数计数。并且,在步骤ex8010中,将与信息分发的计数对应的费用对企业B核款。这样,在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等后接受核款服务。
图71表示另一例的服务提供的流程。关于与图70重复的步骤省略说明。
在步骤ex8014中,将分发了信息的次数计数。在步骤ex8015中,在判断为从信息分发开始起没有经过规定期间的情况下,在步骤ex8016中不进行核款。另一方面,在判断为经过了规定期间的情况下,在步骤ex8017中进行分发了信息的次数是否为规定值以上的判断。在分发了信息的次数不到规定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到规定值的规定期间,对企业B不进行核款。在步骤ex8017中,如果计数数是规定值以上,则在步骤ex8018中将计数数复位一次,再次再开始计数。在步骤ex8019中,将与计数数对应的费用对企业B核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业B能够以适当的定时接受核款服务。此外,企业A也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业B提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的规定的期间短的期间。通过比初次的规定的期间短,能够使对于企业A的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。
另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在规定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的ID信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时点能够决定费用。
如以上这样,通过附图及详细的说明,提供了申请人认为是最佳模式的实施方式和其他的实施方式。它们通过参照特定的实施方式,对于本领域的技术人员为了例证权利要求书所记载的主题而提供。因而,在附图及详细的说明所记载的构成要素中,不仅是为了课题解决所必须的构成要素,还可以包含其以外的构成要素。因此,正因为这些不是必须的构成要素在附图及详细的说明中没有记载,不应直接接受这些不是必须的构成要素是必须的认定。此外,在权利要求书或其等价的范围中,能够对上述实施方式进行各种变更、替换、附加、省略等。
此外,在本发明中也包括以下的影像显示装置。即,该影像显示装置具备:第1信号处理部,将输入的影像信号以帧单位分解为多个图像并输出;第2信号处理部,将被输入的可见光通信信号编码而生成编码图像,将上述编码图像配置为规定的配置而生成可见光通信图像,并决定显示上述可见光通信图像的显示定时;显示控制部,进行控制,以向从上述第1信号处理部输出的多个图像以上述第2信号处理部决定的显示定时插入上述可见光通信图像并显示;显示部,按照上述显示控制部的控制,显示从上述第1信号处理部输出的多个图像和上述可见光通信图像。
此外,影像显示装置是能够输出可见光通信信号的影像显示装置,具备:显示面,显示影像;可见光通信信号控制部,基于影像信号在上述显示面板的显示面上将可见光通信信号编码,制作包含以一定的规则图像化的条纹状图像的图像;显示控制部,进行控制以显示影像;可见光通信信号编码图像合并控制部,使将上述可见光通信信号编码而制作的图像混入到极短的时间影像中,重新编制成显示的一系列的影像信号;显示面,将这些影像信号显示。
此外,上述第2信号处理部将上述可见光通信图像显示的极短的时间,是1msec以内,优选的是0.2msec以内。
此外,也可以是,在包括将上述可见光通信信号编码而制作的条纹状图像的图像中,条纹状图像是具有至少1个集合的可见光信号,将相对于显示面的边缘不平行、或者包括多个条纹状图像、具备相互正交或具有锐角而交叉的状况的影像输出。
此外,其特征也可以是,在上述显示部的显示面上将可见光通信信号编码,与显示以规定的规则图像化的条纹状图像的期间连续,将具有上述规定的条纹状图像的各像素的补充而成的条纹状图像显示到显示面上。
以上,关于有关一个或多个形态的信息通信方法基于实施方式进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。
图72A是有关本发明的一形态的影像显示方法的流程图。
有关本发明的一形态的影像显示方法,是将影像信号中包含的图像按照帧显示的影像显示方法,包括步骤SL11~SL13。
即,该影像显示方法包括:可见光通信图像生成步骤,通过将可见光通信信号编码SL11,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;第1显示步骤SL12,在规定的帧中,显示上述影像信号中包含的图像;第2显示步骤SL13,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
图72B是有关本发明的一形态的影像显示装置的框图。
有关本发明的一形态的影像显示装置L10,是将影像信号中包含的图像按照帧显示的影像显示装置,具备构成要素L11~L13。
即,该影像显示装置L10具备:可见光通信图像生成部L11,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;第1显示部L12,在规定的帧中,显示上述影像信号中包含的图像;第2显示部L13,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
在这样的由图72A及图72B表示的影像显示方法及影像显示装置L10中,例如在将全黑图像或均匀地为灰色的图像作为识别用图像显示后显示第1可见光通信图像,所以在通过将按照帧显示的图像使用依次曝光型的图像传感器摄像得到的摄像图像中,显示表示可见光通信信号的开始位置的均匀地为黑或灰色的行。因而,能够从该摄像图像容易地将可见光通信信号读出。结果,能够将可见光通信信号适当地发送。
另外,在上述各实施方式中,也可以通过将各构成要素用专用的硬件构成、或将适合于各构成要素的软件程序执行来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。例如程序使计算机执行由图72A的流程图表示的信息通信方法。
工业实用性
有关本发明的影像显示方法、影像显示装置、受光机及通信方法由于能够安全且主动地取得图像以外的信息,所以不仅是家庭中的电视或PC、平板电脑等的设备,在外出地的标牌或信息终端、信息显示设备中,也在因其主动性而能够安全地将所需要的信息得到需要的量的意义上,能够应用到所有场合中的图像附带信息的转送、信息发信等的各种各样的用途中。
标号说明
100 显示装置
110 显示部
120 第1输入部
130 第1信号处理部
140 显示控制部
150 第2输入部
160 第2信号处理部
200 接收装置
210 摄像部
220 影像化部
230 信号判定部
240 信号解调部
L10 影像显示装置
L11 可见光通信图像生成部
L12 第1显示部
L13 第2显示部
n100 屏幕
n101 移动设备
n104 ID变换服务器
n105 内容服务器
权利要求书(按照条约第19条的修改)
1.(修正后)一种影像显示方法,显示影像信号中包含的图像,包括:
可见光通信图像生成步骤,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;
第1显示步骤,显示上述影像信号中包含的图像;
第2显示步骤,显示上述第1可见光通信图像;
第3显示步骤,在上述第1可见光通信图像被显示后,显示可见光通信用的条纹图样的图像作为第2可见光通信图像;
在上述第3显示步骤中,显示通过示出与上述第1可见光通信图像的条纹图样不同间距的条纹图样来表示与由上述第1可见光通信图像表示的信息的量不同的量的信息的图像,作为上述第2可见光通信图像。
2.(修正后)如权利要求1所述的影像显示方法,
在上述第2或第3显示步骤中,显示与在上述第1显示步骤中显示的图像的平均亮度相比亮度均匀地较低的图像,作为识别用图像。
3.(删除)
4.(删除)
5.(删除)
6.(删除)
7.(删除)
8.(修正后)如权利要求1或2所述的影像显示方法,
上述影像显示方法还包括:
摄像步骤,对上述第1可见光通信图像进行摄像;
指示步骤,根据上述摄像的结果,进行使条纹图样的间距变更的指示;
在上述第3显示步骤中,当进行了上述指示时,显示上述第2可见光通信图像。
9.(修正后)如权利要求1、2或8所述的影像显示方法,
上述影像显示方法还包括:
距离确定步骤,确定用来通过投影透镜的投影将上述第1可见光通信图像显示到屏幕上的焦点距离;
数量决定步骤,根据上述焦点距离,决定所显示的上述第1可见光通信图像的数量;
在上述第2显示步骤中,将上述第1可见光通信图像以所决定的上述数量排列显示在上述屏幕上。
10.(修正后)如权利要求1、2、8或9所述的影像显示方法,
上述影像显示方法还包括:
通知步骤,显示上述影像信号中包含的图像的显示装置将表示能够显示上述第1可见光通信图像的识别信息向输出上述影像信号的终端装置通知。
11.(删除)
12.(删除)
13.(追加)如权利要求1、2及8~10中任一项所述的影像显示方法,
在上述第3显示步骤中,显示朝向与上述第1可见光通信图像的条纹图样的朝向不同的条纹图样的上述第2可见光通信图像。
14.(追加)如权利要求1、2、8~10及13中任一项所述的影像显示方法,
在上述第3显示步骤中,显示通过将构成上述第1可见光通信图像的条纹图样的相互不同的两个亮度值或颜色替换而表示的反转图像,作为上述第2可见光通信图像。
15.(追加)如权利要求14所述的影像显示方法,
上述第1及第2可见光通信图像的各自的条纹图样使用具有互补色的关系的两个颜色构成。
16.(追加)如权利要求14或15所述的影像显示方法,其特征在于,
在上述第3显示步骤中,以上述第1可见光通信图像和上述第2可见光通信图像的显示间隔为20毫秒以下的方式,显示上述第2可见光通信图像。
17.(追加)一种影像显示装置,显示影像信号中包含的图像,具备:
可见光通信图像生成部,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;
第1显示部,显示上述影像信号中包含的图像;
第2显示部,显示上述第1可见光通信图像;
第3显示部,在上述第1可见光通信图像被显示后,显示可见光通信用的条纹图样的图像作为第2可见光通信图像;
上述第3显示部显示通过示出与上述第1可见光通信图像的条纹图样不同间距的条纹图样来表示与由上述第1可见光通信图像表示的信息的量不同的量的信息的图像,作为上述第2可见光通信图像。

Claims (12)

1.一种影像显示方法,将影像信号中包含的图像按照帧显示,包括:
可见光通信图像生成步骤,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;
第1显示步骤,在规定的帧中,显示上述影像信号中包含的图像;
第2显示步骤,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
2.如权利要求1所述的影像显示方法,
上述影像显示方法还包括:
第3显示步骤,在显示上述第1可见光通信图像后,显示可见光通信用的条纹图样的图像作为第2可见光通信图像。
3.如权利要求2所述的影像显示方法,
在上述第3显示步骤中,显示朝向与上述第1可见光通信图像的条纹图样的朝向不同的条纹图样的上述第2可见光通信图像。
4.如权利要求2所述的影像显示方法,
在上述第3显示步骤中,显示通过将构成上述第1可见光通信图像的条纹图样的相互不同的两个亮度值或颜色替换而表示的反转图像,作为上述第2可见光通信图像。
5.如权利要求4所述的影像显示方法,
上述第1及第2可见光通信图像的各自的条纹图样使用具有互补色的关系的两个颜色构成。
6.如权利要求4或5所述的影像显示方法,
在上述第3显示步骤中,以上述1的可见光通信图像与上述第2可见光通信图像的显示间隔为20毫秒以下的方式,显示上述第2可见光通信图像。
7.如权利要求2所述的影像显示方法,
在上述第3显示步骤中,显示通过示出与上述第1可见光通信图像的条纹图样不同粗细的条纹图样来表示与由上述第1可见光通信图像表示的信息的量不同的量的信息的图像,作为上述第2可见光通信图像。
8.如权利要求7所述的影像显示方法,
上述影像显示方法还包括:
摄像步骤,对上述第1可见光通信图像进行摄像;
指示步骤,根据上述摄像的结果,进行使条纹图样的粗细变更的指示;
在上述第3显示步骤中,当进行了上述指示时,显示上述第2可见光通信图像。
9.如权利要求1~8中任一项所述的影像显示方法,
上述影像显示方法还包括:
距离确定步骤,确定用来通过投影透镜的投影将上述第1可见光通信图像显示到屏幕上的焦点距离;
数量决定步骤,根据上述焦点距离,决定所显示的上述第1可见光通信图像的数量;
在上述第2显示步骤中,将上述第1可见光通信图像以所决定的上述数量排列显示在上述屏幕上。
10.如权利要求1~9中任一项所述的影像显示方法,
上述影像显示方法还包括:
通知步骤,显示上述影像信号中包含的图像的显示装置将表示能够显示上述第1可见光通信图像的识别信息向输出上述影像信号的终端装置通知。
11.如权利要求1~10中任一项所述的影像显示方法,
上述影像显示方法还包括:
摄影步骤,将图像传感器的各曝光行的曝光依次在不同的时刻开始,并且以1/480秒以下的曝光时间进行上述第1可见光通信图像的摄影,以使上述各曝光行的曝光时间在与相邻的曝光行之间部分性地具有时间上的重叠。
12.一种影像显示装置,将影像信号中包含的图像按照帧显示,具备:
可见光通信图像生成部,通过将可见光通信信号编码,生成可见光通信用的条纹图样的图像作为第1可见光通信图像;
第1显示部,在规定的帧中,显示上述影像信号中包含的图像;
第2显示部,在上述规定的帧中,显示与显示的上述图像的平均亮度相比亮度均匀地较低的图像作为识别用图像,接着显示上述第1可见光通信图像。
CN201380067420.5A 2012-12-27 2013-11-22 影像显示方法 Active CN104885383B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261746315P 2012-12-27 2012-12-27
JP2012286339 2012-12-27
JP2012-286339 2012-12-27
US61/746,315 2012-12-27
JP2013-203349 2013-09-30
JP2013203349 2013-09-30
US201361896874P 2013-10-29 2013-10-29
JP2013-224801 2013-10-29
US61/896,874 2013-10-29
JP2013224801 2013-10-29
PCT/JP2013/006869 WO2014103157A1 (ja) 2012-12-27 2013-11-22 映像表示方法

Publications (2)

Publication Number Publication Date
CN104885383A true CN104885383A (zh) 2015-09-02
CN104885383B CN104885383B (zh) 2017-08-29

Family

ID=51016817

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380067420.5A Active CN104885383B (zh) 2012-12-27 2013-11-22 影像显示方法
CN201380067422.4A Active CN104871453B (zh) 2012-12-27 2013-11-22 影像显示方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380067422.4A Active CN104871453B (zh) 2012-12-27 2013-11-22 影像显示方法和装置

Country Status (6)

Country Link
US (3) US9247180B2 (zh)
EP (2) EP2940898B1 (zh)
JP (4) JP5715301B2 (zh)
CN (2) CN104885383B (zh)
SG (2) SG11201400251XA (zh)
WO (2) WO2014103157A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551417A (zh) * 2016-01-22 2016-05-04 华南理工大学 一种具有可见光通信功能的液晶显示器
CN107547795A (zh) * 2016-06-27 2018-01-05 奥林巴斯株式会社 摄像装置、摄像方法
CN108172194A (zh) * 2018-03-22 2018-06-15 京东方科技集团股份有限公司 显示面板及其驱动方法、驱动装置、驱动系统
CN108885879A (zh) * 2016-01-22 2018-11-23 弗劳恩霍夫应用研究促进协会 使用帧控制同步来编码或解码多声道音频信号的装置和方法
CN109496265A (zh) * 2016-06-20 2019-03-19 康耐视公司 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141060A1 (en) * 2010-05-11 2011-11-17 Telefonaktiebolaget L M Ericsson (Publ) Video signal compression coding
CA2832336C (en) * 2011-04-14 2016-08-09 The General Hospital Corporation Compositions and methods for autologous germline mitochondrial energy transfer
ES2668904T3 (es) 2012-05-24 2018-05-23 Panasonic Intellectual Property Corporation Of America Procedimiento de comunicación de información
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
WO2014103161A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP5715301B2 (ja) 2012-12-27 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
JP6096383B2 (ja) * 2013-07-23 2017-03-15 フィリップス ライティング ホールディング ビー ヴィ 符号化光成分の変調
KR20150055441A (ko) * 2013-11-13 2015-05-21 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
US9294666B2 (en) 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
JP6233047B2 (ja) * 2014-01-22 2017-11-22 セイコーエプソン株式会社 映像処理回路、映像処理方法、電気光学装置及び電子機器
JP2015179392A (ja) * 2014-03-19 2015-10-08 カシオ計算機株式会社 コードシンボル表示装置、情報処理装置及びプログラム
JP6002275B2 (ja) * 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
WO2016047030A1 (ja) 2014-09-26 2016-03-31 パナソニックIpマネジメント株式会社 表示装置及び表示方法
CN104410454B (zh) * 2014-10-20 2017-07-11 北京智谷睿拓技术服务有限公司 可见光信号发射控制方法、发射控制装置及发射设备
CN105917645A (zh) * 2014-10-28 2016-08-31 巴科公司 同步式媒体服务器和投影仪
US9838675B2 (en) 2015-02-03 2017-12-05 Barco, Inc. Remote 6P laser projection of 3D cinema content
JP6425173B2 (ja) 2015-03-06 2018-11-21 パナソニックIpマネジメント株式会社 照明装置及び照明システム
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
JP2017021656A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 表示装置及びその制御方法
US20180213201A1 (en) * 2015-07-21 2018-07-26 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
US10354598B2 (en) 2015-09-10 2019-07-16 Sony Corporation Light source control for displaying video
CN105139810A (zh) * 2015-09-28 2015-12-09 京东方科技集团股份有限公司 显示驱动方法及装置、显示装置
CN108353154B (zh) * 2015-10-27 2020-11-20 麦克赛尔株式会社 投影仪、影像显示装置以及影像显示方法
WO2017098684A1 (ja) * 2015-12-09 2017-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 映像表示方法および映像表示装置
WO2017154628A1 (ja) * 2016-03-11 2017-09-14 ソニー株式会社 画像処理装置および方法
CN106339653A (zh) * 2016-08-24 2017-01-18 乐视控股(北京)有限公司 一种二维码扫描处理方法及装置
US20200186245A1 (en) * 2017-01-16 2020-06-11 Signify Holding B.V. Detecting coded light
CN107255524B (zh) * 2017-04-26 2020-03-24 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于移动设备摄像头检测led光源的频率的方法
US11221477B2 (en) * 2017-04-28 2022-01-11 Sony Corporation Communication apparatus, communication system, and data communication method
JP6887116B2 (ja) * 2017-06-19 2021-06-16 パナソニックIpマネジメント株式会社 光源変調回路及び方法、並びにプロジェクタ装置
JP2019028507A (ja) * 2017-07-25 2019-02-21 ユニバーリンク株式会社 イベント管理システム
JP6816684B2 (ja) * 2017-09-20 2021-01-20 株式会社デンソー 携帯端末、遠隔操作方法
EP3503433A1 (en) * 2017-12-20 2019-06-26 Vestel Elektronik Sanayi ve Ticaret A.S. Method, apparatus and computer program for encoding visible light communication information
EP3503566A1 (en) * 2017-12-21 2019-06-26 Vestel Elektronik Sanayi ve Ticaret A.S. Apparatus and method for encoding light communication information
EP3540722A1 (en) * 2018-03-14 2019-09-18 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for encoding visible light communication information
CN108829497A (zh) * 2018-05-31 2018-11-16 阿里巴巴集团控股有限公司 事务因果序的校正方法及装置、电子设备
JP6859996B2 (ja) * 2018-12-21 2021-04-14 カシオ計算機株式会社 発光ユニット、発光制御方法及びプログラム
JP7134883B2 (ja) * 2019-01-11 2022-09-12 シャープ株式会社 映像出力装置、表示システム及び映像出力方法
US10468064B1 (en) 2019-03-19 2019-11-05 Lomotif Inc. Systems and methods for efficient media editing
CN112118433B (zh) * 2019-06-20 2022-01-04 青岛海信激光显示股份有限公司 图像显示方法及激光投影设备
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system
JP7484181B2 (ja) * 2020-01-24 2024-05-16 セイコーエプソン株式会社 プロジェクターの制御方法、プロジェクター、及び表示システム
US11223808B1 (en) * 2020-06-30 2022-01-11 Christie Digital Systems Usa, Inc. Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns
KR102397097B1 (ko) * 2020-11-09 2022-05-12 한국광기술원 디스플레이 기반의 화면 통신 시스템 및 방법, 디스플레이 기반의 화면 송신 및 수신 방법
TWI759955B (zh) 2020-11-10 2022-04-01 財團法人工業技術研究院 通訊系統及其方法
CN112671999B (zh) * 2020-12-16 2021-12-21 吉林大学 一种支持接收器晃动和用户移动的光学相机通信解调方法
CN113314085B (zh) * 2021-06-15 2022-09-27 武汉华星光电技术有限公司 显示面板的显示方法及显示装置
CN115494640A (zh) * 2021-06-17 2022-12-20 中强光电股份有限公司 产生虚拟实境影像的光场近眼显示器及其方法
CN114677956B (zh) * 2022-03-28 2023-09-29 暨南大学 一种长距离实时显示摄像通信系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033625A (ja) * 2006-07-28 2008-02-14 Kddi Corp カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム
CN101159799A (zh) * 1998-07-31 2008-04-09 数字标记公司 重要文件的数字水印与方法
JP2009212768A (ja) * 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
US20100107189A1 (en) * 2008-06-12 2010-04-29 Ryan Steelberg Barcode advertising
WO2010071193A1 (ja) * 2008-12-18 2010-06-24 日本電気株式会社 ディスプレイシステム、制御装置、表示方法およびプログラム
JP2010258645A (ja) * 2009-04-23 2010-11-11 Hitachi Information & Control Solutions Ltd 電子透かし埋め込み方法及び装置
WO2012120853A1 (ja) * 2011-03-04 2012-09-13 国立大学法人徳島大学 情報提供方法および情報提供装置

Family Cites Families (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6062481A (en) 1986-04-18 2000-05-16 Cias, Inc. Optimal error-detecting, error-correcting and other coding and processing, particularly for bar codes, and applications therefor such as counterfeit detection
JPH087567B2 (ja) 1986-08-12 1996-01-29 株式会社日立製作所 画像表示装置
US4807031A (en) * 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
US6347163B2 (en) * 1994-10-26 2002-02-12 Symbol Technologies, Inc. System for reading two-dimensional images using ambient and/or projected light
WO1994026063A1 (en) 1993-05-03 1994-11-10 Pinjaroo Pty Limited Subliminal message display system
JPH07200428A (ja) 1993-12-28 1995-08-04 Canon Inc 通信装置
CN2187863Y (zh) 1994-02-03 1995-01-18 清华大学 用以观测快速运动物流的跟踪摄象-录象装置
US5484998A (en) 1994-03-16 1996-01-16 Decora Industries, Inc. Bar-coded card with coding and reading system
ATE245328T1 (de) 1995-05-08 2003-08-15 Digimarc Corp Fälschungssichere dokumente mit bildern, die geheime daten übertragen, sowie verfahren dafür
JP3949679B2 (ja) 1995-05-08 2007-07-25 ディジマーク コーポレイション ステガノグラフィシステム
US5765176A (en) * 1996-09-06 1998-06-09 Xerox Corporation Performing document image management tasks using an iconic image having embedded encoded information
US5974348A (en) 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
WO2001093473A2 (en) 2000-05-31 2001-12-06 Optinetix (Israel) Ltd. Systems and methods for distributing information through broadcast media
JP2002144984A (ja) 2000-11-17 2002-05-22 Matsushita Electric Ind Co Ltd 車載用電子機器
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
US6831643B2 (en) 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US20020171639A1 (en) 2001-04-16 2002-11-21 Gal Ben-David Methods and apparatus for transmitting data over graphic displays
US20030026422A1 (en) * 2001-06-19 2003-02-06 Usa Video Interactive Corporation Method and apparatus for digitally fingerprinting videos
JP3861113B2 (ja) 2001-08-30 2006-12-20 株式会社日立プラズマパテントライセンシング 画像表示方法
JP2003179556A (ja) 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP3918813B2 (ja) 2001-10-23 2007-05-23 ソニー株式会社 データ通信システム、データ送信装置、並びにデータ受信装置
US8054357B2 (en) 2001-11-06 2011-11-08 Candela Microsystems, Inc. Image sensor with time overlapping image output
JP3829743B2 (ja) 2002-03-22 2006-10-04 株式会社デンソーウェーブ 光学的情報記録媒体及び光学的情報読取装置
JP4207490B2 (ja) 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1860799A1 (en) 2002-10-24 2007-11-28 Nakagawa Laboratories, Inc. Illumination light communication device
JP3827082B2 (ja) 2002-10-24 2006-09-27 株式会社中川研究所 放送システム及び電球、照明装置
US20040101309A1 (en) 2002-11-27 2004-05-27 Beyette Fred R. Optical communication imager
JP4233371B2 (ja) 2003-04-10 2009-03-04 株式会社京三製作所 踏切障害物検知装置
WO2005001593A2 (ja) 2003-06-27 2005-01-06 Nippon Kogaku Kk 基準パターン抽出方法とその装置、パターンマッチング方法とその装置、位置検出方法とその装置及び露光方法とその装置
EP1705634A4 (en) 2003-11-19 2009-02-18 Eizo Nanao Corp METHOD AND APPARATUS FOR COMPENSATING THE CHANGE OF A LIQUID CRYSTAL DISPLAY BY INTERVAL OF YEARS, COMPUTER PROGRAM, AND LIQUID CRYSTAL DISPLAY
JP4082689B2 (ja) 2004-01-23 2008-04-30 株式会社 日立ディスプレイズ 液晶表示装置
KR101110009B1 (ko) 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
WO2005098476A1 (en) 2004-03-29 2005-10-20 Evolution Robotics, Inc. Method and apparatus for position estimation using reflected light sources
KR100617679B1 (ko) 2004-05-28 2006-08-28 삼성전자주식회사 카메라 장치를 이용하여 가시광선 근거리 통신을 수행하는무선 단말기
US20050265731A1 (en) 2004-05-28 2005-12-01 Samsung Electronics Co.; Ltd Wireless terminal for carrying out visible light short-range communication using camera device
EP1744475B1 (en) 2004-05-31 2017-07-26 Casio Computer Co., Ltd. Information reception device, information transmission system, and information reception method
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP4803385B2 (ja) 2004-08-05 2011-10-26 独立行政法人科学技術振興機構 空間光通信を用いた情報処理システム及び空間光通信システム
WO2006033263A1 (ja) 2004-09-22 2006-03-30 Kyocera Corporation 光送信装置及び光通信システム
JP2006092486A (ja) 2004-09-27 2006-04-06 Nippon Signal Co Ltd:The Led信号灯器
JP4736397B2 (ja) 2004-10-22 2011-07-27 日本電気株式会社 撮像素子、撮像モジュール及び携帯端末
US7728893B2 (en) 2004-11-02 2010-06-01 Japan Science And Technology Agency Imaging device and method for reading signals from such device
EP2595130B1 (en) 2004-11-12 2016-11-02 Xtralis Technologies Ltd Particle detector, system and method
RU2007128067A (ru) 2004-12-22 2009-01-27 Конинклейке Филипс Электроникс Н.В. (Nl) Масштабируемое кодирование
US7689130B2 (en) 2005-01-25 2010-03-30 Koninklijke Philips Electronics N.V. Method and apparatus for illumination and communication
KR20060087744A (ko) * 2005-01-31 2006-08-03 삼성전자주식회사 이동통신 단말기에서 잔상효과를 이용한 데이터 표시장치및 방법
JP3939327B2 (ja) 2005-02-03 2007-07-04 三菱電機株式会社 データ送信及び受信方法、データ送信及び受信装置
JP4789481B2 (ja) 2005-02-16 2011-10-12 シャープ株式会社 画像表示装置及びデータ伝達システム
JP4627084B2 (ja) 2005-04-12 2011-02-09 パイオニア株式会社 通信システム、通信装置及び方法、並びにコンピュータプログラム
JP2006319545A (ja) 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd ディスプレイ装置および可視光送受信システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
JP4660818B2 (ja) 2005-06-03 2011-03-30 清水建設株式会社 照明システム
US20080290988A1 (en) 2005-06-18 2008-11-27 Crawford C S Lee Systems and methods for controlling access within a system of networked and non-networked processor-based systems
WO2007004530A1 (ja) 2005-06-30 2007-01-11 Pioneer Corporation 照明光通信装置および照明光通信方法
JP2007019936A (ja) 2005-07-08 2007-01-25 Fujifilm Holdings Corp 可視光通信システム、撮像装置、可視光通信準備方法及び可視光通信準備プログラム
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
JP4765027B2 (ja) 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
US7570246B2 (en) 2005-08-01 2009-08-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for communication using pulse-width-modulated visible light
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4643403B2 (ja) 2005-09-13 2011-03-02 株式会社東芝 可視光通信システム及びその方法
JP2007082098A (ja) 2005-09-16 2007-03-29 Nakagawa Kenkyusho:Kk 送信データ割り当て方法および光通信システム
JP4939024B2 (ja) 2005-09-27 2012-05-23 京セラ株式会社 光通信装置、及び光通信方法
JP4325604B2 (ja) 2005-09-30 2009-09-02 日本電気株式会社 可視光制御装置、可視光通信装置、可視光制御方法及びプログラム
JP4739914B2 (ja) 2005-10-28 2011-08-03 京セラ株式会社 通信装置、通信システム及び通信方法
JP4371108B2 (ja) 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム,オブジェクトの関連情報の記録方法,テレビジョン受像機及び表示制御方法
JP4868217B2 (ja) 2006-01-25 2012-02-01 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US20060242908A1 (en) 2006-02-15 2006-11-02 Mckinney David R Electromagnetic door actuator system and method
JP2007221570A (ja) * 2006-02-17 2007-08-30 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2007228512A (ja) 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置
JP4980633B2 (ja) 2006-03-16 2012-07-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法
JP2007256496A (ja) 2006-03-22 2007-10-04 Fujifilm Corp 液晶表示装置
JP2007274566A (ja) 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
JP4767747B2 (ja) 2006-04-27 2011-09-07 京セラ株式会社 可視光通信のための発光装置およびその制御方法
DE102006024421B3 (de) 2006-05-24 2007-10-25 Siemens Ag Verfahren und Anordnung zur Übertragung von Daten mit wenigstens zwei Strahlungsquellen
JP5256552B2 (ja) 2006-07-10 2013-08-07 Nltテクノロジー株式会社 液晶表示装置、該液晶表示装置に用いられる駆動制御回路及び駆動方法
JP5162850B2 (ja) 2006-07-10 2013-03-13 セイコーエプソン株式会社 プロジェクタ及び画像表示システム
GB0615135D0 (en) * 2006-07-29 2006-09-06 Futuretec Ltd Running bore-lining tubulars
JP4981053B2 (ja) 2006-08-21 2012-07-18 パナソニック株式会社 イメージセンサを用いた光空間伝送装置
US7965274B2 (en) 2006-08-23 2011-06-21 Ricoh Company, Ltd. Display apparatus using electrophoretic element
JP4996175B2 (ja) 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
US20100020970A1 (en) * 2006-11-13 2010-01-28 Xu Liu System And Method For Camera Imaging Data Channel
JP2008124922A (ja) 2006-11-14 2008-05-29 Matsushita Electric Works Ltd 照明装置、および照明システム
JP5288579B2 (ja) 2006-12-13 2013-09-11 ルネサスエレクトロニクス株式会社 表示装置及び、コントローラドライバ
JP2008187615A (ja) 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US20080205848A1 (en) 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2008252466A (ja) 2007-03-30 2008-10-16 Nakagawa Kenkyusho:Kk 光通信システム、送信装置および受信装置
JP2008269486A (ja) 2007-04-24 2008-11-06 Olympus Corp 撮像機器及びその認証方法
JP4935492B2 (ja) 2007-05-11 2012-05-23 株式会社豊田中央研究所 光通信装置
JP2008292397A (ja) 2007-05-28 2008-12-04 Shimizu Corp 可視光通信を用いた位置情報提供システム
CA2691627A1 (en) 2007-07-11 2009-01-15 Yasuo Inoue Display device, picture signal processing method, and program
JP2009033338A (ja) 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP2009036571A (ja) 2007-07-31 2009-02-19 Toshiba Corp 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法
JP4867874B2 (ja) * 2007-09-12 2012-02-01 富士通株式会社 画像処理プログラム、画像処理装置、および画像処理方法
JP5048440B2 (ja) 2007-09-27 2012-10-17 株式会社豊田中央研究所 光通信システム
JP4998232B2 (ja) 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
JP5285301B2 (ja) 2008-02-26 2013-09-11 パナソニック株式会社 光伝送システム
US8648911B2 (en) * 2008-03-10 2014-02-11 Nec Corporation Communication system, control device, and reception device
US8587680B2 (en) 2008-03-10 2013-11-19 Nec Corporation Communication system, transmission device and reception device
JP2009232083A (ja) 2008-03-21 2009-10-08 Mitsubishi Electric Engineering Co Ltd 可視光通信システム
JP5171393B2 (ja) 2008-05-27 2013-03-27 パナソニック株式会社 可視光通信システム
WO2009144853A1 (ja) 2008-05-30 2009-12-03 シャープ株式会社 照明装置、表示装置、並びに導光板
JP2010103746A (ja) 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2010117871A (ja) 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
CN102224728B (zh) * 2008-11-17 2013-11-06 日本电气株式会社 通信系统和接收机
JP5185087B2 (ja) 2008-11-25 2013-04-17 三星電子株式会社 可視光通信システム、及び信号伝送方法
KR20100059502A (ko) 2008-11-26 2010-06-04 삼성전자주식회사 가시광 통신 시스템에서 브로드캐스팅 서비스 방법 및 시스템
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
JP5307527B2 (ja) 2008-12-16 2013-10-02 ルネサスエレクトロニクス株式会社 表示装置、表示パネルドライバ、及びバックライト駆動方法
JP2010152285A (ja) 2008-12-26 2010-07-08 Fujifilm Corp 撮像装置
JP5282899B2 (ja) 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
JP2010232912A (ja) 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 照明光伝送システム
JP2010268264A (ja) 2009-05-15 2010-11-25 Panasonic Corp 撮像素子及び撮像装置
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
KR20100133806A (ko) 2009-06-12 2010-12-22 삼성전자주식회사 이미지 디스플레이 방법 및 장치
JP5537841B2 (ja) 2009-06-15 2014-07-02 ビーコア株式会社 発光体及び受光体及び関連する方法
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN101959016B (zh) 2009-07-14 2012-08-22 华晶科技股份有限公司 图像撷取装置的省电方法
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
JP5525201B2 (ja) * 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
JP2011055288A (ja) 2009-09-02 2011-03-17 Toshiba Corp 可視光通信装置及びデータ受信方法
KR101621095B1 (ko) 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
TWI441512B (zh) 2009-10-01 2014-06-11 Sony Corp 影像取得裝置及照相機系統
US8831279B2 (en) * 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
KR101654934B1 (ko) 2009-10-31 2016-09-23 삼성전자주식회사 가시광 통신 방법 및 장치
JP5246146B2 (ja) 2009-12-01 2013-07-24 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置及び画像読取装置
US8942570B2 (en) 2010-01-15 2015-01-27 Koninklijke Phillips N.V. Data detection for visible light communications using conventional camera sensor
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
EP2567346B1 (en) 2010-05-05 2017-06-14 Digimarc Corporation Hidden image signaling
JP5750837B2 (ja) 2010-05-28 2015-07-22 カシオ計算機株式会社 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム
JP2011254317A (ja) 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP5619885B2 (ja) 2010-06-08 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報表示装置、表示制御用集積回路、及び表示制御方法
JP5635312B2 (ja) 2010-06-28 2014-12-03 株式会社アウトスタンディングテクノロジー 可視光通信送信機
JP5561860B2 (ja) 2010-08-19 2014-07-30 西日本電信電話株式会社 広告配信装置及び方法、ならびに、プログラム
WO2012026039A1 (ja) 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
US8891977B2 (en) 2010-09-29 2014-11-18 Supreme Architecture Ltd. Receiver chip and method for on-chip multi-node visible light communication
US8523075B2 (en) 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
US8634725B2 (en) 2010-10-07 2014-01-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting data using visible light communication
JP2012095214A (ja) 2010-10-28 2012-05-17 Canon Inc 撮像装置
US9112606B2 (en) 2010-12-15 2015-08-18 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving data using visible light communication
TWM404929U (en) 2011-01-03 2011-06-01 Univ Kun Shan LED luminaries with lighting and communication functions
JP2012155318A (ja) * 2011-01-05 2012-08-16 Nikon Corp 電子機器及び描画方法
US8553146B2 (en) * 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
JP2012169189A (ja) 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
US9571888B2 (en) * 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
CN102654400A (zh) 2011-03-01 2012-09-05 丁梅 应用于数字水准仪条码尺的伪随机条码
US20140010550A1 (en) 2011-03-16 2014-01-09 Michael Bahr Method and Device for Providing Notifications in a System for Visible-Light communication
EP2503852A1 (en) 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012205168A (ja) * 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
US8256673B1 (en) * 2011-05-12 2012-09-04 Kim Moon J Time-varying barcode in an active display
US9667823B2 (en) 2011-05-12 2017-05-30 Moon J. Kim Time-varying barcode in an active display
JP2012244549A (ja) 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
JP2013029816A (ja) 2011-06-20 2013-02-07 Canon Inc 表示装置
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
US9287976B2 (en) 2011-07-26 2016-03-15 Abl Ip Holding Llc Independent beacon based light position system
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
JP2013042221A (ja) 2011-08-11 2013-02-28 Panasonic Corp 通信端末、通信方法、マーカ装置及び通信システム
KR101961887B1 (ko) 2011-11-30 2019-03-25 삼성전자주식회사 무선 광통신 시스템 및 이를 이용한 무선 광통신 방법
KR20130093699A (ko) 2011-12-23 2013-08-23 삼성전자주식회사 광정보 전송장치 및 광정보 수신장치
US20130169663A1 (en) 2011-12-30 2013-07-04 Samsung Electronics Co., Ltd. Apparatus and method for displaying images and apparatus and method for processing images
JP2013197849A (ja) 2012-03-19 2013-09-30 Toshiba Corp 可視光通信送信装置、可視光通信受信装置および可視光通信システム
US9450671B2 (en) 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
JP2013201541A (ja) 2012-03-23 2013-10-03 Toshiba Corp 受信装置、送信装置、及び通信システム
US8794529B2 (en) 2012-04-02 2014-08-05 Mobeam, Inc. Method and apparatus for communicating information via a display screen using light-simulated bar codes
JP5936902B2 (ja) 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置
JP2013223043A (ja) * 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
WO2013166958A1 (zh) 2012-05-07 2013-11-14 深圳光启创新技术有限公司 基于可见光通信的加密、解密及加解密方法和系统
CN102684869B (zh) * 2012-05-07 2016-04-27 深圳光启智能光子技术有限公司 基于可见光通信的解密方法和系统
JP5902995B2 (ja) 2012-05-10 2016-04-13 株式会社フジクラ Ledチューブを用いた移動システム、移動方法及びledチューブ
WO2013171954A1 (ja) 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
ES2668904T3 (es) 2012-05-24 2018-05-23 Panasonic Intellectual Property Corporation Of America Procedimiento de comunicación de información
KR101391128B1 (ko) 2012-07-06 2014-05-02 주식회사 아이디로 가시광 통신용 oled 표시 장치
US20140055420A1 (en) 2012-08-23 2014-02-27 Samsung Electronics Co., Ltd. Display identification system and display device
DE112013004582T5 (de) 2012-10-09 2015-06-25 Panasonic intellectual property Management co., Ltd Leuchte und System zur Kommunikation durch sichtbares Licht, das diese verwendet
US9667865B2 (en) 2012-11-03 2017-05-30 Apple Inc. Optical demodulation using an image sensor
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP5715301B2 (ja) 2012-12-27 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
WO2014103161A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
MX351475B (es) 2013-03-12 2017-10-17 Philips Lighting Holding Bv Sistema de comunicacion, sistema de iluminacion y metodo para transmitir informacion.
US9705594B2 (en) 2013-03-15 2017-07-11 Cree, Inc. Optical communication for solid-state light sources
US9407367B2 (en) 2013-04-25 2016-08-02 Beijing Guo Cheng Wan Tong Information Co. Ltd Methods and devices for transmitting/obtaining information by visible light signals

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159799A (zh) * 1998-07-31 2008-04-09 数字标记公司 重要文件的数字水印与方法
JP2008033625A (ja) * 2006-07-28 2008-02-14 Kddi Corp カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム
JP2009212768A (ja) * 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
US20100107189A1 (en) * 2008-06-12 2010-04-29 Ryan Steelberg Barcode advertising
WO2010071193A1 (ja) * 2008-12-18 2010-06-24 日本電気株式会社 ディスプレイシステム、制御装置、表示方法およびプログラム
JP2010258645A (ja) * 2009-04-23 2010-11-11 Hitachi Information & Control Solutions Ltd 電子透かし埋め込み方法及び装置
WO2012120853A1 (ja) * 2011-03-04 2012-09-13 国立大学法人徳島大学 情報提供方法および情報提供装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551417A (zh) * 2016-01-22 2016-05-04 华南理工大学 一种具有可见光通信功能的液晶显示器
CN108885879A (zh) * 2016-01-22 2018-11-23 弗劳恩霍夫应用研究促进协会 使用帧控制同步来编码或解码多声道音频信号的装置和方法
CN108885879B (zh) * 2016-01-22 2023-09-15 弗劳恩霍夫应用研究促进协会 使用帧控制同步来编码或解码多声道音频信号的装置和方法
US11887609B2 (en) 2016-01-22 2024-01-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for estimating an inter-channel time difference
CN109496265A (zh) * 2016-06-20 2019-03-19 康耐视公司 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法
US11388375B2 (en) 2016-06-20 2022-07-12 Cognex Corporation Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target
CN107547795A (zh) * 2016-06-27 2018-01-05 奥林巴斯株式会社 摄像装置、摄像方法
CN108172194A (zh) * 2018-03-22 2018-06-15 京东方科技集团股份有限公司 显示面板及其驱动方法、驱动装置、驱动系统

Also Published As

Publication number Publication date
JPWO2014103157A1 (ja) 2017-01-12
CN104885383B (zh) 2017-08-29
EP2940898A1 (en) 2015-11-04
US9247180B2 (en) 2016-01-26
CN104871453A (zh) 2015-08-26
SG11201400251XA (en) 2014-08-28
JP5715301B2 (ja) 2015-05-07
EP2940895A4 (en) 2015-12-30
US20140185860A1 (en) 2014-07-03
CN104871453B (zh) 2017-08-25
SG11201504980TA (en) 2015-07-30
US20140184914A1 (en) 2014-07-03
EP2940898B1 (en) 2018-08-22
US9008352B2 (en) 2015-04-14
JP5608834B1 (ja) 2014-10-15
JP2015156663A (ja) 2015-08-27
WO2014103157A1 (ja) 2014-07-03
EP2940898A4 (en) 2016-06-15
JPWO2014103158A1 (ja) 2017-01-12
WO2014103158A1 (ja) 2014-07-03
US9613596B2 (en) 2017-04-04
EP2940895A1 (en) 2015-11-04
US20160086583A1 (en) 2016-03-24
JP2015111814A (ja) 2015-06-18
EP2940895B1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
CN104885383B (zh) 影像显示方法
CN104885382B (zh) 可视光通信信号显示方法以及显示装置
CN104871452B (zh) 可视光通信方法及可视光通信装置
US6011580A (en) Image display apparatus
CN101738742B (zh) 连续可调3d滤光眼镜优化立体观看及其控制的方法和手段
US20110050861A1 (en) Stereoscopic image display device and stereoscopic image display method
CN103309037A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6362608B2 (ja) 表示方法および表示装置
CN102981351A (zh) 投影装置以及投影控制方法
US9591293B2 (en) Stereoscopic field sequential colour display control
CN108848370B (zh) 全视差可切换的裸眼3d显示装置及其显示方法
JP4060865B2 (ja) 遊技機
US20210407463A1 (en) Display apparatus
JP2004166885A (ja) 遊技機
US20240015277A1 (en) Display apparatus for providing 3d image and control method thereof
TWI842191B (zh) 支援多個視圖的顯示器以及用於該顯示器的方法
KR101142176B1 (ko) 입체 영상 제공 장치 및 그 방법
JP2004166887A (ja) 遊技機
JP2004272155A (ja) 画像表示装置及び画像表示装置を備えた遊技機
JP2011053707A (ja) 立体視映像表示装置及び立体視映像表示方法
JP2007167673A (ja) 遊技機

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant