CN102034421B - 显示模式控制装置以及显示模式控制方法 - Google Patents

显示模式控制装置以及显示模式控制方法 Download PDF

Info

Publication number
CN102034421B
CN102034421B CN2010105460291A CN201010546029A CN102034421B CN 102034421 B CN102034421 B CN 102034421B CN 2010105460291 A CN2010105460291 A CN 2010105460291A CN 201010546029 A CN201010546029 A CN 201010546029A CN 102034421 B CN102034421 B CN 102034421B
Authority
CN
China
Prior art keywords
mentioned
display mode
lighting position
brightness
mode control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105460291A
Other languages
English (en)
Other versions
CN102034421A (zh
Inventor
菊地正哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102034421A publication Critical patent/CN102034421A/zh
Application granted granted Critical
Publication of CN102034421B publication Critical patent/CN102034421B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种考虑用户的行动来进行显示模式控制的显示模式控制装置以及显示模式控制程序。显示模式控制装置具备显示模式控制单元,其获取表示对显示部的显示面的前方进行摄影而得到的摄影图像的摄影图像数据,利用获取的上述摄影图像数据和确定预先设定的图像内的照明的位置的照明位置,确定上述摄影图像中的与上述照明位置对应的位置的亮度作为照明的亮度,基于所确定的上述照明的亮度,控制显示模式。

Description

显示模式控制装置以及显示模式控制方法
技术领域
本发明涉及显示模式控制装置以及显示模式控制方法。
背景技术
作为该种技术,具有按照预先设定的期间或者时刻进行显示部的显示模式的控制,降低具备该显示部的显示装置的耗电量的显示模式控制装置。作为显示部,例如有液晶显示器、有机EL(Organic E1ectro-Luminescence:OEL,电致发光)显示器等。作为显示装置,有将数码照片等显示在显示部中的数码照片架或者个人计算机等,显示模式控制装置有时也是该显示装置自身。作为降低耗电量的显示模式,例如有在显示部中显示屏幕保护的省电模式。在这种省电模式下,例如在预先设定的期间内用户未对显示装置进行操作的情况下、或者在到达预先设定的时刻的情况下,进行例如使显示部的显示面变暗或者中断对显示部的电源供给的控制,由此来实现省电化。
另外,在专利文献1中公开了如下技术:在显示装置的前面等设置的照度传感器感知显示装置周边的亮度,基于该感知结果,在控制部判断为明亮的情况下不进行显示模式控制,在控制部判断为黑暗的情况下进行显示模式控制。
然而,前者的技术存在如下问题:在到达预先设定的期间或者时刻的情况下,即使在用户正在使用显示装置的时候,也进行显示模式的控制,从而导致显示部的显示面变暗,或者中断对显示部的电力供给。另外,后者的技术存在如下问题:在用户不在房间的白天,在目光导致显示装置周边明亮的情况下,不进行显示模式的控制。这样,现有技术进行了没有未考虑用户行为的显示模式控制,有时给用户带来麻烦。
【专利文献1】日本特开2002-189450号公报
发明内容
鉴于这种问题,本发明的目的在于,提供进行反映了用户行为的显示模式控制的显示模式控制装置以及显示模式控制程序。
本发明的第1观点的显示模式控制装置,是控制显示部的显示模式的显示模式控制装置,具备:照明位置确定单元,其获取表示对上述显示部的显示面的前方进行摄影而得到的第1摄影图像的第1摄影图像数据,利用获取的上述第1摄影图像数据,确定分割上述第1摄影图像而得到的各个分割区域的亮度,基于确定的每个上述分割区域的上述亮度,确定拍摄到上述第1摄影图像中的照明的候补的上述分割区域的位置作为照明位置;和显示模式控制单元,其获取表示对上述显示部的显示面的前方进行摄影而得到的第2摄影图像的第2摄影图像数据,利用获取的上述第2摄影图像数据和上述照明位置确定单元所确定的上述照明位置,确定上述第2摄影图像中的位于与上述照明位置对应的位置的上述分割区域的亮度作为照明的亮度,基于所确定的上述照明的亮度,控制上述显示模式。
本发明的第2观点的显示模式控制装置,是控制显示部的显示模式的显示模式控制装置,具备:显示模式控制单元,其获取表示对上述显示部的显示面的前方进行摄影而得到的摄影图像的摄影图像数据,利用获取的上述摄影图像数据和预先设定的图像内的预定区域,确定上述摄影图像中的与上述预定区域对应的位置的亮度作为照明的亮度,基于所确定的上述照明的亮度,控制上述显示模式。
本发明的第3观点的显示模式控制程序,使控制显示部的显示模式的计算机执行:照明位置确定步骤,其获取表示对上述显示部的显示面的前方进行摄影而得到的第1摄影图像的第1摄影图像数据,利用获取的上述第1摄影图像数据,确定分割上述第1摄影图像而得到的各个分割区域的亮度,基于所确定的每个上述分割区域的上述亮度,确定拍摄到上述第1摄影图像中的照明的候补的上述分割区域的位置作为照明位置;和显示模式控制步骤,其获取表示对上述显示部的显示面的前方进行摄影而得到的第2摄影图像的第2摄影图像数据,利用获取的上述第2摄影图像数据和在上述照明位置确定步骤中确定的上述照明位置,确定上述第2摄影图像中的位于与上述照明位置对应的位置的上述分割区域的亮度作为照明的亮度,基于所确定的上述照明的亮度,控制上述显示模式。
根据本发明的显示模式控制装置以及显示模式控制程序,能够进行反映了用户行为的显示模式控制。
附图说明
图1是示出本发明的实施方式1所涉及的显示模式控制装置的各部分的关系的框图。
图2是示出本发明的实施方式1所涉及的显示模式控制装置的硬件结构的图。
图3是从正面看本发明的实施方式1所涉及的显示模式控制装置而得到的正面图。
图4是示出本发明的实施方式1所涉及的显示模式控制装置所进行的照明位置确定处理的流程图。
图5(a)是示出由摄影图像数据表现的第1摄影图像的图,(b)是示出分割成预定的每个分割区域的第1摄影图像的图。
图6(a)是示出摄影图像数据和与其对应的图像编号以及获取时刻的数据结构的图,(b)是示出分割区域亮度数据的数据结构的图,(c)是示出照明候补数据的数据结构的图,(d)是示出照明位置数据的数据结构的图。
图7是示出本发明的实施方式1所涉及的显示模式控制装置所进行的显示模式控制处理的流程图。
图8是示出本发明的实施方式1所涉及的显示模式控制装置所进行的点亮、熄灭处理的流程图。
图9是示出本发明的实施方式1所涉及的显示模式控制装置所进行的熄灭、点亮处理的流程图。
图10(a)是示出摄影图像中的照明处于熄灭状态的样子的图。(b)是示出摄影图像中的照明被障碍物挡住的样子的图。
图11是示出本发明的实施方式2所涉及的显示模式控制装置的各部分的关系的框图。
图12是示出本发明的实施方式2所涉及的显示模式控制装置的硬件结构的图。
图13是示出本发明的实施方式2所涉及的显示模式控制装置所进行的移动检测处理的流程图。
图14是示出过去(最近)的摄影图像数据所表示的摄影图像的图。
图15是示出从过去的摄影图像向左侧平行移动的、现在的摄影图像数据所表示的摄影图像的图。
图16是示出从过去的摄影图像向左旋转移动90度的、现在的摄影图像数据所表示的摄影图像的图。
图17是示出本发明的实施方式2所涉及的显示模式控制装置所进行的照明位置确定处理的流程图。
图18是示出用于说明本发明的实施方式2所涉及的显示模式控制装置所进行的模式匹配的图。
符号说明
1:显示模式控制装置;10:控制部;10a:照明位置确定部;10b:显示模式控制部;11:CPU;12:一次存储装置;20:存储部;21:二次存储装置;22:显示模式控制程序;30:摄影部;31:摄影装置;40:显示部;41:驱动电路;42:显示面板;43:发光电路;45:框架;50:输入部(操作部);51:输入装置;60:读出、写入部;61:读出、写入装置;80:传感器部;81:3轴加速度传感器;82:振动检测传感器;100:存储卡
具体实施方式
(实施方式1)
下面,参照附图说明本发明的实施方式1。此外,本发明不受下述实施方式和附图的限定。毋容置疑,可以在不变更本发明要点的范围内对下述实施方式以及附图实施变更。本发明所涉及的显示模式控制装置可以由例如计算机来实现。
首先,利用图1说明显示模式控制装置1的结构的一个例子。本实施方式的显示模式控制装置1是数码照片架(也称为数码照片框)(参照图3)。数码照片架显示播放由例如数码照相机摄影得到的数码照片等的图像。
在本实施方式所涉及的显示模式控制装置1中,显示模式控制装置1的摄影装置31(摄影部30)对显示模式控制装置1的显示面板42(显示部40)的显示面的前方进行摄影,以表示由此而得到的摄影图像的摄影图像数据为基础,确定在房间内设置的荧光灯、电灯等的照明的位置。另外,显示模式控制装置1对于每隔预定时间获取的摄影图像数据,判断所确定的照明的位置的照明的点亮/熄灭状态,按照该判断结果进行显示模式的控制。
显示模式控制装置1具备控制部10、存储部20、摄影部30、显示部40、输入部50以及读出、写入部60。此外,各部分的功能的至少一部分也可以设置在能通过网络与显示模式控制装置1进行通信的其它装置中。
控制部10进行各部分的控制,进行显示模式控制装置1整体的控制。另外,控制部10具备照明位置确定部10a和显示模式控制部10b,它们进行上述照明的位置的确定、显示模式的控制。
存储部20根据控制部10的控制,适当存储控制部10在处理中生成的数据、以及读出、写入部60从存储卡100读出的记录图像数据等各种数据。
摄影部30的至少一部分,按照摄影镜头面向显示部40的显示面的前方的方式固定在显示部40的框架等中(参照图3)。摄影部30根据控制部10的控制,对显示部40的显示面的前方进行摄影。在此,显示面的前方是例如从显示面射出的光的方向的至少一部分的方向、或者从显示面的法线方向起一定范围内的方向。摄影部30对显示部40的显示面的前方进行摄影,生成表示摄影到的静止图像的摄影信号,以生成的摄影图像为基础,生成数字的静止图像元数据。摄影部30将生成的静止图像元数据提供给控制部10。
显示部40根据控制部10的控制,显示摄影部30摄影到的显示部40的显示面的前方的摄影图像、操作画面、以及读出、写入部60读出的记录在存储卡100中的记录图像数据所表现的记录图像等。
输入部50是接受用户的操作输入的操作部,将与所接受的操作输入的内容对应的操作输入数据提供给控制部10。
读出、写入部60根据控制部10的控制,读出记录在存储卡100中的记录图像数据,提供给控制部10。
存储卡100由闪速存储器类型的存储卡等构成。作为存储卡,有记录作为数码照相机摄影到的摄影图像(数码照片等)的数据的记录图像数据的SD存储卡等。
下面,利用图2说明显示模式控制装置1的硬件结构的一个例子。显示模式控制装置1具备CPU(Central Processing Unit:中央处理单元)11、一次存储装置12、二次存储装置21、摄影装置31、驱动电路41、显示面板42、输入装置51以及读出、写入装置61。
图1的控制部10由例如CPU11和一次存储装置12构成。控制部10还可以含有CPU11和ASIC(Application Specific Integrated Circuit:特定用途集成电路)等而构成。该情况下,CPU11所进行的处理中的图像数据的处理等也可以由ASIC等进行。ASIC例如是DSP(Digital Signal Processor:数字信号处理器)。一次存储装置12由RAM(Random Access Memory:随机存取存储器)等构成。
图1的存储部20由二次存储装置21构成。二次存储装置21由闪速存储器或者硬盘等构成。二次存储装置21记录了显示模式控制程序22。
CPU 11将显示模式控制程序22从二次存储装置21读出到一次存储装置12,基于读出的显示模式控制程序22的指令进行后述处理。另外,一次存储装置12发挥CPU 11的工作存储器等的功能。CPU11接收的数据以及CPU11提供的数据被临时存储在一次存储装置12的存储区域中。CPU11读出在一次存储装置12中记录的数据,利用读出的数据进行运算,将运算结果数据存储在一次存储装置12中。此外,控制部10具备的照明位置确定部10a和显示模式控制部10b分别由按照显示模式控制程序22来进行后述处理的CPU11和一次存储装置12构成。
一次存储装置12以及二次存储装置21适当存储在后述处理中生成的数据以及从存储卡100读出的记录图像数据等各种数据。另外,一次存储装置12以及二次存储装置21存储的各种数据,可由CPU11根据需要而删除或者被其它数据覆盖。
图1的摄影部30由摄影装置31(还参照图3)构成。摄影装置31按照其摄影镜头面向显示面板42的显示面的前方的方式,使摄影装置31的至少一部分固定在固定显示面板42的框架45等中(参照图3)。摄影装置31由具备CCD(Charge Coupled Device:电荷耦合器件)影像传感器或者CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)影像传感器等摄像元件的照相机等构成。
摄像元件生成表示由摄影而得到的摄影图像的静止图像元数据。即,摄影装置31利用摄像元件生成表示对显示面板42(显示部40)的前方进行摄影而得到的静止图像的摄影信号,利用各种电路对生成的摄影信号进行控制处理,由此生成数字的静止图像元数据。此外,控制处理中例如有相关二重采样(Correlated Double Sampling)、对采样后的摄影信号实施的自动增益调整(Automatic Gain Control)以及将自动增益调整后的模拟摄影信号变换成数字信号的模拟、数字变换等。
静止图像元数据是包括摄像元件的各有效像素的像素值的、表示一帧的量的图像的数据。摄影装置31将生成的静止图像元数据提供给例如一次存储装置12。一次存储装置12存储从摄影装置31接收到的静止图像元数据。
图1的显示部40由驱动电路41、显示面板42、发光电路43以及框架45构成。CPU11利用各种图像数据,生成显示用的RGB数据(RED-GREEN-BLUE数据:红-绿-蓝数据),通过一次存储装置12将生成的RGB数据提供给驱动电路41。驱动电路41基于接收到的RGB数据驱动显示面板42,将由各种图像数据表现的各种图像提供给显示面板42。显示面板42例如由液晶显示面板或者有机EL(Organic Electro-Luminescence:OEL:电致发光)显示面板等构成。显示面板42显示从驱动电路41接收到的各种图像。发光电路43是将由显示模式控制装置1进行的处理正常与否通知给用户的电路,发光电路43根据控制部10的控制而发光。发光电路43例如由LED(Light Emitting Diode:发光二极管)等构成。发光电路43固定在显示面板42的框架45等中(参照图3)。
图1的输入部50(操作部)由输入装置51构成。输入装置51是包括例如播放键、停止键、菜单键、显示控制模式选择键、设置键、电源键等多个操作键的由用户进行操作的接口装置。当用户操作这些键时,输入装置51将与各键对应的操作输入数据提供给一次存储装置12。一次存储装置12接收从输入装置51提供的操作输入数据,存储接收到的操作输入数据。CPU11按照一次存储装置12存储的操作输入数据来进行后述处理。
此外,也可以由触摸面板构成图1的显示部40和输入部50。该情况下,显示面板42以及输入装置51由触摸面板构成。触摸面板显示预定的输入画面的同时,将操作输入数据提供给一次存储装置12。
图1的读出、写入部60由读出、写入装置61构成。读出、写入装置61是进行数据的读出、写入的接口装置。读出、写入装置61读出记录在存储卡100中的记录图像数据,将读出的记录图像数据提供给一次存储装置12。一次存储装置12接收从读出、写入装置61提供的记录图像数据,存储接收到的记录图像数据。CPU11利用一次存储装置12存储的记录图像数据来进行后述处理。
下面,说明显示模式控制装置1进行的处理。显示模式控制装置1进行的处理是照明位置确定处理以及显示模式控制处理。此外,显示模式控制装置1在下述处理中只要不变成省电模式,就从存储卡100依次获取记录图像数据,将由获取的记录图像数据所表现的记录图像依次显示在显示部40中。
显示模式控制装置1进行的照明位置确定处理,由用户对输入部50的操作为契机而开始。例如,用户利用输入部50接通显示模式控制装置1的电源,从显示在显示部40中的显示控制模式的选择画面进行使自动显示控制模式动作的选择。由此,输入部50对控制部10提供与用户操作对应的操作输入数据,控制部10接收来自输入部50的操作输入数据。由此,照明位置确定部10a执行照明位置确定处理。此外,在照明位置确定处理结束为止的期间,无法自动进行显示模式控制,因此该期间也可以根据控制部10(CPU11)的控制,通过使发光电路43发光来通知用户。另外,优选在未确定照明位置的时候进行该照明位置确定处理。
照明位置确定部10a在照明位置确定处理(参照图4)中使摄影部30对显示部40的显示面的前方进行摄影。照明位置确定部10a基于表示由此而得到的摄影图像(即,第1摄影图像501)的摄影图像数据(即,第1摄影图像数据),进行确定设置在房间内的照明的位置的处理。照明位置确定部10a每隔预定时间使摄影部30进行摄影,每隔预定时间获取表示摄影到的第1摄影图像的第1摄影图像数据。在本实施方式中,一个小时一次,获取24次的量的第1摄影图像数据。
首先,照明位置确定部10a设定n=0(步骤S401)。n是表示照明位置确定部10a要获取的摄影图像数据的编号的值。接着,照明位置确定部10a使n=n+1(步骤S402)。
摄影部30根据照明位置确定部10a的控制进行摄影。摄影部30生成表示对显示部40的显示面的前方进行摄影而得到的静止图像(第1摄影图像501)的摄影信号,以生成的摄影信号为基础,生成数字静止图像元数据。摄影部30将生成的静止图像元数据提供给照明位置确定部10a。照明位置确定部10a接收从摄影部30提供的静止图像元数据,对接收到的静止图像元数据进行轮廓加强、白平衡调整、伽马校正、压缩处理等必要的控制处理,进行向YUV(亮度、色差)数据的变换。由此,照明位置确定部10a获取一个图像的量的YUV数据作为第n个第1摄影图像数据,并进行存储(保存)(步骤S403)。
此外,此时,照明位置确定部10a针对获取的第1摄影图像数据,对应地存储图像编号(即,上述n)以及获取时刻(由未图示的定时器获取。)(记录在一次存储装置12中)。图6(a)表示对摄影图像数据对应了摄影图像编号以及获取时刻的数据结构。此外,摄影图像数据除了上述YUV数据以外,还可以是变更了大小以及分辨率的YUV数据,对它们进行变换而得到的RGB数据或者压缩它们而得到的压缩数据等。另外,第1摄影图像数据也可以在适当的时刻记录在存储部20(二次存储装置21)中。
接着,照明位置确定部10a按照预定的每个区域(即,分割区域)来对由获取的第1摄影图像数据所表现的第1摄影图像501(参照图5(a))进行分割(参照图5(b))。此外,在本实施方式中,将摄影图像数据均等地分割成纵11×横13的分割区域,但是分割的分割区域的数量可以适当地设定,另外,各分割区域也可以不均等地分割。此外,分割区域的位置、大小是预先设定的,在处理中不变。利用预先设定的、能够唯一地识别分割区域在第1摄影图像501中的位置的识别信息(在此,识别编号),确定分割区域的位置。例如,假设图5(a)的第1摄影图像内的最左上的分割区域为编号1,最右上的分割区域为编号13,从第1摄影图像内的最左上开始第二个分割区域为编号14。由此,确定分割区域的位置。
并且,照明位置确定部10a利用按照各分割区域的每个像素而得到的亮度值或者RGB值等亮度的数值信息,算出其平均值或者相加值,由此获取各分割区域的亮度(确定亮度的数据)(步骤S404)。亮度也可以基于从分割区域的全部像素按照每个像素得到的亮度值或者RGB值来算出,也可以基于从分割区域的预先设定的预定数量以及预定位置的像素中选择性地或者任意地获取的亮度值或者RGB值来算出。
这样,照明位置确定部10a利用第1摄影图像数据,确定分割上述第1摄影图像501而得到的分割区域各自的亮度。此时,照明位置确定部10a对各分割区域对应了分割区域的识别信息、和由该识别信息确定的分割区域的亮度,并且生成包括图像编号和获取时刻的分割区域亮度数据,存储生成的分割区域亮度数据(记录在一次存储装置12中)。图6(b)表示分割区域亮度数据的数据结构。
接着,照明位置确定部10a比较各分割区域的亮度和预先设定的阈值(第1阈值)(步骤S405)。在此所述的第1阈值是用于确定照明的值。用于确定照明的值,被设定为设置在房间内的荧光灯、电灯等的照明能够取的亮度的值(例如,255灰度级中的200灰度级)。
照明位置确定部10a利用步骤S405的比较结果,确定具有第1阈值以上的值(或者比第1阈值大的值)的亮度的分割区域的位置作为拍摄到照明的候补的分割区域(下面称为照明候补区域。)的位置(下面称为照明候补位置。)(步骤S406)。照明位置确定部10a将确定照明候补位置的上述识别信息和该照明候补位置的照明候补区域的亮度对应起来,作为照明候补数据而存储(记录在一次存储装置12中)。另外,照明候补数据包括上述图像编号以及获取时刻。图6(c)所示的数据是照明候补数据的一个例子。
在图5(a)中,在第1摄影图像501中,有一个照明502和两个窗口503。如图5(b)所示,通过照明位置确定部10a所进行的亮度与第1阈值的比较,作为与照明502对应的部分的9个分割区域被确定为照明候补区域504a,另外,作为与窗口503对应的部分的15个分割区域被确定为照明候补区域504b。照明位置确定部10a把这些照明候补区域的位置确定为照明候补位置(步骤S406)。
照明位置确定部10a在以1个图像的量的第1摄影图像数据为基础确定了照明候补位置之后,判断与照明候补位置信息对应的图像编号“n”是否是预定值“m”(步骤S407)。预定值“m”是表示照明位置确定部10a在照明位置确定处理中在每隔预定时间摄影、获取的第1摄影图像数据的数量的值。在本实施方式中,照明位置确定部10a一个小时一次,获取24次的摄影图像数据,因此预定值是“m=24”。
照明位置确定部10a在判断为不是“n=m”的情况下(步骤S407;否),在经过预定时间(在此为1个小时)后,返回到步骤S402,设为n=n+1(在此,n=2)(步骤S402)。然后,照明位置确定部10a进行步骤S403~S406的处理,以一个图像的量的第1摄影图像数据为基础,确定照明候补位置。
照明位置确定部10a在判断为是“n=m”(在此,n=24)的情况下(步骤S407;是),进行以下处理,以每隔预定期间确定的照明候补位置为基础,确定摄影图像中的照明位置。此外,假定照明位置确定部10a在确定照明时不使用经过了一定时间(在此为24个小时)以上的照明候补数据。即,照明位置确定部10a(CPU11)从一次存储装置12的存储区域删除经过了一定时间(在此为24个小时)以上的照明候补数据等。
照明位置确定部10a从使用对象中剔除每一预定期间生成的照明候补数据(照明候补位置)中的受外光影响的时段的照明候补数据,以便在照明位置的确定中不对其进行使用(步骤S408)。如图5(b)所示,在步骤S406中确定的照明候补区域中,有时会由于从设置在房间中的窗口503射入的外光(即,日光)而使拍摄到窗口503的分割区域被确定为照明候补区域。照明位置确定部10a不使用受这种外光影响的时段的、例如包括从上午6点开始到下午6点的白天获取时刻的数据作为照明候补数据(例如,删除包括该获取时刻的数据的照明候补数据)。即,照明位置确定部10a在照明位置的确定中,以在不受外光影响的时间的夜间时间(例如从下午6点开始到上午6点等,根据季节的不同,有时也会发生变动,可适当地设定)获取的照明候补数据为基础,进行照明位置的确定。这样,照明位置确定部10a利用表示摄影时刻满足预定基准(例如,不是上述夜间时刻的时段(白天时段))的上述第1摄影图像501的上述第1摄影图像数据。
接着,照明位置确定部10a判断每隔预定时间确定的照明候补位置中是否存在,在每隔预定时间获取的多个第1摄影图像数据中,在预定次数以上处于相同位置的照明候补位置(步骤S409)。该判断通过参照构成照明候补数据的识别信息来进行。例如,判断在多个第1摄影图像中,成为相同识别信息的照明候补数据是否存在3次以上。并且,在判断为是的情况下(步骤S409;是),照明位置确定部10a确定由该照明候补数据的识别信息确定的照明候补位置作为照明位置(步骤S410)。照明位置确定部10a生成并存储确定照明位置的照明位置数据(记录在一次存储装置12中)。照明位置数据是确定被认为拍摄到照明的分割区域的位置(照明位置)的数据,具体地,由确定该位置的识别信息构成(参照图6(d))。
在位于这样确定的照明位置的分割区域中被拍摄到的被拍摄体,与不受外光影响的夜间时刻无关,是亮度在整个预定的期间超过一定基准的区域,这种区域很可能是长时间点亮的照明的区域。因此,照明位置确定部10a确定这种分割区域的位置作为照明位置。
另一方面,照明位置确定部10a在判断为没有预定次数以上处于相同位置的照明候补位置的情况下(步骤S409;否),对于位于照明候补位置的各分割区域,判断多个第1摄影图像数据中的亮度变化(即,亮度的差或者比)在第2阈值以上(或者大于第2阈值)的分割区域(即,亮度变化大的分割区域)是否存在(步骤S411)。具体地,比较各第1摄影图像中的任意两个第1摄影图像的照明候补数据和分割区域亮度数据,比较照明候补数据所含有的各识别信息所对应的亮度和分割区域亮度数据所含有的与上述各识别信息相同的识别信息所对应的亮度,来进行上述判断。针对各第1图像进行该比较。该第2阈值采用与由照明的熄灭以及点亮而产生的亮度的差对应的值。
照明位置确定部10a在判断出存在亮度变化大的分割区域的情况下(步骤S411;是),确定该亮度的分割区域的位置作为照明位置(步骤S412),照明位置确定部10a生成并存储确定照明位置的照明位置数据(记录在一次存储装置12中)。照明位置数据是与上述相同的数据(参照图6(d))。
在位于这样确定的照明位置的分割区域中拍摄到的被拍摄体,亮度变化大,这种区域很可能是拍摄到由于熄灭和点亮的变化而使亮度大幅度变化的照明的区域。因此,照明位置确定部10a确定这种分割区域的位置作为照明位置。
照明位置确定部10a在判断为不存在亮度变化大的分割区域的情况下(步骤S411;否),处理结束。照明位置确定部10a此时无法在显示部40中确定照明位置,因此照明位置确定部10a显示无法进行后述显示模式的控制的意思的画面。
由此,以每隔预定时间获取的照明候补位置为基础,确定照明位置,照明位置确定处理结束。由此,在图5(b)中,作为照明候补位置信息而获取的与窗口503对应的部分即15个分割区域不是作为照明位置而确定的(该区域是在白天时间明亮的区域,由步骤S408从照明候补区域中剔除。),实际上与照明502对应的部分即9个分割区域的位置是作为照明位置而获取的。此外,照明位置数据适当记录在存储部20中,在后述的预定处理中被读出。
照明位置确定部10a参照确定的照明位置(识别信息)并以它们为基础,在存在相互相邻的照明位置的情况下,位于该照明位置的分割区域可看作是拍摄到相同照明的分割区域,并将这样相邻的各分割区域作为一组照明位置(下面称为照明区域组)而处理。即,在图5(b)中,作为与照明502对应的部分的9个分割区域(照明候补区域505)的位置被确定为照明位置,但是各分割区域相互相邻,因此能够被看作是以相同照明为对象来确定照明位置的,并且该9个分割区域可以作为照明区域组来处理。另外,该情况下,也可以设定成为照明区域组的代表的分割区域。例如,在图5(b)的照明区域组的情况下,能够将表示分割区域组的中心位置的分割区域(在不存在表示中心位置的分割区域的情况下,将中央附近的分割区域中的随机确定的分割区域作为表示中心位置的分割区域。)设定为代表分割区域506。照明位置确定部10a在该情况下确定分割区域组的至少一个分割区域的位置作为照明位置。即使这样,由于能够判别后述照明的熄灭以及点亮(照明作为整体而熄灭以及点亮),因此有助于减轻处理的负担。
在利用照明位置确定部10a确定了照明位置之后,显示模式控制部10b在每一定期间获取第2摄影图像数据(与第1摄影数据相同的数据),基于获取的第2摄影图像数据和照明位置确定部10a获取的照明位置,进行判断摄影图像中的照明位置的亮度的显示模式控制处理。
显示模式控制部10b与上述照明位置确定处理相同,在每一定期间获取第2摄影图像数据。在此所述的一定期间可以与在照明位置确定处理中设定的预定期间相同,也可以另行设定。例如,在本实施方式中,显示模式控制部10b使摄影部30每10分钟摄影一次,获取第1摄影图像数据。此外,第1摄影图像数据的获取与上述照明位置确定处理相同地进行,因此省略说明。
另外,显示模式控制部10b与上述照明位置确定处理相同,以获取的第2摄影图像数据为基础,确定各分割区域的亮度(生成并存储分割区域亮度数据)。此外,分割区域的亮度确定与在上述照明位置确定处理中的亮度确定相同,因此省略说明。显示模式控制部10b以第2摄影图像为单位,按照时间顺序累积存储各分割区域的亮度预定次数以上,确定2个以上的第2摄影图像的各分割区域的亮度,每当确定第2个以后的各分割区域的亮度时,进行如图7所示的显示模式控制处理。
此外,下面在显示模式控制部10b所获取的第2摄影图像数据中,将最新的第2摄影图像数据称为现在图像数据,将由现在图像数据表现的第2摄影图像称为现在图像。另外,下面在显示模式控制部10b所获取的第2摄影图像数据中,将最新的第2摄影图像数据的一个之前获取的第2摄影图像数据称为过去图像数据,将由过去图像数据表现的第2摄影图像数据称为过去图像。另外,将位于照明位置的分割区域称为照明区域。
显示模式控制部10b参照与现在图像数据相关的分割区域亮度数据来确定位于由现在图像数据表现的现在图像的照明位置的照明区域的亮度(步骤S701)。显示模式控制部10b以照明位置数据的识别信息为基础,确定与该识别信息对应的亮度,由此进行位于照明位置的照明区域的亮度的确定。显示模式控制部10b存储(记录在一次存储装置12中)该亮度值,作为现在图像亮度信息(适当地包括识别信息和与各识别信息对应的亮度)。此外,在确定了多个照明区域的情况下,例如确定各照明区域的亮度的平均值作为照明区域的亮度。
显示模式控制部10b参照与过去图像数据相关的分割区域亮度数据来确定位于由过去图像数据表现的过去图像的照明位置的照明区域的亮度(步骤S702)。显示模式控制部10b以照明位置数据的识别信息为基础,确定与该识别信息对应的亮度,由此进行位于照明位置的照明区域的亮度的确定。显示模式控制部10b存储(记录在一次存储装置12中)该亮度值,作为过去图像亮度信息(适当地包括识别信息和与各识别信息对应的亮度)。此外,在确定了多个照明区域的情况下,确定例如各照明区域的亮度的平均值作为照明区域的亮度。
显示模式控制部10b比较现在图像的照明区域的亮度和过去图像的照明区域的亮度,确定照明区域的亮度变化(差、比)(步骤S703)。
显示模式控制部10b判断所确定的亮度变化大与否(步骤S704)。这由变化值是否在第3阈值以上(或者是否超过,下面相同)来判定。第3阈值由照明的变化(从点亮到熄灭或者从熄灭到点亮等的照明的状态变化)而产生的亮度的变化值来设定。此外,在此,在变化值是亮度差的情况下,将该差的绝对值设为变化值。
若变化值不到第3阈值(或者以下,下面相同),则显示模式控制部10b判断出所确定的亮度的变化较小(步骤S704;否)。若变化值不到第3阈值(或者以下,下面相同),则亮度大致未发生变化,或者变化较小,因此认为没有照明变化。当判断出显示模式控制部10b确定的亮度变化较小(步骤S704;否)时,认为没有照明的变化,因此无需变更显示模式,显示模式控制部10b结束本处理。
若变化值在第3阈值以上,则显示模式控制部10b判断出确定的亮度变化较大(步骤S704;是)。若变化值在第3阈值以上,则亮度大幅度地变化,因此认为存在照明的变化。当判断出显示模式控制部10b确定的亮度变化较大(步骤S704;是)时,认为存在照明的变化,需要变更显示模式,因此显示模式控制部10b判断亮度的变化是否是从点亮状态(亮状态)向熄灭状态(暗状态)变化(步骤S705)。步骤S705的判断可利用亮度的变化值来进行。
在变化值由亮度差(现在图像的照明区域的亮度-过去图像的照明区域的亮度)求出的情况下,当变化值表示负值时,现在图像的照明区域的亮度值小于过去图像的照明区域的亮度,因此该照明区域从“亮状态”变化到“暗状态”。即,在该照明区域中拍摄的照明有从点亮向熄灭变化的可能性。另一方面,当变化值表示正值时,现在图像的照明区域的亮度值大于过去图像的照明区域的亮度,因此该照明区域从“暗状态”变化到“亮状态”。即,在该照明区域中拍摄的照明有从熄灭向点亮变化的可能性。在变化值表示负值时,显示模式控制部10b判断出照明从点亮状态向熄灭状态变化(步骤S705;是),则进行点亮、熄灭处理(步骤S706)。另外,在变化值表示正值时,显示模式控制部10b判断出照明从熄灭状态向点亮状态变化(步骤S705;否),则进行熄灭、点亮处理(步骤S707)。
在变化值由亮度比(现在图像的照明区域的亮度÷过去图像的照明区域的亮度)求出的情况下,在变化值不到1的情况下,现在图像的照明区域的亮度值小于过去图像的照明区域的亮度,因此该照明区域从“亮状态”变化到“暗状态”。即,在该照明区域中拍摄的照明有从点亮向熄灭变化的可能性。另一方面,在变化值超过1的情况下,现在图像的照明区域的亮度值大于过去图像的照明区域的亮度,因此该照明区域从“暗状态”变化到“亮状态”。即,在该照明区域中拍摄的照明有从熄灭向点亮变化的可能性。在变化值不到1的情况下,显示模式控制部10b判断出照明从点亮状态向熄灭状态变化(步骤S705;是),于是进行点亮、熄灭处理(步骤S706),结束处理。另外,在变化值超过1的情况下,显示模式控制部10b判断出照明从熄灭状态向点亮状态变化(步骤S705;否),于是进行熄灭、点亮处理(步骤S707),结束处理。
在此,利用图8说明显示模式控制部10b所进行的点亮、熄灭处理。显示模式控制部10b比较上述确定的现在图像的各分割区域和亮度、和上述确定的过去图像的各分割区域和亮度,确定各分割区域的亮度变化(步骤S801)。显示模式控制部10b利用与过去图像数据相关的分割区域亮度数据和与现在图像数据相关的分割区域亮度数据,针对每个识别信息算出与相同识别信息对应的亮度的变化(差或者比),存储表示算出结果的数据(记录在一次存储装置12中)。
显示模式控制部10b判断是否存在在确定的各分割区域的亮度变化中,变化小的分割区域(步骤S802)。显示模式控制部10b判断是否存在亮度的变化值在第4阈值以下(或者不到,下面相同)的分割区域,由此判断是否存在变化小的分割区域。第4阈值采用小于由照明的点亮、熄灭而产生的亮度的变化值的值。若存在第4阈值以下的分割区域,则显示模式控制部10b判断为存在变化小的分割区域。
在不存在变化小的分割区域的情况下(步骤S802;否),可以判断出照明502从点亮状态变成熄灭状态。即,该情况下,可以预想到即使在摄影图像的照明位置以外的位置,也与照明位置同样地从“亮状态”变化成“暗状态”。该情况下,可以预测到由于照明从点亮状态变成熄灭状态,房间内的亮度会整体性地变暗,在该摄影图像中拍摄到的房间中没有人的可能性较高(参照图10(a))。显示模式控制部10b根据该判断结果,使显示部40的显示面(显示面板42)变暗,或者中断显示部40的电源供应,或者显示屏幕保护,从而进行使显示模式转移到省电模式的显示模式控制(步骤803)。此外,在显示模式已是省电模式的情况下,显示模式控制部10b维持省电模式。若在房间内没有人,则无需在显示部中进行数码照片的显示等。
另一方面,在存在变化小的分割区域的情况下(步骤S802;是),照明区域变暗,但是其它分割区域未变暗。即,此时只是在摄影部30之前有人、物等障碍物,照明未熄灭的可能性较高(参照图10(b))。该情况下,可能有人还在房间中,因此显示模式控制部10b不进行显示模式的控制而结束处理。
利用图9,说明显示模式控制部10b所进行的熄灭、点亮处理。在该处理中,照明点亮了,因此人进入房间的可能性较高。显示模式控制部10b将显示模式变更为通常的动作模式(顺序显示上述记录图像(数码照片)的模式)(步骤S901)。此外,在显示模式已是通常的动作模式的情况下,显示模式控制部10b维持通常的动作模式。
上面,本实施方式所涉及的显示模式控制装置1是控制显示部的显示模式的显示模式控制装置1,具备照明位置确定部10a和显示模式控制部10b。并且,照明位置确定部10a获取表示对显示部40的显示面的前方进行摄影而得到的第1摄影图像的第1摄影图像数据,利用获取的第1摄影图像数据,确定分割第1摄影图像而得到的各个分割区域的亮度,基于确定的每个分割区域的亮度,确定拍摄到第1摄影图像中的照明的候补的分割区域的位置作为照明位置。另外,显示模式控制部10b获取表示对显示部40的显示面的前方进行摄影而得到的第2摄影图像的第2摄影图像数据,利用获取的第2摄影图像数据和照明位置确定部10a确定的照明位置,确定第2摄影图像中的位于与照明位置对应的位置的分割区域的亮度作为照明的亮度,基于确定的照明的亮度,控制显示模式。若人在房间中,则照明点亮的可能性较高。显示模式控制装置1能够根据上述那样的照明的状态来控制显示模式,因此能够进行反映了用户行为的显示模式的控制。
另外,如上所述,照明位置确定部10a利用表示摄影时刻满足预定基准的第1摄影图像的第1摄影图像数据,来确定照明位置。由此,能够防止将外光射入的窗等误认为照明。
照明位置确定部10a多次获取第1摄影图像数据,针对获取的多个第1摄影图像数据的每一个,确定每个分割区域的亮度,利用确定的亮度,确定在各个第1摄影图像数据中亮度都满足第1基准的分割区域的位置作为照明位置,因此照明位置的确定精度更好。
照明位置确定部10a确定第1摄影图像数据各自的、亮度满足第1基准预定次数以上的分割区域作为照明位置,因此照明位置的确定精度更好。
照明位置确定部10a确定上述第1摄影图像数据各自的、上述亮度的变化满足第2基准的上述分割区域的位置作为照明位置,因此照明位置的确定精度更好。
显示模式控制部10b多次获取第2摄影图像数据,利用获取的多个第2摄影图像数据,多次确定照明的亮度,基于确定的多个照明的亮度,确定照明亮度的变化状态,基于确定的变化状态来控制显示模式,因此能够精度良好地把握照明的状态,并根据把握到的照明的状态控制显示模式。
显示模式控制部10b在变化状态是向变暗变化的状态、并且变化状态的变化度满足第3基准的情况下,将显示模式切换为省电模式,因此能够精度良好地把握照明的状态,并根据把握到的照明的状态控制显示模式。
显示模式控制部10b在变化状态是向变暗变化的状态的情况下,检测由多个第2摄影图像数据表现的第2摄影图像中的照明位置对应的分割区域以外的分割区域的亮度的变化,在分割区域的亮度的变化满足第4基准的情况下,不将显示模式切换为省电模式,因此即使有障碍物等,也能够精度良好地把握照明的状态,并根据把握到的照明的状态控制显示模式。
显示模式控制部10b在变化状态是向亮变化的状态、并且变化状态的变化度满足第5基准的情况下,将显示模式从省电模式切换为其它模式,因此能够基于把握到的照明状态来精度良好地控制显示模式。
另外,在本实施方式中,显示模式控制部10b确定由照明位置确定单元10a获取的照明位置,利用确定的照明位置,判断每一定期间获取的第2摄影图像数据所表示的第2摄影图像中的照明位置的状态。但是,本发明所涉及的显示模式控制装置1不限于此。即,显示模式控制部10b也可以在到照明位置确定部10a确定照明位置为止的期间中,将照明位置确定单元10a所获取的照明候补位置确定为临时的照明位置。并且,也可以利用该照明位置,来判断每一定期间时间获取的第2摄影图像数据所表示的第2摄影图像中的照明位置的状态。因此,照明位置是一个还包括临时的照明位置的概念。是否利用临时的照明位置来进行显示模式的控制,用户可以自由地选择、设定。另外,照明位置等也可以是用户等适当地设定的预定区域。该情况下,有时照明位置确定部10a是不需要的。即使在该情况下,也能够进行反映了用户行为的显示模式的控制。
(实施方式2)
下面,参照附图说明本发明的实施方式2。此外,在本实施方式2中,对于与实施方式1的结构相同的结构标注相同的附图标记,省略重复说明。图11是示出本实施方式所涉及的显示模式控制装置2的结构的框图。显示模式控制装置2除了实施方式1的显示模式控制装置1的结构以外,还在控制部10中具备检测显示部40的移动的移动检测部10c。另外,显示模式控制装置2具备传感器部80。并且,在本实施方式所涉及的显示模式控制装置2中,输入部50接受来自用户的照明位置的指定操作,据此进行照明位置确定部10a确定照明位置的处理。
传感器部80检测显示模式控制装置2的移动、转动、振动。传感器部80将与各个检测结果对应的传感器数据提供给控制部10。
图12是示出本实施方式所涉及的显示模式控制装置2的硬件结构的框图。显示模式控制装置2除了实施方式1的显示模式控制装置1的结构之外,还具备3轴加速度传感器81和振动检测传感器82。
图11的传感器部80由3轴加速度传感器81和振动检测传感器82构成。3轴加速度传感器81搭载在数码照片架(显示模式控制装置2)内。3轴加速度传感器81是用一个元件来测量XYZ的3个轴全部的加速度的传感器,当显示模式控制装置2移动或者转动时,检测其加速度。3轴加速度传感器81在检测到显示模式控制装置2的移动或者转动时,将加速度传感器数据提供给一次存储装置12。振动检测传感器82搭载在数码照片架(显示模式控制装置2)内。振动检测传感器82检测显示模式控制装置2的振动。振动检测传感器82在检测到显示模式控制装置2的振动时,将振动传感器数据提供给一次存储装置12。
另外,图11的移动检测部10c由CPU11和一次存储装置12构成。
对于以上那样构成的显示模式控制装置2,下面说明显示模式控制装置2所进行的控制处理。此外,在此说明移动检测部10c所进行的移动检测处理,而省略在实施方式1中说明的照明位置确定处理以及显示模式控制处理的说明。
利用图13说明移动检测部10c所进行的移动检测处理。移动检测部10c与照明位置确定部10a或者显示模式控制部10b所进行的处理并行,以预定间隔重复进行该处理。移动检测部10c以用户对输入部50的操作为契机而开始。例如,用户利用输入部50接通显示模式控制装置2的电源,从显示在显示部40中的显示控制模式的选择画面进行使自动显示控制模式动作的选择。由此,输入部50向控制部10提供与用户操作对应的操作输入数据,控制部10接收来自输入部50的操作输入数据。据此,移动检测部10c执行移动检测处理。
移动检测部10c获取现在图像数据以及过去图像数据(步骤S1301)。这些图像数据也可以是照明位置确定部10a或者显示模式控制部10b获取的第1摄影图像数据或者第2摄影图像数据,也可以是移动检测部10c自身每隔一定间隔获取的摄影图像数据。移动检测部10c在获取过去图像数据之后,待机到获取现在图像数据为止,在获取现在图像数据之后,前进到后述步骤的处理。
移动检测部10c以获取的现在图像数据以及过去图像数据为基础,确定现在图像以及过去图像中的各分割区域的亮度,利用确定的亮度,判断摄影图像之间有无变化(步骤S1302)。例如,通过在两图像之间检测预先设定的摄影图像中的四个角落位置的图像变化而进行。若四个角落的图像变化(例如,背景的移动度)满足预定条件,则可以判断为背景在移动。若四个角落的图像变化不满足预定条件,则可以判断为背景未移动。此外,四个角落的图像变化可以利用运动向量、差分绝对值和、或者差分平方和等公知的方法进行。
该判断的结果,在图像之间存在变化的情况下(步骤S1302:是),移动检测部10c利用显示模式控制装置2(包括显示部40)的移动,识别为照明位置确定部10a所获取的照明位置信息或者照明候补位置信息发生了变化,进行修正照明位置信息或者照明候补位置信息的处理(即,再次确定照明位置的处理)。此时,移动检测部10c保持了变化前不久的过去图像数据(下面,将该保持的过去图像数据称为保持数据,将由保持数据表现的图像称为保持图像)。
另外,在图像之间没有变化的情况下(步骤S1302;否),移动检测部10c识别为照明位置确定部10a所获取的照明位置信息或者照明候补位置信息未发生变化,结束本处理。
移动检测部10c以现在图像数据以及保持数据为基础,确定照明候补位置(步骤S1303)。即,移动检测部10c确定识别为照明位置或者照明候补位置变化了的前后照明候补位置。照明候补位置的确定由在实施方式1中所说明的处理相同的处理来进行,此处省略说明。
之后,移动检测部10c判断现在图像以及保持图像中的照明候补区域组的数量是否为多个(步骤S1304)。在此,照明候补区域组是相邻的照明候补区域的集合,移动检测部10c利用该照明候补区域组来进行该判断。此外,照明候补区域组可以由上述确定的照明候补位置来确定。具体地,例如移动检测部10c根据照明候补数据所含有的识别信息(作为能够确定照明候补位置的位置的信息)来确定照明候补区域组。移动检测部10c通过生成并存储确定照明候补区域组图像内的位置、大小、形状等的照明候补区域组数据(记录在一次存储装置12中),确定照明候补区域组。
例如,图14示出了以保持图像中的照明候补位置为基础而确定的两个照明候补区域组1401a以及1401b。另外,图15示出了根据以现在图像中的照明候补位置为基础而确定的两个照明候补区域组1501a以及1501b。该情况下,现在图像以及保持图像中的分割区域组的数量均是多个(两个),因此移动检测部10c判断为现在图像以及保持图像中的照明候补区域组的数量是多个。
移动检测部10c的判断结果,在判断为现在图像以及保持图像中的照明候补区域组的数量不是多个的情况下(步骤S1304;否),不进行后述的处理,因此移动检测部10c结束处理,照明位置确定部10a利用在实施方式1中说明了的照明位置确定处理,进行照明候补位置、照明位置的再次确定。
另一方面,移动检测部10c进行判断的结果,在判断为现在图像以及保持图像中的照明候补区域组的数量是多个的情况下(步骤S1304;是),移动检测部10c利用确定的现在图像以及保持图像中的照明候补区域组的位置关系,进行摄影图像之间的照明候补区域组的匹配处理(例如,后述的模式匹配(pattern matching)处理),判断是否能进行照明位置的修正,以由此确定的移动内容为基础,判断是否能进行照明位置的修正(步骤S1305)。在不能的情况下(步骤S1305;否),不能进行照明位置的修正,因此移动检测部10c结束处理,照明位置确定部10a通过在实施方式1中说明的照明位置确定处理,进行照明候补位置、照明位置的再确定。在可能的情况下(步骤S1305;是),可以进行照明位置的修正,因此移动检测部10c进行照明位置的修正(步骤S1306)。
说明这些处理的具体例,例如移动检测部10c首先将保持图像中的照明候补区域的分割区域设为“1”,将除此之外的分割区域设为“0”,将分割区域作为一个像素生成表示第1图像的第1图像数据。其能够利用上述确定的照明候补位置来生成。同样,移动检测部10c将现在图像中的照明候补区域的分割区域设为“1”,将除此之外的分割区域设为“0”,将分割区域作为一个像素生成表示第2图像的第2图像数据。
移动检测部10c存储生成的第1以及第2图像数据(记录在一次存储装置12中)。并且,移动检测部10c进行如下处理(模式匹配):利用存储的第1以及第2图像数据,使如图18所示的第1图像1801在第2图像1802上每次一个像素地上下左右错开(参照图18的箭头),在两图像中确定“1”像素最多重叠的两图像的相对位置。此外,在确定的相对位置是多个的情况下,随机地确定一个相对位置。该相对位置能够通过检测第1图像和第2图像向哪个方向错开多大的量来把握。例如,能够通过两图像的任意角的像素错开几个像素的量等来把握。此外,在图18中,为了容易理解,仅记入与照明候补区域的分割区域对应的像素“1”,对于其它像素(0像素)未记入任何数值。另外,各图像的大小、分割区域的数量等也变更成了图14的图像等。
移动检测部10c在确定“1”像素最多地重叠的两图像的相对位置之后,判断该相对位置的两图像的“1”像素是否有预定基准以上(例如,9成以上)的数量的像素重叠,在重叠有预定基准以上的数量的像素的情况下,判断为可以进行照明位置的修正,生成确定相对位置的数据(例如,“1”像素最多地重叠的情况下的第1图像和第2图像在哪个方向错开多大的量的像素的量的数据),将其作为移动内容数据来存储(记录在一次存储装置12中)。由此,移动检测部10c确定照明位置的移动内容(相对位置)。一个像素是一个分割区域,因此移动内容确定移动方向和移动了几个分割区域的量(例如,向左一像素,向下四像素)。
另外,在上述关于“1”像素未重叠预定基准以上的数量的像素的情况下,移动检测部10c利用存储的第1图像数据,以任意角(例如,观察者的左下角)的像素为中心使第1图像向左或者右转动90度。这通常是由于显示模式控制装置2从纵置向横置转动等、以90度为单位转动而导致的。并且,与上述相同,首先进行如下处理:使第1图像在第2图像上每次一个像素地上下左右错开,在两图像中确定“1”像素最多地重叠的两图像的相对位置。该相对位置能够通过检测第2图像的转动方向、转动角以及转动中心的像素(下面称为转动中心像素。)和转动后的第2像素的转动中心像素以及与第1像素的转动中心像素对应的像素是向哪个方向错开多大的量来把握。
移动检测部10c在确定“1”像素最多地重叠的两图像的相对位置之后,判断该相对位置的两图像的“1”像素是否有预定基准以上(例如,9成以上)的数量的像素重叠,在重叠有预定基准以上的数量的像素的情况下,判断为可以进行照明位置的修正,生成确定相对位置的数据(例如,确定关于“1”的像素重叠有预定基准以上(例如,9成以上)的数量的像素的情况下的、第2图像的转动方向、转动角以及转动中心像素和转动后的第2像素的转动中心像素以及与第1像素的上述转动中心像素对应的像素向哪个方向错开多大的量的数据),将其作为移动内容数据来存储(记录在一次存储装置12)。由此,移动检测部10c确定照明位置的移动内容(相对位置)。一个像素是一个分割区域,因此移动内容确定转动方向、转动角、转动中心的分割区域、转动后的移动方向以及移动了几个分割区域的量(例如,以左下角的像素为中心,向右转动90度,向左边移动一像素,向下边移动四像素)。
另外,在上述“1”像素没有重叠预定基准以上的数量的像素的情况下,移动检测部10c利用存储的第1图像数据,以转动中心像素为中心使第1图像向上述转动方向转动180度,进行与上述相同的处理。移动检测部10c在处理中,在“1”像素没有重叠预定基准以上的数量的像素的情况下,进一步地利用存储的第1图像数据,以转动中心像素为中心,使第1图像向上述转动方向转动270度,进行与上述相同的处理。
在移动检测部10c所进行的最后的处理中,在“1”像素没有重叠预定基准以上的数量的像素的情况下,移动检测部10c设置无法进行照明位置的修正(步骤S1305;否),移动检测部10c结束处理,照明位置确定部10a通过在实施方式1中说明了的照明位置确定处理来进行照明候补位置、照明位置的再确定。
在移动检测部10c如上所述,利用照明候补区域(或者照明候补区域组)的位置关系来确定移动内容的情况下,移动检测部10c利用移动内容数据来对存储的或者记录在存储部20中的照明位置数据进行修正,由此修正照明位置,将确定修正后的照明位置的照明位置数据作为新的照明位置进行存储或者记录在存储部20中。之后,基于该新的照明位置来进行显示模式的控制。
例如,在移动内容确定移动方向和移动了几个分割区域的量的情况下,移动检测部10c使照明位置数据所确定的各照明位置按照该内容移动(例如,向左边移动一个分割区域,向下边移动四个分割区域),将与移动了的照明位置对应的分割区域的识别信息作为照明位置数据。另外,在移动内容确定转动方向、转动角、转动中心的分割区域、转动后的移动方向以及移动了几个分割区域的量的情况下,移动检测部10c使照明位置数据所确定的各照明位置按照该内容转动以及移动(例如,以左下角的像素为中心,向右转动90度,向左边移动一个分割区域,向下边移动四个分割区域),将与移动了的照明位置对应的分割区域的识别信息作为照明位置数据。
例如,在图14的图像和图15的图像(移动后的图像)中,照明候补区域组1501a以及1501b相对于照明候补区域组1401a和1401b向左错开三个分割区域的量。因此,显示模式控制装置1的照明位置也向左错开三份分割区域的量。另外,例如,在图14的图像和图16的图像(移动后的图像)中,照明候补区域组1601a以及1601b相对于照明候补区域组1401a和1401b以左下的分割区域为中心使图16的图像向左方向转动90度并且向右错开一个分割区域、向下错开两个分割区域的量。因此,显示模式控制装置1的照明位置也以图像中左下的分割区域为中心向左方向转动90度并且向右错开一个分割区域、向下错开两个分割区域的量。
这样,移动检测部10c对照明位置进行修正。由此,移动检测部10c所进行的移动检测处理结束。此外,移动检测部10c除了以摄影图像数据为基础检测显示部40的移动之外,在显示模式控制装置2中具备的传感器80检测到显示模式控制装置2(包括显示部40)的移动、转动、振动的情况下,当接收到所提供的各种传感器数据时,也可以基于传感器数据所表示的移动内容,利用与上述相同的方法对照明位置进行修正。即,移动检测部10c在接收到各种传感器数据时,检测显示部40的移动。并且,移动检测部10c根据传感器数据,利用公知的方法确定移动内容,根据确定的移动内容使照明位置移动。
下面,利用图17,说明根据来自用户的照明位置的确定操作,照明位置确定部10a确定照明位置的处理。例如,用户利用输入部50接通显示模式控制装置1的电源,从显示在显示部40中的显示控制模式的选择画面进行使照明位置确定模式动作的选择。由此,输入部50对控制部10提供与用户的操作对应的操作输入数据,控制部10接收来自输入部50的操作输入数据。据此,照明位置确定部10a执行照明位置确定处理。
照明位置确定部10a使摄影部30对显示部40的显示面的前方进行摄影,获取表示摄影图像的摄影图像数据(步骤S1701)。照明位置确定部10a将按照预定的每个分割区域将由所获取的摄影图像数据所表示的摄影图像分割而成的分割图像(例如,用如图5(b)所示那样的分隔线对分割区域进行分隔而成的图像)显示在显示部40中(步骤S1702)。
此时,照明位置确定部10a最好在实施上述处理时进行使图像左右翻转的处理。即,摄影部30从与观看显示部40的方向相反的方向进行摄影,因此在将摄影部30所摄影的显示部40前方的摄影图像显示在显示部40的显示面中的情况下,用户难以比较实际的显示部40前方的位置关系与显示在显示部40的显示面中的显示部40的前方的位置关系。因此,照明位置确定部10a进行使显示部40前方的摄影图像左右翻转的处理,由此在将摄影部30摄影的显示部40前方的摄影图像显示在显示部40的显示面的情况下,能够如同映射在镜子中那样进行显示。由此,在将摄影部30摄影的显示部40前方的摄影图像(即,分割图像)显示在显示部40的显示面中的情况下,用户比较实际的显示部40前方的位置关系与显示在显示部40的显示面中的显示部40前方的位置关系就变得容易。
该状态下,输入部50接受用户的操作。即,用户能够利用输入部50,从显示在显示部40中的分割图像确认照明,指定拍摄到该照明的分割区域。输入部50将表示所指定的分割区域的识别信息提供给照明位置确定部10a。照明位置确定部10a接收从输入部50提供的识别信息,确定由接收的识别信息确定的分割区域的位置作为照明位置。此外,利用触摸面板构成图11的显示部40和输入部50,由此用户能够利用触摸面板指定照明位置分割区域。
照明位置确定部10a,到有照明位置分割区域的指定结束的操作为止,接受用户的操作(步骤S1703;否)。并且,随着检测到用户利用输入部50进行了照明位置分割区域的指定结束的操作(步骤S1703;是),照明位置确定部10a对获取的照明位置进行存储(步骤S1704)。
上面,根据本实施方式所涉及的显示模块控制装置2,还具备检测显示部40的移动的移动检测部10c,照明位置确定部10a在移动检测部10c检测到移动的情况下,重新确定照明位置。据此,在显示部40已移动、转动或者振动等的情况下,照明位置确定部10a能够适当地重新设定照明位置,能够继续自动显示控制模式。
另外,根据本实施方式所涉及的显示模块控制装置2,根据来自用户的照明位置确定操作,进行照明位置确定部10a确定照明位置的处理。即,显示模块控制装置2具备显示模式控制单元,上述显示模式控制单元获取表示对显示部40的显示面的前方进行摄影而得到的摄影图像的摄影图像数据,利用获取的摄影图像数据和在预先设定的图像内确定照明位置的照明位置,确定摄影图像中的与照明位置对应的位置的亮度作为照明的亮度,根据确定的照明的亮度控制上述显示模式,照明位置根据来自用户的照明位置的指定操作而预先设定。由此,能够仅确定用户想作为显示模式控制的对象的照明位置,能够进行更为符合用户意图的显示模式控制。
此外,实施方式1和2的显示模式控制程序22也可以记录在可搬运的存储介质等中。可搬运的记录介质包括例如CD-ROM(Compact Disk Read OnlyMemory)或者DVD-ROM(Digital Versatile Disk Read Only Memory)等。另外,显示模式控制程序22也可以从可搬运的存储介质通过各种读取装置安装在显示模式控制装置1或者2中。并且,显示模式控制程序22也可以从因特网等网络通过未图示的通信部下载以及安装到显示模式控制装置1或者2中。另外,显示模式控制程序22也可以保存在能与显示模式控制装置1或者2进行通信的服务器等的存储装置中,从而进行对CPU11的指示。存储了显示模式控制程序22的可读取存储介质(例如,RAM、ROM(Read Only Memory:只读存储器)、CD-R、DVD-R、硬盘或者闪速存储器)成为计算机可读取的程序产品。

Claims (8)

1.一种控制显示部的显示模式的显示模式控制装置,其特征在于:
具备:
照明位置确定单元,其多次获取表示对上述显示部的显示面的前方进行摄影而得到的第1摄影图像的第1摄影图像数据,对于获取的多个上述第1摄影图像数据中的每一个第1摄影图像数据,确定分割上述第1摄影图像而得到的各个分割区域的亮度,利用所确定的上述亮度,确定在各个上述第1摄影图像数据中上述亮度都比用于确定照明的第1阈值明亮的上述分割区域的位置作为照明位置;和
显示模式控制单元,其多次获取表示对上述显示部的显示面的前方进行摄影而得到的第2摄影图像的第2摄影图像数据,利用获取的多个上述第2摄影图像数据和上述照明位置确定单元所确定的上述照明位置,多次确定上述第2摄影图像中的、位于与上述照明位置对应的位置的上述分割区域的亮度作为照明的亮度,基于所确定的多个上述照明的亮度,确定上述照明的亮度的变化状态,基于所确定的上述变化状态来控制上述显示模式。
2.根据权利要求1所述的显示模式控制装置,其特征在于:
上述照明位置确定单元利用表示摄影时刻满足预定基准的上述第1摄影图像的上述第1摄影图像数据。
3.根据权利要求1所述的显示模式控制装置,其特征在于:
上述照明位置确定单元确定关于各个上述第1摄影图像数据的、上述亮度为预定次数以上的上述分割区域作为上述照明位置。
4.根据权利要求1所述的显示模式控制装置,其特征在于:
上述照明位置确定单元确定关于各个上述第1摄影图像数据的、上述亮度的差在第2阈值以上的上述分割区域的位置作为上述照明位置。
5.根据权利要求1所述的显示模式控制装置,其特征在于:
上述显示模式控制单元,在上述变化状态是向变暗变化的状态、并且上述变化状态的变化度在由照明的变化引起的亮度的变化值即第3阈值以上情况下,将上述显示模式切换成省电模式。
6.根据权利要求1所述的显示模式控制装置,其特征在于:
上述显示模式控制单元,在上述变化状态是向变暗变化的状态的情况下,检测与通过多个上述第2摄影图像数据表现的上述第2摄影图像中的上述照明位置对应的上述分割区域以外的分割区域的亮度的变化,在上述分割区域的亮度的变化比第4阈值小的分割区域存在的情况下,不将上述显示模式切换成省电模式。
7.根据权利要求1所述的显示模式控制装置,其特征在于:
还具备检测上述显示部的移动的移动检测单元,
上述照明位置确定单元,在上述移动检测单元检测到移动的情况下,重新确定上述照明位置。
8.根据权利要求1所述的显示模式控制装置,其特征在于:
还具备接受用户操作的操作部,
上述照明位置确定单元根据用户对上述操作部的操作确定上述照明位置。
CN2010105460291A 2009-09-29 2010-09-28 显示模式控制装置以及显示模式控制方法 Expired - Fee Related CN102034421B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-225633 2009-09-29
JP2009225633A JP5012872B2 (ja) 2009-09-29 2009-09-29 表示モード制御装置及び表示モード制御プログラム

Publications (2)

Publication Number Publication Date
CN102034421A CN102034421A (zh) 2011-04-27
CN102034421B true CN102034421B (zh) 2013-12-25

Family

ID=43779793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105460291A Expired - Fee Related CN102034421B (zh) 2009-09-29 2010-09-28 显示模式控制装置以及显示模式控制方法

Country Status (4)

Country Link
US (1) US20110074752A1 (zh)
JP (1) JP5012872B2 (zh)
CN (1) CN102034421B (zh)
TW (1) TWI438766B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10126803B1 (en) 2011-04-04 2018-11-13 Google Llc Conditional power management activities
US8671299B2 (en) 2011-05-26 2014-03-11 Google Inc. Delaying the initiation of transitioning to a lower power mode by placing a computer system into an intermediate power mode between a normal power mode and the lower power mode
US8483772B2 (en) * 2011-07-07 2013-07-09 Microsoft Corporation Inconspicuous mode for mobile devices
CN103377637B (zh) * 2012-04-25 2017-07-21 赛恩倍吉科技顾问(深圳)有限公司 显示器亮度控制系统及方法
JP6442910B2 (ja) * 2014-08-07 2018-12-26 株式会社デンソー 表示装置
US11464098B2 (en) * 2017-01-31 2022-10-04 Sony Corporation Control device, control method and illumination system
JP6834842B2 (ja) * 2017-08-10 2021-02-24 オムロン株式会社 設定支援装置、画像処理システムおよび設定支援プログラム
WO2019076667A1 (en) * 2017-10-16 2019-04-25 Signify Holding B.V. METHOD AND CONTROL DEVICE FOR CONTROLLING A PLURALITY OF LIGHTING DEVICES
CN108596035A (zh) * 2018-03-26 2018-09-28 维沃移动通信有限公司 一种人脸识别方法和终端设备
US11335278B2 (en) * 2019-01-03 2022-05-17 Guangdong Xiaye Household Electrical Appliances Co., Ltd. Self-adaptive adjustment method based on ambient light distribution field
JP7057300B2 (ja) * 2019-02-22 2022-04-19 ファナック株式会社 制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109434A (ja) * 1999-10-04 2001-04-20 Fuji Photo Film Co Ltd 光量評価機能付き表示装置および光供給制御方法
JP2005346012A (ja) * 2004-06-07 2005-12-15 Fuji Photo Film Co Ltd 表示装置、表示方法、及びプログラム
JP2006180179A (ja) * 2004-12-22 2006-07-06 Toshiba Corp テレビジョンセット
CN1921551A (zh) * 2006-09-18 2007-02-28 乐金电子(南京)等离子有限公司 电视机自动待机装置
CN101452335A (zh) * 2007-12-06 2009-06-10 鸿富锦精密工业(深圳)有限公司 电脑省电控制系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980038005U (ko) * 1996-12-18 1998-09-15 김광호 최대해상도제어기능을 갖는 디스플레이장치
JP5224804B2 (ja) * 2007-12-27 2013-07-03 三星電子株式会社 撮像装置
US8830158B2 (en) * 2008-04-29 2014-09-09 Samsung Display Co., Ltd. Method of local dimming a light source, light source apparatus for performing the method, and display apparatus having the light source apparatus
CN201336128Y (zh) * 2008-07-18 2009-10-28 鸿富锦精密工业(深圳)有限公司 可智能控制的电子相框
CN201421709Y (zh) * 2009-04-16 2010-03-10 鸿富锦精密工业(深圳)有限公司 智能控制显示亮度的电子相框
CN201540714U (zh) * 2009-04-28 2010-08-04 鸿富锦精密工业(深圳)有限公司 智能控制显示亮度的电子相框

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109434A (ja) * 1999-10-04 2001-04-20 Fuji Photo Film Co Ltd 光量評価機能付き表示装置および光供給制御方法
JP2005346012A (ja) * 2004-06-07 2005-12-15 Fuji Photo Film Co Ltd 表示装置、表示方法、及びプログラム
JP2006180179A (ja) * 2004-12-22 2006-07-06 Toshiba Corp テレビジョンセット
CN1921551A (zh) * 2006-09-18 2007-02-28 乐金电子(南京)等离子有限公司 电视机自动待机装置
CN101452335A (zh) * 2007-12-06 2009-06-10 鸿富锦精密工业(深圳)有限公司 电脑省电控制系统及方法

Also Published As

Publication number Publication date
JP2011075733A (ja) 2011-04-14
CN102034421A (zh) 2011-04-27
JP5012872B2 (ja) 2012-08-29
TW201120869A (en) 2011-06-16
US20110074752A1 (en) 2011-03-31
TWI438766B (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
CN102034421B (zh) 显示模式控制装置以及显示模式控制方法
US10854062B2 (en) Fire monitoring system
US10366509B2 (en) Setting different background model sensitivities by user defined regions and background filters
CN102214066B (zh) 图像处理装置
CN1929602B (zh) 用于自动跟踪摄像机图像的虚拟遮罩
US10681287B2 (en) Apparatus and method for displaying AR object
CN104488019B (zh) 图像显示装置以及方法
CN103856716A (zh) 用于显示图像的显示装置及其方法
CN103299238B (zh) 成像装置及其发光量控制方法
US20010055414A1 (en) System and method for digitally editing a composite image, e.g. a card with the face of a user inserted therein and for surveillance purposes
CN105850061B (zh) 通信方法
CN107040772A (zh) 双照相机应用中动态帧率的图像帧同步
CN103037185A (zh) 显示装置、及显示控制方法
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
CN105761672A (zh) 一种驱动电压调整方法、装置以及终端
US20100194683A1 (en) Multiple screen display device and method
CN106257923A (zh) 图像显示系统以及图像显示方法
CN106060473A (zh) 大数据处理方法及大数据处理装置
WO2019045091A1 (ja) 情報処理装置、計数システム、計数方法およびプログラム記憶媒体
JP5060264B2 (ja) 人物検出装置
US8600971B2 (en) Information processing apparatus, storage medium, information processing method and information processing system for examining an object on an imaged image
CN106101622A (zh) 一种大数据存储系统
CN107211088A (zh) 相机装置、摄像系统、控制方法及程序
CN102736786A (zh) 光标显示装置及其显示方法
CN103262530A (zh) 视频监视装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131225

Termination date: 20210928

CF01 Termination of patent right due to non-payment of annual fee