CN114554104A - 成像设备、控制成像设备的方法及非暂时性记录介质 - Google Patents

Abstract

提供了成像设备、控制成像设备的方法及非暂时性记录介质。成像设备包括成像元件、成像驱动器、控制器和存储器。成像驱动器配置成以第一帧率和第一快门速度驱动成像元件。控制器配置成在由成像元件拍摄到的图像中检测闪烁。存储器配置成响应于检测到的闪烁而存储关于闪烁的闪烁特性以及与闪烁特性对应的成像元件的第一帧率和第一快门速度的数据。

Description

成像设备、控制成像设备的方法及非暂时性记录介质

相关申请的交叉引用

本申请要求于2020年11月26日提交的韩国专利申请第10-2020-0161168号的优先权和权益，该韩国专利申请出于所有目的通过引用并入本文中，如同在本文中全面阐述一样。

技术领域

一个或多个实施方式总体上涉及成像设备和控制成像设备的方法。

背景技术

当成像设备在使用交流(AC)电源的照明下拍摄对象时，在拍摄到的图像中可出现亮度噪声。图像中出现的亮度的周期性变化被称为闪烁。当成像设备拍摄定位有像素的显示装置的面板时，由于成像设备拍摄图像的时段与显示装置显示图像的时段之间的偏移，可出现闪烁。在显示装置的情况下，为了减轻闪烁，已提出了用于调整光源的交流频率或改变显示图像的时段的技术，但是对于现有光源和/或显示装置而言，难以改变交流频率或显示图像的时段。

在本部分中公开的以上信息仅用于理解本发明概念的背景，并且因此，其可包含不形成现有技术的信息。

发明内容

一个或多个实施方式提供了成像设备，该成像设备能够减少可在拍摄到的图像中出现的闪烁，并且通过这种方式能够改善拍摄到的图像的品质。

一个或多个实施方式提供控制成像设备的方法，该控制成像设备的方法能够减少可在拍摄到的图像中出现的闪烁，并且通过这种方式能够改善拍摄到的图像的品质。

附加的方面将在下面的详细描述中阐述，并且部分地将通过本公开而显而易见，或者可通过实践本发明概念而习得。

根据实施方式，成像设备包括成像元件、成像驱动器、控制器和存储器。成像驱动器配置成以第一帧率和第一快门速度驱动成像元件。控制器配置成在由成像元件拍摄到的图像中检测闪烁。存储器配置成响应于检测到的闪烁而存储关于闪烁的闪烁特性以及与闪烁特性对应的成像单元的第一帧率和第一快门速度的数据。

根据实施方式，成像设备包括成像单元和存储器。成像单元包括快门单元和多个像素。成像元件配置成将通过开启和关闭快门单元而接收的光转换成电信号。控制器配置成检测在由成像元件拍摄到的图像中是否存在闪烁以及闪烁特性、以及以与闪烁特性对应的第一帧率和第一快门速度驱动成像元件。

根据实施方式，控制成像设备的方法包括：通过成像元件以第一帧率和第一快门速度执行成像；通过控制器在拍摄到的图像中检测闪烁；响应于检测到的闪烁，将闪烁的闪烁特性以及与闪烁特性对应的第一帧率和第一快门速度存储在存储器中；以及响应于在拍摄到的图像中检测到的闪烁，通过控制器将第一快门速度改变为第二快门速度。第二快门速度不同于第一快门速度。

根据实施方式，成像设备包括成像单元、至少一个处理器和至少一个存储器。成像单元配置成拍摄图像。至少一个存储器包括一个或多个指令的一个或多个序列，该一个或多个指令的一个或多个序列响应于由至少一个处理器运行的运行操作而引起成像设备至少：通过成像单元以第一帧率和第一快门速度拍摄图像；在图像中检测闪烁；响应于检测到的闪烁，将闪烁的闪烁特性以及与闪烁特性对应的第一帧率和第一快门速度存储在至少一个存储器中；以及响应于在图像中检测到的闪烁，将第一快门速度改变为第二快门速度。第二快门速度不同于第一快门速度。

根据各种实施方式，可减少出现在由成像设备拍摄的图像中的闪烁。

根据各种实施方式，可改善成像设备的品质。

根据各种实施方式，减少了减少闪烁所花费的时间。

根据各种实施方式，可在不改变成像设备的设置的情况下自动减少闪烁。

前面的一般描述和下面的详细描述为示意性和解释性的，并且旨在提供对所要求保护的主题的进一步解释。

附图说明

附图被包括以提供对本发明概念的进一步理解，并且被并入并构成本说明书的一部分，附图示出了本发明概念的实施方式并且与描述一同用于解释发明概念的原理。

图1示意性地示出根据实施方式的成像设备的配置。

图2示意性地示出根据实施方式的成像元件和成像元件驱动器。

图3示出根据实施方式的成像设备的操作的流程图。

图4示出根据实施方式的通过图3的方法学习的成像设备的操作的流程图。

具体实施方式

在下面的描述中，为了解释的目的，阐述了许多具体细节以提供对各种实施方式的透彻理解。如本文中所使用的，措辞“实施方式”和“实现方式”可互换地使用，并且是采用本文中公开的发明概念中的一个或多个的非限制性实例。然而，显而易见的是，各种实施方式可在没有这些具体细节的情况下或者在一个或多个等同布置的情况下实践。在其它实例中，公知的结构和装置以框图形式示出，以避免不必要地混淆各种实施方式。另外，各种实施方式可为不同的，但是不必是排他的。例如，在不背离本发明概念的情况下，实施方式的特定形状、配置和特性可使用或实现在另一实施方式中。

除非另有说明，否则所示出的实施方式应被理解为提供一些实施方式的变化细节的示例性特征。因此，除非另有说明，否则各种图示的特征、部件、模块、层、膜、面板、区、方面等(在下文中被单独称为或被统称为“元件(element)”或“多个元件(elements)”)可在不背离本发明概念的情况下以其它方式组合、分离、互换和/或重新布置。

在附图中，出于清楚和/或描述的目的，元件的尺寸和相对尺寸可被夸大。由此，各个元件的尺寸和相对尺寸不必限于图中所示的尺寸和相对尺寸。当实施方式可不同地实现时，可与所描述的顺序不同地执行具体工艺顺序。例如，两个连续描述的工艺可基本上同时执行或者以与描述的顺序相反的顺序执行。此外，相似的附图标记表示相似的元件。

当元件(诸如，层)被称为在另一元件“上”、“连接到”或“联接到”另一元件时，该元件可直接在另一元件上、直接连接到或直接联接到另一元件，或者可存在有中间元件。然而，当元件被称为“直接”在另一元件“上”、“直接连接到”或“直接联接到”另一元件时，则不存在中间元件。用于描述元件之间的关系的其它措辞和/或短语(例如，“在......之间”与“直接在......之间”、“相邻”与“直接相邻”、“在......上”与“直接在......上”等)应以相似的方式来解释。此外，措辞“连接”可是指物理连接、电气连接和/或流体连接。为了这种公开的目的，“X、Y和Z中的至少一个”和“选自由X、Y和Z构成的集群中的至少一个”可被解释为仅X、仅Y、仅Z、或X、Y和Z中的两个或更多个的任何组合，诸如，以XYZ、XYY、YZ和ZZ为例。如本文中所使用的，措辞“和/或”包括相关联所列项目中的一个或多个的任何和所有组合。

虽然措辞“第一”、“第二”等可在本文中用于描述各种元件，但是这些元件不应受这些措辞的限制。这些措辞用于将一个元件与另一个元件区分开。因此，在不背离本公开的教导的情况下，下面讨论的第一元件可被称为第二元件。

空间相对措辞诸如“下面(beneath)”、“下方(below)”、“下(lower)”、“上方(above)”、“上(upper)”、“上面(over)”、“更高(higher)”和“侧(side)”(例如，如在“侧壁(sidewall)”中)等可在本文中出于描述性目的使用，并且因此，用以描述如图中所示的一个元件与另一个元件的关系。除了图中描绘的取向以外，空间相对措辞还旨在涵盖设备在使用、操作和/或制造中的不同取向。例如，如果图中的设备被翻转，则被描述为在其它元件或特征“下方”或“下面”的元件将随后被取向为在其它元件或特征“上方”。因此，措辞“下方”能涵盖上方和下方的取向这两者。此外，设备可其它方式取向(例如，旋转90度或在其它取向处)，并且由此，本文中所使用的空间相对描述词被相应地解释。

本文中所使用的术语是出于描述一些实施方式的目的，而不旨在限制。除非上下文另有清楚指示，否则如本文所使用的单数形式“一(a)”、“一(an)”和“该(the)”也旨在包括复数形式。此外，措辞“包括(comprise)”、“包括(comprising)”、“包括(include)”和/或“包括(including)”，当在本说明书中使用时，指明所陈述的特征、整数、步骤、操作、元件、部件和/或其集群的存在，但是不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或其集群的存在或添加。也要注意，如本文中所使用的，措辞“基本上(substantially)”、“约(about)”以及相似措辞被用作近似的措辞而不是程度的措辞，并且由此，被利用以考虑本领域普通技术人员将认识到的测量值、计算值和/或提供值的固有偏差。

除非另有限定，否则本文中所使用的所有措辞(包括技术和科学措辞)具有与本公开所属技术领域的普通技术人员通常理解的含义相同的含义。除非在本文中明确地这样定义，否则措辞，诸如常用词典中定义的那些，应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不以理想化或过于正式的含义来解释。

如本领域中的惯例，一些实施方式，在功能块、单元和/或模块方面，在附图中被示出并且描述。本领域技术人员将领会的，这些块、单元和/或模块通过电子(或光学)电路(诸如可使用基于半导体的制造技术或其它制造技术形成的逻辑电路、分立部件、微处理器、硬连线电路、存储器元件和布线连接等)物理地实现。在由微处理器或其它相似硬件实现的块、单元和/或模块的情况下，可使用软件(例如，微代码)对它们编程和控制，以执行本文中所讨论的各种功能，并且可选择性由固件和/或软件来驱动它们。也预期到的是，每个块、单元和/或模块可由专用硬件实现，或者实现为执行一些功能的专用硬件与执行其它功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。而且，在不背离本发明概念的情况下，一些实施方式的每个块、单元和/或模块可在物理上分离成两个或更多个交互且分立的块、单元和/或模块。此外，在不背离本发明概念的情况下，一些实施方式的块、单元和/或模块可物理地组合成更复杂的块、单元和/或模块。

在下文中，将参照附图对各种实施方式详细解释。

图1示出了根据实施方式的成像设备10的配置。

成像设备10将光转换为电。成像设备10可实现为各种形式，诸如相机、移动电话、智能电话、平板个人计算机(PC)、膝上型计算机、摄像机和/或类似物，并且可为具有能够拍摄运动图像的成像功能的另一设备。

成像设备10可包括成像单元100、信号处理器200、操控装置300、存储器400、显示单元500和控制器600。

配置成将入射光转换为电信号的成像单元100可包括镜头单元101、快门单元103、成像元件105、镜头驱动器111、快门驱动器113和成像元件驱动器115。例如，成像单元100可包括成像元件和成像驱动器。成像元件可包括镜头单元101、快门单元103和成像元件105，并且成像驱动器可包括镜头驱动器111、快门驱动器113和成像元件驱动器115。

成像单元100可由从控制器600接收的控制信号控制。控制信号可包括用于驱动镜头单元101的第一控制信号S1、用于驱动快门单元103的第二控制信号S2和用于驱动成像元件105的第三控制信号S3中的至少一个。

镜头单元101用于将从对象接收到的光会聚到成像元件105上。镜头单元101可包括多个镜头。

镜头驱动器111可通过第一控制信号S1来调整镜头单元101的位置或其它配置。镜头单元101的位置可由镜头驱动器111沿光轴方向改变。

快门单元103用于通过控制穿过镜头单元101并且进入成像元件105的光来调整引入到成像元件105中的光量。例如，当图像拍摄环境明亮且光量充足时，快门单元103的开启时间可为短的，但是当图像拍摄环境较暗且光量不足时，快门单元103的开启时间可为长的。

快门单元103可为通过移动光圈来控制光的入射的机械快门和/或通过向成像元件105供给电信号来控制曝光的电子快门。快门单元103可(或根据)以全局快门方法或滚动快门方法操作，通过全局快门方法，电荷累积时序以表面为单位来调整，通过滚动快门方法，电荷累积时序以线为单位来调整。这将参照图2更详细地描述。

快门驱动器113可通过第二控制信号S2来调整快门单元103的开启/关闭时间。快门单元103的快门速度可由快门驱动器113调整。快门速度是指快门单元103开启的时间长度，并且可与成像元件105的曝光时间成比例。

例如，当成像设备10拍摄由显示装置(例如，显示单元500)显示的视频时，成像设备10可在快门单元103开启期间从定位在显示装置的面板中(或作为其一部分)的像素接收光。当显示装置的驱动频率的倒数(驱动周期)小于成像设备10的快门速度时，显示装置可在成像设备10的快门单元103开启期间被关闭。在这种情况下，在由成像设备10拍摄的视频中包括的一些图像的亮度可为暗的。相应地，在由成像设备10获取的视频中也可出现闪烁现象。另外，依据显示装置的驱动方法，屏幕的一些部分可被关闭。甚至在这种情况下，由于在由成像设备10拍摄的视频中包括的一些图像的亮度可为暗的，所以在由成像设备10获取的图像中可出现闪烁现象。然而，认识到的是，当将成像设备10的快门速度(例如，曝光时间)设置为显示装置的驱动周期时，曝光量变得恒定，而与曝光时序无关，以使得在视频中可不出现闪烁现象。

成像元件105用于光的光电转换，该光通过镜头单元101和快门单元103被引入并且被转换成电信号。成像元件105可仅在由快门单元103调整的曝光时间期间接收光，并且通过光电转换所生成的电荷可累积在成像元件105中的多个像素中的每个中。

成像元件105可为例如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器和/或类似物。

如稍后所描述的，成像元件105包括像素部1051、垂直扫描电路部1053、列电路部1055、水平扫描电路部1057以及信号线SL0至SLn和DL0至DLm。

成像元件驱动器115可通过第三控制信号S3控制成像元件105。成像元件105可通过在控制器600的控制下操作的成像元件驱动器115来执行成像操作，诸如曝光、信号读取和复位。

成像元件105可将通过入射光的光电转换所生成的电信号输出到信号处理器200。

从成像元件105输出的信号的帧率可由从成像元件驱动器115供给的控制信号来确定。成像元件驱动器115可为每帧设置不同的帧率。

信号处理器200可对由成像元件105光电转换的模拟电信号执行降噪处理、波形整形、模数转换处理和/或类似处理。由信号处理器200处理的数字信号可输入到控制器600，并且可存储在存储器400中。

在一些实施方式中，信号处理器200可读取存储在存储器400中的图像信号，可将图像信号转换为适合输出的模拟信号，并且可通过显示单元500显示图像。

操控装置300用于接收来自用户的控制信号。操控装置300可实现为用户能够输入控制信号的任何形式，诸如按钮、键盘、触摸板、触摸屏、遥控器和类似物中的一个或多个。

操控装置300可包括用于输入控制信号以控制电源的导通/关断的电源按钮、用于输入快门释放信号(该快门释放信号用于通过将成像元件105暴露于光长达预定时间来拍照)的快门释放按钮、用于输入控制信号以加宽或缩小视角的变焦按钮、用于调整其它成像设置(诸如曝光、快门速度、光圈和国际标准组织(ISO)感光度)的按钮和/或类似物。

当通过操控装置300从用户输入控制信号时，控制器600可生成与从用户输入的控制信号对应的控制信号并且将其传输到相应的部件。

例如，当通过快门释放按钮输入快门释放信号时，控制器600可允许成像元件驱动器115向成像元件105输入一帧的成像信号。此后，成像元件105可将针对一帧的光光电转换为电信号，并且可将光电转换的针对一帧的电信号传输到信号处理器200。

存储器400用于存储各种信息，而各种信息用于操作成像设备10和/或由成像设备10存储。

存储器400可为诸如具有可移除卡形状或棒形状的闪存的半导体存储器、或者诸如光盘、硬盘驱动器(HDD)或磁带的记录介质。换言之，存储器400可实现为任何合适的形式，包括但不限于非易失性介质、易失性介质和传输介质。另外，在成像设备10具有通信功能的情况下，存储器400可为通过网络连接的任意服务器装置的存储器400。

存储器400可存储通过信号处理器200输出的数字信号。

存储器400可存储闪烁特性和与闪烁特性对应的条件的数据。闪烁特性可为关于如下中的至少一个的数据：例如，由一帧图像中的闪烁引起的条纹的数量、条纹之间的距离和条纹的强度。关于与闪烁特性对应的条件的数据可为例如关于成像设备10的帧率和/或快门速度的数据。

例如，当成像设备10以特定帧率和特定快门速度拍摄显示在显示装置上的视频时，存储器400可存储关于从拍摄到的图像检测到的闪烁特性的数据以及关于在该时间处的帧率和快门速度的数据。

显示单元500用于显示与从控制器600发送的图像数据对应的图像。显示单元500可包括显示装置，诸如液晶显示器、有机发光二极管显示器等。

控制器600用于控制(诸如综合地控制)成像设备10。控制器600可为例如具有中央处理单元(CPU)、只读存储器(ROM)400和随机存取存储器(RAM)400的微控制器，但是实施方式不限于此。

控制器600可依据通过操控装置300输入的输入信号来运行各种处理，诸如模式改变处理、成像处理以及成像条件的设置中的至少一种。

控制器600可生成用于控制镜头单元101、快门单元103和成像元件105的操作的控制信号并且将它们供给到镜头驱动器111、快门驱动器113和成像元件驱动器115。例如，控制器600可控制成像元件驱动器115生成用于驱动成像元件105的各种控制信号并且将它们供给到成像元件105。控制器600也可控制快门驱动器113，以改变快门单元103的快门速度。

控制器600可检测存储在存储器400中的图像中是否存在闪烁。

控制器600可在屏幕的水平方向上对由信号处理器200获取的视频信号积分，可获取针对每个线的视频信号的积分值，并且可通过计算(或确定)相邻线的积分值之间的差值来检测闪烁。在这种情况下，仅闪烁分量可保留在差值中，并且因此，控制器600可检测到在从成像元件105生成的图像中存在有闪烁。

例如，当执行成像的显示装置为监视器时，监视器的四个角可为用于搜索显示装置的位置的特征点。控制器600可基于搜索到的特征点来检测显示装置，并且可从其分离出显示装置的屏幕。参照图2，控制器600可计算视频信号的积分值，该视频信号通过由定位在信号线SL0上的像素执行的光电转换来生成。另外，控制器600可计算定位在与信号线SL0相邻的信号线SL1上的像素的视频信号的积分值。此后，控制器600可计算信号线SL0的积分值与信号线SL1的积分值之间的差值。当存在差值时，控制器600可确定图像中存在闪烁。

该方法不仅检测了闪烁，而且将视频中的条纹识别并且检测为闪烁。为了改善这一点，控制器600可生成多个相邻图像之间的差异图像，以对生成的差异图像的视频信号执行该方法。

控制器600也可生成来自由信号处理器200获取的多个图像的相邻图像之间的差异图像，并且可通过如下方式来检测闪烁：以检测在与每个扫描方向垂直的方向上的像素值变化的方法来执行组合。在这种情况下，多个图像可为以相同的帧率和相同的快门速度成像并且被处理为静止视频的屏幕。例如，控制器600可计算差异图像中的在垂直方向上的亮度值的平均值和标准偏差，以检测多个图像中是否存在闪烁。

例如，控制器600可通过以相同的帧率和相同的快门速度拍摄显示装置来获取多个图像。在获取多个图像之中的图像A和与其相邻的图像B之后，控制器600可以像素为单位执行两个图像的相减(A-B)或以像素为单位执行两个图像的相除(A/B)。相应地，可存在于多个图像中的闪烁分量可突出地出现。控制器600可在两个图像的各自的像素之间的差异(A-B)为大的或者通过使两个图像的各自的像素相除而获得的结果值(A/B)为大的像素的位置处检测闪烁。

另外，控制器600可通过任意方法检测闪烁。

通过使用预先学习的深度学习/机器学习模型，从存储在存储器400中的数据，控制器600可推断闪烁减少的帧率和快门速度。例如，深度学习/机器学习模型可为预先学习为通过使用多个闪烁特性以及与多个闪烁特性对应的帧率和快门速度来确定闪烁减少的帧率和快门速度的模型。另外，深度学习/机器学习模型可将存储在存储器400中的多个图像分类为具有条纹的数量为0的闪烁特性的图像和具有条纹为浅的闪烁特性的图像等，以基于此来推断无闪烁的帧率和无闪烁的快门速度。

此后，控制器600可控制成像元件驱动器115和快门驱动器113，从而以所确定的帧率和快门速度来驱动成像元件105和快门单元103。

在即使当以所确定的帧率和快门速度来执行成像时仍然检测到闪烁的情况下，控制器600可将与检测到的新的闪烁特性以及与新的闪烁特性对应的当前帧率和当前快门速度有关的信息存储在存储器400中。另外，存储在存储器400中的数据可输入回深度学习/机器学习模型并且用于学习附加信息和/或改善已学习的信息，并且经学习的深度学习/机器学习模型可确定闪烁减少的新的帧率和快门速度。

图2示出了根据实施方式的成像元件105和成像元件驱动器115。

成像元件驱动器115在控制器600的控制下通过第三控制信号S3来控制成像元件105。成像元件105由从成像元件驱动器115接收的第三控制信号S3驱动。

如以上所描述的，成像元件105包括像素部1051、垂直扫描电路部1053、列电路部1055、水平扫描电路部1057以及信号线SL0至SLn和DL0至DLm。

像素部1051可具有以二维矩阵形式排列的多个像素。每个像素可将光转换为电信号。

垂直扫描电路部1053可从成像元件驱动器115接收第三控制信号S3，并且可将驱动脉冲供给到每个像素。由垂直扫描电路部1053供给到像素的驱动脉冲的频率被称为垂直同步频率。

垂直扫描电路部1053可将驱动脉冲顺序地供给到与各自的信号线连接的多个像素。

作为垂直扫描电路部1053，可使用诸如移位寄存器或地址解码器的逻辑电路。在一些实施方式中，垂直同步频率可与成像元件105的帧率相同。

信号线SL0至SLn可针对像素部1051中的像素的每行定位。另外，信号线DL0至DLm可针对像素部1051中的像素的每列定位。在通过信号线SL0至SLn接收来自垂直扫描电路部1053的驱动脉冲期间，电荷可累积在与各自的信号线连接的像素中。此后，由像素转换的电信号可通过信号线DL0至DLm输出到列电路部1055。

列电路部1055可通过信号线DL0至DLm接收从像素部1051输出的电信号。列电路部1055可对输入的电信号执行诸如噪声去除和信号放大的处理。

水平扫描电路部1057可向列电路部1055供给驱动信号，而驱动信号用于向信号处理器200顺序地输出由列电路部1055处理的信号。响应于从水平扫描电路部1057接收到的驱动信号，列电路部1055可将经处理的信号输出到信号处理器200。

如以上所描述的，成像元件105可为CCD图像传感器或CMOS图像传感器，并且图像传感器可以全局快门方法或滚动快门方法来操作。

垂直扫描电路部1053可依据快门方法向各自的像素供给不同的驱动脉冲。

可存在显示装置的驱动频率为100Hz并且成像设备10的垂直同步频率为60Hz的情况。当垂直同步频率为60Hz时，一个垂直同步信号可每1/60秒输入到信号线SL0至SLn中的一个。

在这种情况下，当快门速度为1/100秒时，信号线SL0至SLn中的每个处的曝光量变得恒定(或基本上恒定)，而与曝光时序无关，并且因此将不会出现闪烁。另外，即使当快门速度为1/50秒或3/100秒时，也将不会出现闪烁。

由此，当快门速度为显示装置的驱动周期的整数倍时，假设的是，显示装置的驱动频率和成像设备10的快门速度是同步的。当显示装置的驱动频率和成像设备10的快门速度同步时，可不出现闪烁。例如，由于照射到显示装置中每个像素的光量是相同的，因此在相同曝光时间期间亮度的积分值在每一帧中可为相同的。

然而，在具有1/60秒的快门速度的传统快门的情况下，显示装置的驱动频率和成像设备10的快门速度不同步，并且因此，即使当信号线SL0至SLn中的每个具有相同的曝光时间时，亮度的积分值也可为不同的。因此，可出现闪烁。

作为另一实例，可存在显示装置的驱动频率为120Hz并且成像设备10的垂直同步频率为100Hz的情况。

在这种情况下，当快门速度为1/120秒或1/60秒时，信号线SL0至SLn中的每个处的曝光量可为恒定的，而与曝光时序无关。通过这种方式，由于快门速度为显示装置的驱动周期的整数倍，因此可不出现闪烁。

然而，在具有1/100秒的快门速度的传统快门或快门速度不是显示装置的驱动周期的整数倍的情况下，亮度的积分值对于信号线SL0至SLn中的每个可为不同的，并且因此可出现闪烁。

作为另一实例，可存在显示装置的驱动频率为120Hz并且成像设备10的垂直同步频率为60Hz的情况。

在这种情况下，在具有1/60秒的快门速度的传统快门的情况下，曝光量变得恒定，而与曝光时序无关，并且因此，可不出现闪烁。当然，即使当快门速度为1/120秒时，也将不出现闪烁。例如，对于信号线SL0至SLn中的每个，显示装置的亮度的积分值在曝光时间范围内可为相同的。

然而，即使在这种情况下，当显示装置的驱动频率和成像设备10的快门速度不同步时，也可出现闪烁。

相应地，当成像设备10的曝光时间和/或快门速度为显示装置的驱动频率的倒数的整数倍时，显示装置的亮度的积分值在成像设备10的一帧内为相同的，以使得成像设备10的图像中可不出现闪烁。

然而，成像设备10的曝光时间和/或快门速度应等于或短于成像设备10的垂直周期。相应地，当期望增加快门速度时，可存在需要降低垂直同步频率的情况。

另外，随着成像设备10的帧率增加，条纹的数量变得相对少。例如，当显示装置的驱动频率为100Hz并且成像设备10的帧率为20Hz时，包括在一个图像中的闪烁条纹的数量可为5个。

图3示出根据实施方式的成像设备10的操作的流程图。

首先，当通过操控装置300输入用于控制电源的开/关的控制信号时，成像设备10被导通并且可开始处理(S301)。

响应于通过操控装置300输入的用于拍摄图像的快门释放信号，成像元件105和快门单元103以第一帧率和第一快门速度执行成像(S303)。拍摄到的图像可与第一帧率和第一快门速度一起存储在存储器400中。在这种情况下，第一快门速度可与作为第一帧率的倒数的第一帧周期相同，或者可小于第一帧周期。

在以第一帧率和第一快门速度拍摄图像后，在拍摄到的图像中检测闪烁(S305)。通过生成多个相邻图像之间的差异图像并且在屏幕的水平方向上对生成的差异图像积分以获得针对每个信号线的积分值，控制器600可检测闪烁。另外，通过生成多个相邻图像之间的多个差异图像并且检测多个差异图像中的每个的在与扫描方向垂直的方向上的像素值变化，控制器600可检测闪烁。在这种情况下，控制器600可检测存在于图像中的闪烁特性。

确定是否通过闪烁的检测(S305)检测到闪烁(S307)。响应于检测到的闪烁，成像设备10执行步骤S309。

控制器600将检测到的闪烁特性、第一帧率和第一快门速度存储在存储器400中(S309)。

闪烁特性可为或包括与由一帧中的闪烁引起的条纹的数量、条纹之间的距离和条纹的强度中的至少一个有关的信息。

在这种情况下，当前的第一快门速度可与显示装置的驱动频率不同步。例如，第一快门速度可不为显示装置的驱动周期的整数倍。

控制器600将第一快门速度改变为第二快门速度(S311)。在本文中，第二快门速度可与第一快门速度不同。

控制器600控制成像元件105从而以第一帧率和改变的第二快门速度执行成像(S313)。

此后，控制器600确定改变的第二快门速度是否大于第一帧周期(S315)。

响应于改变的第二快门速度小于第一帧周期，控制器600再次返回到步骤S309，并且将在步骤S313中拍摄到的图像中的闪烁特性、第一帧率和第二快门速度存储在存储器400中(S309)。

响应于改变的第二快门速度大于第一帧周期，执行步骤S305。

控制器600在步骤S313中拍摄到的图像中检测闪烁(S305)。

控制器600确定是否通过闪烁的检测(S305)检测到闪烁(S307)。响应于检测到的闪烁，成像设备10执行步骤S317。

控制器600将第一帧率改变为第二帧率(S317)。在一些实施方式中，第一帧率的改变(S317)在成像设备10执行初次成像时不执行，而是可仅在步骤S315中确定在步骤S311中改变的快门速度大于第一帧周期之后执行。

在本文中，第二帧率可不同于第一帧率。在这种情况下，第二帧率可大于第一帧率。作为第二帧率的倒数的第二帧周期可与改变的第二快门速度相同，或者可大于第二快门速度。

控制器600将在步骤S313中拍摄到的图像中的闪烁特性、第二帧率和第二快门速度存储在存储器中(S309)。

此后，控制器600再次将第二快门速度改变为第三快门速度(S311)。

控制器600控制成像元件105从而以改变的第二帧率和改变的第三快门速度执行成像(S313)。

控制器600确定改变的第三快门速度是否大于第二帧周期(S315)，并且执行步骤S305或S309。

步骤S305至步骤S317可被重复并且持续地执行，直到在拍摄到的图像中没有检测到闪烁。

响应于通过闪烁的检测(S305)没有检测到闪烁，成像设备10执行步骤S319。

控制器600将检测到的闪烁特性、当前帧率和当前快门速度存储在存储器400中(S319)。由于没有检测到闪烁，因此当前帧率可为无闪烁帧率，并且当前快门速度可为无闪烁快门速度。

在这种情况下，由于一帧中的闪烁而出现的条纹的数量可为0。另外，无闪烁快门速度可与显示装置的驱动频率同步。例如，无闪烁快门速度可为显示装置的驱动周期的整数倍。因此，一帧内每个信号线中的亮度的积分值可为相同的。

控制器600可通过重复步骤S305至S317将闪烁特性、当前帧率和当前快门速度存储在存储器400中。另外，控制器600可通过将存储在存储器400中的信息代入到深度学习/机器学习模型中来学习这些信息。在本文中，通过使用在步骤S309和步骤S319中存储在存储器400中的闪烁特性以及与闪烁特性对应的帧率和快门速度，该学习可允许闪烁减少的帧率和快门速度被确定。由此，深度学习/机器学习模型可在闪烁特性以及与闪烁特性对应的帧率和快门速度被输入时导出闪烁减少的帧率和快门速度。随着更多数据用于学习，可改善导出用于减少闪烁的适当帧率和快门速度的能力。控制器600可使用预先学习的深度学习/机器学习模型来导出最佳帧率和快门速度。

此后，成像设备10再次执行成像(S321)。

然后，处理可结束(S323)。

图4示出根据实施方式的通过图3的方法学习的成像设备的操作的流程图。

首先，响应于通过操控装置300输入的用于控制电源的开/关的控制信号，成像设备10被导通并且可开始处理(S401)。

响应于通过操控装置300输入的用于拍摄图像的快门释放信号，成像元件105和快门单元103以第一帧率和第一快门速度执行成像(S403)。

在以第一帧率和第一快门速度拍摄图像后，在拍摄到的图像中检测闪烁(S405)。

确定是否通过闪烁的检测(S405)检测到闪烁(S407)。响应于检测到的闪烁，成像设备10执行步骤S409。

控制器600确定最佳帧率和最佳快门速度(S409)。

在这种情况下，响应于关于闪烁特性和当前情况(例如，从成像元件105输入到控制器600的与第一帧率和第一快门速度相关的信息)的数据，控制器600可使用存储在成像设备10的存储器400中的数据来确定最佳帧率和最佳快门速度。

附加地或替代性地，控制器600可使用深度学习/机器学习模型来确定最佳帧率和最佳快门速度，深度学习/机器学习模型学习为通过使用存储在存储器400中的闪烁特性以及与闪烁特性对应的帧率和快门速度来确定闪烁减少的帧率和快门速度。

控制器600可将成像设备10的帧率和快门速度改变为确定的最佳帧率和最佳快门速度(S411)。

响应于通过闪烁的检测(S405)没有检测到闪烁，成像设备10执行步骤S413。

成像设备10再次执行成像(S413)。

然后，处理可结束(S415)。

各种实施方式可实现为能够通过计算机上的各种部件运行的计算机程序的形式，并且这种计算机程序可记录在计算机可读介质(例如，非暂时性计算机可读介质)中。在这种情况下，介质可包括配置成存储和运行程序指令的硬件装置，硬件装置包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光记录介质、诸如软盘的磁光介质以及ROM、RAM、闪存等。

虽然已在本文中描述了某些示例性实施方式和实现方式，但是其它实施方式和变型将通过本描述而显而易见。相应地，本发明概念不限于这些实施方式，而是限于随附的权利要求书的较宽的范围以及如对于本领域普通技术人员显而易见的各种明显的变型和等同布置。

Claims (20)

1.一种成像设备，包括：

成像元件；

成像驱动器，所述成像驱动器配置成以第一帧率和第一快门速度驱动所述成像元件；

控制器，所述控制器配置成在由所述成像元件拍摄到的图像中检测闪烁；以及

存储器，所述存储器配置成：响应于检测到的所述闪烁，存储关于所述闪烁的闪烁特性以及与所述闪烁特性对应的所述成像元件的所述第一帧率和所述第一快门速度的数据。

2.如权利要求1所述的成像设备，其中，响应于检测到的所述闪烁，所述控制器配置成：通过所述成像驱动器来控制所述成像元件，从而以第二快门速度执行成像，所述第二快门速度与所述第一快门速度不同。

3.如权利要求2所述的成像设备，其中，响应于大于所述第一帧率的倒数的所述第二快门速度，所述控制器配置成：通过所述成像驱动器来控制所述成像元件，从而以第二帧率执行成像，所述第二帧率与所述第一帧率不同。

4.如权利要求3所述的成像设备，其中，所述第二帧率大于所述第一帧率。

5.如权利要求4所述的成像设备，其中，所述控制器还配置成：使用预先学习的深度学习/机器学习模型来确定所述第二快门速度；并且

所述深度学习/机器学习模型为学习利用所述闪烁特性以及所述成像元件的所述第一帧率和所述第一快门速度来确定所述闪烁减少的所述第二快门速度的模型。

6.如权利要求5所述的成像设备，其中，所述闪烁特性与由一帧图像中的闪烁引起的条纹的数量、所述条纹之间的距离和所述条纹的强度中的至少一个有关。

7.一种成像设备，包括：

成像元件，所述成像元件包括快门单元和多个像素，所述成像元件配置成将通过开启和关闭所述快门单元而接收的光转换成电信号，以及

控制器，所述控制器配置成：

检测在由所述成像元件拍摄到的图像中是否存在闪烁以及闪烁特性；以及

以与所述闪烁特性对应的第一帧率和第一快门速度驱动所述成像元件。

8.如权利要求7所述的成像设备，其中，响应于存在于所述图像中的所述闪烁，所述控制器配置成以与所述第一快门速度不同的第二快门速度驱动所述成像元件。

9.如权利要求8所述的成像设备，其中，响应于大于所述第一帧率的倒数的所述第二快门速度，所述控制器配置成以与所述第一帧率不同的第二帧率驱动所述成像元件。

10.如权利要求9所述的成像设备，其中，所述第二帧率大于所述第一帧率。

11.如权利要求10所述的成像设备，其中，所述控制器还配置成：

将在所述图像中检测到的所述闪烁特性以及与所述闪烁特性对应的所述第一帧率和所述第一快门速度输入到预先学习的深度学习/机器学习模型；

确定图像中不存在闪烁的无闪烁帧率和无闪烁快门速度；

从所述深度学习/机器学习模型接收所述无闪烁帧率和所述无闪烁快门速度；以及

以所述无闪烁帧率和所述无闪烁快门速度来驱动所述成像元件。

12.如权利要求11所述的成像设备，还包括：

存储器，所述存储器配置成存储关于所述闪烁特性、所述第一帧率和所述第一快门速度的数据，

其中，所述深度学习/机器学习模型使用存储在所述存储器中的关于所述闪烁特性、所述第一帧率和所述第一快门速度的数据来预先学习。

13.如权利要求12所述的成像设备，其中，所述闪烁特性与由一帧图像中的闪烁引起的条纹的数量、所述条纹之间的距离和所述条纹的强度中的至少一个有关。

14.一种控制成像设备的方法，所述方法包括：

通过成像元件以第一帧率和第一快门速度执行成像；

通过控制器在拍摄到的图像中检测闪烁；

响应于检测到的所述闪烁，将所述闪烁的闪烁特性以及与所述闪烁特性对应的所述第一帧率和所述第一快门速度存储在存储器中；以及

响应于在拍摄到的所述图像中检测到的所述闪烁，通过所述控制器将所述第一快门速度改变为第二快门速度，

其中，所述第二快门速度不同于所述第一快门速度。

15.如权利要求14所述的方法，还包括：

响应于大于所述第一帧率的倒数的所述第二快门速度，通过所述控制器将所述第一帧率改变为与所述第一帧率不同的第二帧率。

16.如权利要求15所述的方法，其中，所述第二帧率大于所述第一帧率。

17.如权利要求15所述的方法，其中，将所述第一快门速度改变为所述第二快门速度包括：

通过所述控制器，使用预先学习的深度学习/机器学习模型来确定所述第二快门速度；以及

所述深度学习/机器学习模型使用存储在所述存储器中的关于所述闪烁特性、所述第一帧率和所述第一快门速度的数据来预先学习。

18.如权利要求17所述的方法，其中，所述闪烁特性与由一帧图像中的闪烁引起的条纹的数量、所述条纹之间的距离和所述条纹的强度中的至少一个有关。

19.一种非暂时性记录介质，包括：

程序，所述程序配置成响应于由至少一个处理器运行的运行操作来执行如权利要求14至18中的任一项所述的方法。

20.一种成像设备，包括：

成像单元，所述成像单元配置成拍摄图像；

至少一个处理器；以及

至少一个存储器，所述至少一个存储器包括一个或多个指令的一个或多个序列，所述一个或多个指令的所述一个或多个序列响应于由所述至少一个处理器运行的运行操作而引起所述成像设备至少：

通过所述成像单元以第一帧率和第一快门速度拍摄图像；

在所述图像中检测闪烁；

响应于检测到的所述闪烁，将所述闪烁的闪烁特性以及与所述闪烁特性对应的所述成像单元的第一帧率和第一快门速度存储在所述至少一个存储器中；以及

响应于在所述图像中检测到的所述闪烁，将所述第一快门速度改变为第二快门速度，

其中，所述第二快门速度不同于所述第一快门速度。

Images