CN107395952B - 网络相机系统中的方法和设备 - Google Patents

网络相机系统中的方法和设备 Download PDF

Info

Publication number
CN107395952B
CN107395952B CN201710329625.6A CN201710329625A CN107395952B CN 107395952 B CN107395952 B CN 107395952B CN 201710329625 A CN201710329625 A CN 201710329625A CN 107395952 B CN107395952 B CN 107395952B
Authority
CN
China
Prior art keywords
image data
camera
coded image
scene
camera parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710329625.6A
Other languages
English (en)
Other versions
CN107395952A (zh
Inventor
米卡埃尔·兰博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN107395952A publication Critical patent/CN107395952A/zh
Application granted granted Critical
Publication of CN107395952B publication Critical patent/CN107395952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了相机网络系统中的方法和设备。提供了一种由网络相机系统中的设备所执行的方法。通过网络接收(S02，S04)表示相同场景的第一编码图像数据和第二编码图像数据。在相同光照条件下采集第一编码图像数据和第二编码图像数据，虽然使用不同的相机参数。具体地，使用模拟了在较暗的光照条件下采集第二编码图像数据的相机参数来采集第二编码图像数据。确定(S06)第一编码图像数据的每单位时间接收到的数据量与第二编码图像数据的每单位时间接收到的数据量的比率，并且随后使用(S08)比率作为第一编码图像数据中的噪声水平的指示。

Description

网络相机系统中的方法和设备
技术领域
本发明涉及网络相机系统的领域。具体地，其涉及一种提供被编码的图像数据中的噪声水平的指示的方法、设备、和系统。
背景技术
网络相机系统可以包括在网络中连接的多个相机。网络中的相机可以捕获通过网络传送至服务器的图像流，即图像数据帧的序列。服务器可以例如从相机请求图像流，接收图像流，并且存储图像流。相机在将图像流传送至服务器之前通常对他们进行编码、并且有时甚至对他们进行加密。因此，服务器无法访问由相机捕获的原始图像数据，而是仅能访问其被编码的版本。
对于各种应用，有兴趣测量图像数据中噪声的水平。例如，图像数据中噪声的水平可以用于定义图像是白天还是夜晚，因为在黑暗光照条件下图像数据中的噪声水平通常增大。
已知的信噪比(SNR)可以用作图像中的噪声水平的指标。然而，为了计算作为与背景噪声水平相关的期望信号水平的度量的SNR，图像数据必须随即可得到。SNR因此无法不先对在网络相机系统的服务器处接收到的被编码的图像数据进行解码而直接地应用于图像数据。因此存在改进的需要。
发明内容
考虑到以上原因，本发明的目的因此在于减轻现有技术的以上缺点，并提供允许直接根据被编码的图像流来确定图像数据中的噪声水平的指示的方法、设备、和系统。
根据本发明的第一方面，由网络相机系统中的设备执行的方法来实现以上目的，包括：
通过网络接收表示场景的第一编码图像数据，所述第一编码图像数据由相机使用第一相机参数在第一光照条件下采集，
通过网络接收表示相同场景的第二编码图像数据，所述第二编码图像数据由相机使用第二相机参数在第一光照条件下采集，第二相机参数与第一相机参数的不同之处在于，第二相机参数被修改以提高由相机采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集到的第二编码图像数据，
确定第一编码图像数据的每单位时间接收到的数据量与第二编码图像数据的每单位时间接收到的数据量的比率，并且
使用该比率作为第一编码图像数据中的噪声水平的指示。
利用该方法，因此通过网络接收表示相同场景的第一编码图像数据和第二编码图像数据。虽然使用不同的相机参数，但第一编码图像数据和第二编码图像数据是在相同光照条件下采集到的。具体地，使用模拟在较暗光照条件下采集第二编码图像数据的相机参数来采集第二编码图像数据。换言之，第二编码图像数据是在第一光照条件下采集到的，但是由于第二相机参数的选择，第二编码图像数据将具有由相机在第二较暗光照条件下采集到的图像的噪声水平。
为了模拟较暗的光照条件，选择第二相机参数以使与由相机使用第一相机参数采集到的图像数据中的噪声水平相比，由相机使用第二相机参数采集到的图像数据中的噪声水平增大。就此，值得注意的是，采集到的图像中的噪声水平并未随着相机参数的改变而线性地增大。不久之后，噪声将开始饱和，这表示尽管相机参数向着噪声水平进一步增大的效果改变，但噪声水平将不会进一步增大。利用这种布置，因此获知第二编码图像数据与高噪声水平相对应，或者甚至与由较暗光照条件下的噪声水平所限定的饱和噪声水平相对应。
本发明的构思在于使用第二编码图像数据作为高噪声水平或甚至饱和噪声水平(即，可以在较暗光照条件下获得的噪声水平)的基准。因此，通过比较第一编码图像数据与第二编码图像数据(如以下进一步描述的)，可以实现在第一编码图像数据中的噪声水平的指示。
还实现了以下方面：在对图像数据进行编码时，图像数据中的噪声水平极大影响被编码的图像数据的大小，并且因此影响用于通过网络传送被编码的图像数据所需的比特率。图像数据中的噪声水平可以近似地与被编码的图像数据的大小成正比。这是由于编码效率受图像数据中的噪声水平影响的事实。该方法因此提出按照每单位时间接收到的数据量来测量被编码的图像数据中的噪声水平。具体地，第一编码图像数据的每单位时间接收到的数据量与第二编码图像数据的每单位时间接收到的数据量的比率用作第一编码图像数据中的噪声水平的指示。比率越高，则第一编码图像数据中的噪声水平越高。比率将通常是零与一之间的数字。
结果，为了获取第一编码图像数据中的噪声水平的指示，无需对第一编码图像数据和第二编码图像数据进行解码。
还应当注意，所提出的方法等同地适用于对第一编码图像数据和第二编码图像数据进行加密的情形。无需对接收到的第一编码且加密的图像数据和第二编码且加密的图像数据进行解密或解码，即可应用本方法以便于获取第一编码且加密的图像数据中的噪声水平的指示。
被编码的图像数据通常表示被编码的图像流。
场景相同包括场景中的条件(“场景条件”)相同。这包括例如场景中的运动水平类似，场景中的光照类似，没有场景的部分在一种情况下是模糊的但是在其他情况下却不模糊，等等。例如，如果场景是道路，则在采集第一编码图像数据和第二编码图像数据时流量应当相同。场景相同进一步包括当采集第一编码图像数据和第二编码图像数据时以相同的方式定向相机。
光照条件通常表示如由相机所见的场景中的光照水平。
第一编码图像数据中的噪声水平通常表示进行编码之前的图像数据中的噪声水平。
每单位时间接收到的数据量可以例如按照每单位时间的比特数来测量。
可以以不同方式确定比率。例如，可以通过比较用于经由网络分别传送第一编码图像数据和第二编码图像数据所需的带宽来确定比率。更具体地，可以形成用于通过网络传送第一编码图像数据所需的带宽与通过网络传送第二编码图像数据所需的带宽之间的比率。有利的是带宽测量是迅速可以获得的。可以因此测量并比较用于传送第一编码图像数据和用于传送第二编码图像数据的带宽，以便于确定每单位时间接收到的数据量的比率。
还可以通过比较分别将第一编码图像数据和第二编码图像数据写入存储空间的速率来确定比率。更具体地，可以形成将第一编码图像数据写入存储空间的速率与将第二编码图像数据写入存储空间的速率之间的比率。有利的是，对贮存器进行写入的速率是迅速可以获得的。因此可以测量并比较将第一编码图像数据写入贮存器所需的速率以及将第二编码图像数据写入贮存器所需的速率，以便于确定每单位时间接收到的数据量的比率。
使用比率作为第一编码图像数据中的噪声水平的指示的步骤可以进一步包括：检查比率是否大于预定义阈值，并且如果是，则确定需要采取动作以便于降低使用第一相机参数在第一光照条件下采集到的表示场景的之后图像数据中的噪声水平。
如以上进一步解释的，比率指示第一编码图像数据中的噪声水平－比率越大，噪声水平越高。如果比率大于预定义阈值(其通常是零与一之间的数字)，因此发现噪声水平较高，即，处于与第二编码图像数据类似水平。如果遇到此类情形，则可以确定需要采取动作以便于降低之后图像数据中的噪声水平。以这种方式，人们可以因此检测第一编码图像数据中的较高噪声水平并采取合适的动作以降低之后图像数据中的噪声水平。
第一编码图像数据中的较高噪声水平可以由不同因素引起。例如，高噪声水平可以由场景中没有足够光照的事实引起。更详细地，如果第一编码图像数据中的噪声水平与第二编码图像数据(模拟了较暗的光照条件)中的噪声水平可比较，人们可以得出这样的结论：第一光照条件接近所模拟的较暗的光照条件。为了处理这种情形，确定需要采取动作的步骤可以包括：当相机使用第一相机参数在第一光照条件下采集场景的图像数据时，在场景中需要额外的光照。以这种方式，该方法可以因此用于得出关于第一光照条件的结论，并且具体地，场景可以受益于额外的光照。
根据另一示例，较高的噪声水平可以指示相机需要维护。确定需要采取动作的步骤可以因此包括确定相机需要维护。
维护可以例如包括相机的冷却系统的维护。如果相机的冷却系统不能正常工作，则相机将太热，这进而导致噪声较高的图像。
维护可以包括更换相机中的灯。应当照明场景的灯的故障导致场景的不良照明，这进而导致噪声较高的图像。
维护可以包括清洁或更换相机的外壳或镜头。脏的外壳或镜头可以导致有噪声的图像。
方法可以进一步包括根据场景来选择预定义阈值。例如，可以根据场景中的运动水平来选择预定义阈值。还可以根据场景中的运动水平变化多少来设置预定义阈值。例如，静态场景(诸如打烊之后的商店)可以具有比存在运动的场景更低的阈值。另外，具有恒定运动水平的场景(诸如高速公路)可以具有比运动水平变化的场景(诸如人行交叉道)具有更低的阈值。以这种方式，该方法可以适用于不同的场景以及场景中的不同条件，诸如不同的运动水平。
第一相机参数和第二相机参数可以包括增益、光圈、和曝光时间中的至少一个。这些是影响图像数据中的噪声水平的参数。另外，第二相机参数可以与第一相机参数的不同之处在于，第二相机参数被修改以增大增益、光圈、和曝光时间中的至少一个。以这种方式，可以修改第二参数以增大噪声水平，由此模拟较暗的光照条件。
根据本发明的第二方面，以上目的由计算机程序产品实现，该计算机程序产品包括(非暂时性)计算机可读介质，该计算机可读介质具有在由具有处理能力的设备执行时实施根据第一方面的方法的计算机代码指令。
根据本发明的第三方面，以上目的由包括以下方面的设备实现：
接收器，被配置为用于通过网络接收表示场景的第一编码图像数据、及表示相同的场景的第二编码图像数据，第一编码图像数据由相机使用第一相机参数在第一光照条件下采集，第二编码图像数据由相机使用第二相机参数在第一光照条件下采集，第二相机参数与第一相机参数的不同之处在于，第二相机参数被修改以增大由相机采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集第二编码图像数据，以及
处理部件，被配置为用于确定第一编码图像数据的每单位时间接收到的数据量与第二编码图像数据的每单位时间接收到的数据量的比率，并且
使用比率作为第一编码图像数据中的噪声水平的指示。
处理部件可进一步被配置为：检查比率是否大于预定义阈值，并且如果是，则确定需要采取动作以便于降低由相机使用第一相机参数在第一光照条件下采集的表示场景的之后图像数据中的噪声水平。
处理部件可以被配置为：当相机使用第一相机参数在第一光照条件下采集场景的图像数据时，确定在场景中需要额外的光照。
根据本发明第四方面，由网络相机系统实现以上目的，该网络相机系统包括：
根据第三方面的设备，以及
经由网络连接至设备的相机，该相机被配置为：
采集表示场景的第一编码图像数据，第一编码图像数据使用第一相机参数在第一光照条件下采集，并且
采集表示场景的第二编码图像数据，第二编码图像数据使用第二相机参数在第一光照条件下采集，第二相机参数与第一相机参数的不同之处在于，第二相机参数被修改以增大由相机采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集第二编码图像数据，并且
通过网络将第一编码图像数据和第二编码图像数据传送至设备。
第二、第三和第四方面通常可以具有与第一方面相同的特征和优点。应当进一步注意的是，除非明确地另外规定，否则本发明涉及所有可能的特征的组合。
附图说明
参考附图，通过对本发明优选实施例的以下示意性和非限定性的详细描述，本发明的以上以及额外的目的、特征、和优点将更好理解，其中相同的附图标记将用于类似的元件，其中：
图1图示了根据实施例的网络相机系统。
图2是根据实施例的方法的流程图。
图3是图示了图2的方法的另外实施例的流程图。
具体实施方式
现将在下文中参照示出了本发明实施例的附图来更充分地描述本发明。将在操作期间描述本文所公开的系统和设备。
图1图示了网络相机系统100。系统100包括经由网络160连接至设备140(其通常可以是服务器)的一个或多个相机120。
每个相机120被配置为以图像流的形式(即视频序列)捕获场景200的图像。为此目的，相机包括处理原始传感器数据以产生场景200的图像数据的成像部件122。相机120进一步包括被配置为对场景200的图像数据进行编码以产生被编码的图像数据的编码器124。相机120进一步包括传送器126，以用于将被编码的图像数据(即已编码的图像流)优选地通过无线网络160传送至设备140。换言之，相机120被配置为采集表示场景100的被编码的图像数据，并且通过网络160将被编码的图像数据传送至设备140。相机120以及其部件是传统的并且因此将不再更详细地讨论。
相机120可以使用相机参数采集表示场景200的被编码的图像数据。相机参数可以例如包括增益、光圈、和曝光时间中的一个或多个。这些相机参数可以影响被编码的图像数据中的噪声水平。更具体地，较高的增益数值和/或曝光时间通常会导致图像数据中的较高噪声水平。可以直接地或间接地设置相机参数。直接设置表示可以设置参数值本身。间接地设置表示经由比如本领域已知的自动聚焦过程来间接地设置参数值。在此类自动聚焦过程中，可以通过设置相机参数的最大值和最小值来修改参数值。
场景200可以与不同条件相关联，本文称作场景条件。具体地，场景200可以与光照条件相关联。光照条件表示通过相机120所见的场景中的光照水平。场景条件的另一示例是场景中的运动水平。
通常，可以是服务器的设备140可被配置为通过网络160从相机120接收被编码的图像数据，即被编码的图像数据的流。设备140进一步被配置为处理所接收的被编码的图像数据，以及将所接收的被编码的图像数据写入贮存器。为了这些目的，设备140包括接收器142、处理部件144(处理器)、以及存储器148。存储器148可以构成非暂时性计算机可读介质以存储要被处理部件148执行的计算机代码指令。例如，存储器148可以存储用于实施本文所公开的任何方法的计算机代码指令。
设备140可以进一步包括可以写入被编码的图像数据的贮存器146。可替代地，贮存器可以位于网络中的诸如服务器或数据库之类的另一设备中。
设备140可被配置为验证网络相机系统100的安装。为了实施此类验证，设备140可以运行许多对相机网络系统的测试。每个测试可以包括针对给定的网络和相机配置(即给定的相机参数)执行图像数据流和图像数据记录(存储)模拟。
第一测试可以包括设备140指示相机120中的一个使用第一相机参数在第一光照条件下(诸如在白天时间)采集场景200的图像数据。第一相机参数是在网络相机系统100的安装中使用的那些参数。第一相机参数可以是工厂默认的相机参数、手动设置的参数、或者由算法设置的参数，诸如将由自动聚焦过程在第一光照条件下自动地设置的参数。设备140然后接收场景200的被编码的图像数据，并且记录该数据，即向贮存器146写入被编码的图像数据。在测试期间，可以对不同的参数进行测量，诸如对带宽使用和将被编码的图像数据写入贮存器146的速率进行测量。
第二测试可以包括设备140指示(相同的)相机120使用第二相机参数在第一光照条件下采集相同场景200的图像数据。在第一测试和第二测试中采集图像数据时以相同的方式来定向相机120。可以变更第二相机参数以模拟较暗的光照条件，诸如夜晚时间条件。设备140然后接收场景200的被编码的图像数据，并且记录下该数据，即向贮存器146写入被编码的图像数据。类似于第一测试，可以对不同的参数进行测量，诸如对带宽使用和将被编码的图像数据写入贮存器146的速率进行测量。
可以结合以上描述的安装验证过程来执行本文所公开的方法。具体地，本文所公开的方法利用了在安装验证期间运行的第一测试和第二测试的结果，例如为了检测在场景200中是否需要额外的光照的目的。本文所公开的方法还可以以定期的间隔而运行以验证安装仍然是最优的并且尚未恶化。
以下将参照图1以及图2的流程图来描述相机网络系统的操作。
在步骤S02中，设备140运行与上述第一测试相对应的第一模拟。更详细地，设备140经由接收器142从相机120中的一个接收表示场景200的第一编码图像数据。形式为已编码图像流的第一编码图像数据由相机120采集并且通过网络160传送至设备140。当由相机120采集第一编码图像数据时，场景200经受第一光照条件，这表示场景200中存在通过相机120所见的特定光照水平。例如，可以在场景200处于其正常状态时(即在旨在使用相机120的光照条件下)采集第一编码图像数据。
相机120使用第一相机参数采集第一编码图像数据。第一相机参数是相机120在第一光照条件下正常使用的那些参数。例如，第一相机参数可以是默认值，例如增益、曝光时间、和光圈的默认值。可以直接地或间接地设置这些值，比如经由以上所解释的自动聚焦过程或者其他控制过程设置这些值，或者由用户手动设置。
在步骤S04中，设备140运行与上述第二测试相对应的第二模拟。更详细地，设备140经由接收器142从相同的相机120接收表示相同场景200的第二编码图像数据。形式为已编码图像的流的第二编码图像数据由相机120采集并且通过网络160传送至设备140。
类似于第一编码图像数据，第二编码图像数据也在场景200经受第一光照条件时由相机120进行采集。这可以例如通过在时间窗内采集第一编码图像数据和第二编码图像数据来实现，这表示在时间上接近地采集这些数据，或者在场景200经受相同的第一光照条件的时间点处(诸如在一天中的相同时间处)采集这些数据。
优选地，在采集第一编码图像数据和第二编码图像数据时不仅光照条件相同，而且场景条件通常也相同。这包括比如在采集第一编码图像数据和第二编码图像数据时，场景中运动的水平或者运动水平的变化性也相同。这是因为场景中的运动水平也可以影响图像数据中的噪声水平。
与第一编码图像数据相反，相机120使用第二相机参数采集第二编码图像数据。相对于第一相机参数修改第二相机参数以模拟较暗的光照条件。这可以例如通过直接增大相机120的增益、光圈、和曝光时间中的至少一个、或者通过修改自动聚焦过程参数来实现。这种参数的修改会将噪声添加至采集到的图像数据。结果，与第一编码图像数据相比，第二编码图像数据的大小增大，这转而会影响通过网络160传送第二编码图像数据所需的带宽。这还会引起与用于向贮存器写入第一编码图像数据的速率相比，用于向贮存器写入第二编码图像数据的速率增加。因此，总之，参数的修改会引起与第一编码图像数据相比，针对第二编码图像数据在每单位时间接收到的数据量更大。
步骤S02和S04可以分别由设备140请求相机120使用第一相机参数和第二相机参数来采集并传送场景200的被编码的图像数据而触发。
在步骤S06中，设备140的处理部件144确定第一编码图像数据的每单位时间接收到的的数据量与第二编码图像数据的每单位时间接收到的数据量的比率。
当运行第一模拟(步骤S02)和第二模拟(步骤S04)时，处理部件144可以监控不同的参数。例如，处理部件可以监控带宽使用和/或将被编码的图像数据写入贮存器146的速率。以这种方式，处理部件144可以获得所接收的第一编码图像数据和第二编码图像数据的每单位时间接收到的数据量的估计。使用这些值，处理部件144可以确定第一编码图像数据的每单位时间接收到的数据量与第二编码图像数据的每单位时间接收到的数据量的比率。比率可以例如通过将经由网络传送第一编码图像数据时使用的带宽除以经由网络传送第二编码图像数据时使用的带宽来计算。根据另一示例，比率可以通过将向存储空间写入第一编码图像数据的速率除以向存储空间写入第二编码图像数据的速率来计算。
如以上所讨论的，由于模拟较暗光照条件的第二相机参数所引起的噪声水平的增加，与第一编码图像数据相比，针对第二编码图像数据每单位时间接收到的数据量将通常较大。然而，并不知晓相对于第一编码图像数据的每单位时间接收到的数据量将大多少，这是因为这取决于第一编码图像数据中的噪声水平。例如，假设比如由于场景中照明不良，第一编码图像数据具有较高噪声水平。如以上所讨论的，修改第一相机参数将使第二编码图像数据具有增大的噪声水平。然而，向已经具有噪声的图像添加噪声可以导致最后的噪声水平最终并不增大太多－噪声水平在某点处饱和。总之，因此可以使用每单位时间接收到的数据量的比率来指示在第一编码图像数据中的噪声水平。
在步骤S08中，处理部件144因此使用每单位时间接收到的数据量的比率作为第一编码图像数据中的噪声水平的指示。较大的比率通常比较小的比率指示更高的噪声水平。
图3图示了图2的方法的步骤S08的实施例。通常，在步骤S08a中，处理部件144检查每单位时间接收到的数据量的比率是否大于阈值。
尽管可以取决于场景而使用不同的阈值，但可以在系统中预定义阈值。例如，在静态场景中的阈值可以比在包括运动的场景中小。可替代地，阈值可以由用户来设置。以示例的方式，对于静态场景(诸如打烊之后的商店)，阈值可以等于0.2。对于在运动水平恒定的情况下的场景(诸如当场景是高速公路时)，阈值也可以等于0.2。如果场景中的运动水平是可变的(诸如在人行交叉道处)，阈值可以等于0.5。
如果每单位时间接收到的数据量的比率大于阈值，则在步骤S08b中，处理部件144继续确定需要采取动作，以便于降低由相机使用第一相机参数在第一光照条件下采集的之后图像数据中的噪声水平。由于较高值的比率通常指示在第一编码图像数据中的较高噪声水平，因此处理部件144可以以这种方式做出噪声水平高至不可接受并且需要采取动作以降低之后的噪声水平的决定。
第一编码图像数据中的不可接受的高噪声水平可以由不同原因引起。
例如，第一编码图像数据中的高噪声水平可以由场景中的照明不良引起。第一编码图像数据中的高噪声水平可以因此指示在场景200中需要额外的照明。根据实施例，在步骤S08b1中，设备处理部件144可以因此确定当相机120使用第一相机参数在第一光照条件下采集场景200的图像数据时，在场景200中需要额外的光照。
根据另一示例，第一编码图像数据的高噪声水平可以是由于相机120中的故障状态。第一编码图像数据中的高噪声水平可以因此指示相机120需要维护。根据实施例，在步骤S08b2中，处理部件144可以因此确定相机120需要维护。相机120的维护可以包括相机120的冷却系统的维护。这是因为相机120的冷却故障可以导致噪声更高的图像。维护可以包括更换相机120中的灯。如果应当对场景200进行照明的灯破损，则在场景200中的光照较少，这可以导致噪声更高的图像。维护的另一示例是对相机120的外壳或镜头进行清洁或更换。相机120的脏的或磨损的外壳或镜头可以导致噪声更高的图像。
应当理解的是，本领域技术人员可以以许多方式修改以上描述的实施例并且仍然使用以上实施例中所示的本发明的优点。例如，第一编码图像数据中的高噪声水平可以指示根据安装位置处的外部条件而安装了错误类型的相机120。例如，错误地安装了缺乏冷却的相机120。可能安装了在安装位置处的温度下无法操作的相机120，或者安装了在安装位置处的光照条件下无法发出足够的光的相机120，或者在安装位置处的湿度条件下无法操作的相机120。因此，本发明不应限于所示出的实施例而是应当仅由所附权利要求限定。额外地，正如技术人员所理解的，所示出的实施例可以被组合。

Claims (15)

1.一种由网络相机系统中的设备执行的方法，包括：
通过网络(160)接收(S02)表示场景(200)的第一编码图像数据，所述第一编码图像数据由相机(120)使用第一相机参数在第一光照条件下采集，
所述方法的特征在于其进一步包括：
通过所述网络(160)接收(S04)表示相同的场景(200)的第二编码图像数据，所述第二编码图像数据由所述相机(120)使用第二相机参数在所述第一光照条件下采集，所述第二相机参数与所述第一相机参数的不同之处在于，所述第二相机参数被修改以增大由所述相机(120)采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集所述第二编码图像数据，
确定(S06)所述第一编码图像数据的每单位时间接收到的数据量与所述第二编码图像数据的每单位时间接收到的数据量的比率，并且
使用(S08)所述比率作为所述第一编码图像数据中的噪声水平的指示。
2.根据权利要求1所述的方法，其中，通过比较用于经由所述网络分别传送所述第一编码图像数据和所述第二编码图像数据所需的带宽来确定所述比率。
3.根据权利要求1或2所述的方法，其中，通过比较分别将所述第一编码图像数据和所述第二编码图像数据写入存储空间的速率来确定所述比率。
4.根据权利要求1所述的方法，其中，所述使用(S08)所述比率作为所述第一编码图像数据中的噪声水平的指示的步骤包括：
检查(S08a)所述比率是否大于预定义阈值，并且如果是，则：
确定(S08b)需要采取动作，以便于降低由所述相机使用所述第一相机参数在所述第一光照条件下采集到的表示所述场景的之后图像数据中的噪声水平。
5.根据权利要求4所述的方法，其中，所述确定(S08b)需要采取动作的步骤包括：
当所述相机使用所述第一相机参数在所述第一光照条件下采集所述场景的图像数据时，确定(S08b1)在所述场景中需要额外的光照。
6.根据权利要求4所述的方法，其中，所述确定(S08b)需要采取动作的步骤包括：确定(S08b2)所述相机需要维护。
7.根据权利要求6所述的方法，其中，所述维护包括所述相机的冷却系统的维护、所述相机中的灯的更换或者所述相机的外壳或镜头的清洁或更换。
8.根据权利要求4-7中的任意一项所述的方法，进一步包括：根据所述场景(200)来选择所述预定义阈值。
9.根据权利要求1所述的方法，其中，所述第一相机参数和所述第二相机参数包括增益、光圈和曝光时间中的至少一个。
10.根据权利要求9所述的方法，其中，所述第二相机参数与所述第一相机参数的不同之处在于，所述第二相机参数被修改以增大增益、光圈和曝光时间中的至少一个。
11.一种网络相机系统中的设备(140)，包括：
接收器(142)，被配置为通过网络(160)接收表示场景(200)的第一编码图像数据和表示相同的场景(200)的第二编码图像数据，所述第一编码图像数据由相机(120)使用第一相机参数在第一光照条件下采集，所述第二编码图像数据由所述相机(120)使用第二相机参数在所述第一光照条件下采集，所述第二相机参数与所述第一相机参数的不同之处在于，所述第二相机参数被修改以增大由所述相机(120)采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集所述第二编码图像数据，以及
处理部件(144)，被配置为确定所述第一编码图像数据的每单位时间接收到的数据量与所述第二编码图像数据的每单位时间接收到的数据量的比率，并且使用所述比率作为所述第一编码图像数据中的噪声水平的指示。
12.根据权利要求11所述的设备，其中，所述处理部件(144)进一步被配置为：
检查所述比率是否大于预定义阈值，并且如果是，则：
确定需要采取动作，以便于降低由所述相机使用所述第一相机参数在所述第一光照条件下采集到的表示所述场景的之后图像数据中的噪声水平。
13.根据权利要求12所述的设备，其中，所述处理部件(144)被配置为：
当所述相机使用所述第一相机参数在所述第一光照条件下采集所述场景的图像数据时，确定在所述场景中需要额外的光照。
14.一种计算机可读介质，所述计算机可读介质具有用于在由具有处理能力的根据权利要求11所述的设备执行时实施根据权利要求1所述的方法的计算机程序。
15.一种网络相机系统(100)，包括：
根据权利要求11-13中的任意一项所述的设备(140)，以及
经由网络(160)连接至所述设备(140)的相机(120)，所述相机(120)被配置为：
采集表示场景(200)的第一编码图像数据，所述第一编码图像数据使用第一相机参数在第一光照条件下采集，并且
采集表示所述场景(200)的第二编码图像数据，所述第二编码图像数据使用第二相机参数在所述第一光照条件下采集，所述第二相机参数与所述第一相机参数的不同之处在于，所述第二相机参数被修改以增大由所述相机(120)采集的图像数据中的噪声水平，由此模拟在较暗的第二光照条件下采集所述第二编码图像数据，并且
通过所述网络(160)将所述第一编码图像数据和所述第二编码图像数据传送至所述设备(140)。
CN201710329625.6A 2016-05-16 2017-05-11 网络相机系统中的方法和设备 Active CN107395952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16169770.1 2016-05-16
EP16169770.1A EP3247102B1 (en) 2016-05-16 2016-05-16 Method and device in a camera network system

Publications (2)

Publication Number Publication Date
CN107395952A CN107395952A (zh) 2017-11-24
CN107395952B true CN107395952B (zh) 2019-08-23

Family

ID=56081242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710329625.6A Active CN107395952B (zh) 2016-05-16 2017-05-11 网络相机系统中的方法和设备

Country Status (6)

Country Link
US (1) US10136100B2 (zh)
EP (1) EP3247102B1 (zh)
JP (1) JP6475283B2 (zh)
KR (1) KR101930437B1 (zh)
CN (1) CN107395952B (zh)
TW (1) TWI682667B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256571B1 (ko) * 2018-01-23 2021-05-26 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 소모품을 진단하는 화상형성장치 및 화상형성방법
WO2020129696A1 (ja) * 2018-12-21 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および、情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229475A (ja) * 2005-02-16 2006-08-31 Canon Inc 撮像装置およびその制御方法
CN101835041A (zh) * 2008-03-11 2010-09-15 索尼公司 图像处理设备和方法
CN103093452A (zh) * 2011-10-28 2013-05-08 索尼公司 噪声检测装置、噪声检测方法及程序
CN103279950A (zh) * 2013-05-14 2013-09-04 中国科学院光电研究院 一种基于行列噪声标准差的遥感图像信噪比评估方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065255B2 (en) 2002-05-06 2006-06-20 Eastman Kodak Company Method and apparatus for enhancing digital images utilizing non-image data
NZ571839A (en) * 2006-03-29 2010-05-28 Univ Curtin Tech Testing surveillance camera installations
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US20090172756A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Lighting analysis and recommender system for video telephony
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
US8611660B2 (en) 2009-12-17 2013-12-17 Apple Inc. Detecting illumination in images
US8947490B2 (en) * 2010-07-01 2015-02-03 Vibare, Inc. Method and apparatus for video processing for improved video compression
JP2013101559A (ja) * 2011-11-09 2013-05-23 A1 Communication Corp 監視システム
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking
EP2709350B1 (en) 2012-09-14 2015-06-03 Axis AB Configuration of image capturing settings
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
EP2804382B1 (en) * 2013-05-15 2015-04-29 Axis AB Reliability determination of camera fault detection tests
JP6299182B2 (ja) * 2013-11-28 2018-03-28 サクサ株式会社 死活監視システム
JP2016021689A (ja) * 2014-07-15 2016-02-04 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229475A (ja) * 2005-02-16 2006-08-31 Canon Inc 撮像装置およびその制御方法
CN101835041A (zh) * 2008-03-11 2010-09-15 索尼公司 图像处理设备和方法
CN103093452A (zh) * 2011-10-28 2013-05-08 索尼公司 噪声检测装置、噪声检测方法及程序
CN103279950A (zh) * 2013-05-14 2013-09-04 中国科学院光电研究院 一种基于行列噪声标准差的遥感图像信噪比评估方法

Also Published As

Publication number Publication date
TW201742434A (zh) 2017-12-01
CN107395952A (zh) 2017-11-24
EP3247102A1 (en) 2017-11-22
KR101930437B1 (ko) 2018-12-18
JP6475283B2 (ja) 2019-02-27
EP3247102B1 (en) 2018-08-01
TWI682667B (zh) 2020-01-11
KR20170129055A (ko) 2017-11-24
JP2018011291A (ja) 2018-01-18
US20170332041A1 (en) 2017-11-16
US10136100B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
CN104919805B (zh) 使用至少评估后的视觉质量的视频编码方法和相关视频编码装置
AU2010238543B2 (en) Method for video object detection
US10229481B2 (en) Automatic defective digital motion picture pixel detection
EP2709350B1 (en) Configuration of image capturing settings
US20090040303A1 (en) Automatic video quality monitoring for surveillance cameras
CN108574843A (zh) 确定用于视频编码的gop长度的方法和编码器系统
CN107395952B (zh) 网络相机系统中的方法和设备
US20200084367A1 (en) No-reference image quality assessment for iterative batch video analysis
JP5087112B2 (ja) 自立監視型カメラ装置
CN106888355B (zh) 比特率控制器和用于限制输出比特率的方法
Rehman et al. Perceptual experience of time-varying video quality
JP2020160966A (ja) 画像認識システムおよび画像認識方法
US8928768B2 (en) Image processing device and computer-readable computer program product containing image processing program
CN109462728A (zh) 码率控制方法、装置、图像采集设备及可读存储介质
Vega et al. Accuracy of no-reference quality metrics in network-impaired video streams
Feng et al. BVI-Artefact: An Artefact Detection Benchmark Dataset for Streamed Videos
US20240062421A1 (en) Parameter determination apparatus, parameter determination method and recording medium
WO2021087353A1 (en) No-reference image quality assessment for iterative batch video analysis
KR20230017038A (ko) 타임랩스 영상을 제작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2017145399A1 (ja) 画像処理装置、設計支援システム及びプログラム
KR20230069735A (ko) 디지털 이미지 안정화를 위한 이미지 처리 장치 및 방법
KR20220068705A (ko) 영상 판단 장치 및 그 판단 방법
KR20220034754A (ko) 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램
Motamedi No-reference quality assessment of mobile-captured videos by utilizing mobile sensor data
CN117746298A (zh) 视频异常检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant