CN113554586A - 像素异常的显著性自动评估 - Google Patents

像素异常的显著性自动评估 Download PDF

Info

Publication number
CN113554586A
CN113554586A CN202110369146.3A CN202110369146A CN113554586A CN 113554586 A CN113554586 A CN 113554586A CN 202110369146 A CN202110369146 A CN 202110369146A CN 113554586 A CN113554586 A CN 113554586A
Authority
CN
China
Prior art keywords
pixel
anomaly
image
software code
hardware processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110369146.3A
Other languages
English (en)
Inventor
E·V·多格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN113554586A publication Critical patent/CN113554586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

根据一个实施方式，一种用于执行像素异常的显著性自动评估的系统包括具有硬件处理器的计算平台和存储软件代码的系统存储器。硬件处理器配置成执行软件代码以分析图像中是否存在像素异常，当对图像的分析检测到存在像素异常时获得图像的显著性标准，并且基于图像的显著性标准将像素异常分类为显著异常或无害异常之一。硬件处理器还配置成执行软件代码以在像素异常被分类为无害异常时忽略像素异常，而在像素异常被分类为显著异常时标记像素异常。

Description

像素异常的显著性自动评估
技术领域
本公开涉及像素异常的显著性自动评估。
背景技术
图像中经常发生像素误差，但识别和校正可能很困难且成本很高。例如，视频帧中的异常像素可以由视频制作流水线中的许多不同过程引入。通常在视频最终发布之前完成用于检测和纠正此类误差的最终质量程序。
在传统技术中，异常像素检测通常是由检查人员执行的。通常，这些检查人员的任务是在最终分发视频之前，先对每个视频的每一帧检查数百次。由于强烈依赖人工的参与，传统的像素误差检测和校正方法昂贵且费时，这不是人们所希望的。此外，并非所有像素异常都需要校正。例如，根据其在图像中的位置及其与图像中特别重要的特征的关系，可以合理地忽略某些像素异常。也就是说，并非所有像素误差都足够显著，值得付出与其校正相关的成本。因此，在本领域中需要一种能够准确评估在图像中检测到的异常像素误差的显著性的自动解决方案。
发明内容
本公开提供了用于执行像素异常的显著性自动评估的系统和方法，基本上如至少一个附图中所示和/或结合至少一个附图所描述，并且在权利要求中更完整地阐述。
附图说明
图1A示出了根据一个实施方式的用于执行像素异常的显著性自动评估的示例性系统；
图1B示出了根据另一实施方式的用于执行像素异常的显著性自动评估的示例性系统；
图2示出了根据一种实施方式的适于由图1A和图1B所示系统的硬件处理器执行的示例性软件代码；
图3示出了根据一种实施方式的由图1、图2和图3所示的软件代码提供的示例性图形用户界面(GUI)；
图4示出了根据一个实施方式的流程图，该流程图呈现了用于执行像素异常的显著性自动评估的示例性方法；以及
图5示出了根据另一实施方式的流程图，该流程图呈现了用于执行像素异常的显著性自动评估的示例性方法。
具体实施方式
以下描述包含与本公开中的实施方式有关的特定信息。本领域技术人员将认识到，本公开可以以不同于这里具体讨论的方式来实施。本申请中的附图及其详细描述仅针对示例性实施方式。除非另有说明，否则附图中相同或相应的元件可以用相同或相应的附图标记表示。此外，本申请中的附图和图示通常不按比例绘制，并且不旨在对应于实际的相对尺寸。
本申请公开了用于执行像素异常的显著性自动评估的系统和方法，其克服了传统技术中的缺点和不足。要注意的是，本申请公开的方法可以作为基本自动化的过程由基本自动化的系统来执行。还要注意的是，在本申请中所使用的术语“自动化”是指不需要执行图像检查的人类用户参与的系统和过程。尽管在一些实施方式中，检查人员可以检查这里描述的自动化系统的性能，但是人工参与是可选的。因此，本申请中描述的方法可以在所公开的自动化系统的硬件处理组件的控制下执行。
图1A示出了根据一种实施方式的用于执行像素异常的显著性自动评估的示例性系统100。如下所述，在一些实施方式中，系统100可以使用可通过局域网(LAN)访问的计算机服务器来实施，或者可以实施为基于云的系统。如图1A所示，系统100包括具有硬件处理器104的计算平台102和系统存储器106，系统存储器106实施为存储提供图形用户界面(GUI)130的软件代码110的非暂时性存储设备。此外，在一些实施方式中，系统存储器106还可以存储显著性标准数据库108。
如图1A进一步所示，系统100在具有通信网络140和具有显示器158的用户系统150的使用环境中实施。用户系统150配置成由用户144使用。在图1A中还示出了通过通信网络140交互式地连接用户系统150和系统100的网络通信链路142、一个或多个图像160(以下称为“图像160”)、用于评估图像160中的像素异常的显著性标准146、对图像160的一个或多个校正148以及标记图像160中的一个或多个显著像素异常的报告170。
注意，图像160可以对应于单个数字图像，例如数字照片，或者对应于包括一个或多个视频帧或一个或多个视频流片段的视频内容，例如一个或多个视频“镜头”或一个或多个视频场景。还要注意的是，在本申请中所使用的“镜头”是指从独特的相机视角捕捉而没有经过剪辑和/或其他电影转场的视频帧序列。因此，在各种实施方式中，图像160可以对应于单个视频帧、包括多个单独视频帧的单个视频镜头，或者对应于包括多个镜头的一个或多个场景。
还要注意的是，尽管为了概念清楚，本申请将软件代码110称为存储在系统存储器106中，但是更一般地，系统存储器106可以采取任何计算机可读非暂时性存储介质的形式。本申请中使用的表述“计算机可读非暂时性存储介质”指的是除载波或向计算平台102的硬件处理器104提供指令的其他暂时性信号之外的任何介质。因此，计算机可读非暂时性介质可以对应于各种类型的介质，例如易失性介质和非易失性介质。易失性介质可以包括动态存储器，例如动态随机存取存储器(动态RAM)，而非易失性存储器可以包括光学、磁性或静电存储设备。计算机可读非暂时性介质的常见形式包括，例如，光盘、RAM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)和闪存。
还要注意的是，尽管图1A将软件代码110描述为整体存储在系统存储器106中，但是该表示也仅仅是为了帮助概念清晰而提供的。更一般地，系统100可以包括一个或多个计算平台102，例如计算机服务器，其可以位于同一位置，或者可以形成交互式链接但为分布式的系统，例如基于云的系统。
由此，硬件处理器104和系统存储器106可以对应于系统100内的分布式处理器和存储器资源。因此，应当理解，软件代码110的各种特征，例如下面参考图2更详细描述的软件模块，可以使用系统100的分布式存储器和/或处理器资源来存储和/或执行。
根据图1A所示的实施方式，用户144可以利用用户系统150通过通信网络140与系统100交互。在一个这样的实施方式中，计算平台102可以对应于一个或多个网络服务器，该一个或多个网络服务器可以例如通过诸如因特网的分组交换网络来访问。可选地，计算平台102可以对应于支持广域网(WAN)、局域网(LAN)或包括在另一种类型的有限分布或专用网络中的一个或多个计算机服务器。
尽管用户系统150在图1A中示为台式计算机，但是该表示也仅作为实例提供。更一般地，用户系统150可以是任何合适的移动或固定计算设备或系统，其实现足以提供用户界面、支持到通信网络140的连接，并实现本文中归因于用户系统150的功能的数据处理能力。例如，在其他实施方式中，用户系统150可以采取例如笔记本电脑、平板电脑或智能手机的形式。用户144可以利用用户系统150与系统100交互，以使用由硬件处理器104执行的软件代码110来对系统100在图像160中检测到的像素异常执行显著性自动评估。
注意，在各种实施方式中，当标记图像160中的一个或多个显著像素异常的报告170是使用软件代码110生成时，报告170可以存储在系统存储器106中和/或可以复制到非易失性存储器中。替代地或另外地，在一些实施方式中，报告170可以通过用户系统150和GUI 130的显示器158显示给用户144。
关于用户系统150的显示器158，显示器158可以在物理上与用户系统150集成，或者可以通信地耦合到用户系统150，但是在物理上与用户系统150分离。例如，在用户系统150实施为智能手机、笔记本电脑或平板电脑的情况下，显示器158通常将与用户系统150集成在一起。相反，在用户系统150实施为台式计算机的情况下，显示器158可以采取与计算机塔形式的用户系统150分离的监视器的形式。此外，显示器158可以实施为液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或执行信号到光的物理转换的任何其他合适的显示屏。
总的来说，可以根据图像内的一个或多个像素的上下文将其识别为异常，即具有缺陷。例如，人类观察者通常会基于一个或多个像素相对于图像中周围像素的颜色，将对应于该一个或多个像素的图像区域识别为异常。如果对人类观察者来说，图像区域的颜色与其周围环境相差太大，则可能存在异常。如上所述，在传统技术中，异常像素检测通常由检查人员执行。通常，这些检查人员的任务是在最终分发视频之前，先对每个视频的每一帧检查数百次。由于强烈依赖人工的参与，传统的像素误差检测和校正方法昂贵且费时，这不是人们所希望的。
此外，如上所述，并非所有像素异常都需要校正。例如，根据其在图像前景或背景中的位置，以及其与图像中特别重要的特征或主要角色的关系，可以合理地忽略某些像素异常。也就是说，并非所有像素误差都足够显著，值得付出与其校正相关的成本。因此，系统100配置成准确地评估在图像160中检测到的异常像素误差的显著性，并且仅标记那些满足显著性标准的像素误差，该显著性标准可以是预定的，或者可以基于用户144对GUI 130的输入来动态地确定。关于像素异常显著性的概念，丛润民等人在题为“具有综合信息的视觉显著性检测综述(Review of Visual Saliency Detection with ComprehensiveInformation)”的出版物中对图像显著性检测和确定进行了描述。(参见丛润民、雷建军、付华柱、程明明、林伟思、黄庆明，IEEE视频技术电路与系统学报(IEEE Transactions onCircuits and Systems for Video Technology)，2019年10月，第29卷第1期)，其全文通过引用全部并入本申请。
注意，尽管在一些实施方式中，系统100应用的显著性标准146可以基于用户对GUI130的输入来动态地确定，但是在其他实施方式中，显著性可以基于图像的先前和/或周围的上下文来动态地计算。也就是说，动态显著性标准146可以基于图像160的内容自动调整。例如，具有特定残差值的像素异常(其中残差是该像素的期望值和该像素的实际值之间的差)在包括明显移动的动作场景中可能不被认为是显著的，但是当相同的残差值异常发生在移动小、相对静止的场景中时，可能被认为是显著的。在另一个实例中，当像素异常出现在描绘突出的焦点角色的图像的背景边缘时，可以认为像素异常不显著，但是另一个图像可以不包括焦点角色，并且然后将对显著性标准146进行调整以反映图像160的内容中的差异。
这种动态阈值可以通过几种不同的方式来实施。在图像160包括来自电影的视频帧序列的使用情况下，一种方法包括使用机器学习训练模型，该模型预测人类对电影的各个片段(例如镜头或场景)的视觉注意力。可以使用预测模型来分析每个镜头或场景，以识别注意力的平均得分，并且可以例如基于偏离该平均值的两个或三个标准偏差来动态地确定显著性标准146。由于将针对每个镜头或场景计算分布，因此显著性标准146也将针对每个镜头或场景进行更改。
可选地，在系统100基于诸如“在角色轮廓之外”相比“在角色轮廓之内”的预定值来确定显著性的实施方式中，可以使用对象检测和结构化元数据来执行附加的一系列检查，例如<屏幕中心部分>、<大对象占据屏幕的至少60％>、<动画对象>、<次要角色>、<主要角色>，等等。在这些实施方式中，系统100可以确定图像160对应于哪个元数据类别，并因此确定使用哪个显著性标准146来确定像素异常显著性。例如，包括机器学习卷积神经网络在内的多种计算机视觉技术可用于确定图像160是否对应于上述任何元数据类别，如果是，则确定图像160的哪些区域对应。
图1B示出了根据另一实施方式的用于执行像素异常的显著性自动评估的示例性系统(即，用户系统150)。注意，图1B中由与图1A中示出的那些相同的附图标记标识的任何特征分别对应于那些先前描述的特征，并且可以共享由本公开赋予那些对应特征的任何特性。除了图1A所示的特征之外，图1B将用户系统150示出为包括计算平台152，该计算平台152具有实施为非暂时性存储设备的硬件处理器154和系统存储器156。根据图1B所示的示例性实施方式，系统存储器156存储显著性标准数据库108和提供GUI 130的软件代码110。图1B中还示出了用户144、图像160、显著性标准146和报告170。
图1B所示的实施方式与图1A所示的实施方式的不同之处在于显著性标准数据库108和软件代码110存储在用户系统150上，而软件代码110使用计算平台152的硬件处理器154在本地执行。因此，如图1B所示，在一些实施方式中，用户系统150可以包括图1A中系统100的所有或基本上所有特征和功能。
现在参考图2，图2示出了根据一种实施方式的适于由图1A和图1B所示系统的硬件处理器执行的示例性软件代码。如图2所示，软件代码210配置成接收一个或多个图像260(以下称为“图像260”)，并生成报告270，该报告标记在图像260中检测到的任何显著像素异常。如图2进一步所示，软件代码210包括异常检测模块212、可选的分段模块214、显著性分析模块216、报告模块218和GUI 230。此外，图2示出了一个或多个像素异常222、分段数据224、显著性标准246、一个或多个显著像素异常226以及标记图像260中的一个或多个显著像素异常226的报告270。图2中还示出了可选地由软件代码210访问的显著性标准数据库208，以及通过GUI 230接收的对图像260的一个或多个校正248。
图像260、报告270、软件代码210、GUI 230、显著性标准数据库208和显著性标准246通常对应于图1A和图1B中的图像160、报告170、软件代码110、GUI 130、显著性标准数据库108和显著性标准146。由此，图像260、报告270、软件代码210、GUI 230、显著性标准数据库208和显著性标准246可以共享由本公开赋予相应图像160、报告170、软件代码110、GUI130、显著性标准数据库108和显著性标准146的任何特征，反之亦然。也就是说，像软件代码210一样，除了提供GUI 130之外，软件代码110可以包括分别对应于异常检测模块212、可选的分段模块214、显著性分析模块216和报告模块218的特征。
此外，图2中的一个或多个校正248通常对应于图1A中的一个或多个校正148，并且那些对应的特征可以共享由本公开赋予任一对应特征的任何特性。参考图1A和图1B，作为用户144对用户系统150的校正输入的结果，可以通过GUI 130/230从用户系统150接收一个或多个校正148/248。
图3示出了根据一种实施方式的由软件代码110/210提供的示例性GUI 330。如图3所示，在基于显著性标准346将像素异常364分类为显著或无害(不显著)之前或之后，GUI330可以显示报告370，报告370包括在图像360a、360b和360c(以下称为“图像360a-360c”)中检测到的像素异常364的列表，即像素异常364a、364b、364c和364d(以下称为“像素异常364a-364d”)。在这些图中，图像360a-360c通常对应于图1、图2和图3中的图像160/260，而报告370通常对应于报告170/270。也就是说，图像360a-360c和报告370可以包括由本公开赋予相应图像160/260和报告170/270的任何特性，反之亦然。此外，图3中的GUI 330和显著性标准346通常分别对应于图1、图2和图3中的GUI 130/230和显著性标准146/246。因此，GUI 130/230和显著性标准146/246可以共享由本公开赋予相应GUI 330和显著性标准346的任何特性，反之亦然。
结合参考图1A、图1B、图2和图3，注意，在一些实施方式中，图像160/260/360a-360c的显著性标准146/246/346可以是预定的显著性标准，并且可以存储在显著性标准数据库108/208中。然而，在其他实施方式中，显著性标准146/246/346可以作为来自用户144的一个或多个输入来获得。如图3所示，GUI 330的输入可以导致图像区域标准346a、角色标准346b、前景/背景标准346c或内容片段标准346d中的一个或多个被用于对在图像360a-360c中检测到的像素异常364进行分类。根据图3所示的示例性使用情况，用户144已经选择了角色标准346b和内容片段标准346d。相比之下，图像区域标准346a和前景/背景标准346c显示为灰色，表示其当前未被应用。
如图3进一步所示，报告370可以标记图像中存在显著像素异常。例如，在图像360a中的像素异常364a被分类为显著的情况下，可以通过使用图像360a中显著像素异常的位置周围的边界框或边界366a来在图像360a中识别该显著像素异常的位置。
图像区域标准346a可以允许用户144将图像360a-360c的一个或多个区域指定为比那些图像的其他区域对像素异常的存在更敏感。在那些实施方式中，确定为位于由用户144识别的区域内的像素异常364可以分类为显著，而位于一个或多个敏感区域之外的那些像素异常可以分类为无害并忽略。
注意，在一些实施方式中，图像区域标准346a可以明确地识别感兴趣区域，例如提供定义感兴趣区域的x-y坐标。替代地或另外地，用户144可以通过使用GUI 330在感兴趣区域周围手动绘制框或窗口来明确地识别感兴趣区域。替代地或另外地，图像区域标准346a可以隐含地识别感兴趣区域，例如，通过指定感兴趣像素区域的颜色值。
角色标准346b可以允许用户144指定一个或多个角色，这些角色的外观对于图像360a-360c的美观特别重要。在那些实施方式中，例如，确定为位于由用户144识别的角色上或角色之间的像素异常364可以分类为显著，而位于离这些角色至少某个阈值距离的那些像素异常可以分类为无害并忽略。注意，在一些实施方式中，可以预先确定区分潜在显著异常和无害异常的阈值距离。替代地或另外地，在一些实施方式中，这样的阈值距离可以是用户可选择的参数。替代地或另外地，在一些实施方式中，可以基于图像360a-360c的内容类型动态地确定区分潜在显著异常和无害异常的阈值距离。
在一种实施方式中，围绕角色轮廓的成比例的像素区域可以建立阈值距离，将潜在的显著异常与无害异常区分开。仅作为实例，角色估计面积的2％或其他更大的百分比对于占据更多空间的更大或更近的角色来说可以更大程度地扩展阈值距离，对于更小或更远的角色来说可以更小程度地扩展阈值距离。
前景/背景标准346c可允许用户144将图像360a-360c的前景或背景之一指定为对图像360a-360c中的一个或多个的美观更重要。在用户144将前景指定为更重要的使用情况下，位于前景中的像素异常可以分类为显著像素异常，而位于背景中的像素异常可以分类为无害并忽略。相反，在用户144将背景指定为更重要的使用情况下，位于背景中的像素异常可以分类为显著像素异常，而位于前景中的像素异常可以分类为无害并忽略。
内容片段标准346d可以允许用户144通过内容片段，例如视频的一个或多个帧、镜头或场景，来指定显著性标准346。也就是说，在图像160/260或图像360a-360c之一是视频帧的实施方式中，图像的内容片段标准346d可以基于包括视频帧的视频镜头或包括视频帧的视频场景之一来确定。例如，在一些使用情况下，用户144可以选择为镜头、场景或任何其他用户选择的内容片段(例如，镜头或场景的一部分，或多个镜头或场景)指定一次显著性标准346。在那些使用情况下，相同的显著性标准可以自动应用于用户选择的片段中的每个帧，从而有利地减轻了用户144为每个帧单独指定显著性标准346的负担。然而，在一些使用情况下，用户144可能更喜欢逐帧地指定显著性标准346，在这种情况下，用于评估像素异常的显著性的本自动解决方案使得用户144能够这样做。
例如，在用户144选择内容片段标准346d的使用情况下，用户144可以在包括图像360a-360c的内容的片段之间更改其他显著性标准346。此外，在一些实施方式中，GUI 130/230/330可以配置成提示用户144提供选择一个或多个显著性标准的输入，这或者是因为已经到达片段的结尾，或者是基于任何其他相关标准。
将参考图4并结合图1A、图1B、图2和图3进一步描述软件代码110/210和GUI 130/230/330的功能。图4示出了根据一种实施方式的流程图480，其呈现了用于执行像素异常的显著性自动评估的示例性方法。关于图4中概述的方法，要注意的是，在流程图480中已经省略了某些细节和特征，以免本申请中对所描述的实施方式的讨论晦涩难懂。
流程图480开始于分析图像160/260/360a-360c是否存在一个或多个像素异常222(操作481)。举例来说，如图1A和图2所示，在一个实施方式中，用户144可以利用用户系统150与系统100交互，以便评估包括在图像160/260中的一个或多个像素异常222的显著性，例如，每个像素异常可以是数字照片或一个或多个视频帧。如图1A进一步所示，用户144可以通过通信网络140和网络通信链路142将图像160从用户系统150传输到系统100。替代地，图像160可以从第三方来源接收，或者可以存储在系统存储器106中。
替代地，如图1和图2所示，在一些实施方式中，用户144可以使用用户系统150的处理器和存储器资源，利用用户系统150来在本地评估图像160/260中包括的一个或多个像素异常222的显著性。在那些实施方式中，图像160/260可以从用户系统150的系统存储器156获得。
结合参考图1A、图1B和图2，可以使用由系统100的硬件处理器104或用户系统150的硬件处理器154执行的软件代码110/210的异常检测模块212来分析图像160/260是否存在一个或多个像素异常222。注意，可以使用任何合适的像素误差检测方法来执行操作481，包括但不限于2019年1月9日提交的申请号为16/243,650、发明名称为“像素误差检测系统(Pixel Error Detection System)”的美国专利所描述的方法，或者2020年3月31日提交的申请号为16/836,453、发明名称为“使用修复神经网络的像素误差自动检测(AutomatedPixel Error Detection Using an Inpainting Neural Network)”的美国专利所描述的方法，这两个文件均通过引用全部并入本申请中。
当对图像160/260的分析检测到存在像素异常222时，流程图480继续获得图像160/260/360a-360c的显著性标准146/246/346(操作482)。如上所述，在一些实施方式中，图像160/260/360a-360c的显著性标准146/246可以是预定的显著性标准，并且可以存储在显著性标准数据库108/208中。在这些实施方式的一些中，如图1A所示，操作482可以对应于通过由硬件处理器104执行的软件代码110从存储在系统存储器106中的显著性标准数据库108中检索或以其他方式获得显著性标准146。然而，在其他实施方式中，显著性标准数据库108可以不存储在系统存储器106中，而是可以远离系统100。在那些实施方式中，硬件处理器104可以通过由通信网络140和网络通信链路142访问显著性标准数据库108来执行获得显著性标准146的软件代码110。
参考图3，在其他实施方式中，显著性标准346可以作为对GUI 330的一个或多个输入来获得。如图3所示，对GUI 330的输入可导致图像区域标准346a、角色标准346b、前景/背景标准346c或内容片段标准346d中的一个或多个被应于对图像360a-360c中检测到的像素异常进行分类，如上所述。
注意，尽管流程图480概述的示例性方法描述了在操作481中分析图像160/260/360a-360c是否存在一个或多个像素异常222，随后在操作482中获得图像160/260/360a-360c的显著性标准146/246/346，但是在一些实施方式中，操作482可以在操作481之前执行。首先识别感兴趣区域图像160/260/360a-360c，然后分析那些特定的感兴趣区域是否存在一个或多个像素异常222，可以有利地减少检测显著异常像素所需的计算开销。
继续流程图480概述的示例性方法，基于图像160/260/360a-360c的显著性标准146/246/346，将在操作481中检测到的像素异常222分类为显著异常或无害异常之一(操作483)。在操作481中检测到的像素异常222的分类可以使用由系统100的硬件处理器104或用户系统150的硬件处理器154执行的软件代码110/210的显著性分析模块216来执行。
当像素异常222在操作483中被分类为无害异常时(操作484)，流程图480继续忽略在操作481中检测到的像素异常222。如上所述，并非图像160/260/360a-360c中的所有像素异常222都值得付出与其校正相关联的时间和/或成本。因此，在不实质上损害图像160/260的美观的情况下，可以忽略确定为不满足在操作482中获得的显著性标准的那些像素异常222。操作484可以使用软件代码110/210的显著性分析模块216来执行，软件代码110/210由系统100的硬件处理器104或用户系统150的硬件处理器154来执行。
当像素异常222在操作484中被分类为显著像素异常226时(操作485)，流程图480继续标记在操作481中检测到的像素异常222。如上所述，图像160/260中的像素异常222足够显著，例如基于其在图像160/260中的位置或其与图像160/260中的特征角色或对象的接近度，从而值得付出与其校正相关联的时间和/或成本。因此，可将确定为满足在操作482中获得的显著性标准的那些像素异常222在图像160/260中进行标记，并且将其包括在通过GUI 130/230/330输出的报告170/270/370中。操作485可以生成报告170/270，并且可以使用软件代码110/210的报告模块218来执行，软件代码110/210由系统100的硬件处理器104或者由用户系统150的硬件处理器154来执行。
注意，标记在图像160/260/360a-360c中检测到的像素异常226的报告170/270可以是交互式报告，使得用户144能够切换和查看：a)所有检测到的像素异常，b)仅分类为显著像素异常的像素异常，可选地在显著异常和无害异常之间具有一些标记或颜色区别。在一些实施方式中，报告170/270还可以包括每个帧的时间戳，该时间戳包括显著像素异常或任何像素异常、具有例如用圆圈或方框识别的异常区域的帧的视觉表示、以及可选的每个异常区域的特写表示，用于增强视觉确认。
还要注意的是，虽然流程图480概述的示例性方法描述了在操作484中当像素异常222被分类为无害时忽略检测到的像素异常222，但是在操作485中随后在像素异常222被分类为显著时标记检测到的像素异常222，该顺序仅作为实例提供。在本方法的各种实施方式中，操作484和485可以基本上同时执行，操作485可以在操作484之前，或者可以省略操作484或485之一。例如，在检测到的像素异常222被分类为显著的情况下，可以省略操作484，并且操作485可以紧跟在操作483之后。相反，在检测到的像素异常222被分类为无害的情况下，可以省略操作485，并且流程图480可以以操作484结束。
如上所述，在一些实施方式中，流程图480可以以如上所述的操作484或操作485结束。然而，在其他实施方式中，流程图480可以继续并以可选地对图像160/260应用校正148/248来校正显著异常226而结束(操作486)。在一个实施方式中，例如，可以通过由系统100的硬件处理器104或用户系统150的硬件处理器154执行的软件代码110/210，将校正148/248应用于图像160/260，以校正自动化过程中的显著异常226。在其他实施方式中，可向用户144标记显著异常226，以校正显著异常226。在那些其他实施方式中，由系统100的硬件处理器104执行或由用户系统150的硬件处理器154执行的软件代码110/210可以从用户144接收对图像160/260的校正148/248，以校正显著异常226。此外，在那些实施方式中，由系统100的硬件处理器104执行或由用户系统150的硬件处理器154执行的软件代码110/210可以响应于从用户144接收到校正148/248而将校正148/248应用于图像160/260。
图5示出了根据另一实施方式的流程图590，其呈现了用于执行像素异常的显著性自动评估的示例性方法。关于图4中概述的方法，要注意的是，在流程图590中已经省略了某些细节和特征，以免本申请中对所描述的实施方式的讨论晦涩难懂。
流程图590开始于分析图像160/260/360a-360c中包括的视频片段，以发现是否存在一个或多个像素异常222(操作591)。举例来说，如图1A和图2所示，在一个实施方式中，用户144可以利用用户系统150与系统100交互，以便评估包括在图像160/260中的一个或多个像素异常222的显著性，例如，图像160/260可以包括视频镜头或视频场景形式的视频片段。如图1A进一步所示，用户144可以通过通信网络140和网络通信链路142将图像160从用户系统150传输到系统100。替代地，图像160可以从第三方来源接收，或者可以存储在系统存储器106中。
替代地，如图1和图2所示，在一些实施方式中，用户144可以使用用户系统150的处理器和存储器资源，利用用户系统150来在本地评估图像160/260中包括的一个或多个像素异常222的显著性。在那些实施方式中，图像160/260可以从用户系统150的系统存储器156获得。
结合参考图1A、图1B和图2，在一些实施方式中，图像160/260中包括的视频片段可以是预定的，并且可以由软件代码110/210的异常检测模块212基于图像160/260中包括的元数据来识别。然而，在其他实施方式中，对图像160/260中包括的视频片段的分析是否存在一个或多个像素异常222可以包括例如使用软件代码110/210的可选的分段模块214通过镜头或场景来分段图像160/260，以生成识别视频片段的分段数据224。
因此，根据图1A所示的示例性实施方式，操作591可以由软件代码110/210执行，软件代码110/210由系统100的硬件处理器104执行，并且单独使用异常检测模块212或者与可选的分段模块214结合使用。根据图1B所示的示例性实施方式，操作591可以由软件代码110/210执行，软件代码110/210由用户系统150的硬件处理器154执行，并且单独使用异常检测模块212或者与可选的分段模块214结合使用。注意，尽管异常检测模块212分析图像160/260/360a-360c，但是如上所述，片段数据224对于用户144已经指定了针对特定片段中的显著性使用什么标准的实施方式是重要的。否则，系统将不会识别何时重置显著性标准，或者提示用户144在下一个片段上确认其显著性标准。
可以使用任何合适的像素误差检测方法来分析图像160/260中包括的视频片段在操作591中是否存在异常像素。仅作为实例，像素误差检测可以根据2019年1月9日提交的申请号为16/243,650、发明名称为“像素误差检测系统(Pixel Error Detection System)”的美国专利所描述的方法，或者2020年3月31日提交的申请号为16/836,453、发明名称为“使用修复神经网络的像素误差自动检测(Automated Pixel Error Detection Using anInpainting Neural Network)”的美国专利所描述的方法，这两个文件均通过引用全部并入本申请中。
继续流程图590，对于包括像素异常222的每个视频片段，使用GUI 130/230/330显示该片段中包括的一个或多个视频帧(操作592)。例如，在图像160/260包括其中一个被发现包括像素异常222的视频片段的情况下，并且在图像360a-360c也被包括在包括像素异常222的视频片段中的情况下，操作592对应于使用GUI 330显示图像360a-360中的一个或多个。根据图1A所示的示例性实施方式，操作592可以由软件代码110执行，软件代码110由系统100的硬件处理器104执行。根据图1B所示的示例性实施方式，操作592可以由软件代码110执行，软件代码11由用户系统150的硬件处理器154执行。
结合参考图2、图3和图5，继续流程图590，对于包括像素异常222的每个视频片段，通过GUI 330接收包括在操作592中显示的一个或多个图像260/360a-360c的视频片段的显著性标准246/346(操作593)。如上所述，对GUI 330的输入可导致图像区域标准346a、角色标准346b、前景/背景标准346c或内容片段标准346d中的一个或多个被用于对在图像260/360a-360c中检测到的像素异常222进行分类，如上所述。还参考图1A和图1B，根据图1A所示的示例性实施方式，操作593可以由软件代码110/210执行，软件代码110/210由系统100的硬件处理器104执行，并且使用显著性分析模块216。根据图1B所示的示例性实施方式，操作593可以由软件代码110/210执行，软件代码110/210由用户系统150的硬件处理器154执行，并且使用显著性分析模块216。
注意，尽管流程图590概述的示例性方法描述了在操作593中接收显著性标准146/246/346之前，在操作591中分析包括在图像160/260/360a-360c中的视频片段，但是在一些实施方式中，操作593可以在操作591之前执行。首先接收显著性标准146/246/346，然后基于该显著性标准分析视频片段的像素异常，可以有利地减少检测显著异常像素所需的计算开销。因此，在一些实施方式中，操作593可以在操作591之前进行。
继续流程图590，对于包括像素异常222的每个视频片段，基于包括像素异常222的视频片段的显著性标准146/246/346，将像素异常222分类为显著异常226或无害异常(操作594)。像素异常222的分类可以使用软件代码110/210的显著性分析模块216来执行，软件代码110/210由系统100的硬件处理器104或用户系统150的硬件处理器154来执行。
继续流程图590，对于包括像素异常222的每个视频片段，当像素异常222在操作594中被分类为无害异常时，忽略像素异常222(操作595)。如上所述，并非图像160/260/360a-360c中的所有像素异常222都值得付出与其校正相关联的时间和/或成本。因此，在不实质上损害包括图像360a-360c的视频片段的美观的情况下，可以忽略确定为不满足在操作591中接收的显著性标准的像素异常222的那些像素异常。操作595可以使用软件代码110/210的显著性分析模块216来执行，软件代码110/210由系统100的硬件处理器104或用户系统150的硬件处理器154来执行。
继续流程图590，对于图像160/260/360a-360c中包括的所有视频片段，标记被分类为显著异常226的所有像素异常222(操作596)。如上所述，一些像素异常222足够显著(例如基于其在包括在图像160/260/360a-360c中的视频片段中的位置或其与包括在图像160/260/360a-360c中的视频片段中描绘的特征角色或对象的接近度)，从而值得付出与其校正相关联的时间和/或成本。因此，可对确定为满足显著性标准146/246的图像中的那些像素异常222进行标记并将其包括在通过GUI 130/230/330输出的报告170/270/370中。操作596可以使用软件代码110/210的报告模块218来执行，软件代码110/210由系统100的硬件处理器104或用户系统150的硬件处理器154来执行。
注意，尽管流程图590概述的示例性方法描述了在操作595中当像素异常222被分类为无害时忽略检测到的像素异常222，但是在操作596中随后标记所有显著异常226，该顺序仅作为实例提供。在本方法的各种实施方式中，操作595和596可以基本上同时执行，操作596可以在操作595之前，或者操作595或596之一可以被省略。例如，在仅检测到显著异常226的情况下，可以省略操作595，并且操作596可以紧跟在操作594之后。相反，在仅检测到无害的像素异常的情况下，可以省略操作596，并且流程图590可以以操作595结束。
如上所述，在一些实施方式中，流程图590可以以如上所述的操作595或操作596结束。然而，在其他实施方式中，流程图590可以继续并以可选地将校正148/248应用于图像160/260/360a-360c中包括的视频片段中的至少一些显著异常226来结束(操作597)。例如，在一个实施方式中，可以通过由系统100的硬件处理器104或用户系统150的硬件处理器154执行的软件代码110/210，将校正148/248应用于包括在图像160/260/360a-360c中的视频片段中的至少一些显著异常226，以在自动化过程中校正那些显著异常226。在其他实施方式中，可向用户144标记显著异常226，以校正显著异常226。在那些其他实施方式中，由系统100的硬件处理器104执行或由用户系统150的硬件处理器154执行的软件代码110/210可以从用户144接收校正148/248。此外，在那些实施方式中，由系统100的硬件处理器104执行或由用户系统150的硬件处理器154执行的软件代码110/210可以响应于从用户144接收到校正148/248而将校正148/248应用于包括在图像160/260/360a-360c中的视频片段中的至少一些显著异常226。
因此，本申请公开了用于执行像素异常的显著性自动评估的系统和方法，其克服了传统技术中的缺点和不足。本申请中公开的用于评估像素异常显著性的自动化解决方案通过能够有效识别可以忽略的无害异常而不显著影响包括这种无害异常的一个或多个图像的美观，改进了现有技术。因此，本解决方案有利地使得像素异常评估和校正比传统方法更有效且成本更低。
从上面的描述可以看出，在不脱离这些概念的范围的情况下，可以使用各种技术来实施本申请中描述的概念。此外，虽然已经具体参考某些实施方式描述了这些概念，但是本领域普通技术人员将认识到，在不脱离这些概念的范围的情况下，可以在形式和细节上进行改变。因此，所描述的实施方式在所有方面都应是说明性的而非限制性的。还应理解，本申请不限于本文描述的特定实施方式，在不脱离本公开的范围的情况下，可能进行许多重新布置、修改和替换。

Claims (20)

1.一种系统，包括：
计算平台，包括硬件处理器和存储软件代码的系统存储器；
所述硬件处理器配置成执行所述软件代码，以：
分析所述图像中是否存在像素异常；
当对所述图像的分析检测到存在所述像素异常时，获得所述图像的显著性标准；
基于所述图像的所述显著性标准，将所述像素异常分类为显著异常或无害异常；
当所述像素异常被分类为所述无害异常时，忽略所述像素异常；以及
当所述像素异常被分类为所述显著异常时，标记所述像素异常。
2.根据权利要求1所述的系统，其中，当所述像素异常被分类为所述显著异常时，所述像素异常被标记给用户，用于校正所述像素异常。
3.根据权利要求2所述的系统，其中，所述硬件处理器还执行所述软件代码以从所述用户接收对所述图像的校正，用于校正被分类为所述显著异常的所述像素异常。
4.根据权利要求3所述的系统，其中，所述硬件处理器还响应于从所述用户接收到对所述图像的校正，执行所述软件代码以对所述图像应用所述校正。
5.根据权利要求2所述的系统，其中，所述硬件处理器还执行所述软件代码，以响应于标记所述像素异常，对所述图像应用校正，以校正被分类为所述显著异常的所述像素异常。
6.根据权利要求2所述的系统，其中，所述图像的所述显著性标准是作为来自所述用户的输入而获得的。
7.根据权利要求1所述的系统，其中，所述图像的所述显著性标准是预定的显著性标准。
8.根据权利要求1所述的系统，其中，所述图像是视频帧，并且其中基于包括所述视频帧的视频的镜头或包括所述视频帧的所述视频的场景之一来确定所述图像的所述显著性标准。
9.一种由包括具有硬件处理器的计算平台和存储软件代码的系统存储器的系统使用的方法，包括：
通过所述硬件处理器执行的所述软件代码，分析所述图像中是否存在像素异常；
当对所述图像的分析检测到存在所述像素异常时，通过由所述硬件处理器执行的所述软件代码获得所述图像的显著性标准；
基于所述图像的所述显著性标准，由所述硬件处理器执行的所述软件代码将所述像素异常分类为显著异常或无害异常之一；
当所述像素异常被分类为所述无害异常时，由所述硬件处理器执行的所述软件代码忽略所述像素异常；以及
当所述像素异常被分类为所述显著异常时，由所述硬件处理器执行的所述软件代码标记所述像素异常。
10.根据权利要求9所述的方法，其中，当所述像素异常被分类为所述显著异常时，所述像素异常被标记给用户，用于校正所述像素异常。
11.根据权利要求10所述的方法，还包括：
通过由所述硬件处理器执行的所述软件代码从所述用户接收对所述图像的校正，用于校正被分类为所述显著异常的所述像素异常。
12.根据权利要求11所述的方法，还包括：
响应于从所述用户接收到对所述图像的所述校正，通过由所述硬件处理器执行的所述软件代码，通过由所述硬件处理器执行的所述软件代码对所述图像应用所述校正。
13.根据权利要求10所述的方法，还包括：
响应于标记所述像素异常，通过由所述硬件处理器执行的所述软件代码对所述图像应用校正，以校正被分类为所述显著异常的所述像素异常。
14.根据权利要求10所述的方法，其中，所述图像的显著性标准是作为来自用户的输入而获得的。
15.根据权利要求9所述的方法，其中，所述图像的所述显著性标准是预定的显著性标准。
16.根据权利要求9所述的方法，其中，所述图像是视频帧，并且其中基于包括所述视频帧的视频的镜头或包括所述视频帧的所述视频的场景之一来确定所述图像的所述显著性标准。
17.一种由包括具有硬件处理器的计算平台和存储软件代码的系统存储器的系统使用的方法，所述软件代码提供图形用户界面，所述方法包括：
通过由所述硬件处理器执行的所述软件代码，分析多个视频片段中是否存在像素异常；
对于包括所述像素异常的所述多个视频片段中的每个片段：
通过由所述硬件处理器执行的所述软件代码，使用图形用户界面显示包括在每个片段中的至少一个视频帧；
响应于所述显示，通过由所述硬件处理器执行的所述软件代码接收每个片段的显著性标准，作为通过所述图形用户界面的输入；
通过由所述硬件处理器执行的所述软件代码，基于所述每个片段的所述显著性标准将所述像素异常分类为显著异常或无害异常之一；以及
当所述像素异常被分类为所述无害异常时，通过由所述硬件处理器执行的所述软件代码忽略所述像素异常；
对于所有的所述多个视频片段，通过由所述硬件处理器执行的所述软件代码标记被分类为显著异常的所有像素异常。
18.根据权利要求17所述的方法，其中，被分类为所述显著异常的所述所有像素异常被标记给用户，用于校正所述像素异常。
19.根据权利要求18所述的方法，还包括：
通过由所述硬件处理器执行的所述软件代码，从所述用户接收用于校正被分类为所述显著异常的至少一些所述像素异常的多个校正。
20.根据权利要求19所述的方法，还包括：
响应于从所述用户接收到所述多个校正，通过由所述硬件处理器执行的所述软件代码，将所述多个校正应用于被由所述硬件处理器执行的所述软件代码分类为所述显著异常的至少一些所述像素异常。
CN202110369146.3A 2020-04-03 2021-04-06 像素异常的显著性自动评估 Pending CN113554586A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/840,201 2020-04-03
US16/840,201 US11508143B2 (en) 2020-04-03 2020-04-03 Automated salience assessment of pixel anomalies

Publications (1)

Publication Number Publication Date
CN113554586A true CN113554586A (zh) 2021-10-26

Family

ID=77921956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110369146.3A Pending CN113554586A (zh) 2020-04-03 2021-04-06 像素异常的显著性自动评估

Country Status (2)

Country Link
US (1) US11508143B2 (zh)
CN (1) CN113554586A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198258A1 (en) * 2020-12-21 2022-06-23 Disney Enterprises, Inc. Saliency Prioritization for Image Processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
US20130136338A1 (en) * 2011-11-30 2013-05-30 Adobe Systems Incorporated Methods and Apparatus for Correcting Disparity Maps using Statistical Analysis on Local Neighborhoods
US20150312489A1 (en) * 2009-03-02 2015-10-29 Flir Systems, Inc. Anomalous pixel detection
CN107431771A (zh) * 2015-03-06 2017-12-01 菲力尔系统公司 异常像素检测
US20180197577A1 (en) * 2017-01-11 2018-07-12 Disney Enterprises Inc. Thumbnail generation for video
US20190114761A1 (en) * 2017-10-17 2019-04-18 Netflix, Inc. Techniques for detecting spatial anomalies in video content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4359543B2 (ja) * 2004-08-23 2009-11-04 富士フイルム株式会社 撮像装置
KR100709323B1 (ko) 2005-02-04 2007-04-20 삼성전자주식회사 확률 신경회로망 이론을 적용한 영상보상장치 및 방법
US20090219379A1 (en) * 2005-12-30 2009-09-03 Telecom Italia S.P.A. Average Calculation in Color Space, Particularly for Segmentation of Video Sequences
US7710472B2 (en) 2006-05-01 2010-05-04 Warner Bros. Entertainment Inc. Detection and/or correction of suppressed signal defects in moving images
US7822293B2 (en) * 2006-11-17 2010-10-26 Aptina Imaging Corporation Imaging systems and method for generating video data using edge-aware interpolation with soft-thresholding
US7936945B2 (en) * 2006-12-18 2011-05-03 Nokia Corporation System, method, device, and computer program product for providing image correction
US20080284854A1 (en) 2007-05-18 2008-11-20 Dts, Inc. System and method of static pattern removal from movies captured using a digital CCD camera
EP2294808B1 (en) * 2008-06-20 2013-05-01 Hewlett-Packard Development Company, L.P. Method and system for efficient video processing
JP5060447B2 (ja) * 2008-10-07 2012-10-31 株式会社東芝 ノイズキャンセル処理回路および固体撮像装置
US8310570B1 (en) 2008-10-08 2012-11-13 Marvell International Ltd. Repairing defective pixels
US8615141B2 (en) * 2009-08-10 2013-12-24 Seiko Epson Corporation Systems and methods for motion blur reduction
JP5699633B2 (ja) 2011-01-28 2015-04-15 株式会社リコー 画像処理装置、画素補間方法およびプログラム
US20160065959A1 (en) 2014-08-26 2016-03-03 Lyrical Labs Video Compression Technology, LLC Learning-based partitioning for video encoding
ITVI20110336A1 (it) * 2011-12-23 2013-06-24 St Microelectronics Srl Correzione di difetti in un array di filtri a colori
TW201419853A (zh) 2012-11-09 2014-05-16 Ind Tech Res Inst 影像處理器及其影像壞點偵測方法
US9685056B2 (en) 2014-03-21 2017-06-20 Qognify Ltd. Robust change-detection system and method
US20160321523A1 (en) 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10083378B2 (en) 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images
US10360494B2 (en) 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US10303965B2 (en) 2017-03-06 2019-05-28 Siemens Healthcare Gmbh Defective pixel identification using machine learning
KR102474168B1 (ko) 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
US20150312489A1 (en) * 2009-03-02 2015-10-29 Flir Systems, Inc. Anomalous pixel detection
US20130136338A1 (en) * 2011-11-30 2013-05-30 Adobe Systems Incorporated Methods and Apparatus for Correcting Disparity Maps using Statistical Analysis on Local Neighborhoods
CN107431771A (zh) * 2015-03-06 2017-12-01 菲力尔系统公司 异常像素检测
US20180197577A1 (en) * 2017-01-11 2018-07-12 Disney Enterprises Inc. Thumbnail generation for video
US20190114761A1 (en) * 2017-10-17 2019-04-18 Netflix, Inc. Techniques for detecting spatial anomalies in video content

Also Published As

Publication number Publication date
US11508143B2 (en) 2022-11-22
US20210312213A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
CN108885699B (zh) 字符识别方法、装置、存储介质及电子设备
US11587219B2 (en) Method and apparatus for detecting pixel defect of optical module, and device
US8599270B2 (en) Computing device, storage medium and method for identifying differences between two images
US20200065632A1 (en) Image processing method and apparatus
US20160210732A1 (en) Image overlaying and comparison for inventory display auditing
CN108229485B (zh) 用于测试用户界面的方法和装置
US20230394808A1 (en) Image processing system, image processing method, and program storage medium
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
US20190139213A1 (en) Data generation apparatus, data generation method, and data generation program
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
US20180197577A1 (en) Thumbnail generation for video
WO2017104372A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN114511820A (zh) 货架商品检测方法、装置、计算机设备及存储介质
CN109684953B (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
US11080835B2 (en) Pixel error detection system
CN113554586A (zh) 像素异常的显著性自动评估
US11119304B2 (en) Determining an error in a moving distance of a microscope
US20180121729A1 (en) Segmentation-based display highlighting subject of interest
CN115456969A (zh) 外观缺陷的检测方法、电子设备和存储介质
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
KR102516172B1 (ko) 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP2008171142A (ja) シミ欠陥検出方法及び装置
CN108447107B (zh) 用于生成视频的方法和装置
CN112434548A (zh) 一种视频标注方法及装置
WO2021049119A1 (ja) 学習装置、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination