CN106165017A - 允许在图像记录或显示之前进行场景相关图像修改的即时场景识别 - Google Patents

允许在图像记录或显示之前进行场景相关图像修改的即时场景识别 Download PDF

Info

Publication number
CN106165017A
CN106165017A CN201480074872.0A CN201480074872A CN106165017A CN 106165017 A CN106165017 A CN 106165017A CN 201480074872 A CN201480074872 A CN 201480074872A CN 106165017 A CN106165017 A CN 106165017A
Authority
CN
China
Prior art keywords
image
action
scene recognition
sequence
memorizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480074872.0A
Other languages
English (en)
Inventor
H·M·G·斯托克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Technologies Inc
Original Assignee
Qualcomm Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/EP2014/052471 external-priority patent/WO2015117672A1/en
Application filed by Qualcomm Technologies Inc filed Critical Qualcomm Technologies Inc
Priority to CN202010152403.3A priority Critical patent/CN111326183A/zh
Publication of CN106165017A publication Critical patent/CN106165017A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Abstract

本发明提供一种用于处理时间图像序列的装置，所述装置适于从存储器中检索来自所述时间图像序列的图像，对所述检索到的图像执行即时场景识别，并且基于所述场景识别的结果，对所述图像执行实时动作。

Description

允许在图像记录或显示之前进行场景相关图像修改的即时场 景识别
技术领域
本发明涉及一种用于处理时间图像序列的装置、一种成像系统、一种图像显示系统、以及一种用于处理时间图像序列的方法。
背景技术
过去十年里，发展了数字图像的捕捉、处理、显示和滤波。目前，大多数装置允许在高分辨率下捕捉数字图像，在高帧率下捕捉和显示高清数字视频。大多数装置包括图像捕捉或存储，并且包括允许预处理图像的图像处理器，所述预处理比如执行噪声减少、色彩调节、白平衡、图象编码和解码以及其它基本预处理。实际上，可以在正进行图像记录时或在正进行图像显示时对图像完成此图像处理。举例来说，US2007/297641(琳达·克里德尔(Linda Criddle)等人)描述了使可视内容模糊不清的图像滤波。所述内容已经预先记录并存储。为了应用滤波，通过服务器而不是通过显示器自身执行内容的查阅和分析。因此，关于滤波的正确性，显示器依赖于服务器以及与服务器的通信。
摄影滤波器修改所记录的图像。有时它们用于仅对图像进行细微的改变；其它时候图像将根本离不开它们。色彩滤波器影响不同色彩的相对亮度；使用不同滤波器可以将红色唇膏显示为从几乎白色到几乎黑色的任何色彩。其它改变图像的色彩平衡，使得白炽灯照明下的相片展示如它们被感知的色彩，而不是微有淡红色。存在这样的滤波器，其以所要方式扭曲图像，漫射原本清晰的图像、添加闪光效果、模糊或掩蔽图像等。
如今随着比如Instagram、Camera+、EyeEm、Hipstamatic、Aviary等流行应用程序提供摄影滤波器，摄影滤波器已为人们众所周知。这些摄影滤波器典型地局部或全局调节图像的强度、色调、饱和度、对比度、每红色、绿色或蓝色通道的色彩曲线；应用色彩查找表；叠加一或多个掩蔽过滤器，例如渐晕光栏(较暗边缘和角落)；裁剪图像以调节宽度和高度；对图像添加边框从而产生例如宝丽来(Polaroid)效果；及其组合。最好针对不同类型的图像应用不同的滤波器以便获得美观的图片；举例来说，如在http://mashable.com/2012/07/19/instagram-filters/所公布的。由例如Instagram应用程序提供的摄影滤波器的熟知实例为以下滤波器：
用于人的特写拍摄的Rise滤波器；
用于建筑物的户外照片的Hudson滤波器；
用于自然户外拍摄的Sierra滤波器；
用于食物拍摄的Lo-Fi滤波器；
用于夏季活动、夜晚外出、烧烤、野餐的照片的Sutro滤波器；
当图像具有浓重阴影情况下使用的Brannan滤波器；
当光影在图像中突出的情况下使用的Inkwell滤波器；
当图像具有鲜艳色彩(彩虹)情况下使用的Hefe滤波器，等等。
一旦用户已经捕捉了图像，摄影滤波器操作或其组合就可以交互模式应用于图像，其中用户手动地选择产生最佳美学效果的滤波器。举例来说，从欧洲专利申请EP1695548和US2006/0023077(本杰明·N·奥尔顿0023077Benjamin N.Alton)等人)中能了解对捕捉到的照片的编辑。
发明内容
本发明的一个方面提供数字图像捕捉和/或显示的新的和/或更增强的使用。本发明进一步或以组合方式允许即时防止非所需类型的图像的记录和/或显示，例如显示酷刑或性交、儿童色情内容、机密军事对象的场景，并且本发明允许捕捉和/或美观地显示图片。
本发明提供一种用于处理时间图像序列的装置，所述装置适于从存储器中检索来自所述时间图像序列的图像，对所述检索到的图像执行场景识别，并且基于所述场景识别的结果，在记录图像之前对所述图像执行动作。
在一个实施例中，所述动作包括图像修改，包括调适所述图像的至少部分。
在一个实施例中，所述动作包括将所述图像修改成经修改图像。
在一个实施例中，所述动作包括阻止所述图像的存储。
在一个实施例中，所述动作包括阻止所述图像的显示。
在一个实施例中，所述动作包括从所述存储器擦除所述图像。
在一个实施例中，所述动作包括对所述图像加密。
这些动作可以组合。每一动作可以具有其优点或应用或用途。
通过了解场景，包含识别场景内的对象，还包含识别场景中的事件，可以防止显示或甚至记录非所需的场景和/或对象和/或事件。例如，配备有本发明的显示装置(例如屏幕、监视器等)将不能够展示儿童色情内容，即使其可能接收了含有这些图像的输入信号。同样地，指向儿童色情场景的相机装置(例如数码相机)将不能够记录所述图像。此外，其允许图像改善和/或滤波的自动化。
在本申请中，图像是指数字图像。通常，此类图像由像素组成，每一像素具有表示一定量的光的数字值。图像可以由图片或照片表示。其可以是连续图像集合的一部分。在本申请中，当正捕捉图像时，尚未记录图像。仅在捕捉并处理图像之后记录图像。通过调适机器学习方法和软件编译技术，本发明允许将场景识别嵌入包括软件代码部分的计算机程序内，所述软件代码部分能够在数据处理器上运行。因此所述处理器可以拟合例如但不限于相机、(智能)电话和数字平板电脑等便携式装置的尺寸。通过调谐场景识别的性能，可以比人眼能够察觉更快地捕捉和处理图像。因此，可以实时地调适和阻止经处理图像。根据本发明的应用包括基于图像内容的了解的图像自动增强和图像滤波。
本发明的另一优点是，通过了解场景，能让用户减轻当用户不得不手动选择摄影滤波器来产生美观上改善的图像或视频录制时的负担。
场景识别包括不同类型的图像或视频的识别。这使用计算机视觉和/或机器学习算法成为可能。已知的算法例如：
-计算图像的唯一数字签名且接着匹配所述签名与其它照片的签名[对于具体实施例，见2009年12月的微软PhotoDNA资料单，或西奥(Heo)等人在2012年计算机视觉图案识别会议中的“球哈希算法(Spherical hashing)”]；
-鉴别性特征挖掘[对于具体实施例，见Bangpeng Yao、Khoshla、Li Fei-Fie在2011年计算机视觉图案识别会议中的“细粒度图像分类的组合随机化和鉴别(Combiningrandomization and discrimination for fine-grained image categorisation)”]，或基于轮廓的形状描述符[对于具体实施例，见Hu、Jia、Ling、Huang的“用于快速植物叶片识别的多刻度距离矩阵(Multiscale Distance Matrix for Fast Plant LeafRecognition)”，IEEE图像处理汇刊(IEEE Trans.on Image Processing(T-IP))，21(11)：4667-4672，2012年]，
-深度Fisher网络[对于具体实施例，见西蒙尼扬(Simonyan)、维达尔第(Vedaldi)、西塞曼(Zisserman)在2013年神经信息处理系统进展大会中的“用于大型图像分类的Deep Fisher网络(Deep Fisher Networks for Large-Scale ImageClassification)”]，
-词袋模型/支持向量机[对于具体实施例，见斯诺克(Snoek)等人在2012年美国盖瑟斯堡的第10次TRECVID研讨会会议记录中的“2012MediaMill TRECVID语义视频搜索引擎(The MediaMill TRECVID 2012Semantic Video Search Engine)”]，
-深度学习[对于具体实施例，见克里泽夫斯基A.(Krizhevsky,A.)、苏特斯科娃I.(Sutskever,I.)、和辛顿G.E.(Hinton,G.E.)的“具有深度卷积神经网络的ImageNet分类(ImageNet Classification with Deep Convolutional Neural Networks)”，神经信息处理进展大会25，麻省理工学院出版社(MIT Press)，马萨诸塞州剑桥市]，
-基于特性形状和对象色彩的模板匹配[对于具体实施例，见R.布鲁内利(R.Brunelli)的“计算机视觉中的模板匹配技术：理论和实践(Template MatchingTechniques in Computer Vision:Theory and Practice)”，威立出版社(Wiley)]
-面部检测[对于具体实施例，见维奥拉·琼斯(Viola Jones)的“耐用实时面部检测(Robust Real-Time Face Detection)”，计算机视觉国际期刊(International Journalof Computer Vision)，2004年]，和面部识别[对于具体实施例，见R.布鲁内利(R.Brunelli)和T.波焦(T.Poggio)的“面部识别：特征对比模板(Face Recognition:Features versus Templates)”，IEEE模式分析与机器智能汇刊(IEEE Trans.on PAMI)，1993年]
-或其组合[对于具体实施例，见斯诺克(Snoek)等人在2013年美国盖瑟斯堡的第11次TRECVID研讨会会议记录中的“2013MediaMill TRECVID：视频中的搜索概念、对象、实例和事件(MediaMill at TRECVID 2013:Searching Concepts,Objects,Instances andEvents in Video)”]。
就此而言，场景识别与处理图像有关。在此类处理中，标识环境、物体、事件或其组合。为了在场景识别之后处理图像，在一个实施例中，对图像应用标签、标识符或哈希。就此而言，在一个实施例中，此类标签或标识符与场景识别结果有关或与场景识别结果相互关联。
场景识别允许(举例来说)识别已知的儿童性侵犯图像。
举例来说，场景识别允许：
粗粒度识别例如室内或户外、食物、人、日落、山、犬等场景。
细粒度识别数百种植物的树叶或不同类型的犬，例如牧羊犬、阿富汗猎犬、梗类犬、班尼犬、美国猎狐犬等。
识别动作或识别对象之间的关系，例如，更换车轮胎的人、进行结婚典礼的个人、做三明治的人、清洗器具的人、正在攀岩的团队。
识别书本封面或酒类标签。
识别例如牌照和交通标志等已知对象。
基于场景识别算法的结果，对所述图像执行动作。在一个实施例中，所述动作选自由以下组成的群组：包括调适所述场景的至少部分的场景修改；将所述图像修改成经修改图像；阻止所述图像的存储；阻止所述图像的显示；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
在一个实施例中，可以应用上文描述的且由流行应用程序提供的一系列滤波器或其组合。
可以实时地使用动作以调适图像，具体地说，可以实时地使用图像修改算法以调适图像。另外或以组合方式，可以对时间图像序列，举例来说，对形成被记录的视频影片(具体地说，在摄制时)的图像应用动作，具体地说，应用图像修改算法。在其它或相关实施例中，可以在显示、广播或存储图像或图像序列之前执行图像修改的动作。就此而言，可以对即时预览中捕捉和存在的所有图像执行图像识别，或举例来说，对来自所述实时序列的所捕捉图像的子集执行图像识别，并且可以对预览中显示的图像中的每一者执行所述动作。
在应用中，可以参考服务器。此类服务器可以是定位在某一处置的一个服务器装置，举例来说，计算机装置。替代地，服务器可以指在相同位置和/或定位在远程位置(具体地说，物理上/地理上远程的位置)的经由一或多个数据连接件连接的至少一个服务器装置。
在图像记录装置中，图像传感器捕捉图像。目前，图像传感器通常是CMOS装置，但也可以考虑其它装置。这些图像传感器也可以称为空间图像传感器。这些传感器允许捕捉一或多个至少二维的图像。
在当前技术中，将所捕捉图像从图像传感器时钟输出或读出，并且数字化为表示数字像素图像的一连串数字值。在某些情况下，图像记录装置可以包括图像处理器，其用于提供一些基本处理和所捕捉图像的临时存储。预处理的实例包括色彩校正、白平衡、噪声减少以及甚至用于将图像转换和/或压缩成不同数字文件格式的图像转换。
在图像显示装置中，图像、图像集合或图像序列存储于存储器中，并且可经转换以允许被显示。图像显示装置可以包括显示屏，举例来说，OLED面板、LCD面板等，或图像显示装置可以包括用于在远程屏幕上投影图片或影片的投影仪。通常，对图像、图像集合或图像序列进行编码或解码。
在本发明的实施例中，使图像或图像集合或图像序列的至少一个子集经历场景识别算法并且提供所得标识符。基于标识符，对跟随和/或包含具有特定标识符的图像的图像或图像集合或图像序列执行动作中的一者。具体地说，在经由显示面板或投影仪向用户呈现图像、图像集合或图像序列之前执行动作。
可以组合图像记录和图像显示。许多图像记录装置还包括允许在实时地捕捉图像时直接观看图像的显示器。因此，显示器用作观看器，从而允许用户构成图像合成。一旦用户进行选择，举例来说，拍摄图片或摄制一段影片，图像传感器就捕捉图像或图像序列。所述图像接着经过图像处理器预处理并且存储于存储器中。通常，所捕捉图像还显示在显示器上。在那里，用户可以手动地应用进一步图像处理，比如滤波、红眼消除等。
可以在提供图像以用于预览、显示或存储之前执行场景识别以及甚至图像修改动作。
在另一模式中，图像记录装置可以呈所谓的‘连拍模式’或‘连续捕捉模式’，从而允许捕捉视频。在此‘连拍模式’中，在视频帧率下捕捉图像，从而提供影片。通常，此类帧率为至少20帧每秒(fps)，具体地说，至少30fps。
装置与时间图像序列有关。时间图像序列的实例是影片记录。另一实例是通过数码相机的观看器进行的功能性即时观看。具体地说，当使用数字观看器时，经由观看器显示功能性即时图像序列。举例来说，装置可以对观看器上显示的图像中的每一者应用动作。时间图像序列可以具有时基。比如(举例来说)在影片中，图像之间的时间可以是恒定的。时间图像序列还可以包括连续连拍的图像，每次连拍在连续连拍之间具有相同或不同的时间。
在一个实施例中，动作包括对来自所述时间图像序列的图像的子集的动作，所述子集包含所述图像。举例来说，可以对一个图像进行场景识别。随后，可以使用所述动作处理在时间上在所述图像之后或之前的图像。因此，如果经历场景识别的图像之间的时间相对较少，举例来说，相对于人类的视觉能力较少，举例来说，少于0.2秒的时间间隔，并且在此时间间隔内后续图像集合经过处理，那么几乎恒定的视觉图像序列经过处理。
在一个实施例中，装置适于对所述时间图像序列的至少一个子集执行场景识别。举例来说，可以使连续图像集合经历场景识别。替代地，可以使每一第N个图像经历场景识别。
在一个实施例中，装置允许动作取决于场景识别的结果。
在一个实施例中，装置适于基于所述场景识别结果提供标识符。标识符可以是数字或字母。标识符还可以是另一类型的标签，(举例来说)从而允许应用哈希函数。在另一实施例中，如果所述标识符匹配预定义标识符，那么装置基于标识符对所述图像执行动作。因此，举例来说，如果场景、对象或事件改变，那么还可有可能响应所述改变来改变动作。动作可以选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
在一个实施例中，时间图像序列选自一连串即时图像和形成视频影片的图像序列的群组。可以使整个序列的一个图像或所有图像经历场景识别。
在一个实施例中，场景识别包括应用选自由以下组成的群组的算法：计算图像的唯一数字签名且接着匹配所述签名与其它照片的签名；鉴别性特征挖掘；基于轮廓的形状描述符；深度Fisher网络；词袋模型；支持向量机；深度学习；面部检测；基于特性形状和对象色彩的模板匹配，以及其组合。
在一个实施例中，修改所述图像包括模糊所述图像的至少一部分。举例来说，可以模糊已经识别的场景的一部分、已经识别的场景中的对象、或已经识别的场景中的事件。因此可有可能在显示之前或在(永久)存储之前模糊这些部分。因此，可有可能提供无法记录或显示非所需场景和场景内的非所需事件和/或对象的图像记录器、数码相机或计算机显示器。
在一个实施例中，动作是通过应用摄影滤波器进行图像处理。如所提及，这些滤波器的实例是局部或全局调节图像的选自强度、色调、饱和度、对比度、每红色、绿色或蓝色通道的色彩曲线中的至少一者的滤波器。这些滤波器可以应用色彩查找表。这些滤波器可以叠加一或多个掩蔽过滤器，例如渐晕光栏(较暗边缘和角落)，裁剪图像以调节宽度和高度，或对图像添加边框。在一个实施例中，这些滤波器选自Rise滤波器、Hudson滤波器、Sierra滤波器、Lo-Fi滤波器、Sutro滤波器、Brannan滤波器、Inkwell滤波器、Hefe滤波器以及其组合的群组。
在一个实施例中，装置包括适于捕捉图像(具体地说，所述形成影片的一连串图像)的图像传感器，其中对所述图像执行所述场景识别，并且具体地说在捕捉下一个图像之前对所述所捕捉图像执行所述动作。
在一个实施例中，装置包括数据存储器，其中所述装置适于在将所述图像记录于所述数据存储器中之前执行所述动作。此类数据存储器可以包括硬盘、固态磁盘(SSD)，但是也可以是指外部存储器，举例来说，比如云存储器等远程外部存储器。
在一个实施例中，装置包括用于显示所述图像的显示器，其中所述装置适于在显示所述图像之前执行所述动作。
在一个实施例中，本发明涉及一种成像系统，所述成像系统包括用于捕捉图像的图像传感器、用于存储所述图像的存储器，以及本发明的装置。
在一个实施例中，本发明涉及一种图像显示系统，所述图像显示系统包括用于接收用于显示的图像的存储器、用于显示所述图像的显示器，以及本发明的装置。
本发明进一步涉及一种计算机程序，所述计算机程序包括其软件代码部分，所述软件代码部分当在数据处理器上运行时配置所述数据处理器以：
-从存储器检索图像；
-对所述图像执行场景识别，以及
-基于所述场景识别的结果，执行选自由以下组成的群组的动作：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
本发明进一步涉及一种具有此计算机程序的数据载体。
本发明进一步涉及一种携载此计算机程序的至少部分的信号。
本发明进一步涉及一种表示用于在计算机上执行的程序的信号序列，所述信号序列表示此计算机程序。
本发明进一步涉及一种用于处理即时图像序列的方法，所述方法包括对所述图像序列的至少一个图像集合执行场景识别，并且基于所述场景识别的结果，对所述图像序列的后续图像执行动作。在一个实施例中，所述动作包括图像修改，包括调适所述图像的至少部分。
在一个实施例中，所述动作包括将所述图像修改成经修改图像。
在一个实施例中，所述动作包括阻止所述图像的存储。
在一个实施例中，所述动作包括从所述存储器擦除所述图像。
在一个实施例中，所述动作包括对所述图像加密。
这些动作可以组合。
在一个实施例中，所述方法其进一步包括基于所述场景识别的结果提供标识符。
在一个实施例中，所述方法进一步包括：如果所述标识符匹配预定义标识符，那么基于所述标识符，对所述图像序列的后续图像执行动作，所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
本发明进一步涉及一种用于处理图像集合的方法，所述方法包括对所述图像集合的至少一个图像子集执行场景识别，并且基于所述场景识别的结果，对所述图像序列的后续图像执行动作。在一个实施例中，所述动作包括图像修改。在一个实施例中，所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
因此，在此实施例中，可以使对较大图像集合的动作或对图像数据库的动作自动化。
所属领域的技术人员将理解并清楚本文中的术语“基本上”，比如“基本上由...组成”。术语“基本上”还可以包含具有“整体”、“完全”、“全部”等的实施例。因此，在各实施例中，也可以删除修饰语“基本上”。适用时，术语“基本上”也可以是指90％或更高，例如95％或更高，特别是99％或更高，甚至更特别是99.5％或更高，包含100％。术语“包括”还包含其中术语“包括”意指“由...构成”的实施例。
术语“功能性”当用于(举例来说)“功能性耦合”或“功能性直接通信”中时所属领域的技术人员将理解并清楚所述术语。术语“基本上”还可以包含具有“整体”、“完全”、“全部”等的实施例。因此，在各实施例中，也可以删除修饰语“基本上”。因此，举例来说，“功能性直接通信”包括直接的即时通信。也可以包括从各方通信的角度来看经历为“即时的”通信。因此，类似(举例来说)IP承载语音(VOIP)，在包括数字语音数据的各种数据封装之间可能存在少量时间，但是这些时间的量如此少以至于对于用户来说，似乎如同存在可用的开放式通信线路或电话线路。
此外，在说明书和权利要求书中的术语第一、第二、第三等等是用于区别类似要素，而不一定用于描述顺序或随时间的次序。应理解，如此使用的术语在适当情况下可互换，并且本文中所描述的本发明的实施例能够以本文中所描述或说明的顺序之外的其它顺序运作。
尤其在操作期间描述本文中的装置或设备。如所属领域的技术人员将清楚的，本发明不限于操作方法或操作中的装置。
应注意，上述实施例说明而非限制本发明，并且所属领域的技术人员将能够在不脱离所附权利要求书的范围的情况下设计许多替代实施例。在权利要求书中，放置在圆括号之间的任何参考标号将不被解释为对该权利要求是限制性的。使用动词“包括”及其词形变化形式并不排除权利要求中所陈述的那些元件或步骤之外的元件或步骤的存在。元件之前的冠词“一”并不排除多个此类元件的存在。可以借助于包括若干相异元件的硬件以及借助于适当编程的计算机实施本发明。在列出若干装置的装置或设备权利要求项中，可以通过同一件硬件实施若干这些装置。在彼此不同的附属权利要求项中叙述某些措施这一单纯事实并不指示不能使用这些措施的组合来获得优势。
本发明进一步适用于包括在说明书中描述和/或在附图中展示的表征特征中的一或多者的设备或装置。本发明进一步涉及一种包括在说明书中描述和/或在附图中展示的表征特征中的一或多者的方法或过程。
可以组合本专利中论述的各种方面以便提供另外的优点。此外，特征中的一些可以形成用于一或多个分案申请的基础。
附图说明
现在将参看随附示意性图式而仅作为实例来描述本发明的实施例，在所述图式中，对应元件符号指示对应部件，且在所述图式中：
图1示意性地描绘用于处理时间图像序列的装置；
图2示意性地描绘成像系统；
图3示意性地描绘显示系统；
图4描绘对户外场景应用摄影滤波器的相机；
图5描绘对肖像模式应用摄影滤波器的相机；
图6描绘阻止记录非所需事件的相机，以及
图7描绘阻止非所需事件的场景的显示屏装置。
图式未必按比例绘制。
具体实施方式
图1示意性地描绘通过模块201接收数字化图像的装置。图像是场景100的表示。这些图像存储在临时的存储器202中。接着，图像在模块203中经历场景识别。基于模块204中的场景识别结果，可以为图像提供标识符205。在模块206中动作改变图像，和/或标识符205'防止图像的改变并且将图像存储在其临时的存储器202中。到那时，图像表示场景100'。在此改变的场景100'中，部分场景可被模糊化。
图2示意性地描绘通过相机200捕捉图像的成像系统。这些图像表示场景100。图像存储在临时的存储器202中。接着，这些图像在模块203中经历场景识别。基于模块204中的场景识别结果，可以为图像提供标识符205。基于标识符，可以在模块206中对图像执行一或多个动作。举例来说，标识符205'可以防止图像的改变。接着，图像可以存储在临时的存储器202中并且记录在模块207中，到那时，图像表示场景100'。
图3示意性地描绘通过模块201接收数字化图像的显示系统。这些图像表示场景100。图像可以存储在临时的存储器202。接着，在模块203中应用场景识别。基于模块204中的场景识别结果，可以为图像提供标识符205。在模块206中可以对图像执行动作，和/或标识符205'防止图像的改变。接着，图像可以存储在临时的存储器202中，并且在屏幕210上显示图像。到那时，图像可以表示场景100'。
图4描绘识别户外场景101的相机200。所述相机对捕捉到的场景101的图像自动地应用特定摄影滤波器。经修改图像接着显示在相机200的观看器上，其展示美感增强的场景101'。另外，相机200允许(举例来说)模糊一部分场景。场景的非所需部分可以在功能上被即时模糊化。因此，观看器将不会看到非所需场景。
图5描绘识别肖像模式场景102的相机200。所述相机对捕捉到的场景102的图像自动地应用特定摄影滤波器，并且在相机200的观看器上显示经修改图像，其展示美感增强的场景102'。相机200因此允许对功能性即时图像或一连串即时图像执行动作。
图6示意性地展示识别非所需事件103的相机200。接着，相机200自动地阻止事件103的所捕捉图像并且不在相机200上记录所述事件。举例来说，可以防止儿童在影片中看到可怕的细节。场景识别因此实际上每次判读图像以及标识非所需部分。其接着允许(举例来说)阻止或改变或模糊所述非所需部分。即使在播放影片期间当场景中出现此类非所需部分或物体或事件时也可以进行阻止。甚至当场景中的物体置换或事件发生改变时这也是可能的。因此，场景识别提供(举例来说)在物体的周围环境中或在事件中的物体判读并且以几乎人类智能的方式判读它们。
图7描绘显示屏装置210，所述显示屏装置识别非所需事件103。所述显示屏装置自动地擦除事件103的传入图像，并且不在显示屏装置210的显示屏210或显示面板上展示所述事件。
另外应清楚，包含以上描述和图式是为了说明本发明的一些实施例而不是限制保护范围。从本发明开始，技术人员将明显了解许多更多实施例。这些实施例属于本发明的保护范围和实质并且是现有技术和本专利公开内容的明显组合。

Claims (24)

1.一种用于处理时间图像序列的装置，所述装置适于：
从存储器中检索来自所述时间图像序列的图像；
对所述检索到的图像执行即时场景识别，以及
基于所述场景识别的结果，对所述图像执行实时动作。
2.根据权利要求1所述的装置，其中所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；阻止所述图像的显示；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
3.根据前述权利要求中任一权利要求所述的装置，其中所述动作包括对来自所述时间图像序列的图像子集的动作，所述子集包含所述图像。
4.根据前述权利要求中任一权利要求所述的装置，其中所述装置适于对所述时间图像序列的至少一个子集执行场景识别。
5.根据前述权利要求中任一权利要求所述的装置，其中所述装置适于：
基于所述场景识别的所述结果提供标识符，以及
如果所述标识符匹配预定义标识符，那么基于所述标识符，对所述图像执行动作，所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
6.根据前述权利要求中任一权利要求所述的装置，其中所述时间图像序列选自即时图像序列和形成视频影片的图像序列的群组。
7.根据前述权利要求中任一权利要求所述的装置，其中所述场景识别包括应用选自由以下组成的群组的算法：计算图像的唯一数字签名且接着匹配所述签名与其它照片的签名；鉴别性特征挖掘；基于轮廓的形状描述符；深度Fisher网络；词袋模型；支持向量机；深度学习；面部检测；基于特性形状和对象色彩的模板匹配，以及其组合。
8.根据前述权利要求中任一权利要求所述的装置，其中所述修改所述图像包括使所述图像的至少一部分模糊。
9.根据前述权利要求中任一权利要求所述的装置，其中所述动作是通过应用至少一个摄影滤波器进行图像处理。
10.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括适于捕捉图像、具体地说、捕捉所述形成影片的一连串图像的图像传感器，其中对所述图像执行所述场景识别，并且具体地说在检索下一个图像之前对所述所捕捉图像执行所述动作。
11.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括数据存储器，其中所述装置适于在将所述图像存储于所述数据存储器中之前执行所述动作。
12.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括用于显示所述图像的显示器，其中所述装置适于在显示所述图像之前执行所述动作。
13.一种成像系统，其包括：
用于捕捉图像的图像传感器；
用于存储所述图像的存储器，以及
用于处理时间图像序列的装置，所述装置适于：
从存储器中检索来自所述时间图像序列的图像；
对所述检索到的图像执行即时场景识别，以及
基于所述场景识别的结果，对所述图像执行实时动作。
14.一种图像显示系统，其包括：
用于接收用于显示的图像的存储器；
用于显示所述图像的显示器，以及
用于处理时间图像序列的装置，所述装置适于：
从存储器中检索来自所述时间图像序列的图像；
对所述检索到的图像执行即时场景识别，以及
基于所述场景识别的结果，对所述图像执行实时动作。
15.一种计算机程序，所述计算机程序包括软件代码部分，所述软件代码部分当在数据处理器上运行时配置所述数据处理器以：
从存储器检索图像；
对所述图像执行即时场景识别，以及
基于所述场景识别的结果，对所述图像执行实时动作。
16.根据权利要求15所述的计算机程序，其中所述实时动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
17.根据权利要求15或16所述的计算机程序，其进一步经配置以：
基于所述场景识别的所述结果提供标识符，以及
如果所述标识符匹配预定义标识符，那么基于所述标识符，对所述图像执行动作，所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
18.一种数据载体，其具有根据权利要求15所述的计算机程序。
19.一种信号，其携载根据权利要求15所述的计算机程序的至少部分。
20.一种信号序列，其表示用于在计算机上执行的程序，所述信号序列表示根据权利要求15所述的计算机程序。
21.一种用于处理即时图像序列的方法，所述方法包括：
对所述图像序列的至少一个图像集合执行场景识别，以及
基于所述场景识别的结果，对所述图像序列的后续图像执行实时动作。
22.根据权利要求21所述的方法，其中所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
23.根据权利要求21或22所述的方法，其进一步包括：
基于所述场景识别的所述结果提供标识符，以及
如果所述标识符匹配预定义标识符，那么基于所述标识符，对所述图像序列的后续图像执行动作。
24.根据权利要求21到23中任一权利要求所述的方法，其中所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。
CN201480074872.0A 2014-02-07 2014-07-03 允许在图像记录或显示之前进行场景相关图像修改的即时场景识别 Pending CN106165017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010152403.3A CN111326183A (zh) 2014-02-07 2014-07-03 用于处理时间图像序列的系统和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EPPCT/EP2014/052471 2014-02-07
PCT/EP2014/052471 WO2015117672A1 (en) 2014-02-07 2014-02-07 Processing a time sequence of images, allowing scene dependent image modification
EPPCT/EP2014/052557 2014-02-10
EP2014052557 2014-02-10
EPPCT/EP2014/052864 2014-02-13
EP2014052864 2014-02-13
PCT/EP2014/064269 WO2015117681A1 (en) 2014-02-07 2014-07-03 Live scene recognition allowing scene dependent image modification before image recording or display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010152403.3A Division CN111326183A (zh) 2014-02-07 2014-07-03 用于处理时间图像序列的系统和方法

Publications (1)

Publication Number Publication Date
CN106165017A true CN106165017A (zh) 2016-11-23

Family

ID=53777352

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010152403.3A Pending CN111326183A (zh) 2014-02-07 2014-07-03 用于处理时间图像序列的系统和方法
CN201480074872.0A Pending CN106165017A (zh) 2014-02-07 2014-07-03 允许在图像记录或显示之前进行场景相关图像修改的即时场景识别

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010152403.3A Pending CN111326183A (zh) 2014-02-07 2014-07-03 用于处理时间图像序列的系统和方法

Country Status (7)

Country Link
EP (1) EP3103117A1 (zh)
JP (1) JP6162345B2 (zh)
KR (1) KR101765428B1 (zh)
CN (2) CN111326183A (zh)
BR (1) BR112016018024A2 (zh)
TW (1) TWI578782B (zh)
WO (1) WO2015117681A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315812A (zh) * 2017-06-28 2017-11-03 武汉大学 一种云环境下基于词袋模型的图像安全检索方法
WO2021042364A1 (zh) * 2019-09-06 2021-03-11 华为技术有限公司 拍摄图像的方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102401659B1 (ko) 2017-03-23 2022-05-25 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR102557049B1 (ko) 2018-03-30 2023-07-19 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
US10992979B2 (en) 2018-12-04 2021-04-27 International Business Machines Corporation Modification of electronic messaging spaces for enhanced presentation of content in a video broadcast
US20220129497A1 (en) * 2020-10-23 2022-04-28 Coupang Corp. Systems and methods for filtering products based on images
TWI813181B (zh) * 2021-09-09 2023-08-21 大陸商星宸科技股份有限公司 影像處理電路與影像處理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761205A (zh) * 2005-11-18 2006-04-19 郑州金惠计算机系统工程有限公司 基于内容的网络色情图像和不良图像检测系统
CN1943224A (zh) * 2004-07-30 2007-04-04 微软公司 照片编辑的系统和方法
US20070297641A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Controlling content suitability by selectively obscuring
CN101877223A (zh) * 2009-04-29 2010-11-03 鸿富锦精密工业（深圳）有限公司 影音编辑系统、方法及具有该影音编辑系统的电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1461484A (zh) * 2001-04-17 2003-12-10 皇家菲利浦电子有限公司 选择图像序列中的位置的方法和装置
JP2005151130A (ja) * 2003-11-14 2005-06-09 Canon Inc 画像出力装置、画像出力方法ならびに記憶媒体、プログラム
US20060274949A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
JP5160451B2 (ja) * 2006-01-31 2013-03-13 トムソン ライセンシング エッジ・ベースの空間‐時間的フィルタリングの方法および装置
JP2008147838A (ja) * 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2008271249A (ja) * 2007-04-20 2008-11-06 Seiko Epson Corp 情報処理方法、情報処理装置及びプログラム
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
JP5163409B2 (ja) * 2008-10-03 2013-03-13 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2010226495A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置
US8457469B2 (en) * 2009-04-30 2013-06-04 Sony Corporation Display control device, display control method, and program
US20110044563A1 (en) * 2009-08-24 2011-02-24 Blose Andrew C Processing geo-location information associated with digital image files
EP2413586B1 (en) * 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
US20120086792A1 (en) * 2010-10-11 2012-04-12 Microsoft Corporation Image identification and sharing on mobile devices
US20120274775A1 (en) * 2010-10-20 2012-11-01 Leonard Reiffel Imager-based code-locating, reading and response methods and apparatus
US8873851B2 (en) * 2012-06-29 2014-10-28 Intellectual Ventures Fund 83 Llc System for presenting high-interest-level images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943224A (zh) * 2004-07-30 2007-04-04 微软公司 照片编辑的系统和方法
CN1761205A (zh) * 2005-11-18 2006-04-19 郑州金惠计算机系统工程有限公司 基于内容的网络色情图像和不良图像检测系统
US20070297641A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Controlling content suitability by selectively obscuring
CN101877223A (zh) * 2009-04-29 2010-11-03 鸿富锦精密工业（深圳）有限公司 影音编辑系统、方法及具有该影音编辑系统的电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315812A (zh) * 2017-06-28 2017-11-03 武汉大学 一种云环境下基于词袋模型的图像安全检索方法
CN107315812B (zh) * 2017-06-28 2019-10-25 武汉大学 一种云环境下基于词袋模型的图像安全检索方法
WO2021042364A1 (zh) * 2019-09-06 2021-03-11 华为技术有限公司 拍摄图像的方法和装置
CN112771612A (zh) * 2019-09-06 2021-05-07 华为技术有限公司 拍摄图像的方法和装置

Also Published As

Publication number Publication date
TW201536051A (zh) 2015-09-16
CN111326183A (zh) 2020-06-23
JP6162345B2 (ja) 2017-07-12
TWI578782B (zh) 2017-04-11
KR101765428B1 (ko) 2017-08-07
EP3103117A1 (en) 2016-12-14
WO2015117681A1 (en) 2015-08-13
JP2017511627A (ja) 2017-04-20
KR20160119105A (ko) 2016-10-12
BR112016018024A2 (pt) 2017-08-08

Similar Documents

Publication Publication Date Title
CN106165017A (zh) 允许在图像记录或显示之前进行场景相关图像修改的即时场景识别
US9426385B2 (en) Image processing based on scene recognition
Tang et al. Content-based photo quality assessment
US11308335B2 (en) Intelligent video surveillance system and method
KR101688352B1 (ko) 사진에 대한 변환 추천하기
Georgoulis et al. What is around the camera?
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
TWI691209B (zh) 基於增強實境的視頻處理方法、裝置及電子設備
CN106375674A (zh) 寻找和使用与相邻静态图像相关的视频部分的方法和装置
US20220189029A1 (en) Semantic refinement of image regions
US20130301918A1 (en) System, platform, application and method for automated video foreground and/or background replacement
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN108737728A (zh) 一种图像拍摄方法、终端及计算机存储介质
JP2017028559A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN106815803B (zh) 图片的处理方法及装置
CN110336945A (zh) 一种智能辅助摄影构图方法及系统
CN107622497A (zh) 图像裁剪方法、装置、计算机可读存储介质和计算机设备
Fang et al. Surveillance face anti-spoofing
CN109089045A (zh) 一种基于多个摄像装置的摄像方法及设备及其终端
US20110304644A1 (en) Electronic apparatus and image display method
US11496691B2 (en) Realistic illumination of a character for a scene
US9888161B2 (en) Generation apparatus and method for evaluation information, electronic device and server
Salamon et al. Computational light painting using a virtual exposure
CN106201251B (zh) 一种增强现实的内容确定方法、装置及移动终端
WO2015117672A1 (en) Processing a time sequence of images, allowing scene dependent image modification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123

RJ01 Rejection of invention patent application after publication