CN107016329A - 图像处理方法 - Google Patents

图像处理方法 Download PDF

Info

Publication number
CN107016329A
CN107016329A CN201610943824.1A CN201610943824A CN107016329A CN 107016329 A CN107016329 A CN 107016329A CN 201610943824 A CN201610943824 A CN 201610943824A CN 107016329 A CN107016329 A CN 107016329A
Authority
CN
China
Prior art keywords
image
region
image processing
target object
end point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610943824.1A
Other languages
English (en)
Other versions
CN107016329B (zh
Inventor
石井育规
庄田幸惠
高桥正树
羽川令子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107016329A publication Critical patent/CN107016329A/zh
Application granted granted Critical
Publication of CN107016329B publication Critical patent/CN107016329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/448—Rendering the image unintelligible, e.g. scrambling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

提供一种能够更切实地进行必要的保护隐私的图像处理的图像处理方法。包括：消失点算出步骤(S11)，算出在时间序列上连续的多个图像中位于同一位置的消失点；受理步骤(S12)，对于多个图像中的至少一个图像，受理对在该图像内应该保护隐私的对象物体的指定；区域算出步骤(S13)，基于在受理步骤中所受理的至少一个图像中的对象物体的指定、和在消失点算出步骤中算出的消失点，算出对象存在区域，该对象存在区域是包含消失点、且对象物体在所述多个图像中可能存在的区域；图像处理步骤(S14)，对多个图像各自的、与在区域算出步骤中算出的对象存在区域的位置相同的区域，进行保护隐私的图像处理。

Description

图像处理方法
技术领域
本发明涉及进行保护隐私的图像处理的图像处理方法。
背景技术
近年来，采用了如下的学习技术的物体识别受到关注，该学习技术是被称为深度学习（Deep Learning）的使用了神经网络的技术。在深度学习中，通过使用将物体等识别对象的名字和/或种类等作为标签（tag）关联的大量的带标签图像，进行学习处理，能够实现高精度的物体识别。
作为准备大量的带标签图像的方法，有利用众包（crowd sourcing）的方法。也即是，通过利用众包，进行从照片和/或影像帧等图像中发现、剪切、标记在学习处理中所需的部分的工作，能够准备大量的带标签图像。然而，当在照片和/或影像帧等图像中照入了人物等需要保护隐私的图像处理的对象物体的情况下，需要对照片和/或影像帧等实施保护隐私的图像处理后再利用众包。
另一方面，例如在专利文献1中，公开了通过使用图像识别来检测人脸的位置和/或人物位置，将检测出的人脸替换为其他图像的技术。
现有技术文献
专利文献
专利文献1：日本特开2013-197785号公报
非专利文献
非专利文献1：Lowe,avid G.(1999),"Object recognition from local scale-invariant features",Proceedings of the International Conference on ComputerVision.,pp.1150 1157,doi:10.1109/ICCV.1999.790410.
非专利文献2：Herbert Bay,Andreas Ess,TinneTuytelaars,and Luc VanGool,"Speeded Up Robust Features",ETH Zurich,Katholieke Universiteit Leuven.
发明内容
发明所要解决的问题
然而，在现状的图像识别中，无法保证100%的检测精度，因此，在上述现有技术中，存在在人脸的位置和/或人物位置的检测中产生遗漏的情况。因此，在上述现有技术中，存在如下问题：存在无法将检测遗漏的（未检测出的）人脸替换为其他图像等的，没能实施保护隐私的图像处理的情况。
本发明是鉴于上述情形而做出的，目的在于提供一种能够更切实地进行必要的保护隐私的图像处理的图像处理方法。
用于解决问题的技术方案
为了实现上述目的，本发明的一个技术方案涉及的图像处理方法包括：消失点算出步骤，算出在时间序列上连续的多个图像中位于同一位置的消失点；受理步骤，对于所述多个图像中的至少一个图像，受理对在该图像内应该保护隐私的对象物体的指定；区域算出步骤，基于在所述受理步骤中所受理的所述至少一个图像中的对象物体的指定、和在所述消失点算出步骤中算出的消失点，算出对象存在区域，所述对象存在区域是包含所述消失点、且所述对象物体在所述多个图像中可能存在的区域；图像处理步骤，对所述多个图像各自的、与在所述区域算出步骤中算出的所述对象存在区域的位置相同的区域，进行保护隐私的图像处理。
此外，这些总括性或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
发明效果
根据本发明，能实现能够更切实地进行必要的保护隐私的图像处理的图像处理方法及其程序。
附图说明
图1是表示实施方式中的图像处理装置的功能结构的一例的图。
图2是表示实施方式中的多个图像的一例的图。
图3是表示图2所示的多个图像中的消失点的图。
图4是表示图1所示的消失点算出部的详细功能结构的一例的图。
图5是表示在实施方式中以手动方式进行特征点检测的例子的图。
图6是用于说明实施方式中的匹配（matching）方法的图。
图7是用于说明实施方式中的消失点计算方法的图。
图8是用于说明实施方式中的消失点计算方法的图。
图9是表示图1所示的受理部的详细功能结构的一例的图。
图10是用于说明实施方式中的对象物体的指定方法的一例的图。
图11是表示图1所示的区域算出部的详细功能结构的一例的图。
图12是表示实施方式中的区域算出方法的一例的图。
图13是表示实施方式中的图像处理方法的一例的图。
图14是表示实施方式中的图像处理方法的另一例的图。
图15是表示实施方式中的图像处理方法的另一例的图。
图16是表示实施方式中的图像处理方法的另一例的图。
图17是表示实施方式中的图像处理装置的工作的一例的流程图。
图18是表示图17所示的步骤S11的详细工作例的流程图。
图19是表示图17所示的步骤S12以及S13的详细工作例的流程图。
图20是表示实施方式中的图像处理方法的另一例的图。
标号说明
10：图像处理装置 11：消失点算出部
12：受理部 13：区域算出部
14：图像处理部
50、50a、50b：人物 51：道路
52：边框 53：消失点
111：特征点检测部 112：匹配部
113：消失点计算部
121：表示部 122：指定受理部
131：区域计算部 132：区域适用部
具体实施方式
（成为本发明的基础的见解）
近年来，采用了如下的学习技术的物体识别受到关注，该学习技术是被称为深度学习的使用了神经网络的技术。
在此，在基于深度学习的物体识别中，为了发掘出高识别性能，需要进行学习处理，该学习处理使用将识别对象即对象物体的名字和/或种类等作为标签进行关联（加标签：labeling）的大量的带标签图像。另外，这种大量的带标签图像需要从照片和/或影像帧等图像中发现、剪切、标记识别所需的部分的庞大工作量的工作。为此，可考虑在从照片和/或影像帧等图像中发现、剪切、标记识别所需的部分的工作中利用众包等向第三方的外包的方法。
然而，众包是经由互联网将工作委托给非特定的众多人（工作人员）的方式，因此，在利用众包时，会将大量的照片和/或影像帧等大量的图像分发传送给非特定的众多人（工作人员）。为此，当在照片和/或影像帧等图像中照入了人物等需要保护隐私的图像处理的对象物体的情况下，例如如果对象物体是人物，则需要在进行图像处理等以使得无法识别个人信息（该人物的脸部和/或场所、能确定个人的信息等）的、对照片和/或影像帧等实施保护隐私的图像处理后再利用众包。
对此，例如在专利文献1中，公开了通过使用图像识别，来检测人脸的位置和/或人物位置，将检测出的人脸替换为其他图像的技术。然而，如上所述，在现状的图像识别中，无法保证100%的检测精度，因此，在上述现有技术中，存在在人脸的位置和/或人物位置的检测中产生遗漏的情况。因此，在上述现有技术中，存在如下问题：存在无法将检测遗漏的（未检测出的）人脸替换为其他图像等的、没能实施保护隐私的图像处理的情况。
另一方面，鉴于上述的检测遗漏，也可考虑对所有照片和/或影像帧等图像同样（一致、均匀）地实施模糊处理等保护隐私的图像处理的方法。然而，在这种方法中，众包的工作人员不易发现存在于照片和/或影像帧等图像内的尺寸小的识别对象（人等），因此，也存在导致标记的工作（加标签工作）的效率和/或精度下降这一问题。
本发明是鉴于上述情形而做出的，目的在于提供一种能够更切实地进行必要的保护隐私的图像处理的图像处理方法以及程序。
本发明的一个技术方案涉及的图像处理方法，包括：消失点算出步骤，算出在时间序列上连续的多个图像中位于同一位置的消失点；受理步骤，对于所述多个图像中的至少一个图像，受理对在该图像内应该保护隐私的对象物体的指定；区域算出步骤，基于在所述受理步骤中所受理的所述至少一个图像中的对象物体的指定、和在所述消失点算出步骤中算出的消失点，算出对象存在区域，所述对象存在区域是包含所述消失点、且所述对象物体在所述多个图像中可能存在的区域；图像处理步骤，对所述多个图像各自的、与在所述区域算出步骤中算出的所述对象存在区域的位置相同的区域，进行保护隐私的图像处理。
由此，能够更切实地进行必要的保护隐私的图像处理。
在此，例如也可以为，所述多个图像中分别含有所述对象物体，所述在时间序列上连续的多个图像中，所述对象物体在图像内的大小逐渐增加或者逐渐减小。
另外，例如也可以为，所述多个图像构成通过用车载摄像头进行的拍摄所获得的影像。
另外，例如也可以为，所述图像处理是马赛克处理、模糊处理或者像素化处理。
在此，例如也可以为，所述消失点算出步骤包括：在所述多个图像的至少两个图像中分别检测与所述对象物体的多个部分各自对应的特征点的步骤；使所述至少两个图像分别所包含的所述对象物体的第一部分的特征点相关联，并且使所述至少两个图像分别所包含的所述对象物体的第二部分的特征点相关联的步骤；通过进行求出第一直线和第二直线的交点的计算，算出所述多个图像中分别位于同一位置的所述消失点的步骤，所述第一直线是经过相关联的所述第一部分的特征点的直线，所述第二直线是经过所述第二部分的特征点的直线。
另外，例如也可以为，在所述受理步骤中，通过受理所述至少一个图像所包含的对象物体在该图像中的坐标的指定，受理所述对象物体的指定。
在此，例如也可以为，在所述图像处理步骤中，对所述多个图像各自的所述同一位置的区域中的包含所述消失点的预定区域和除该预定区域以外的区域，进行不同的图像处理。
另外，例如也可以为，所述图像处理是模糊处理，在所述图像处理步骤中，以使对所述预定区域的模糊处理的强度比对除该预定区域以外的区域的模糊处理的强度弱的方式，进行所述图像处理。
另外，例如也可以为，在所述图像处理步骤中，对所述多个图像各自的所述同一位置的区域中的除包含所述消失点的预定区域以外的区域进行所述图像处理。
另外，例如也可以为，在所述图像处理步骤中，当在所述多个图像中的所述同一位置的区域内含有所述对象物体中不应该进行所述图像处理的对象物体的情况下，对所述同一位置的区域中的除该对象物体以外的区域进行所述图像处理。
此外，这些总括性或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图，具体地对本发明的一个技术方案涉及的图像处理方法等进行说明。此外，以下说明的实施方式均表示本发明的一个具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置等为一例，并非旨在限定本发明。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在所有的实施方式中，也可以组合各自的内容。
（实施方式）
［图像处理装置10的整体结构］
图1是表示本实施方式中的图像处理装置10的功能结构的一例的图。
图像处理装置10对照入了需要保护隐私的图像处理的对象物体的多个图像，进行保护隐私的图像处理。在本实施方式中，如图1所示，图像处理装置10具备消失点算出部11、受理部12、区域算出部13以及图像处理部14。以下，对各构成要素详细地进行说明。
［消失点算出部11的结构］
图2是表示本实施方式中的多个图像的一例的图。图3是表示图2所示的多个图像中的消失点的图。图4是表示图1所示的消失点算出部的详细功能结构的一例的图。
消失点算出部11算出在时间序列上连续的多个图像中位于同一位置的消失点。在本实施方式中，消失点算出部11例如对于图2所示的在时间序列上连续的多个图像，算出图3所示的该多个图像中位于同一位置的消失点。
在此，使用图2，对在时间序列上连续的多个图像进行说明。
图2所示的多个图像是用于将标记工作委托给众包的图像，例如示出构成了在直行期间的车辆中通过用搭载于该车辆的摄像头等拍摄装置（车载摄像头）进行的拍摄所获得的影像的图像。更具体而言，图2所示的多个图像包括帧f0、帧f1、帧f2、…、帧fn，各个图像（帧f0～帧fn各自）中照有（含有）人物50和道路51。在此，人物50是应该保护隐私的对象物体的一例。一般而言，在构成通过用车载摄像头进行的拍摄所获得的影像的图像中，与人物50的移动相比，汽车等车辆的移动更大（快），因此，在帧f0、帧f1、帧f2、…、帧fn中，人物50是远离着的（或者是接近着的）。
此外，图2所示的多个图像并不限于构成通过用车载摄像头进行的拍摄所获得的影像的图像。也可以是构成跑步者一边在道路上跑步、一边通过跑步者所佩戴的摄像头等拍摄装置拍摄到的影像的图像。另外，也可以是构成通过用自行车等车辆所搭载的摄像头等拍摄装置进行的拍摄所获得的影像的图像。也即是，本实施方式中的多个图像只要是由搭载于以相对地比对象物体快的速度直行的车辆的拍摄装置得到的图像（可看待为由车载摄像头得到的多个图像的图像）即可。换言之，本实施方式中的多个图像只要是下述图像即可：1）在时间序列上连续的图像；2）多个图像分别在同一位置有消失点；并且3）多个图像中分别含有人物等应该进行隐私保护的对象物体；4）在时间序列上连续的多个图像中，该对象物体在图像内的大小逐渐增大或者逐渐减小。
在本实施方式中，如图4所示，消失点算出部11具有特征点检测部111、匹配部112以及消失点计算部113。
特征点检测部111在上述多个图像的至少两个图像中分别检测对象物体的不同部分的特征点。在设对象物体为人物50的情况下，例如，特征点检测部111检测人体的一部分。人体的一部分例如是指人物50的头部、右手部分、左手部分、右足部分、左足部分、人脸部分、躯干部分等。特征点检测部111检测对象物体的不同部分之中的一点作为特征点。特征点的检测方法可大体分为以手动方式决定特征点的方法以及自动地求出特征点的方法。
以手动方式检测特征点的方法例如是如图5所示那样选择头部、脚等人体的末端的方法，只要是脸部的中心位置、躯干的中心位置等在对象物体上能够唯一地定义的部位，则可以是任意的部位。图5是表示在本实施方式中以手动方式进行特征点检测的例子的图。是检测出图2所示的多个图像（帧f0～帧fn）中、例如在时间序列上连续的三幅图像（帧fk1、帧fk2、帧fk3）各自的特征点的例子。在图5所示的例子中，在时间序列上连续的图像（帧fk1、帧fk2、帧fk3）中，分别检测出三个特征点作为人物50的不同部分（人体的端部）的特征点，但并不限于此。作为人物50的特征点，能至少检测出不同的两个部分的特征点即可。
自动地检测特征点的方法中，使用图像的局部特征检测器。作为局部特征检测器的代表，有SIFT（Scale-Invariant Feature Transform，尺度不变特征转换）（例如参照非专利文献1）、SURF（Speeded Up Robust Features，加速鲁棒特征）（例如参照非专利文献2）等。这些局部特征检测器的特点是具有图像的旋转和/或尺度（尺寸）的不变性。即，即使在图像进行旋转的情况下和/或尺寸不同的情况下，局部特征检测器输出的特征量也为相同的值。因此，后述的匹配部112中对于尺寸不同的特征点，也能够进行匹配。此外，详细内容记载于非专利文献1、非专利文献2，因此，在此对概略进行阐述。
在SIFT中，同时实施尺度的计算和关键点（特征点）的检测。只要通过检测出关键点的尺度，并用尺度进行标准化，则不论是从怎样的尺寸的图像中求得的特征点，都能够作为相同的尺寸来处理。为了检测尺度，改变图像的尺度，分别实施方差不同的高斯滤波（Gaussian filter）。之后，求出滤波处理后的两幅图像的差分，通过利用三幅该差分图像求得的极值，来检测尺度。极值是指，对使方差连续变化而求得的差分图像，选择方差连续的三幅差分图像，着眼于某个像素时，与其附近26个像素比较时值极大、极小的像素。该像素与周围的像素相比，呈现出改变尺度时的像素值之差、与附近的像素相比较时的像素值之差大的状况，该像素意味着是物体的特征性的像素。求得该极值时的高斯滤波的方差与图像间的尺度成比例。
例如，当在图像1（例如200×200像素）中极值σ1为5时，将图像1的横纵放大两倍得到的图像（400×400像素）中的极值σ2变为10。通过对图像整体进行该处理，能够求出图像的各像素的极值，根据各像素的极值能够算出尺度。另外，将成为极值的像素的附近分成块，求出梯度方向，在直方图中求出哪个梯度方向出现得多。按每个关键点，通过使最频现的梯度方向总是旋转至特定的方向（例如上方），从而即使图像旋转，也能够将关键点的方向调整为一致。另外，通过这样求出直方图（特征量），能够如后述那样进行图像间的匹配。
SURF是将SIFT简化、加速而得到的方法，是不进行基于实数值的高斯滤波的滤波处理，而通过基于0或1的离散值的矩形滤波来接近高斯滤波的方法。
关于除此以外的处理方法，与SIFT是同样的，能够对尺度以及旋转求出不变的特征点、特征量。
匹配部112对通过特征点检测部111检测出的特征点中在上述的至少两个图像内对应的特征点进行匹配。下面考虑在两个图像中匹配特征点的情况。在该情况下，例如，使两个图像所包含的人物50的相同部分的特征点相关联（建立对应）。例如，使两个图像双方所包含的人物50的第一部分（例如头部）的特征点相关联。同样地，例如使两个图像双方所包含的人物50的第二部分（例如右足部）的特征点相关联。
此外，进一步，例如也可以使两个图像双方所包含的人物50的第三部分（例如左足部）的特征点相关联。
另外，在上述的例子中，是对多个图像中的两个图像的处理，但也可以对三个以上的图像进行使第一部分的特征点相关联的处理、使第二部分的特征点相关联的处理、使第三部分的特征点相关联的处理。
在此，使用图5以及图6，更加详细地进行说明。图6是用于说明本实施方式中的匹配方法的图。匹配部112通过计算进行图5所示的在时间序列上连续的图像（帧fk1、帧fk2、帧fk3）中检测出的特征点的匹配（相关联）。更具体而言，如图6所示，匹配部112使以手动方式指定的帧fk1中的位于人物50的头部的特征点a1、帧fk2中的位于人物50的头部的特征点a2以及帧fk3中的位于人物50的头部的特征点a3相关联，作为人物50的头部的特征点。另外，匹配部112使帧fk1中的位于人物50的右足部的特征点b1、帧fk2中的位于人物50的右足部的特征点b2以及帧fk3中的位于人物50的右足部的特征点b3相关联，作为人物50的右足部的特征点。另外，匹配部112使帧fk1中的位于人物50的左足部的特征点c1、帧fk2中的位于人物50的左足部的特征点c2以及帧fk3中的位于人物50的左足部的特征点c3相关联,作为人物50的左足部的特征点。另外，在使用通过局部特征检测器自动地求得的特征点的特征量的情况下，循环求出多个图像间的各特征点的特征量直方图的相似度（直方图交叉（histogramintersection）：直方图的重叠率），使直方图的形状最相似的特征点作为对应的点来相关联。由此，能够自动地匹配在时间序列上连续的图像的特征点。
消失点计算部113通过进行对匹配出的对应的特征点绘制直线并求出该直线的交点的计算，算出该多个图像中分别位于同一位置的消失点。例如，考虑在多个图像中的两个图像内匹配了对应的特征点的情况。在该情况下，例如，将两个图像中的一方的图像作为成为基准的图像，使另一方的图像所包含的第一部分的特征点、第二部分的特征点反映到成为基准的图像中。
这样，成为基准的图像中存在两个第一部分的特征点、两个第二部分的特征点。然后，算出经过人物50的第一部分的特征点的直线（第一直线）和经过人物50的第二部分的特征点的直线（第二直线）的交点，作为消失点。
此外，在上述的例子中，使用了多个图像中的两个图像，但也可以使用多个图像中的三个图像来求出两条直线的交点。
另外，在上述的例子中，也可以在两个图像中进一步求出经过人物50的第三部分（例如左足部）的特征点的直线（第三直线），算出第一直线、第二直线以及第三直线的交点作为消失点。
在此，使用图7以及图8，更加详细地进行说明。图7以及图8是用于说明本实施方式中的消失点计算方法的图。
消失点计算部113在使由匹配部112匹配的（相关联的）特征点全部反映到例如帧fk1中后，进行对相关联的特征点绘制如图7所示的直线的计算。即，消失点计算部113进行绘制连接特征点a1、a2、a3的直线、绘制连接特征点b1、b2、b3的直线、绘制连接特征点c1、c2、c3的直线的计算。此外，消失点计算部113只要在计算方面能够绘制连接特征点a1、a2和a3、特征点b1、b2和b3、以及连接特征点c1、c2和c3的直线即可，因此，不需要使用图7中所示的帧fk1进行计算。而且，消失点计算部113对计算出的三条直线的交点进行计算，将计算出的交点如图8所示那样作为消失点来算出。在本实施方式中，如上所述，多个图像各自的消失点位于同一位置。另外，图像通常分别仅具有一个消失点，由车载摄像头等拍摄装置拍摄到的在时间序列上连续的图像分别在相同的位置（位置坐标）具有消失点。因此，通过如上所述算出一个消失点，能够算出本实施方式中的多个图像（帧f0～帧fn）所有的消失点。
［受理部12的结构］
图9是表示图1所示的受理部的详细功能结构的一例的图。图10是用于说明本实施方式中的对象物体的指定方法的一例的图。
受理部12对于多个图像中的至少一个图像，受理在该图像内应该保护隐私的对象物体的指定。更具体而言，受理部12通过受理至少一个图像所包含的对象物在该图像中的坐标的指定，受理该对象区域的指定。
在本实施方式中，如图9所示，受理部12具有表示部121以及指定受理部122。
表示部121显示多个图像中的至少一个图像。在本实施方式中，表示部121例如如图10所示那样从多个图像（帧f0～帧fn）中例如选择帧f0作为一个图像进行显示。
在此，表示部121也可以从区域算出部13进行处理的观点出发，如选择帧f0那样，选择应该保护隐私的对象物体最大的图像作为一个图像。此外，表示部121并不限于如选择帧f0那样选择应该保护隐私的对象物体最大的图像的情况，可以选择任意的图像。另外，表示部121显示一个图像就够了，但也可以同时或者依次显示两个图像等多个图像。
指定受理部122受理针对表示部121所显示的至少一个图像的、在该图像内应该保护隐私的对象物体的坐标的指定。在本实施方式中，例如如图10所示，对于表示部121所显示的图像即帧f0，受理由图像处理装置10的用户等指示者进行的对作为应该保护隐私的对象物体的人物50在该图像中的坐标（位置以及尺寸）的指定。在图10中，作为对象物体的指定，示出指定了表示人物50的位置以及尺寸的边框52的例子。指示者既可以通过移动同时显示出的预定的边框的位置、放大或缩小此边框来指定表示人物50的位置以及尺寸的边框52，也可以通过指定图10所示的人物50的左上端以及右下端的坐标来指定表示人物50的位置以及尺寸的边框52。
［区域算出部13的结构］
图11是表示图1所示的区域算出部的详细功能结构的一例的图。图12是表示本实施方式中的区域算出方法的一例的图。
区域算出部13基于受理部12所受理的该至少一个图像中的对象物体的指定、和由消失点算出部11算出的消失点，算出对象存在区域，所述对象存在区域是包含该消失点、且对象物体在上述的多个图像中可能存在的区域。
在本实施方式中，如图11所示，区域算出部13具有区域计算部131以及区域适用部132。
区域计算部131使用内插法（interpolation）或者外插法（extrapolation），根据该至少一个图像的消失点、和该一个图像所包含的对象物在该图像中的位置以及尺寸，计算在上述的多个图像中对象物体可能存在的区域作为对象存在区域。
区域适用部132将由区域计算部131计算出的对象存在区域适用于上述的多个图像。
使用图12所示的例子具体进行说明，区域计算部131能够将由作为一个图像的帧f0的连接边框52的左上端以及消失点53的直线、和作为一个图像的帧f0的连接边框52的右下端以及消失点53的直线包围的区域，计算为在上述的多个图像中对象物体可能存在的区域即对象存在区域。而且，区域适用部132将与在区域计算部131中计算出的帧f0的对象存在区域位置相同的区域作为其他多个图像（帧f1～帧fn）的对象存在区域进行适用即可。其原因在于，由于上述的多个图像是构成通过用车载摄像头进行的拍摄而获得的影像的在时间序列上连续的图像或可看待为该图像的图像，因此若利用远近法的考虑方式，则在将消失点和表示人物50的位置及尺寸的边框52连接而得到的帧f0的区域（对象存在区域）中会存在多个图像中的人物50。因此，能够将与计算出的对象存在区域位置相同的区域作为多个图像中的对象存在区域来算出。
［图像处理部14的结构］
图13是表示本实施方式中的图像处理方法的一例的图。
图像处理部14对作为上述的多个图像各自的区域的、与由区域算出部13算出的对象存在区域位置相同的区域，进行保护隐私的图像处理。在此，该图像处理是马赛克处理、模糊处理或者像素化处理。
使用图13所示的例子具体进行说明，图像处理部14对由区域算出部13算出的多个图像（帧f0～帧fn）的对象存在区域（图中为区域A），进行保护隐私的图像处理。
这里的图像处理是为了保护对象物体的隐私，使得众包的工作人员能够识别对象物体而另一方面无法确定是怎样的物体的图像处理。该图像处理例如既可以是使用高斯滤波器和/或平均值滤波器等滤波器而使图像中的对象存在区域变模糊的模糊处理，也可以是使图像中的对象存在区域以像素为单位变模糊的马赛克处理（像素化处理）。
此外，图像处理的方法并不限于这些例子。只要众包的工作人员能够识别对象物体而另一方面无法确定是怎样的物体，则可以是任意的图像处理。
另外，在图13所示的例子中，图像处理部14对对象存在区域同样地进行图像处理，但并不限于这种情况。也可预想如下情况：由于在对象存在区域内存在于消失点附近的区域的人物等对象物体小，因此，众包的工作人员难以识别对象物体。因此，图像处理部14既可以不对对象存在区域内且消失点附近的区域进行图像处理，也可以对该附近的区域进行减弱模糊强度等不同的图像处理。以下，使用图14以及图15，对该情况进行说明。图14以及图15是表示本实施方式中的图像处理方法的另一例的图。
图像处理部14也可以对上述的多个图像各自的对象存在区域中包含消失点的预定区域和除该预定区域以外的区域，进行不同的图像处理。例如，图像处理部14也可以以使对该预定区域的模糊处理的强度比对除该预定区域以外的区域的模糊处理的强度弱的方式，进行图像处理。更具体而言，图像处理部14例如也可以如图14的帧fj所示的那样，以使多个图像（帧f0～帧fn）各自的对象存在区域（图中为区域A）中、对包含消失点的区域X的模糊处理的强度比对区域Y（区域A中除区域X以外的区域）的模糊处理的强度弱的方式，进行图像处理。由此，即使图像内有小的对象物体，众包的工作人员也容易识别、容易进行标记工作（加标签工作）等。此外，模糊处理的强度是不同的图像处理的一例，可以是马赛克处理的强度，也可以是像素化处理的强度。另外，基于多个图像（帧f0～帧fn）中、应该保护隐私的对象物体最小的图像来决定区域X即可。
另外，图像处理部14也可以仅对上述的多个图像各自的对象存在区域中除包含消失点的预定区域以外的区域进行图像处理。更具体而言，图像处理部14例如也可以如图15的帧fj所示的那样，不进行针对多个图像（帧f0～帧fn）各自的对象存在区域（图中为区域A）中包含消失点的区域X的图像处理，仅进行针对区域Y（区域A中除区域X以外的区域）的图像处理。由此，即使是图像内小的对象物体，众包的工作人员也能够加以识别，因此能够减少标记工作（加标签工作）的失误。
另外，图像处理部14对对象存在区域进行不同的图像处理的情况的例子并不限于上述的情况。在对象物体是人物以及道路标识（警戒标识、限制标识、指示标识等）的情况下，图像处理部14也可以为，即使是对象物体，也不对对象存在区域内的道路标识进行图像处理。以下，使用图16，对该情况进行说明。图16是表示本实施方式中的图像处理方法的另一例的图。
图像处理部14也可以为，当在上述的多个图像中的对象存在区域内含有对象物体中不应该进行图像处理的对象物体的情况下，对对象存在区域中除该对象物体以外的区域进行图像处理。更具体而言，图像处理部14例如也可以如图16的帧gj所示的那样，当多个图像（例如帧g0～帧gn）中的对象存在区域（图中为区域A）含有道路标识，且该道路标识也是对象物体的情况下，仅对除包围道路标识的区域Z以外的对象存在区域（区域A）进行图像处理。由此，对于作为对象物体的人物等应该保护隐私的对象物体，能够进行图像处理，对于是对象物体但不至于保护隐私的道路标识，能够不进行图像处理。由此，众包的工作人员容易进行对道路标识等对象物体的标记工作（加标签工作），能提高对道路标识等对象物体的加标签精度。
［图像处理装置10的工作］
接着，对如上所述构成的图像处理装置10的工作进行说明。
图17是表示本实施方式中的图像处理装置10的工作的一例的流程图。图18是表示图17所示的步骤S11的详细工作例的流程图。图19是表示图17所示的步骤S12以及S13的详细工作例的流程图。
首先，图像处理装置10算出上述的在时间序列上连续的多个图像中位于同一位置的消失点（S11）。更具体而言，如图18所示，图像处理装置10检测多个图像的至少两个图像中各自的特征点（S111）。接下来，图像处理装置10对检测出的特征点中的在上述的至少两个图像中对应的特征点进行匹配（S112）。接下来，图像处理装置10计算对所匹配的对应的特征点绘制的直线（S113），对计算出的该直线的交点进行计算（S114）。这样，图像处理装置10能够算出多个图像中分别位于同一位置的消失点。此外，上面叙述了在步骤S111～步骤S114中进行的处理的详细内容，因此省略此处的说明。
接着，图像处理装置10对于多个图像中的至少一个图像，受理该图像中应该保护隐私的对象物体的指定（S12）。更具体而言，如图19所示，图像处理装置10首先读取在步骤S11中算出的消失点的坐标（S121）。接下来，图像处理装置10显示多个图像中的至少一个图像（S122）。接下来，图像处理装置10对于在步骤S122中显示出的至少一个图像，判定是否受理到在该图像内应该保护隐私的对象物体的指定（S123）。图像处理装置10在未能判定为受理到指定的情况下（S123：否），再次进行步骤S123的处理。另一方面，图像处理装置10在判定为受理到对象物在该图像中的位置以及尺寸的指定等相应指定的情况下（S123：是），前进至步骤S13的处理。
此外，步骤S121并不限于在步骤S122之前进行的情况，也可以在步骤S123之后（S123：是）的情况下进行，并前进至步骤S13。另外，上面叙述了在步骤S122以及步骤S123中进行的处理的详细内容，因此省略此处的说明。
接着，图像处理装置10基于在步骤S12中所受理的至少一个图像中的对象物体、和在步骤S11中算出的消失点，算出对象存在区域，该对象存在区域是包含消失点、且对象物体在上述的多个图像中可能存在的区域（S13）。更具体而言，如图19所示，图像处理装置10基于在步骤S11中算出的消失点、和在步骤S12中所受理的对象物体的指定（对象物体的坐标），计算对象存在区域（S131），并适用于上述所有的多个图像（S132）。此外，在步骤S132中，如上所述，将与计算出的对象存在区域位置相同的区域、即上述的多个图像各自的区域作为对象存在区域进行适用。
接着，图像处理装置10对在步骤S13中算出的上述的多个图像的所有的对象存在区域进行图像处理（S14）。
［效果等]
如上所述，根据本实施方式，能实现能够更切实地进行必要的保护隐私的图像处理的图像处理方法等。
更具体而言，本实施方式中的多个图像是构成通过用车载摄像头进行的拍摄而获得的影像的、在时间序列上连续的图像和/或可看待为该图像的图像，因此多个图像分别在相同的位置（位置坐标）具有消失点。为此，利用远近法的考虑方式，根据消失点和多个图像中的至少一个图像中的应该保护隐私的对象物体的坐标，使用连接消失点和该对象物体的位置的区域，能够预测对象物体在上述的多个图像中可能存在的区域即对象存在区域。因此，能够将与算出的对象存在区域位置相同的区域作为多个图像中的对象存在区域来算出，因此，通过对对象存在区域进行图像处理，能够不会漏掉对象物体而切实地进行必要的保护隐私的图像处理。
换言之，根据本实施方式，通过以手动方式指定至少一个图像中的表示人物等对象物体的区域，能够利用远近法来预测对象物体的出现位置，因此，能够半自动地进行必要的保护隐私的图像处理。由此，能够简单且无遗漏地切实进行众包用的隐私保护图像的生成。
在本实施方式的图像处理方法等中，多个图像中至少一个图像中的表示应该保护隐私的对象物体的位置以及尺寸的信息需要人（指示者）来提供，但是，与用人工对所有的多个图像提供表示对象物体的位置以及尺寸的信息相比，不会花费太多工夫。
另一方面，例如若使用由图像识别实现的对象物体的位置以及尺寸的检测来进行保护隐私的图像处理，则在未能检测出对象物体（出现检测遗漏）的情况下，会发生无法切实地进行必要的隐私保护这一问题。与此相对，根据本实施方式的图像处理方法，能够不会漏掉对象物体而切实地进行必要的保护隐私的图像处理。
另外，例如，若对多个图像全部同样地实施模糊处理等保护隐私的图像处理，则如上所述，会产生众包的工作人员难以发现存在于照片和/或影像帧等图像内的尺寸小的识别对象（人等）这一问题。与此相对，根据本实施方式的图像处理方法，进行多个图像的隐私保护，则不进行使多个图像整体变模糊等的图像处理。因此，例如，众包的工作人员能够不会将被拍得小的人等对象物体误认为是与该物体类似的背景色等而对其进行标记工作，能够抑制误将背景等作为对象物体进行标记工作。也即是，根据本实施方式的图像处理方法，众包的工作人员能够提高标注表示对象物体的位置和/或尺寸的标签的工作的精度。
此外，在本实施方式中，说明了多个图像分别含有一个人物的情况，但并不限于此。多个图像中也可以分别含有两个以上的人物来作为对象物体。以下，使用图20对多个图像中分别含有两个人物来作为对象物体的情况进行说明。在此，图20是表示实施方式中的图像处理方法的另一例的图。
图像处理装置10例如在如图20的帧hj所示那样，多个图像（例如帧h1～帧hn）中分别含有人物50a以及人物50b的情况下，也能够进行同样的处理。即，图像处理装置10只要受理对人物50a以及人物50b的指定，算出分别针对人物50a以及人物50b的对象存在区域（区域A），并对算出的对象存在区域（区域A）进行图像处理即可。
另外，在本实施方式中，作为对象物体的一例，以人物、标识为例进行了说明，但并不限于此。只要是住宅等的门牌和/或停着的车辆的车牌等需要保护隐私的物体即可。
以上，基于实施方式说明了本发明的一个或多个技术方案涉及的图像处理方法等，但是本发明并不限定于该实施方式。只要不偏离本发明的宗旨，将本领域技术人员想到的各种变形应用于本实施方式或者将不同实施方式中的构成要素组合构成的方式也可以包含在本发明的一个或多个技术方案的范围内。例如，如下的情况也包括在本发明中。
（1）上述的各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示单元、键盘、鼠标等构成的计算机系统。所述RAM或者硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，各装置实现其功能。在此，计算机程序是为了实现预定的功能而组合多个表示对计算机的指令的命令码所构成的。
（2）构成上述的各装置的构成要素的一部分或全部可以由一个系统LSI（LargeScale Integration：大规模集成电路）构成。系统LSI是在一个芯片上集成多个构成部而制造出的超多功能LSI，具体而言，是构成为包括微处理器、ROM、RAM等的计算机系统。所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，系统LSI实现其功能。
（3）构成上述的各装置的构成要素的一部分或全部可以由能够相对于各装置拆装的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块可以包括上述的超多功能LSI。通过微处理器按照计算机程序工作，所述IC卡或所述模块实现其功能。该IC卡或该模块可以具有防篡改性能。
（4）本公开也可以是如上所示的方法。另外，既可以是通过计算机实现这些方法的计算机程序，也可以是通过所述计算机程序形成的数字信号。
（5）另外，本公开也可以将所述计算机程序或所述数字信号记录于计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（Blu-ray（注册商标）Disc）、半导体存储器等。另外，也可以是记录在这些记录介质中的所述数字信号。
（6）另外，本公开也可以将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。
（7）另外，本公开也可以是具备微处理器和存储器的计算机系统，所述存储器存储有上述计算机程序，所述微处理器按照所述计算机程序进行工作。
（8）另外，通过将所述程序或所述数字信号记录在所述记录介质中移送，或者经由所述网络等将所述程序或所述数字信号进行移送，可以通过独立的其他的计算机系统来实施。
产业上的可利用性
本发明能够利用于图像处理方法及其程序，尤其能够利用于如下的图像处理方法，该图像处理方法用于下述隐私保护，该隐私保护是针对将标记工作（加标签工作）委托给众包的工作人员时提供的多个图像中分别所包含的人物等进行的隐私保护。

Claims (10)

1.一种图像处理方法，包括：
消失点算出步骤，算出在时间序列上连续的多个图像中位于同一位置的消失点；
受理步骤，对于所述多个图像中的至少一个图像，受理对在该图像内应该保护隐私的对象物体的指定；
区域算出步骤，基于在所述受理步骤中所受理的所述至少一个图像中的对象物体的指定、和在所述消失点算出步骤中算出的消失点，算出对象存在区域，所述对象存在区域是包含所述消失点、且所述对象物体在所述多个图像中可能存在的区域；
图像处理步骤，对所述多个图像各自的、与在所述区域算出步骤中算出的所述对象存在区域的位置相同的区域，进行保护隐私的图像处理。
2.根据权利要求1所述的图像处理方法，
所述多个图像中分别含有所述对象物体，
所述在时间序列上连续的多个图像中，所述对象物体在图像内的大小逐渐增加或者逐渐减小。
3.根据权利要求1所述的图像处理方法，
所述多个图像构成通过用车载摄像头进行的拍摄所获得的影像。
4.根据权利要求1所述的图像处理方法，
所述图像处理是马赛克处理、模糊处理或者像素化处理。
5.根据权利要求1所述的图像处理方法，
所述消失点算出步骤包括：
在所述多个图像的至少两个图像中分别检测与所述对象物体的多个部分各自对应的特征点的步骤；
使所述至少两个图像分别所包含的所述对象物体的第一部分的特征点相关联，并且使所述至少两个图像分别所包含的所述对象物体的第二部分的特征点相关联的步骤；
通过进行求出第一直线和第二直线的交点的计算，算出所述多个图像中分别位于同一位置的所述消失点的步骤，所述第一直线是经过相关联的所述第一部分的特征点的直线，所述第二直线是经过所述第二部分的特征点的直线。
6.根据权利要求1所述的图像处理方法，
在所述受理步骤中，通过受理所述至少一个图像所包含的对象物体在该图像中的坐标的指定，受理所述对象物体的指定。
7.根据权利要求1所述的图像处理方法，
在所述图像处理步骤中，对所述多个图像各自的所述同一位置的区域中的包含所述消失点的预定区域和除该预定区域以外的区域，进行不同的图像处理。
8.根据权利要求7所述的图像处理方法，
所述图像处理是模糊处理，
在所述图像处理步骤中，以使对所述预定区域的模糊处理的强度比对除该预定区域以外的区域的模糊处理的强度弱的方式，进行所述图像处理。
9.根据权利要求1所述的图像处理方法，
在所述图像处理步骤中，对所述多个图像各自的所述同一位置的区域中的除包含所述消失点的预定区域以外的区域进行所述图像处理。
10.根据权利要求1所述的图像处理方法，
在所述图像处理步骤中，当在所述多个图像中的所述同一位置的区域内含有所述对象物体中不应该进行所述图像处理的对象物体的情况下，对所述同一位置的区域中的除该对象物体以外的区域进行所述图像处理。
CN201610943824.1A 2015-11-20 2016-10-26 图像处理方法 Active CN107016329B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-228205 2015-11-20
JP2015228205 2015-11-20

Publications (2)

Publication Number Publication Date
CN107016329A true CN107016329A (zh) 2017-08-04
CN107016329B CN107016329B (zh) 2021-12-21

Family

ID=57288210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610943824.1A Active CN107016329B (zh) 2015-11-20 2016-10-26 图像处理方法

Country Status (4)

Country Link
US (1) US9916513B2 (zh)
EP (1) EP3171295B1 (zh)
JP (1) JP6726052B2 (zh)
CN (1) CN107016329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
CN112042184A (zh) * 2018-04-12 2020-12-04 松下知识产权经营株式会社 影像处理装置、影像处理系统以及影像处理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
CN109427082A (zh) * 2017-08-29 2019-03-05 杭州海康威视数字技术股份有限公司 一种图像遮蔽方法、装置、设备及系统
CN107657272B (zh) * 2017-09-14 2020-08-07 中国电子科技集团公司第五十四研究所 一种遥感图像海上目标检测方法
US10290084B1 (en) * 2018-11-14 2019-05-14 Sonavista, Inc. Correcting image blur in medical image
JP6695534B1 (ja) * 2019-09-27 2020-05-20 ＡＩ ｉｎｓｉｄｅ株式会社 情報処理システム、情報処理方法及び情報処理プログラム
US11562467B2 (en) * 2020-08-31 2023-01-24 Servicenow Canada Inc. Method and system for designing an optical filter
JP2022184574A (ja) * 2021-06-01 2022-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339605A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 基于视频监控的人数检测系统及方法
CN101464944A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 一种基于统计特征的人群密度分析方法
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
CN104584076A (zh) * 2012-08-31 2015-04-29 富士通株式会社 图像处理装置、图像处理方法以及图像处理程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609855B2 (en) * 2004-11-30 2009-10-27 Object Prediction Technologies, Llc Method of analyzing moving objects using a vanishing point algorithm
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
EP2498520B1 (fr) * 2011-03-10 2014-04-30 Alcatel Lucent Procédé d'obtention de contenus vidéos issus de caméras et relatifs à un usager d'un équipement de communication, et dispositif associé
US8744143B2 (en) * 2011-04-01 2014-06-03 Yahoo! Inc. Adding privacy protection to photo uploading/ tagging in social networks
JP5880182B2 (ja) 2012-03-19 2016-03-08 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9407674B2 (en) * 2014-03-25 2016-08-02 Shui Yu Chan Method and device for removing objects from a video feed in real-time
JP5866564B1 (ja) * 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN105574467A (zh) * 2014-10-09 2016-05-11 多媒体影像解决方案有限公司 用于具有人物辨识的相机的隐私
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
DE102015103121B4 (de) * 2015-03-04 2018-01-11 Omid SULTANI Verfahren und system zur computergestützten sicheren kommunikation zwischen datenverarbeitungseinheiten

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464944A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 一种基于统计特征的人群密度分析方法
CN101339605A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 基于视频监控的人数检测系统及方法
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
CN104584076A (zh) * 2012-08-31 2015-04-29 富士通株式会社 图像处理装置、图像处理方法以及图像处理程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WAEL ELLOUMI 等: "Indoor navigation assistance with a Smartphone camera based on vanishing points", 《 INTERNATIONAL CONFERENCE ON INDOOR POSITIONING AND INDOOR NAVIGATION》 *
崔一博 等: "视频监控中基于行人跟踪的摄像机自动标定", 《清华大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112042184A (zh) * 2018-04-12 2020-12-04 松下知识产权经营株式会社 影像处理装置、影像处理系统以及影像处理方法
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
CN111626910B (zh) * 2019-02-27 2023-11-24 丰田自动车株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
JP2017103748A (ja) 2017-06-08
US20170147892A1 (en) 2017-05-25
EP3171295A1 (en) 2017-05-24
JP6726052B2 (ja) 2020-07-22
CN107016329B (zh) 2021-12-21
EP3171295B1 (en) 2018-08-01
US9916513B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107016329A (zh) 图像处理方法
Choi et al. An automatic approach for tree species detection and profile estimation of urban street trees using deep learning and Google street view images
Teizer et al. Personnel tracking on construction sites using video cameras
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
CN102804231A (zh) 三维场景的分段平面重建
Balali et al. Multi-class US traffic signs 3D recognition and localization via image-based point cloud model using color candidate extraction and texture-based recognition
CN107563310B (zh) 一种违章变道检测方法
CN112668525B (zh) 一种人流量的计数方法、装置、电子设备及存储介质
Soheilian et al. 3D road marking reconstruction from street-level calibrated stereo pairs
Champion et al. 2D building change detection from high resolution satelliteimagery: A two-step hierarchical method based on 3D invariant primitives
JP2010541054A (ja) 現実環境内にバーチャルオブジェクトを描写する方法および装置
Chang et al. Identification of individual tree crowns from LiDAR data using a circle fitting algorithm with local maxima and minima filtering
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN104021538A (zh) 物体定位方法和装置
Zhang et al. Impervious surface extraction from high-resolution satellite image using pixel-and object-based hybrid analysis
JP2017003525A (ja) 三次元計測装置
CN111191557B (zh) 一种标志识别定位方法、标志识别定位装置及智能设备
Hossain et al. Moving object detection for real time video surveillance: An edge based approach
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
Martinez-Sanchez et al. Skyline variations allow estimating distance to trees on landscape photos using semantic segmentation
Wan et al. Tracking of vector roads for the determination of seams in aerial image mosaics
CN104732222B (zh) 一种基于深度摄像头的多特征人体识别方法
CN107808160B (zh) 三维建筑物提取方法和装置
Serati et al. Digital surface model generation from high-resolution satellite stereo imagery based on structural similarity
Wojna et al. Holistic multi-view building analysis in the wild with projection pooling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant