JP2017103748A - 画像処理方法およびプログラム - Google Patents

画像処理方法およびプログラム Download PDF

Info

Publication number
JP2017103748A
JP2017103748A JP2016145471A JP2016145471A JP2017103748A JP 2017103748 A JP2017103748 A JP 2017103748A JP 2016145471 A JP2016145471 A JP 2016145471A JP 2016145471 A JP2016145471 A JP 2016145471A JP 2017103748 A JP2017103748 A JP 2017103748A
Authority
JP
Japan
Prior art keywords
image processing
images
target object
vanishing point
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016145471A
Other languages
English (en)
Other versions
JP6726052B2 (ja
Inventor
育規 石井
Yasunori Ishii
育規 石井
幸恵 庄田
Yukie Shoda
幸恵 庄田
高橋　正樹
Masaki Takahashi
正樹 高橋
令子 羽川
Reiko Hagawa
令子 羽川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2017103748A publication Critical patent/JP2017103748A/ja
Application granted granted Critical
Publication of JP6726052B2 publication Critical patent/JP6726052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/448—Rendering the image unintelligible, e.g. scrambling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】必要なプライバシー保護の画像処理をより確実に行うことができる画像処理方法を提供する。【解決手段】時系列に連続する複数の画像で同一位置にある消失点を算出する消失点算出ステップ（Ｓ１１）と、複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける受付ステップ（Ｓ１２）と、受付ステップ（Ｓ１２）において受け付けた少なくとも１の画像における対象物体の指定と、消失点算出ステップ（Ｓ１１）において算出された消失点とに基づき、消失点を含む領域であって対象物体が複数の画像において存在し得る領域である対象存在領域を算出する領域算出ステップ（Ｓ１３）と、複数の画像それぞれの領域であって領域算出ステップ（Ｓ１３）において算出された対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う画像処理ステップ（Ｓ１４）と、を含む。【選択図】図１７

Description

本発明は、プライバシー保護の画像処理を行う画像処理方法およびプログラムに関する。
近年、Ｄｅｅｐ Ｌｅａｒｎｉｎｇと呼ばれるニューラルネットワークを用いた学習技術を用いた物体認識が、注目されている。Ｄｅｅｐ Ｌｅａｒｎｉｎｇでは、物体など認識対象の名前や種類等がタグとして紐付けされた大量のタグ付き画像を用いて、学習処理を行うことで、高精度の物体認識を実現することができる。
大量のタグ付き画像を用意する方法としては、クラウドソーシングを利用する方法がある。つまり、クラウドソーシングを利用し、写真や映像フレーム等の画像から学習処理に必要な部分を見つけ、切出し、タグ付けする作業を行わせることで、大量のタグ付き画像を用意することができる。しかし、写真や映像フレーム等の画像に人物などプライバシー保護の画像処理が必要な対象物体が写りこんでいる場合には、写真や映像フレーム等にプライバシー保護の画像処理を施した上でクラウドソーシングを利用する必要がある。
一方、例えば特許文献１には、画像認識を用いることで、顔の位置や人物位置を検出し、検出した顔を別の画像に置き換える技術が開示されている。
特開２０１３−１９７７８５号公報
Lowe, avid G.(1999),"Object recognition from local scale-invariant features",Proceedings of the International Conference on Computer Vision. , pp.1150-1157,doi:10.1109/ICCV.1999.790410. Herbert Bay,Andreas Ess, TinneTuytelaars, and Luc Van Gool, "Speeded Up Robust Features", ETH Zurich, KatholiekeUniversiteit Leuven.
しかしながら、現状の画像認識では、１００％の検出精度を保証できないため、上記従来技術では、顔の位置や人物位置の検出に漏れが生じてしまう場合がある。したがって、上記従来技術では、検出漏れの（検出されなかった）顔を別の画像に置き換えことができないなど、プライバシー保護の画像処理を施せない場合があるという問題がある。
本発明は、上述の事情を鑑みてなされたもので、必要なプライバシー保護の画像処理をより確実に行うことができる画像処理方法およびプログラムを提供することを目的とする。
上記目的を達成するために、本発明の一形態に係るタスク画像処理方法は、時系列に連続する複数の画像で同一位置にある消失点を算出する消失点算出ステップと、前記複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける受付ステップと、前記受付ステップにおいて受け付けた前記少なくとも１の画像における対象物体の指定と、前記消失点算出ステップにおいて算出された消失点とに基づき、前記消失点を含む領域であって前記対象物体が前記複数の画像において存在し得る領域である対象存在領域を算出する領域算出ステップと、前記複数の画像それぞれの領域であって前記領域算出ステップにおいて算出された前記対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う画像処理ステップと、を含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、必要なプライバシー保護の画像処理をより確実に行うことができる画像処理方法およびそのプログラムを実現できる。
図１は、実施の形態における画像処理装置の機能構成の一例を示す図である。 図２は、実施の形態における複数の画像の一例を示す図である。 図３は、図２に示す複数の画像における消失点を示す図である。 図４は、図１に示す消失点算出部の詳細機能構成の一例を示す図である。 図５は、実施の形態において手動で特徴点検出を行った例を示す図である。 図６は、実施の形態におけるマッチング方法を説明するための図である。 図７は、実施の形態における消失点計算方法を説明するための図である。 図８は、実施の形態における消失点計算方法を説明するための図である。 図９は、図１に示す受付部の詳細機能構成の一例を示す図である。 図１０は、実施の形態における対象物体の指定方法の一例を説明するための図である。 図１１は、図１に示す領域算出部の詳細機能構成の一例を示す図である。 図１２は、実施の形態における領域算出方法の一例を示す図である。 図１３は、実施の形態における画像処理方法の一例を示す図である。 図１４は、実施の形態における画像処理方法の別の一例を示す図である。 図１５は、実施の形態における画像処理方法の別の一例を示す図である。 図１６は、実施の形態における画像処理方法の別の一例を示す図である。 図１７は、実施の形態における画像処理装置の動作の一例を示すフローチャートである。 図１８は、図１７に示すステップＳ１１の詳細動作例を示すフローチャートである。 図１９は、図１７に示すステップＳ１２およびＳ１３の詳細動作例を示すフローチャートである。 図２０は、実施の形態における画像処理方法の別の一例を示す図である。
（本発明の基礎となった知見）
近年、Ｄｅｅｐ Ｌｅａｒｎｉｎｇと呼ばれるニューラルネットワークを用いた学習技術を用いた物体認識が、注目されている。
ここで、Ｄｅｅｐ Ｌｅａｒｎｉｎｇによる物体認識において、高い認識性能を引き出すためには、認識対象である対象物体の名前や種類等がタグとして紐付け(ラベリング）された大量のタグ付き画像を用いた学習処理を行う必要がある。また、このような大量のタグ付き画像は、写真や映像フレーム等の画像から認識に必要な部分を見つけ、切出し、タグ付けする膨大な工数の作業を必要とする。そのため、写真や映像フレーム等の画像から認識に必要な部分を見つけ、切出し、タグ付けする作業にクラウドソーシングなど第三者へのアウトソーシングを利用する方法が考えられる。
しかしながら、クラウドソーシングは、インターネットを通じて不特定多数の者（作業者）に作業を依頼する仕組みであるため、クラウドソーシングを利用する際に、大量の写真や映像フレーム等の大量の画像を不特定多数の者（作業者）に配信することになる。そのため、写真や映像フレーム等の画像に人物などプライバシー保護の画像処理が必要な対象物体が写りこんでいる場合には、例えば対象物体が人物であれば個人情報（その人物の顔や場所・個人を特定できる情報等）が認識できないように画像処理を行うなど、写真や映像フレーム等にプライバシー保護の画像処理を施した上でクラウドソーシングを利用する必要がある。
それに対して、例えば特許文献１には、画像認識を用いることで、顔の位置や人物位置を検出し、検出した顔を別の画像に置き換える技術が開示されている。しかしながら、上述したように、現状の画像認識では、１００％の検出精度を保証できないため、上記従来技術では、顔の位置や人物位置の検出に漏れが生じてしまう場合がある。したがって、上記従来技術では、検出漏れの（検出されなかった）顔を別の画像に置き換えことができないなど、プライバシー保護の画像処理を施せない場合があるという問題がある。
一方、上記の検出漏れを鑑み、写真や映像フレーム等の画像すべてに対して一様にぼかし処理などのプライバシー保護の画像処理を施す方法も考えられる。しかしながら、このような方法では、クラウドソーシングの作業者は、写真や映像フレーム等の画像内に存在するサイズの小さい認識対象（人など）を見つけにくくなるので、タグ付けする作業(ラベリング作業）の効率や精度が落ちてしまうという問題もある。
本発明は、上述の事情を鑑みてなされたもので、必要なプライバシー保護の画像処理をより確実に行うことができる画像処理方法およびプログラムを提供することを目的とする。
本発明の一態様に係る画像処理方法は、時系列に連続する複数の画像で同一位置にある消失点を算出する消失点算出ステップと、前記複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける受付ステップと、前記受付ステップにおいて受け付けた前記少なくとも１の画像における対象物体の指定と、前記消失点算出ステップにおいて算出された消失点とに基づき、前記消失点を含む領域であって前記対象物体が前記複数の画像において存在し得る領域である対象存在領域を算出する領域算出ステップと、前記複数の画像それぞれの領域であって前記領域算出ステップにおいて算出された前記対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う画像処理ステップと、を含む。
これによれば、必要なプライバシー保護の画像処理をより確実に行うことができる。
ここで、例えば、前記複数の画像それぞれには、前記対象物体が含まれており、前記対象物体の画像内の大きさは、前記時系列に連続する複数の画像において、大きくまたは小さくなっていくとしてもよい。
また、例えば、前記複数の画像は、車載カメラでの撮影により得られる映像を構成するとしてもよい。
また、例えば、前記画像処理は、モザイク処理、ぼかし処理またはピクセル化処理であるとしてもよい。
ここで、例えば、前記複数の画像の少なくとも２つの画像それぞれにおいて、前記対象物体の複数の部分のそれぞれに対応する特徴点を検出するステップと、前記少なくとも２つの画像のそれぞれに含まれる前記対象物体の第一の部分の特徴点を対応付けるとともに、前記少なくとも２つの画像のそれぞれに含まれる前記対象物体の第二の部分の特徴点を対応付けるステップと、対応付けた前記第一の部分の特徴点を通る第一の直線および前記第二の部分の特徴点を通る第２の直線の交点を求める計算を行うことにより、前記複数の画像それぞれで同一位置にある前記消失点を算出するステップとを含むとしてもよい。
また、例えば、前記受付ステップでは、前記少なくとも１の画像に含まれる対象物体の当該画像中の座標の指定を受け付けることで、前記対象物体の指定を受け付けるとしてもよい。
ここで、例えば、前記画像処理ステップでは、前記複数の画像それぞれの前記同一位置の領域のうち前記消失点を含む所定領域と当該所定領域を除く領域とに対して異なる画像処理を行うとしてもよい。
また、例えば、前記画像処理は、ぼかし処理であり、前記画像処理ステップでは、当該所定領域を除く領域に対するぼかし処理の強度よりも、前記所定領域に対するぼかし処理の強度の方が弱くなるように、前記画像処理を行うとしてもよい。
また、例えば、前記画像処理ステップは、前記複数の画像それぞれの前記同一位置の領域のうち前記消失点を含む所定領域の除いた領域に対して、前記画像処理を行うとしてもよい。
また、例えば、前記画像処理ステップでは、前記複数の画像における前記同一位置の領域に、前記対象物体のうち前記画像処理を行うべきではない対象物体が含まれる場合には、前記同一位置の領域のうち当該対象物体を除く領域に対して、前記画像処理を行うとしてもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る画像処理方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
（実施の形態）
［画像処理装置１０の全体構成］
図１は、本実施の形態における画像処理装置１０の機能構成の一例を示す図である。
画像処理装置１０は、プライバシー保護の画像処理が必要な対象物体が写りこんだ複数の画像に対して、プライバシー保護の画像処理を行う。本実施の形態では、画像処理装置１０は、図１に示すように、消失点算出部１１と、受付部１２と、領域算出部１３と、画像処理部１４とを備える。以下、各構成要素について詳細に説明する。
［消失点算出部１１の構成］
図２は、本実施の形態における複数の画像の一例を示す図である。図３は、図２に示す複数の画像における消失点を示す図である。図４は、図１に示す消失点算出部の詳細機能構成の一例を示す図である。
消失点算出部１１は、時系列に連続する複数の画像で同一位置にある消失点を算出する。本実施の形態では、消失点算出部１１は、例えば図２に示す時系列に連続する複数の画像において、図３に示す当該複数の画像で同一位置にある消失点を算出する。
ここで、図２を用いて時系列に連続する複数の画像について説明する。
図２に示す複数の画像は、クラウドソーシングにタグ付け作業を依頼するための画像であり、例えば、直進中の車両において、この車両に搭載されたカメラなどの撮像装置（車載カメラ）での撮影により得られる映像を構成している画像を示している。より具体的には、図２に示す複数の画像は、フレームｆ０、フレームｆ１、フレームｆ２、・・・、フレームｆｎからなり、それぞれの画像（フレームｆ０〜フレームｆｎのそれぞれ）には、人物５０と道路５１とが写っている（含まれている）。ここで、人物５０は、プライバシー保護すべき対象物体の一例である。一般的に、車載カメラでの撮影により得られる映像を構成する画像では、人物５０の動きより、車などの車両の動きの方が大きい（速い）ので、フレームｆ０、フレームｆ１、フレームｆ２、・・・、フレームｆｎにおいて、人物５０は遠ざかっている（または近づいている）。
なお、図２に示す複数の画像は、車載カメラでの撮影により得られる映像を構成する画像に限らない。ランナーに装着されたカメラ等の撮像装置でランナーが道路を走りながら撮影した映像を構成する画像であってもよい。また、自転車などの車両に搭載されたカメラ等の撮像装置での撮影より得られる映像を構成する画像であってもよい。つまり、本実施の形態における複数の画像は、対象物体よりも相対的に速い速度で直進する車両に搭載された撮像装置による画像（車載カメラによる複数の画像に準ずる画像）であればよい。換言すると、本実施の形態における複数の画像は、１）時系列に連続する画像であり、２）複数の画像それぞれは同一位置に消失点を有し、かつ、３）複数の画像それぞれには、人物などプライバシー保護をすべき対象物体が含まれており、４）当該対象物体の画像内の大きさは、時系列に連続する複数の画像において、大きくまたは小さくなっていく画像であればよい。
本実施の形態では、消失点算出部１１は、図４に示すように、特徴点検出部１１１、マッチング部１１２および消失点計算部１１３を有する。
特徴点検出部１１１は、上記複数の画像の少なくとも２つ画像のそれぞれにおいて、対象物体の異なる部分の特徴点を検出する。対象物体を人物５０とした場合、例えば、特徴点検出部１１１は、人体の一部分を検出する。人体の一部分とは、例えば、人物５０の頭部、右手の部分、左手の部分、右足の部分、左足の部分、顔の部分、胴体の部分などである。特徴点検出部１１１は、対象物体の異なる部分の中の１点を特徴点として検出する。特徴点の検出方法は、手動で特徴点を決める方法と自動で特徴点を求める方法とに大別できる。
手動で特徴点を検出する方法は、例えば、図５に示すように頭部や足先など人体の端点を選択する方法や、顔の中心位置、胴体の中心位置など、対象物体において一意に定義可能な場所であれば、どのような場所でも構わない。図５は、本実施の形態において手動で特徴点検出を行った例を示す図である。図２に示す複数の画像（フレームｆ０〜フレームｆｎ）のうち、例えば時系列に連続する３枚の画像（フレームｆｋ１、フレームｆｋ２、フレームｆｋ３）それぞれの特徴点を検出した例である。図５に示す例では、時系列に連続する画像（フレームｆｋ１、フレームｆｋ２、フレームｆｋ３）それぞれにおいて、人物５０の異なる部分（人体の端部）の特徴点として、３つの特徴点を検出しているが、これに限るものではない。人物５０の特徴点としては、少なくとも異なる２つの部分の特徴点を検出できればよい。
自動で特徴点を検出する方法は、画像の局所特徴検出器を用いる。局所特徴検出器の代表的なものとして、ＳＩＦＴ(Scale-Invariant Feature Transform）（例えば非特許文献１参照）やＳＵＲＦ(Speeded Up Robust Features）（例えば非特許文献２参照）などがある。これら局所特徴検出器の特徴は、画像の回転やスケール（サイズ）の不変性がある点である。すなわち、画像が回転している場合や、サイズが違う場合でも局所特徴検出器が出力する特徴量は同じ値になる。そのため、後述するマッチング部１１２においてサイズが異なる特徴点においてもマッチングが可能になる。なお、詳細は非特許文献１、非特許文献２に記載されているため、ここでは概略について述べる。
ＳＩＦＴでは、スケールの算出とキーポイント（特徴点）の検出を同時に実施する。キーポイントのスケールを検出することで、スケールで正規化すれば、どのようなサイズの画像から求めた特徴点でも同じサイズとして扱うことが可能となる。スケールの検出のためには、画像のスケールを変え、それぞれ分散の異なるガウシアンフィルタを施す。その後、フィルタ処理した２枚の画像の差分を求め、その差分画像を３枚利用して求めた極値で、スケールを検出する。極値とは、分散を連続して変化させて求めた差分画像を分散が連続する３枚選択し、ある画素に着目したときにその近傍２６画素と比較したときに、値が極大、極小となる画素のことである。この画素は周囲の画素に比べて、スケールを変えた時の画素値の差、近傍の画素と比較したときの画素値の差が大きいことを表し、物体の特徴的な画素であることを意味する。この極値を求めたときの、ガウシアンフィルタの分散は画像間のスケールに比例する。
例えば、画像１（例えば、２００ｘ２００画素）において極値σ１が５のとき、画像１の縦横を２倍にした画像（４００x４００画素）における極値σ２は１０となる。これを画像全体に行うことで、画像の各画素の極値を求めることができ、各画素における極値からスケールの算出が可能になる。また、極値となる画素の近傍をブロックに分け、勾配方向を求め、どの勾配方向が多く出現するかをヒストグラムにて求める。キーポイント毎に、最頻出の勾配方向を常に特定の方向（例えば上）に回転させることで、画像が回転しても、キーポイントの方向を一定に揃えることができる。また、このようにヒストグラム（特徴量）を求めることで、後述するように画像間のマッチングを行うことが可能となる。
ＳＵＲＦは、ＳＩＦＴを簡略化し、高速化したものであり、実数値によるガウシアンフィルタによるフィルタ処理を行わず、０か１の離散値による矩形フィルタによってガウシアンフィルタを近似したものである。
それ以外の処理の方法についてはＳＩＦＴと同様であり、スケール及び回転に不変な特徴点、特徴量を求めることができる。
マッチング部１１２は、特徴点検出部１１１で検出された特徴点のうち上記の少なくとも２つの画像において対応する特徴点をマッチングする。２つの画像において特徴点をマッチングする場合を考える。この場合、例えば、２つの画像に含まれる人物５０の同じ部分の特徴点を対応づける。例えば、２つの画像の両方に含まれる人物５０の第一の部分（例えば頭部）の特徴点を対応づける。同様に、例えば２つの画像の両方に含まれる人物５０の第二の部分（例えば右足部）の特徴点を対応づける。
なお、さらに、例えば２つの画像の両方に含まれる人物５０の第三の部分（例えば左足部）の特徴点を対応づけてもよい。
また、上述の例では、複数の画像のうちの２つの画像に対する処理であったが、３つ以上の画像に対して第一の部分の特徴点を対応付ける処理、第二の部分の特徴点を対応付ける処理、第三の部分の特徴点を対応付ける処理を行ってもよい。
ここで、図５および図６を用いてより詳細に説明する。図６は、本実施の形態におけるマッチング方法を説明するための図である。マッチング部１１２は、図５に示す時系列に連続する画像（フレームｆｋ１、フレームｆｋ２、フレームｆｋ３）において検出された特徴点のマッチング（対応づけ）を計算により行う。より具体的には、マッチング部１１２は、図６に示すように、人物５０の頭部の特徴点として、手動で指定したフレームｆｋ１における人物５０の頭部にある特徴点ａ１、フレームｆｋ２における人物５０の頭部にある特徴点ａ２およびフレームｆｋ３における人物５０の頭部にある特徴点ａ３を対応づける。また、マッチング部１１２は、人物５０の右足部の特徴点として、フレームｆｋ１における人物５０の右足部にある特徴点ｂ１、フレームｆｋ２における人物５０の右足部にある特徴点ｂ２およびフレームｆｋ３における人物５０の右足部にある特徴点ｂ３を対応づける。また、マッチング部１１２は、人物５０の左足部の特徴点として、フレームｆｋ１における人物５０の左足部にある特徴点ｃ１、フレームｆｋ２における人物５０の左足部にある特徴点ｃ２およびフレームｆｋ３における人物５０の左足部にある特徴点ｃ３を対応づける。また、局所特徴検出器で自動で求めた特徴点の特徴量を用いる場合、複数の画像間の各特徴点の特徴量ヒストグラムの類似度（ヒストグラムインターセクション：ヒストグラムの重なり率）を総当りで求め、最もヒストグラムの形状が類似するものを対応する点として対応づける。これにより、自動で時系列に連続する画像の特徴点のマッチングが可能になる。
消失点計算部１１３は、マッチングされた対応する特徴点に直線を引いて当該直線の交点を求める計算を行うことにより、当該複数の画像それぞれで同一位置にある消失点を算出する。例えば、複数の画像のうちの２つの画像において対応する特徴点をマッチングした場合を考える。この場合、例えば、２つの画像の内の一方の画像を基準とする画像とし、他方の画像に含まれる第一の部分の特徴点、第二の部分の特徴点を基準とする画像に反映させる。
このようにすれば、基準とする画像の中に第一の部分の特徴点が２つ、第二の部分の特徴点が２つ存在することになる。そして、人物５０の第一の部分の特徴点を通る直線（第一の直線）、人物５０の第二の部分の特徴点を通る直線（第二の直線）の交点を消失点として算出する。
なお、上述の例では、複数の画像のうちの２つの画像を用いたが、複数の画像のうちの３つの画像を用いて２つの直線の交点を求めてもよい。
また、上述の例では、２つの画像において人物５０の第三の部分（例えば左足部）の特徴点を通る直線（第三の直線）を更に求め、第一の直線、第二の直線および第三の直線の交点を消失点として算出してもよい。
ここで、図７および図８を用いてより詳細に説明する。図７および図８は、本実施の形態における消失点計算方法を説明するための図である。
消失点計算部１１３は、マッチング部１１２によりマッチングされた（対応づけられた）特徴点のすべてを例えばフレームｆｋ１に反映させた上で、図７に示すような直線を対応づけられた特徴点に引く計算を行う。すなわち、消失点計算部１１３は、特徴点ａ１、ａ２、ａ３を結ぶ直線を引き、特徴点ｂ１、ｂ２、ｂ３を結ぶ直線を引き、特徴点ｃ１、ｃ２、ｃ３を結ぶ直線を引く計算をする。なお、消失点計算部１１３は、特徴点ａ１、ａ２およびａ３、特徴点ｂ１、ｂ２およびｂ３、並びに、特徴点ｃ１、ｃ２およびｃ３を結ぶ直線を計算上で引くことができればよいので、図７で示すフレームｆｋ１を用いて計算する必要はない。そして、消失点計算部１１３は、計算した３直線の交点を計算し、計算した交点を図８に示すように消失点として算出する。本実施の形態では、上述したように、複数の画像それぞれの消失点は、同一位置にある。また、画像それぞれは、通常、一つの消失点しか有さず、車載カメラ等の撮像装置により撮影された時系列に連続する画像それぞれは、同一の位置（位置座標）に消失点を有する。そのため、上記のように消失点を一つ算出することにより、本実施の形態における複数の画像（フレームｆ０〜フレームｆｎ）すべての消失点を算出することができる。
［受付部１２の構成］
図９は、図１に示す受付部の詳細機能構成の一例を示す図である。図１０は、本実施の形態における対象物体の指定方法の一例を説明するための図である。
受付部１２は、複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける。より具体的には、受付部１２は、少なくとも１の画像に含まれる対象物の当該画像中の座標の指定を受け付けることで、当該対象領域の指定を受け付ける。
本実施の形態では、受付部１２は、図９に示すように、表示部１２１および指定受付部１２２を有する。
表示部１２１は、複数の画像のうち少なくとも１の画像を表示する。本実施の形態では、表示部１２１は、例えば図１０に示すように、複数の画像（フレームｆ０〜フレームｆｎ）のうちから、例えば１の画像としてフレームｆ０を選択して表示する。
ここで、表示部１２１は、領域算出部１３が処理を行う観点から、１の画像としては、フレームｆ０のように、プライバシー保護すべき対象物体が最も大きい画像を選択するとよい。なお、表示部１２１は、フレームｆ０のように、プライバシー保護すべき対象物体が最も大きい画像を選択する場合に限らず、どの画像を選択してもよい。また、表示部１２１は１の画像を表示することで足りるが、２画像など複数画像を同時または順次表示するとしてもよい。
指定受付部１２２は、表示部１２１が表示した少なくとも画像に対する、当該画像内でプライバシー保護をすべき対象物体の座標の指定を受け付ける。本実施の形態では、例えば図１０に示すように、表示部１２１が表示した画像であるフレームｆ０に対して、画像処理装置１０のユーザなどの指示者によるプライバシー保護をすべき対象物体である人物５０の当該画像中の座標（位置およびサイズ）の指定を受け付ける。図１０では、対象物体の指定として、人物５０の位置およびサイズを示す枠５２が指定された例が示されている。指示者は、同時に表示された所定の枠の位置を移動し、その枠の拡大または縮小することにより人物５０の位置およびサイズを示す枠５２を指定するとしてもよいし、図１０に示す人物５０の左上端および右下端の座標を指定することで人物５０の位置およびサイズを示す枠５２を指定するとしてもよい。
［領域算出部１３の構成］
図１１は、図１に示す領域算出部の詳細機能構成の一例を示す図である。図１２は、本実施の形態における領域算出方法の一例を示す図である。
領域算出部１３は、受付部１２が受け付けた当該少なくとも１の画像における対象物体の指定と、消失点算出部１１により算出された消失点とに基づき、当該消失点を含む領域であって対象物体が上記の複数の画像において存在し得る領域である対象存在領域を算出する。
本実施の形態では、領域算出部１３は、図１１に示すように、領域計算部１３１および領域適用部１３２を有する。
領域計算部１３１は、内挿法または外挿法を用いて、当該少なくとも１の画像の消失点と、当該１の画像に含まれる対象物の当該画像中の位置およびサイズとから、上記の複数の画像において対象物体が存在し得る領域を対象存在領域として計算する。
領域適用部１３２は、領域計算部１３１により計算された対象存在領域を上記の複数の画像に適用する。
図１２に示す例を用いて具体的に説明すると、領域計算部１３１は、１の画像であるフレームｆ０の枠５２の左上端および消失点５３を結ぶ直線と、１の画像であるフレームｆ０の枠５２の右下端および消失点５３を結ぶ直線とで囲まれる領域を、上記の複数の画像において対象物体が存在し得る領域である対象存在領域として計算することができる。そして、領域適用部１３２は、領域計算部１３１で計算されたフレームｆ０の対象存在領域と同一位置の領域を他の複数の画像（フレームｆ１〜フレームｆｎ）の対象存在領域として適用すればよい。上記の複数の画像は、車載カメラでの撮影により得られる映像を構成する時系列に連続する画像やそれに準ずる画像であることから、遠近法の考え方を利用すると、消失点と人物５０の位置およびサイズを示す枠５２を結ぶフレームｆ０の領域（対象存在領域）に複数の画像における人物５０が存在するからである。そのため、計算した対象存在領域と同一位置の領域を複数の画像における対象存在領域として算出することができる。
［画像処理部１４の構成］
図１３は、本実施の形態における画像処理方法の一例を示す図である。
画像処理部１４は、上記の複数の画像それぞれの領域であって領域算出部１３により算出された対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う。ここで、当該画像処理は、モザイク処理、ぼかし処理またはピクセル化処理である。
図１３に示す例を用いて具体的に説明すると、画像処理部１４は、領域算出部１３により算出された複数の画像（フレームｆ１〜フレームｆｎ）の対象存在領域（図で領域Ａ）に対して、プライバシー保護の画像処理を行う。
ここでの画像処理は、対象物体のプライバシーを保護するために、対象物体をクラウドソーシングの作業者が認識できる一方で、どのような物体かを特定できないようにする画像処理である。この画像処理は、例えば、ガウシアンフィルタや平均値フィルタなどのフィルタを用いて画像中の対象存在領域をにじませるぼかし処理であってもよいし、画像中の対象存在領域をピクセル単位でぼかすモザイク処理（ピクセル化処理）であってもよい。
なお、画像処理の方法はこれらの例に限らない。対象物体を、クラウドソーシングの作業者が認識できる一方で、どのような物体かを特定できないのであれば、どのような画像処理でもよい。
また、図１３に示す例では、画像処理部１４は、対象存在領域に対して一様に画像処理を行っているが、このような場合に限らない。対象存在領域内で消失点に近い領域に存在する人物などの対象物体は小さいので、クラウドソーシングの作業者は対象物体を認識し難いことも予想される。そのため、画像処理部１４は、対象存在領域内で消失点に近い領域については、画像処理を行わないとしてもよく、当該近い領域についてはぼかし強度を弱めるなど異なる画像処理を行ってもよい。以下、この場合について図１４および図１５を用いて説明する。図１４および図１５は、本実施の形態における画像処理方法の別の一例を示す図である。
画像処理部１４は、上記の複数の画像それぞれの対象存在領域のうち消失点を含む所定領域と当該所定領域を除く領域とに対して異なる画像処理を行ってもよい。例えば、画像処理部１４は、当該所定領域を除く領域に対するぼかし処理の強度よりも、当該所定領域に対するぼかし処理の強度の方が弱くなるように、画像処理を行ってもよい。より具体的には、画像処理部１４は、例えば図１４のフレームｆｊに示されるように、複数の画像（フレームｆ１〜フレームｆｎ）のそれぞれの対象存在領域（図で領域Ａ）のうち、消失点を含む領域Ｘに対するぼかし処理の強度の方が、領域Ｙ（領域Ａのうち領域Ｘを除く領域）に対するぼかし処理の強度を弱くなるように、画像処理を行ってもよい。これにより、クラウドソーシングの作業者は、画像内に小さい対象物体であっても認識し易くなりタグ付け作業（ラベリング作業）などがし易くなる。なお、ぼかし処理の強度は異なる画像処理の一例であり、モザイク処理の強度でもピクセル化処理の強度でよい。また、領域Ｘは、複数の画像（フレームｆ１〜フレームｆｎ）のうち、プライバシー保護すべき対象物体が最も小さい画像に基づいて決定されればよい。
また、画像処理部１４は、上記の複数の画像それぞれの対象存在領域のうち消失点を含む所定領域を除く領域に対してのみ画像処理を行ってもよい。より具体的には、画像処理部１４は、例えば図１５のフレームｆｊに示されるように、複数の画像（フレームｆ１〜フレームｆｎ）それぞれの対象存在領域（図で領域Ａ）のうち消失点を含む領域Ｘに対する画像処理を行わず、領域Ｙ（領域Ａのうち領域Ｘを除く領域）に対する画像処理のみ行ってもよい。これにより、クラウドソーシングの作業者は、画像内に小さい対象物体であっても認識できるのでタグ付け作業（ラベリング作業）のミスを減じることができる。
また、画像処理部１４は、対象存在領域に対して異なる画像処理を行う場合の例は、上記の場合に限らない。対象物体が、人物とともに道路標識（警戒標識、規制標識、指示標識等）であった場合には、画像処理部１４は、対象存在領域内の道路標識を対象物体であっても画像処理を行わないとしてもよい。以下、この場合について図１６を用いて説明する。図１６は、本実施の形態における画像処理方法の別の一例を示す図である。
画像処理部１４は、上記の複数の画像における対象存在領域に、対象物体のうち画像処理を行うべきではない対象物体が含まれる場合には、対象存在領域のうち当該対象物体を除く領域に対して、画像処理を行ってもよい。より具体的には、画像処理部１４は、例えば図１３のフレームｇｊに示されるように、複数の画像（例えばフレームｇ１〜フレームｇｎ）における対象存在領域（図で領域Ａ）に道路標識が含まれ、当該道路標識が対象物体でもある場合には、道路標識を囲む領域Ｚを除いた対象存在領域（領域Ａ）にのみ画像処理を行ってもよい。これにより、対象物体として人物などプライバシー保護すべき対象物体には画像処理を行うことができ、対象物体であるがプライバシー保護するまでもない道路標識に対しては画像処理を行わないとすることができる。それにより、クラウドソーシングの作業者は、道路標識などの対象物体に対するタグ付け作業（ラベリング作業）がし易くなり、道路標識などの対象物体に対するラベリング精度が向上する。
［画像処理装置１０の動作］
次に、以上のように構成された画像処理装置１０の動作について説明する。
図１７は、本実施の形態における画像処理装置１０の動作の一例を示すフローチャートである。図１８は、図１７に示すステップＳ１１の詳細動作例を示すフローチャートである。図１９は、図１７に示すステップＳ１２およびＳ１３の詳細動作例を示すフローチャートである。
まず、画像処理装置１０は、上述した時系列に連続する複数の画像で同一位置にある消失点を算出する（Ｓ１１）。より具体的には、図１８に示されるように、画像処理装置１０は、複数の画像の少なくとも２画像それぞれにおける特徴点を検出する（Ｓ１１１）。次いで、画像処理装置１０は、検出された特徴点のうち上記の少なくとも２画像において対応する特徴点をマッチングする（Ｓ１１２）。次いで、画像処理装置１０は、マッチングされた対応する特徴点に引く直線を計算し（Ｓ１１３）、計算した当該直線の交点を計算する（Ｓ１１４）。このようにして、画像処理装置１０は、複数の画像それぞれで同一位置にある消失点を算出することができる。なお、ステップＳ１１１〜ステップＳ１１４において行われる処理の詳細は上述したのでここでの説明は省略する。
次に、画像処理装置１０は、複数の画像のうち少なくとも１の画像に対して、当該画像でプライバシー保護をすべき対象物体の指定を受け付ける（Ｓ１２）。より具体的には、図１９に示されるように、画像処理装置１０は、まず、ステップＳ１１で算出された消失点の座標を読み込む（Ｓ１２１）。次いで、画像処理装置１０は、複数の画像のうち少なくとも１の画像を表示する（Ｓ１２２）。次いで、画像処理装置１０は、ステップＳ１２２で表示された少なくとも画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付けたかを判定する（Ｓ１２３）。画像処理装置１０は、指定を受け付けたことを判定できなかった場合には（Ｓ１２３でＮｏ）、再度ステップＳ１２３の処理を行う。一方、画像処理装置１０は、対象物の当該画像中の位置およびサイズの指定など当該指定を受け付けたことを判定できた場合には（Ｓ１２３でＹｅｓ）、ステップＳ１３の処理に進む。
なお、ステップＳ１２１は、ステップＳ１２２の前に行われる場合に限らず、ステップＳ１２３の後（Ｓ１２３でＹｅｓ）の場合に行い、ステップＳ１３に進むとしてもよい。また、ステップＳ１２２およびステップＳ１２３において行われる処理の詳細は上述したのでここでの説明は省略する。
次に、画像処理装置１０は、ステップＳ１２において受け付けた少なくとも１の画像における対象物体と、ステップＳ１１において算出された消失点とに基づき、消失点を含む領域であって対象物体が上記の複数の画像において存在し得る領域である対象存在領域を算出する（Ｓ１３）。より具体的には、図１９に示されるように、画像処理装置１０は、ステップＳ１１において算出された消失点と、ステップＳ１２において受け付けた対象物体の指定（対象物体の座標）とに基づいて対象存在領域を計算し（Ｓ１３１）、上記の複数の画像すべてに適用する（Ｓ１３２）。なお、ステップＳ１３２では、上述したように、計算した対象存在領域と同一位置にある領域であって上記の複数の画像それぞれの領域を対象存在領域として適用する。
次に、画像処理装置１０は、ステップＳ１３において算出した上記の複数の画像すべての対象存在領域に対して画像処理を行う（Ｓ１４）。
［効果等]
以上のように、本実施の形態によれば、必要なプライバシー保護の画像処理をより確実に行うことができる画像処理方法等を実現できる。
より具体的には、本実施の形態における複数の画像は、車載カメラでの撮影により得られる映像を構成する時系列に連続する画像やこれに準ずる画像であることから、複数の画像のそれぞれは、同一の位置（位置座標）に消失点を有する。そのため、遠近法の考え方を利用して、消失点と、複数の画像のうちの少なくとも１の画像におけるプライバシー保護すべき対象物体の座標とから、消失点と当該対象物体の位置とを結ぶ領域を用いて、対象物体が上記の複数の画像において存在し得る領域である対象存在領域を予測することができる。そのため、算出した対象存在領域と同一位置の領域を複数の画像における対象存在領域として算出することができるので、対象存在領域に対して画像処理を行うことで、対象人物を漏れなく確実に必要なプライバシー保護の画像処理を行うことができる。
換言すると、本実施の形態によれば、少なくとも１の画像における人物などの対象物体を示す領域を手動で指定することにより、遠近法を利用して対象物体の出現位置を予測できるので、半自動で必要なプライバシー保護の画像処理を行うことができる。それにより、クラウドソーシング用のプライバシー保護画像の生成を簡易かつ、漏れなく確実に行うことができる。
本実施の形態の画像処理方法等では、複数の画像のうちの少なくとも１の画像におけるプライバシー保護すべき対象物体の位置およびサイズを示す情報は、人（指示者）が与える必要があるが、複数の画像のすべてに対して人の手で対象物体の位置およびサイズを示す情報を与えることに比べれば手間はかからない。
一方、例えば画像認識による対象物体の位置およびサイズの検出を用いてプライバシー保護の画像処理を行うと、対象物体を検出できなかった（検出漏れがあった）場合には、必要なプライバシー保護を確実に行えないという問題が生じる。それに対して、本実施の形態の画像処理方法によれば、対象人物を漏れなく確実に必要なプライバシー保護の画像処理を行うことができる。
また、例えば、複数の画像のすべてに対して一様にぼかし処理などのプライバシー保護の画像処理を施すと、上述したように、クラウドソーシングの作業者は、写真や映像フレーム等の画像内に存在するサイズの小さい認識対象（人など）を見つけにくくなるという問題が生じる。それに対して本実施の形態の画像処理方法によれば、複数の画像のプライバシー保護を行えば、複数の画像全体をぼかすなどの画像処理を行わない。そのため、例えば、クラウドソーシングの作業者は、小さく写った人などの対象物体を、当該物体と類似した背景の色などと間違わずにタグ付け作業を行えたり、背景等を対象物体として間違ってタグ付け作業を行ってしまうこと抑制したりすることができる。つまり、本実施の形態の画像処理方法によれば、クラウドソーシングの作業者は、対象物体の位置やサイズを示すタグ付け作業の精度を上げることができる。
なお、本実施の形態では、複数の画像それぞれに１人の人物が含まれるとして説明したが、これに限らない。複数の画像それぞれに、対象物体として２以上の人物が含まれていてもよい。以下、複数の画像それぞれに対象物体として２人の人物が含まれている場合について図２０を用いて説明する。ここで、図２０は、実施の形態における画像処理方法の別の一例を示す図である。
画像処理装置１０は、例えば図２０のフレームｈｊに示されるように、複数の画像（例えばフレームｈ１〜フレームｈｎ）それぞれに人物５０ａおよび人物５０ｂが含まれている場合にも同様の処理を行うことができる。すなわち、画像処理装置１０は、人物５０ａおよび人物５０ｂの指定を受け付けて、人物５０ａおよび人物５０ｂそれぞれに対する対象存在領域（領域Ａ）を算出し、算出した対象存在領域（領域Ａ）に対して、画像処理を行えばよい。
また、本実施の形態では、対象物体の一例として、人物や標識を例に挙げて説明したが、これに限らない。住居等の表札や駐車中の車両のナンバプレートなどプライバシー保護が必要な物体であればよい。
以上、本発明の一つまたは複数の態様に係る画像処理方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
（６）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
（７）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
（８）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本発明は、画像処理方法およびそのプログラムに利用でき、特に、クラウドソーシングの作業者にタグ付け作業（ラベリング作業）を依頼する際に提供する複数の画像それぞれに含まれる人物などに対するプライバシー保護のための画像処理方法およびそのプログラムに利用可能である。
１０ 画像処理装置
１１ 消失点算出部
１２ 受付部
１３ 領域算出部
１４ 画像処理部
５０、５０ａ、５０ｂ 人物
５１ 道路
５２ 枠
５３ 消失点
１１１ 特徴点検出部
１１２ マッチング部
１１３ 消失点計算部
１２１ 表示部
１２２ 指定受付部
１３１ 領域計算部
１３２ 領域適用部

Claims (11)

  1. 時系列に連続する複数の画像で同一位置にある消失点を算出する消失点算出ステップと、
    前記複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける受付ステップと、
    前記受付ステップにおいて受け付けた前記少なくとも１の画像における対象物体の指定と、前記消失点算出ステップにおいて算出された消失点とに基づき、前記消失点を含む領域であって前記対象物体が前記複数の画像において存在し得る領域である対象存在領域を算出する領域算出ステップと、
    前記複数の画像それぞれの領域であって前記領域算出ステップにおいて算出された前記対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う画像処理ステップと、を含む、
    画像処理方法。
  2. 前記複数の画像それぞれには、前記対象物体が含まれており、
    前記対象物体の画像内の大きさは、前記時系列に連続する複数の画像において、大きくまたは小さくなっていく、
    請求項１に記載の画像処理方法。
  3. 前記複数の画像は、車載カメラでの撮影により得られる映像を構成する、
    請求項１または２に記載の画像処理方法。
  4. 前記画像処理は、モザイク処理、ぼかし処理またはピクセル化処理である、
    請求項１〜３のいずれか１項に記載の画像処理方法。
  5. 前記消失点算出ステップは、
    前記複数の画像の少なくとも２つの画像それぞれにおいて、前記対象物体の複数の部分のそれぞれに対応する特徴点を検出するステップと、
    前記少なくとも２つの画像のそれぞれに含まれる前記対象物体の第一の部分の特徴点を対応付けるとともに、前記少なくとも２つの画像のそれぞれに含まれる前記対象物体の第二の部分の特徴点を対応付けるステップと、
    対応付けた前記第一の部分の特徴点を通る第一の直線および前記第二の部分の特徴点を通る第２の直線の交点を求める計算を行うことにより、前記複数の画像それぞれで同一位置にある前記消失点を算出するステップとを含む、
    請求項１〜４のいずれか１項に記載の画像処理方法。
  6. 前記受付ステップでは、
    前記少なくとも１の画像に含まれる対象物体の当該画像中の座標の指定を受け付けることで、前記対象物体の指定を受け付ける、
    請求項１〜５のいずれか１項に記載の画像処理方法。
  7. 前記画像処理ステップでは、
    前記複数の画像それぞれの前記同一位置の領域のうち前記消失点を含む所定領域と当該所定領域を除く領域とに対して異なる画像処理を行う、
    請求項１〜６のいずれか１項に記載の画像処理方法。
  8. 前記画像処理は、ぼかし処理であり、
    前記画像処理ステップでは、
    当該所定領域を除く領域に対するぼかし処理の強度よりも、前記所定領域に対するぼかし処理の強度の方が弱くなるように、前記画像処理を行う、
    請求項７に記載の画像処理方法。
  9. 前記画像処理ステップは、
    前記複数の画像それぞれの前記同一位置の領域のうち前記消失点を含む所定領域の除いた領域に対して、前記画像処理を行う、
    請求項１〜６のいずれか１項に記載の画像処理方法。
  10. 前記画像処理ステップでは、
    前記複数の画像における前記同一位置の領域に、前記対象物体のうち前記画像処理を行うべきではない対象物体が含まれる場合には、前記同一位置の領域のうち当該対象物体を除く領域に対して、前記画像処理を行う、
    請求項１〜９のいずれか１項に記載の画像処理方法。
  11. 時系列に連続する複数の画像で同一位置にある消失点を算出する消失点算出ステップと、
    前記複数の画像のうち少なくとも１の画像に対して、当該画像内でプライバシー保護をすべき対象物体の指定を受け付ける受付ステップと、
    前記受付ステップにおいて受け付けた前記少なくとも１の画像における対象物体の指定と、前記消失点算出ステップにおいて算出された消失点とに基づき、前記消失点を含む領域であって前記対象物体が前記複数の画像において存在し得る領域である対象存在領域を算出する領域算出ステップと、
    前記複数の画像それぞれの領域であって前記領域算出ステップにおいて算出された前記対象存在領域と同一位置の領域に対して、プライバシー保護の画像処理を行う画像処理ステップとを、
    コンピュータに実行させるためのプログラム。
JP2016145471A 2015-11-20 2016-07-25 画像処理方法およびプログラム Active JP6726052B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015228205 2015-11-20
JP2015228205 2015-11-20

Publications (2)

Publication Number Publication Date
JP2017103748A true JP2017103748A (ja) 2017-06-08
JP6726052B2 JP6726052B2 (ja) 2020-07-22

Family

ID=57288210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016145471A Active JP6726052B2 (ja) 2015-11-20 2016-07-25 画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US9916513B2 (ja)
EP (1) EP3171295B1 (ja)
JP (1) JP6726052B2 (ja)
CN (1) CN107016329B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
WO2021059847A1 (ja) * 2019-09-27 2021-04-01 ＡＩ ｉｎｓｉｄｅ株式会社 情報処理システム、情報処理方法及び情報処理プログラム
US12135807B2 (en) 2018-09-06 2024-11-05 Sony Corporation Information processing system, information processing method, terminal apparatus, and information processing apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
CN109427082A (zh) * 2017-08-29 2019-03-05 杭州海康威视数字技术股份有限公司 一种图像遮蔽方法、装置、设备及系统
CN107657272B (zh) * 2017-09-14 2020-08-07 中国电子科技集团公司第五十四研究所 一种遥感图像海上目标检测方法
JP6887132B2 (ja) * 2018-04-12 2021-06-16 パナソニックＩｐマネジメント株式会社 映像処理装置、映像処理システム及び映像処理方法
US10290084B1 (en) * 2018-11-14 2019-05-14 Sonavista, Inc. Correcting image blur in medical image
US11562467B2 (en) * 2020-08-31 2023-01-24 Servicenow Canada Inc. Method and system for designing an optical filter
JP2022184574A (ja) * 2021-06-01 2022-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609855B2 (en) * 2004-11-30 2009-10-27 Object Prediction Technologies, Llc Method of analyzing moving objects using a vanishing point algorithm
CN101464944B (zh) * 2007-12-19 2011-03-16 中国科学院自动化研究所 一种基于统计特征的人群密度分析方法
CN101339605B (zh) * 2008-08-14 2011-11-23 北京中星微电子有限公司 基于视频监控的人数检测系统及方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5695405B2 (ja) * 2010-12-10 2015-04-08 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像処理装置および車両用画像処理方法
EP2498520B1 (fr) * 2011-03-10 2014-04-30 Alcatel Lucent Procédé d'obtention de contenus vidéos issus de caméras et relatifs à un usager d'un équipement de communication, et dispositif associé
US8744143B2 (en) * 2011-04-01 2014-06-03 Yahoo! Inc. Adding privacy protection to photo uploading/ tagging in social networks
CN104081763B (zh) * 2012-01-17 2018-09-14 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
JP5880182B2 (ja) 2012-03-19 2016-03-08 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
WO2014033936A1 (ja) 2012-08-31 2014-03-06 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9407674B2 (en) * 2014-03-25 2016-08-02 Shui Yu Chan Method and device for removing objects from a video feed in real-time
JP5866564B1 (ja) * 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN105574467A (zh) * 2014-10-09 2016-05-11 多媒体影像解决方案有限公司 用于具有人物辨识的相机的隐私
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
DE102015103121B4 (de) * 2015-03-04 2018-01-11 Omid SULTANI Verfahren und system zur computergestützten sicheren kommunikation zwischen datenverarbeitungseinheiten

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12135807B2 (en) 2018-09-06 2024-11-05 Sony Corporation Information processing system, information processing method, terminal apparatus, and information processing apparatus
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
CN111626910B (zh) * 2019-02-27 2023-11-24 丰田自动车株式会社 图像处理装置和图像处理方法
WO2021059847A1 (ja) * 2019-09-27 2021-04-01 ＡＩ ｉｎｓｉｄｅ株式会社 情報処理システム、情報処理方法及び情報処理プログラム
JP2021056658A (ja) * 2019-09-27 2021-04-08 ＡＩ ｉｎｓｉｄｅ株式会社 情報処理システム、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
CN107016329A (zh) 2017-08-04
US9916513B2 (en) 2018-03-13
EP3171295B1 (en) 2018-08-01
JP6726052B2 (ja) 2020-07-22
EP3171295A1 (en) 2017-05-24
CN107016329B (zh) 2021-12-21
US20170147892A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6726052B2 (ja) 画像処理方法およびプログラム
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP6395759B2 (ja) レーン検出
EP2662827B1 (en) Video analysis
JP2007109235A (ja) 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート
CN109977776A (zh) 一种车道线检测方法、装置及车载设备
JP2009048629A (ja) 検出方法
WO2016059643A1 (en) System and method for pedestrian detection
TWI682361B (zh) 路面影像重建與載具定位之方法與系統
JP2018142828A (ja) 付着物検出装置および付着物検出方法
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
JP6221283B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
Chen et al. Integrated vehicle and lane detection with distance estimation
Shashidhar et al. Computer Vision and the IoT‐Based Intelligent Road Lane Detection System
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
Öztürk et al. Computer Vision-Based Lane Detection and Detection of Vehicle, Traffic Sign, Pedestrian Using YOLOv5
Tsai et al. Traffic sign inventory from Google Street View images
Yaakob et al. Moving object extraction in PTZ camera using the integration of background subtraction and local histogram processing
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
Bhargava et al. A Video Surveillance System for Speed Detection of vehicles and law enforcement using Automatic Number Plate Recognition
JP2019197359A (ja) 一般物体認識システム
KR20190099566A (ko) 카메라 시점 변화에 강인한 물체 인식 및 물체 영역 추출 방법
Lee et al. Energy constrained forward collision warning system with a single camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200626

R150 Certificate of patent or registration of utility model

Ref document number: 6726052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150