JP2021052321A - 画像処理装置、画像処理方法、プログラム、および画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラム、および画像処理システム Download PDF

Info

Publication number
JP2021052321A
JP2021052321A JP2019174414A JP2019174414A JP2021052321A JP 2021052321 A JP2021052321 A JP 2021052321A JP 2019174414 A JP2019174414 A JP 2019174414A JP 2019174414 A JP2019174414 A JP 2019174414A JP 2021052321 A JP2021052321 A JP 2021052321A
Authority
JP
Japan
Prior art keywords
image
area
concealed
concealment
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019174414A
Other languages
English (en)
Inventor
俊一 本間
Shunichi Honma
俊一 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019174414A priority Critical patent/JP2021052321A/ja
Priority to US17/635,539 priority patent/US20220301119A1/en
Priority to DE112020004546.3T priority patent/DE112020004546T5/de
Priority to PCT/JP2020/034435 priority patent/WO2021060016A1/ja
Priority to CN202080065676.2A priority patent/CN114424519A/zh
Publication of JP2021052321A publication Critical patent/JP2021052321A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Materials Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】プライバシー情報の漏えいを回避して、サーバ側において３Ｄモデルを精度良く作成させる画像を生成する。【解決手段】本技術の一側面の画像処理装置は、同一の被写体が写った複数の画像のうち、画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている画像から、既に秘匿領域を秘匿する秘匿処理が行われた画像において検出済みの秘匿領域と共通する領域を秘匿する秘匿領域を探索し、処理対象の画像から探索された秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの秘匿領域と共通する領域を秘匿する処理対象の画像における秘匿領域には、検出済みの秘匿領域に対する秘匿処理で合成された秘匿処理用画像と同一の秘匿処理用画像を合成する装置である。本技術は、画像内のプライバシー情報を秘匿する画像処理を行うスマートフォンなどに適用できる。【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関し、特に、プライバシー情報の漏えいを回避して、サーバ側における３Ｄモデルの作成を精度良く行わせる画像を生成することができるようにした画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。
従来、スマートフォンなどのモバイルデバイスを用いて様々な位置から被写体を撮影して、その撮影により取得された画像群を用いて３Ｄモデル（被写体の３次元的な形状を示す３次元情報）を作成する技術が実現されている。
例えば、特許文献１には、様々なオブジェクトの３次元データを反映した環境マップを、１つのカメラによって取得した画像に基づいて効率的に生成する技術が開示されている。
ところで、３Ｄモデルの作成には豊富な計算リソースが必要となるため、モバイルデバイスから外部の計算サーバに画像群を送信し、外部の計算サーバにおいて、３Ｄモデルを作成する処理が行われることがある。しかしながら、３Ｄモデルを作成するために画像群を外部の計算サーバに送信する場合、プライバシー情報が写された画像が送信されてしまうことが懸念されており、プライバシー情報を保護する技術が求められている。
そこで、特許文献２乃至５に開示されているように、画像群に写ったプライバシー情報に画像処理を施し、プライバシー情報の保護を実現する各種の技術が提案されている。
特開２００８−３０４２６８号公報 特開２０１４−２０７５４１号公報 特開２０１５−００５９７２号公報 特表２０１６−５３２３５１号公報 特開２０１６−００７０７０号公報
しかしながら、プライバシー情報を保護するような画像処理が施された画像では、３Ｄモデルの作成に必要となるテクスチャや幾何的な情報が画像から損失することになる場合、サーバ側において３Ｄモデルを精度良く作成することが困難になると想定される。
本技術はこのような状況に鑑みてなされたものであり、プライバシー情報の漏えいを回避して、サーバ側における３Ｄモデルの作成を精度良く行わせる画像を生成することができるようにするものである。
本技術の一側面の画像処理装置は、同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する制御部を備える。
本技術の一側面の画像処理方法またはプログラムは、同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索することと、処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成することとを含む。
本技術の一側面においては、同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域が探索され、処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像が合成される。
本技術の一実施の形態に係る画像処理システムの構成例を示す図である。 ３Ｄモデルを利用したサービス提供の開始までの全体の流れを示すシーケンス図である。 スマートフォンのハードウェア構成例を示すブロック図である。 スマートフォンの機能構成例を示すブロック図である。 秘匿処理部の構成例を示すブロック図である。 撮影画像の例を示す図である。 幾何変換パラメータの推定方法の例を示す図である。 秘匿処理データベースに記憶されるテーブルの例を示す図である。 秘匿領域マスクによりマスクされた秘匿領域の例を示す図である。 秘匿処理データベースに記憶されるテーブルの他の例を示す図である。 秘匿処理用画像の合成の例を示す図である。 画像取得処理＃１について説明するフローチャートである。 ３次元再構成用画像データベース作成処理＃１について説明するフローチャートである。 秘匿処理＃１について説明するフローチャートである。 検出済み秘匿領域探索処理＃１について説明するフローチャートである。 スマートフォンの構成例を示すブロック図である。 秘匿処理部の構成例を示すブロック図である。 カメラ姿勢を用いた、検出済みの秘匿領域に対応する秘匿領域の探索方法の例を示す図である。 秘匿処理データベースに記憶されるテーブルの例を示す図である。 秘匿処理データベースに記憶されるテーブルの他の例を示す図である。 秘匿処理データベースに記憶されるテーブルのさらに他の例を示す図である。 画像取得処理＃２について説明するフローチャートである。 ３次元再構成用画像データベース作成処理＃２について説明するフローチャートである。 検出済み秘匿領域探索処理＃２について説明するフローチャートである。 テキスト領域を用いて幾何変換パラメータを推定する方法を示す図である。 秘匿処理＃３について説明するフローチャートである。 検出済みテキスト領域探索処理について説明するフローチャートである。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．画像処理システムの概要
２．スマートフォンの構成
３．スマートフォンの動作
４．カメラ姿勢を用いた例
５．テキスト領域を用いた例
６．その他
＜１．画像処理システムの概要＞
初めに、本技術を適用した画像処理システムの概要について説明する。
本技術を適用した画像処理システムは、例えば、インターネット上のウェブサイトで商品を販売するＥコマースサイトが提供する３Ｄモデルを利用したサービスに用いられる。ユーザは、自室や自宅の３Ｄモデルに基づいて、Ｅコマースサイトが提供する家具配置のシミュレーションサービスや、大型家具の搬入経路の確認サービスなどのような各種の３Ｄモデルを利用したサービスを利用することができる。
この場合において、３Ｄモデルを利用したサービスで必要となる３Ｄモデルの作成方法として以下の２つの方法がある。
１．ユーザ自身が３Ｄモデルを作成してＥコマースサイトに提供する第１の方法
２．ユーザにより提供された自室や自宅の画像群に基づいて、Ｅコマースサイト側の計算サーバが３Ｄモデルの作成を行う第２の方法
例えば、第１の方法では、３Ｄモデルの作成に用いられる画像群がＥコマースサイトに送信されないため、当然、プライバシー情報が読み取られることはない。また、３ＤモデルをＥコマースサイトに提供する際に、色情報やテクスチャ情報を３Ｄモデルから取り除くことによってプライバシー保護の効果が得られる。
しかしながら、３Ｄモデルの作成には非常に大きな計算リソースを必要とするため、例えば、スマートフォンなどのモバイルデバイスで３Ｄモデルを作成することは難しい。従って、第１の方法によって３Ｄモデルを利用したサービスを提供することは困難であると考えられる。
一方、第２の方法では、ユーザが撮影した画像群は、３Ｄモデルの作成のためにＥコマースサイトの計算サーバに送信される。そして、計算サーバは、受信した画像群に基づいてユーザの部屋の３Ｄモデルを作成し、３Ｄモデルを利用したサービス提供のためにデータベースに登録する。この時、ユーザが撮影した画像群にプライバシー情報が含まれる可能性があり、画像群を計算サーバへ送信する前にユーザ側で秘匿処理を行うことが必要となる。
そこで、以下では、第２の方法によって作成される３Ｄモデルを利用したサービスを提供する場合において、ユーザのプライバシーを保護しつつ、３Ｄモデルの作成を精度良く行わせることができる画像を生成する例について説明する。
図１は、本技術の一実施の形態に係る画像処理システムの構成例を示す図である。
図１の画像処理システム１は、スマートフォン１１、フロントエンドサーバ１２、およびバックエンドサーバ１３によって構成される。スマートフォン１１、フロントエンドサーバ１２、およびバックエンドサーバ１３は、それぞれ、インターネットやLAN(Local Area Network)などのネットワーク１４を介して接続される。
スマートフォン１１は、Ｅコマースサイトを利用するユーザの携帯端末である。フロントエンドサーバ１２およびバックエンドサーバ１３は、例えば、Ｅコマースサイトを運営する事業者が管理するサーバである。なお、ユーザは、スマートフォン１１に代えて、例えば、タブレット端末やパーソナルコンピュータなどの、撮影機能を有する各種の端末を用いてＥコマースサイトを利用してもよい。
例えば、自宅にいるユーザは、部屋の様子を撮影して得られた画像をＥコマースサイト側に提供することによって、上述したような３Ｄモデルを利用したサービスを利用することができる。
スマートフォン１１は、ユーザの操作に応じて、部屋の様子を撮影し、撮影画像を取得する。スマートフォン１１を用いた撮影は、複数回繰り返し行われる。スマートフォン１１により撮影されたそれぞれの画像には、部屋の壁や窓、部屋に置かれている小物類などの各種の物が被写体として写されている。従って、それらの画像に、例えば、プライバシー情報が写されてしまった場合、プライバシー情報が写されている領域は、ネットワーク１４を介して送信する前に秘匿すべきである。
そこで、スマートフォン１１は、撮影画像に写る秘匿領域を検出する。秘匿領域は、撮影画像全体のうち、プライバシー情報などのような秘匿にすべき情報が写っていると考えられる領域である。
例えば、スマートフォン１１は、プライバシー情報が表記されたテキストを含む領域であるテキスト領域、および、プライバシー情報として意味ラベルが付与された領域を、秘匿領域として検出する。テキスト領域には、手紙、はがき、書類、ディスプレイに表示されたドキュメントが写っている領域などが含まれる。また、意味ラベルが付与された領域には、例えば窓が写っている領域が含まれる。つまり、窓が写っている領域は、窓の外の風景からユーザの住所が特定される可能性がある点から秘匿にすべき領域として、意味ラベルが付与されるといえる。
そして、スマートフォン１１は、撮影された画像に対して、後述する秘匿処理用画像を秘匿領域に合成する秘匿処理を行い、その秘匿処理を行うことによって得られる秘匿処理後の画像をフロントエンドサーバ１２に送信する。なお、撮影を行う装置と異なる装置によって秘匿処理が行われるようにしてもよい。例えば、スマートフォン１１によって取得された撮影画像がパーソナルコンピュータに送信され、撮影画像を処理対象とした秘匿処理がパーソナルコンピュータによって行われるようにしてもよい。
フロントエンドサーバ１２は、スマートフォン１１から送信されてきた秘匿処理後の画像を受信し、秘匿処理後の画像をバックエンドサーバ１３に送信する。このとき、フロントエンドサーバ１２は、秘匿処理後の画像とともに、３Ｄモデルを作成することのリクエストをバックエンドサーバ１３に送信する。
バックエンドサーバ１３は、例えば、豊富な計算リソースを持った計算装置である。そして、バックエンドサーバ１３は、フロントエンドサーバ１２から送信されてきたリクエストに応じて、秘匿処理後の画像を用いて３Ｄモデルを作成する。上述したように、ユーザの部屋の様子の撮影が行われている場合、部屋の様子を表す３Ｄモデルが作成される。例えば、このような３Ｄモデルを反映した環境マップを生成する方法については、上述の特許文献１に詳細に開示されている。
なお、フロントエンドサーバ１２およびバックエンドサーバ１３の機能が、１つのサーバにより実現されるようにしてもよい。
画像処理システム１においては、このようにして作成された３Ｄモデルを用いて、上述したような３Ｄモデルを利用したサービスがユーザに対して提供される。このとき、ユーザの個人に関するプライバシー情報が秘匿された状態の画像に基づいて３Ｄモデルの作成が行われるため、３Ｄモデルにより表されるユーザの部屋においても、プライバシー情報が秘匿されることになる。
図２は、ユーザによる撮影から、Ｅコマースサイトにおいて３Ｄモデルを利用したサービス提供の開始までの全体の流れを示すシーケンス図である。
ステップＳ１において、スマートフォン１１は、例えば、部屋などの３次元空間を異なる位置から複数回撮影し、複数枚の撮影画像を取得する。
ステップＳ２において、スマートフォン１１は、複数枚の撮影画像に写されているプライバシー情報を秘匿する秘匿処理を行う。秘匿処理が行われることにより、撮影画像内のそれぞれの秘匿領域に秘匿処理用画像が合成された秘匿処理後の画像が生成される。
ステップＳ３において、スマートフォン１１は、秘匿処理後の画像をＥコマースサイトのフロントエンドサーバ１２に送信する。さらに、スマートフォン１１は、Ｅコマースサイトを利用する際にユーザを識別するためのユーザID（Identification）などを含むユーザ情報も、フロントエンドサーバ１２に送信する。
ステップＳ１１において、フロントエンドサーバ１２は、ステップＳ３でスマートフォン１１から送信されてきた秘匿処理後の画像およびユーザ情報を受信する。
ステップＳ１２において、フロントエンドサーバ１２は、秘匿処理後の画像およびユーザ情報とともに、３Ｄモデル作成の実行を要求する３Ｄモデル作成リクエストをバックエンドサーバ１３に送信する。
ステップＳ２１において、バックエンドサーバ１３は、ステップＳ１２でフロントエンドサーバ１２から送信されてきた秘匿処理後の画像、ユーザ情報、および３Ｄモデル作成リクエストを受信する。
ステップＳ２２において、バックエンドサーバ１３は、３Ｄモデル作成リクエストに応じて、３Ｄモデルを作成する。３Ｄモデルは、秘匿処理後の画像群を用いて３次元再構成を行うことによって作成される。
３次元再構成には、例えばSFM(Structure-from-Motion)が用いられる。SFMは、複数の画像間の特徴点の対応関係を計算し、特徴点の対応関係に基づいてカメラの位置、姿勢、および特徴点の３次元情報を復元する技術である。SFMによって作成された３Ｄモデルは、例えば、頂点、辺、および面の集合であるポリゴンメッシュとして表現される。さらに、SFMによって得られた情報に基づいて、SFMよりも精密な３次元再構成が行われるようにしてもよい。
ステップＳ２３において、バックエンドサーバ１３は、ステップＳ２２で作成した３Ｄモデルを、データサーバに保存する。データサーバが管理する専用のデータベースには、３Ｄモデルがユーザ情報とともに登録される。
ステップＳ２４において、バックエンドサーバ１３は、３Ｄモデルの作成が終了したことの通知である３Ｄモデル作成終了通知をフロントエンドサーバ１２に送信する。
ステップＳ１３において、フロントエンドサーバ１２は、ステップＳ２４でバックエンドサーバ１３から送信されてきた３Ｄモデル作成終了通知を受信する。
ステップＳ１４において、フロントエンドサーバ１２は、３Ｄモデルを利用したサービスの提供を開始することの通知であるサービス開始通知をスマートフォン１１に送信する。
ステップＳ４において、スマートフォン１１は、ステップＳ１４でフロントエンドサーバ１２から送信されてきたサービス開始通知を受信する。そして、スマートフォン１１は、Ｅコマースサイトにおいて３Ｄモデルを利用したサービスの提供が開始されたことをユーザに提示する。
このように、図１の画像処理システム１においては、例えば、プライバシー情報が写された画像が送信されることなく、３Ｄモデルを利用したサービスを提供することが可能となる。
＜２．スマートフォンの構成＞
図３は、スマートフォン１１のハードウェア構成例を示すブロック図である。
CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。
バス３４には、さらに、入出力インタフェース３５が接続される。入出力インタフェース３５には、ディスプレイ３６、タッチパネル３７、センサ３８、スピーカ３９、カメラ４０、メモリ４１、通信部４２、およびドライブ４３が接続される。
ディスプレイ３６は、例えば、LCD（Liquid Crystal Display）や有機EL（Electro-Luminescence）ディスプレイなどにより構成される。ディスプレイ３６は、例えば、上述したように、Ｅコマースサイトにおいて３Ｄモデルを利用したサービスの提供が開始されたことを表す情報を表示する。
タッチパネル３７は、ディスプレイ３６の表面に対するユーザの操作を検出し、ユーザの操作の内容を表す情報を出力する。
センサ３８は、例えば、ジャイロセンサや加速度センサなどにより構成される。センサ３８は、スマートフォン１１の角速度や加速度などの検出を行い、検出結果を表す観測データを出力する。
スピーカ３９は、Ｅコマースサイトにおいて３Ｄモデルを利用したサービスの提供が開始されたことを提示する音など各種の音を出力する。
カメラ４０は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。ユーザの操作に応じて撮影を行い、画像データを出力する。
メモリ４１は、例えば、不揮発性メモリにより構成される。メモリ４１は、CPU３１がプログラムを実行する際に必要となる各種のデータを保存する。
通信部４２は、例えば、無線通信のインタフェースである。通信部４２は、ネットワーク１４を介して接続されるフロントエンドサーバ１２などの外部の装置と通信を行う。
ドライブ４３は、メモリカードなどのリムーバブルメディア４４を駆動し、リムーバブルメディア４４に対するデータの書き込み、リムーバブルメディア４４に記憶されているデータの読み出しを行う。
図４は、スマートフォン１１の機能構成例を示すブロック図である。
図４に示すように、スマートフォン１１においては、画像取得部５１、画像データベース５２、秘匿処理部５３、３次元再構成用画像データベース５４、および送信部５５が実現される。画像データベース５２および３次元再構成用画像データベース５４は、例えば図３のメモリ４１により実現される。
画像取得部５１は、カメラ４０を制御し、部屋を異なる位置で複数回撮影して得られた複数枚の撮影画像を取得する。画像取得部５１は、複数枚の撮影画像を画像データベース５２に供給し、記憶させる。
秘匿処理部５３は、画像データベース５２に記憶された複数枚の撮影画像を、例えば、撮影された順番に従って順次取得し、それらの撮影画像に写る秘匿領域を対象にして秘匿処理を行う。秘匿処理部５３は、秘匿処理の結果として得られる秘匿処理後の画像を、３次元再構成用画像データベース５４に供給し、記憶させる。なお、秘匿処理部５３の詳細な構成については、図５を参照して後述する。
送信部５５は、３次元再構成用画像データベース５４に記憶された秘匿処理後の画像を取得し、ユーザ情報とともにフロントエンドサーバ１２に送信する。
ユーザは、例えば、以上のような構成を有するスマートフォン１１にインストールされたアプリケーションにより提示されるガイドなどに従って部屋を撮影するなどの操作を行うことができる。そして、スマートフォン１１は、ユーザの操作に従って取得された複数枚の撮影画像に対して秘匿処理を行い、プライバシー情報が秘匿された秘匿処理後の画像をフロントエンドサーバ１２に送信することができる。
図５は、秘匿処理部５３の構成例を示すブロック図である。
図５に示すように、秘匿処理部５３は、特徴点検出部６１、マッチング部６２、幾何変換パラメータ推定部６３、秘匿処理データベース６４、画像合成部６５、および新規秘匿領域検出部６６により構成される。秘匿処理データベース６４は、例えば図３のメモリ４１により実現される。
特徴点検出部６１は、画像データベース５２に記憶された撮影画像を取得し、それぞれの撮影画像を対象として、撮影画像において特徴となる点を表す特徴点の検出を行う。
図６は、撮影画像の例を示す図である。
部屋の様子が写っている図６のＡおよびＢに示すような撮影画像が、特徴点検出部６１において処理対象の画像として用いられる。図６のＡに示す撮影画像は、画像IDが100の画像として画像データベース５２に記憶されている画像である。また、図６のＢの撮影画像は、画像IDが101として画像データベース５２に記憶されている画像である。画像IDは、各撮影画像を識別するために与えられるIDである。
図６のＡの撮影画像には、机上に置かれた手紙７１、書籍７２、およびコップ８１が写っている。コップ８１は、撮影画像内の左上の位置に写り、手紙７１と書籍７２は、それぞれ、撮影画像内の中央近傍に並べて写っている。手紙７１には、宛名などがテキストで記されている。また、書籍７２には、書籍名や出版社などがテキストで記されている。
一方、図６のＢの撮影画像は、図６のＡの撮影画像に写っている机上を、図６のＡの撮影画像の撮影位置と異なる位置から撮影して得られた撮影画像である。
図６のＢの撮影画像には、手紙７１、書籍７２、書籍７３、およびコップ８１が写っている。図６のＢの撮影画像において、手紙７１、書籍７２、およびコップ８１は、図６のＡの撮影画像における位置と異なる位置に写っている。なお、書籍７２の右側に写る書籍７３には、書籍７２と同様に書籍名や出版社などがテキストで記されている。
秘匿処理部５３においては、このような部屋の様子が写っているそれぞれの撮影画像を対象として一連の処理が行われる。
図５の説明に戻り、特徴点検出部６１は、処理対象となっている撮影画像内の特徴点を検出し、各特徴点においてどのような特徴があるかを数値化した特徴量を計算する。なお、特徴点および特徴量を検出する画素の単位は、任意に設定可能である。特徴点検出部６１は、撮影画像内の各特徴点の特徴量を表す情報を撮影画像とともにマッチング部６２に供給する。
マッチング部６２は、検出済みの秘匿領域に関する情報を秘匿処理データベース６４から取得する。秘匿処理データベース６４には、検出済みの秘匿領域に関する情報が記憶される。検出済みの秘匿領域に関する情報は、検出済みの秘匿領域に含まれる特徴点と、各特徴点の特徴量とを含む。
マッチング部６２は、特徴点検出部６１から供給された撮影画像の特徴点と、秘匿処理データベース６４から取得した検出済みの秘匿領域に含まれる特徴点とのマッチングを、それぞれの特徴量に基づいて行う。
例えば、図６のＡを参照して説明した画像ID 100の撮影画像に対する秘匿処理が既に行われていて、次の処理対象として、図６のＢを参照して説明した画像ID 101の撮影画像の特徴点が特徴点検出部６１からマッチング部６２に供給されたとする。この場合、マッチング部６２は、画像ID 100の撮影画像に含まれる複数の秘匿領域のうちの１つを選択し、その選択した秘匿領域に含まれる各特徴点の特徴量を取得して、画像ID 101の撮影画像の特徴点の特徴量とのマッチングを、それぞれの特徴点について行う。
そして、マッチング部６２は、マッチング結果に基づいて、処理対象の撮影画像において、検出済みの秘匿領域に対応する秘匿領域、即ち、検出済みの秘匿領域と共通する領域を秘匿する秘匿領域を探索する。例えば、秘匿領域の探索は、マッチングが成立した特徴点の個数に基づいて行われる。なお、RANSACアルゴリズムを併用することで、マッチングの精度を高めることが可能となる。
その後、マッチング部６２は、対応特徴点情報および撮影画像を幾何変換パラメータ推定部６３に供給する。対応特徴点情報には、撮影画像から探索された秘匿領域を表す情報が含まれる。また、対応特徴点情報には、撮影画像から探索された秘匿領域に含まれる特徴点と、検出済みの秘匿領域における特徴点との関係を表す情報が含まれる。
このように、マッチング部６２は、処理対象の撮影画像から、既に秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の撮影画像において検出済みの秘匿領域と共通する領域を秘匿する秘匿領域を探索することができる。
幾何変換パラメータ推定部６３は、マッチング部６２から供給された対応特徴点情報に基づいて、秘匿処理用画像の変形に用いられる幾何変換パラメータを推定する。幾何変換パラメータは、アファイン変換パラメータやホモグラフィ変換パラメータなどである。例えば、幾何変換パラメータの推定は、探索された秘匿領域の形状に合わせたパラメータを推定するようにして行われる。
図７は、幾何変換パラメータの推定方法の例を示す図である。
図７の左上に示す撮影画像は、秘匿領域が既に検出された、画像ID 100の撮影画像である。画像ID 100の撮影画像上の黒塗りの星形は、検出済みの秘匿領域に含まれる特徴点を表す。図７の例では、画像ID 100の撮影画像において、手紙７１の領域全体が検出済みの秘匿領域とされている。
図７の右上に示す撮影画像は、マッチング部６２による特徴点のマッチングに用いられた、画像ID 101の撮影画像である。画像ID 101の撮影画像上の黒塗りの星形および白抜きの星形は、特徴点検出部６１により検出された特徴点を表す。図７の例では、直線で結んで示すように、特に黒塗りの星形が、画像ID 100において検出済みの秘匿領域に含まれる特徴点とマッチングされた特徴点を表している。
このように、図７の例においては、マッチング結果に基づいて、画像ID 101の撮影画像に写る手紙７１の領域全体が、画像ID 100の撮影画像に秘匿領域として写る手紙７１の領域全体に対応する秘匿領域として探索されている。
幾何変換パラメータ推定部６３は、画像ID 100の撮影画像に写る手紙７１の領域上の特徴点と、画像ID 101の撮影画像に写る手紙７１の領域上の特徴点との対応関係に基づいて、画像ID 100の撮影画像に写る手紙７１を構成する各画素位置を、画像ID 101の撮影画像に写る手紙７１上の各画素位置に変換する幾何変換パラメータH_101_1’を推定する。幾何変換パラメータは、例えば、パラメータ推定を含むRANSACにより推定される。
図７の左側に示す幾何変換パラメータH_100_1は、画像ID 100の撮影画像に写る、検出済みの秘匿領域である手紙７１の領域の形状に合わせた幾何変換パラメータであり、秘匿処理データベース６４に記憶されている。また、幾何変換パラメータH_100_1は、検出済みの秘匿領域に関する情報に含まれており、秘匿処理データベース６４からマッチング部６２により取得され、幾何変換パラメータ推定部６３に供給されている。なお、図７の左下にハッチを付して示す横長長方形は、秘匿処理用画像を表す。つまり、幾何変換パラメータH_100_1は、横長長方形の秘匿処理用画像を、画像ID 100の撮影画像に写る手紙７１の形状に変換するのに用いられる。
幾何変換パラメータ推定部６３は、幾何変換パラメータH_100_1と幾何変換パラメータH_101_1’を合成することで、画像ID 101の撮影画像に写る手紙７１の形状に合わせた幾何変換パラメータH_101_1を推定する。従って、幾何変換パラメータH_101_1は、画像ID 100の撮影画像の秘匿領域と共通する手紙７１を画像ID 101の撮影画像で秘匿するために、横長長方形の秘匿処理用画像を、画像ID 101の撮影画像に写る手紙７１の形状に変換するのに用いられる。
また、幾何変換パラメータは、秘匿領域マスクの作成にも用いられる。秘匿領域マスクは、秘匿領域を表現するためのマスクデータである。秘匿領域マスクは、撮影画像に秘匿処理用画像を合成する際に用いられる。幾何変換パラメータ推定部６３は、幾何変換パラメータH_101_1’を用いて、検出済みの秘匿領域の秘匿領域マスクに幾何変換を施し、画像ID 101の撮影画像に写る手紙７１の形状に合わせた秘匿領域マスクを作成する。
図５の説明に戻り、幾何変換パラメータ推定部６３は、処理対象の撮影画像と、秘匿領域に関する情報とを対応付けて秘匿処理データベース６４に供給し、記憶させる。秘匿領域に関する情報には、秘匿領域の特徴点、該特徴点の特徴量、該秘匿領域の幾何変換パラメータ、および該秘匿領域の秘匿領域マスクが含まれる。
なお、対応特徴点情報に基づいて複数の異なる幾何変換パラメータが推定された場合、推定された複数の幾何変換パラメータが、異なる秘匿領域に対応付けて記憶されるようにしてもよい。幾何変換パラメータ推定部６３から画像合成部６５に対しては、処理対象の撮影画像が供給される。
マッチング部６２において行われる処理と、幾何変換パラメータ推定部６３において行われる処理とは、全ての検出済みの秘匿領域を対象にして行われる。
秘匿処理データベース６４には、幾何変換パラメータ推定部６３から供給された情報が記憶される。また、秘匿処理データベース６４には、複数の秘匿処理用画像があらかじめ記憶されている。
図８乃至図１０を参照して秘匿処理データベース６４によって管理される情報について説明する。例えば、秘匿処理データベース６４には、図８のテーブル１および図１０のテーブル２が記憶される。
図８は、秘匿処理データベース６４に記憶されるテーブル１の例を示す図である。
図８のテーブル１においては、「画像ID」、「秘匿領域ID」、「幾何変換パラメータ」、および「秘匿領域マスク」が対応付けられている。秘匿領域IDは、各秘匿領域を識別するために与えられるIDである。
例えば、画像ID 100に対しては、手紙７１の領域に対して与えられた秘匿領域ID 1、幾何変換パラメータH_100_1、および秘匿領域マスクmask_100_1が対応付けられている。従って、画像ID 100の秘匿領域ID 1の秘匿領域に対しては、秘匿領域マスクmask_100_1を用いてマスクが施される。
また、画像ID 100に対しては、書籍７２の表紙の領域に対して与えられた秘匿領域ID 2、幾何変換パラメータH_100_2、および秘匿領域マスクmask_100_2も対応付けられている。従って、画像ID 100の秘匿領域ID 2の秘匿領域に対しては、秘匿領域マスクmask_100_2を用いてマスクが施される。
そして、画像ID 101に対しても同様に、秘匿領域ID、幾何変換パラメータ、および秘匿領域マスクが、それぞれの秘匿領域IDごとに対応付けられている。従って、画像ID 101のそれぞれの秘匿領域に対しては、秘匿領域IDに対応付けられた秘匿領域マスクが用いられてマスクが施される。
図９は、秘匿領域マスクを用いてマスクされた秘匿領域の例を示す図である。
図９の例においては、ハッチングを施して示す領域が秘匿領域マスクを用いてマスクされた秘匿領域を表す。
図９の上段に示す画像ID 100の撮影画像においては、秘匿領域ID 1の手紙７１の領域全体が秘匿領域マスクmask_100_1を用いてマスクされている。また、秘匿領域ID 2の書籍７２の表紙の領域全体が、秘匿領域マスクmask_100_2を用いてマスクされている。
図９の下段に示す画像ID 101の撮影画像においては、画像ID 100の撮影画像と同様に秘匿領域ID 1の手紙７１の領域全体と、秘匿領域ID 2の書籍７２の表紙の領域全体とが、それぞれの秘匿領域IDに対応付けられた秘匿領域マスクmask_101_1とmask_101_2とを用いてマスクされている。また、秘匿領域ID 3の書籍７３の表紙の領域全体が、秘匿領域マスクmask_101_3を用いてマスクされている。
マスクされた秘匿領域には、秘匿処理用画像が合成される。秘匿領域と秘匿処理用画像の対応関係を表すテーブルは、秘匿処理データベース６４に記憶される。
図１０は、秘匿処理データベース６４に記憶されるテーブル２の例を示す図である。
図１０のテーブル２においては、「秘匿領域ID」と「秘匿処理用画像ID」が対応付けられている。秘匿処理用画像IDは、各秘匿処理用画像を識別するために与えられるIDである。
例えば、秘匿領域ID 1に対しては、秘匿処理用画像ID 10が対応付けられている。このように、秘匿領域IDと秘匿処理用画像IDが１対１の関係で対応付けられる。このため、同じ秘匿領域IDの秘匿領域には、同じ秘匿処理用画像が合成されることになる。また、異なる秘匿処理用画像IDの秘匿領域には、異なる秘匿処理用画像が合成されることになる。
なお、秘匿領域に含まれる特徴点と各特徴点の特徴量とは、秘匿処理データベース６４に設けられた特徴点データおよび特徴量データ用の図示せぬテーブルやカラムなどに記憶される。
図５の説明に戻り、画像合成部６５は、幾何変換パラメータ推定部６３から供給された撮影画像の画像IDに対応付けられた秘匿領域に関する情報を、秘匿処理データベース６４から取得する。具体的には、撮影画像内に含まれる秘匿領域に対応する幾何変換パラメータ、秘匿領域マスク、および秘匿処理用画像が取得される。
画像合成部６５は、秘匿領域マスクを用いて、幾何変換パラメータ推定部６３から供給された撮影画像に含まれる秘匿領域をマスクする。また、画像合成部６５は、幾何変換パラメータを用いて秘匿処理用画像に幾何変換を施し、撮影画像に合成する。なお、幾何変換が施されていない秘匿処理用画像が合成されるようにしてもよい。画像合成部６５は、撮影画像に秘匿処理用画像を合成して得られた合成画像を新規秘匿領域検出部６６に供給する。
また、画像合成部６５は、新規秘匿領域検出部６６から供給された幾何変換パラメータおよび秘匿領域マスクを用いて、合成画像に秘匿処理用画像を合成して、秘匿処理後の画像を生成する。新規秘匿領域検出部６６においては、処理対象の合成画像に含まれる新規秘匿領域（秘匿処理データベース６４に記憶されていない秘匿領域）の検出が行われる。新規秘匿領域検出部６６から画像合成部６５に対しては、新規秘匿領域に関する情報が供給される。
具体的には、画像合成部６５は、秘匿処理データベース６４において秘匿領域IDに対応付けられていない秘匿処理用画像を秘匿処理データベース６４から取得する。
画像合成部６５は、新規秘匿領域検出部６６から供給された秘匿領域マスクを用いて、処理対象の合成画像に含まれる新規秘匿領域をマスクする。また、画像合成部６５は、新規秘匿領域検出部６６から供給された幾何変換パラメータを用いて秘匿処理用画像に幾何変換を施し、合成画像に合成する。なお、幾何変換が施されていない秘匿処理用画像が、合成されるようにしてもよい。
画像合成部６５は、合成画像に合成した秘匿処理用画像を、新規秘匿領域に関する情報に対応付けて、秘匿処理データベース６４に供給し、記憶させる。秘匿処理用画像と新規秘匿領域に関する情報とは、合成画像の元となった撮影画像と同じ画像IDに対応付けられる。新規秘匿領域に関する情報には、幾何変換パラメータと秘匿領域マスクが含まれる。また、画像合成部６５は、秘匿処理後の画像を３次元再構成用画像データベース５４（図４）に供給し、記憶させる。
新規秘匿領域検出部６６は、画像合成部６５から供給された合成画像に含まれる新規秘匿領域を検出する。新規秘匿領域検出部６６は、例えば、プライバシー情報が表記されたテキストを含む領域であるテキスト領域やプライバシー情報として意味ラベルが付与された領域を検出する。なお、新規秘匿領域の検出が、機械学習により得られた予測モデルを用いて行われるようにしてもよい。新規秘匿領域検出部６６は、新規秘匿領域に関する情報を生成し、画像合成部６５に供給する。
また、新規秘匿領域検出部６６は、検出した新規秘匿領域に含まれる特徴点、および各特徴点の特徴量を秘匿処理データベース６４に供給し、記憶させる。記憶された特徴点、および各特徴点の特徴量は、マッチング部６２が行う特徴点のマッチングにおいて用いられる。
以上のようにして、撮影画像の秘匿領域が検出され、検出された秘匿領域に秘匿処理用画像が合成される。
図１１は、秘匿処理用画像の合成の例を示す図である。
図１１の左側に示す秘匿処理用画像Ｔ１乃至Ｔ３は、それぞれ秘匿処理用画像ID 10乃至12が与えられた画像である。秘匿処理用画像Ｔ１乃至Ｔ３は、独自のテクスチャから構成される画像またはその画像の一部の画像であることが望ましい。例えば、独自のテクスチャとは、テクスチャを多分に含み、一つの秘匿処理用画像内において同一のテクスチャパターンが繰り返し現れることがなく、かつ、他の秘匿処理用画像との間で共通のテクスチャパターンが存在することがないテクスチャを言う。すなわち、独自のテクスチャは、一つの秘匿処理用画像内において同一のテクスチャパターンが繰り返し現れるのが排除されるとともに、他の秘匿処理用画像との間で共通のテクスチャパターンが存在するのが回避されるように生成されたテクスチャから構成される。
図１０のテーブル２に従って、秘匿処理用画像Ｔ１は、秘匿領域ID 1の秘匿領域である手紙７１の領域上に合成される。秘匿処理用画像Ｔ１に対しては、幾何変換パラメータH100_1を用いた幾何変換が施され、幾何変換後の秘匿処理用画像Ｔ１が画像ID 100の撮影画像に写る手紙７１の領域に合成される。
また、秘匿処理用画像Ｔ１に対しては、幾何変換パラメータH_101_1を用いた幾何変換が施され、幾何変換後の秘匿処理用画像Ｔ１が画像ID 101の撮影画像に写る手紙７１の領域に合成される。
秘匿処理用画像Ｔ２に対しては、幾何変換パラメータH_100_2およびH_101_2のそれぞれを用いた幾何変換が施され、幾何変換後の秘匿処理用画像Ｔ２が画像ID 100、画像ID 101のそれぞれの撮影画像に写る書籍７２の表紙の領域に合成される。
秘匿処理用画像Ｔ３に対しては、幾何変換パラメータH_101_3を用いた幾何変換が施され、幾何変換後の秘匿処理用画像Ｔ３が画像ID 101の撮影画像に写る書籍７３の領域に合成される。
なお、画像ID 101の撮影画像に含まれる書籍７３の表紙の領域は、新規秘匿領域として検出される領域である。書籍７３の表紙の領域に合成される秘匿処理用画像Ｔ３の幾何変換に用いられる幾何変換パラメータH_101_3は、秘匿処理用画像が合成画像に合成された後に、秘匿処理用画像ID 12に対応付けて秘匿処理データベース６４に記憶される。
＜３．スマートフォンの動作＞
次に、以上のような構成を有するスマートフォン１１の動作について説明する。
はじめに、図１２のフローチャートを参照して、スマートフォン１１の画像取得処理＃１について説明する。
ステップＳ５１において、画像取得部５１は、カメラ４０を制御して撮影画像を取得する。
ステップＳ５２において、画像取得部５１は、ステップＳ５１で取得した撮影画像を画像データベース５２に供給し、記憶させる。
ステップＳ５３において、画像取得部５１は、次の撮影画像の取得が可能か否かを判定する。例えば、画像取得部５１は、ユーザが３Ｄモデルの作成用の撮影を終了する操作を行うまで、次の撮影画像の取得が可能であると判定する。
ステップＳ５３において、次の撮影画像の取得が可能であると判定された場合、処理はステップＳ５１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ５３において、次の撮影画像の取得が可能でないと判定された場合、処理は終了される。
次に、図１３のフローチャートを参照して、スマートフォン１１の３次元再構成用画像データベース作成処理＃１について説明する。３次元再構成用画像データベース作成処理＃１は、撮影画像に写る秘匿領域に秘匿処理用画像を合成した結果として得られる秘匿処理後の画像を、３次元再構成用画像データベース５４に記憶させる処理である。
ステップＳ６１において、秘匿処理部５３は、画像データベース５２から撮影画像を取得する。
ステップＳ６２において、秘匿処理部５３は、秘匿処理＃１を行う。秘匿処理＃１により、処理対象の撮影画像から秘匿領域が検出され、秘匿処理後の画像が生成される。なお、秘匿処理＃１については、図１４のフローチャートを参照して後述する。
ステップＳ６３において、秘匿処理部５３は、ステップＳ６２の秘匿処理＃１で生成された秘匿処理後の画像を３次元再構成用画像データベース５４に供給し、記憶させる。
ステップＳ６４において、秘匿処理部５３は、次の撮影画像が画像データベース５２から取得可能か否かを判定する。例えば、秘匿処理部５３は、３Ｄモデルの作成用に撮影された全ての撮影画像のうち、まだ処理対象としていない撮影画像がある場合には、次の撮影画像が画像データベース５２から取得可能であると判定する。
ステップＳ６４において、次の撮影画像が画像データベース５２から取得可能であると判定された場合、処理はステップＳ６１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ６４において、次の撮影画像が画像データベース５２から取得可能でないと判定された場合、処理は終了される。
図１４のフローチャートを参照して、図１３のステップＳ６２において行われる秘匿処理＃１について説明する。
ステップＳ７１において、秘匿処理部５３は、検出済み秘匿領域探索処理＃１を行う。検出済み秘匿領域探索処理＃１により、処理対象の撮影画像に含まれる、検出済みの秘匿領域に対応する秘匿領域が探索される。なお、検出済み秘匿領域探索処理＃１については、図１５のフローチャートを参照して後述する。
ステップＳ７２において、画像合成部６５は、ステップＳ７１の検出済み秘匿領域探索処理＃１が行われた結果に基づいて、検出済みの秘匿領域に対応する秘匿領域が、処理対象の撮影画像内にあるか否かを判定する。
ステップＳ７２において、検出済みの秘匿領域に対応する秘匿領域が、処理対象の撮影画像内にあると判定された場合、処理はステップＳ７３に進み、画像合成部６５は、探索された秘匿領域に対応付けられた秘匿処理用画像を、秘匿領域に関する情報とともに秘匿処理データベース６４から取得する。上述したように、秘匿領域に関する情報には、秘匿領域マスクや幾何変換パラメータなどが含まれている。
ステップＳ７４において、画像合成部６５は、秘匿領域マスクを用いて撮影画像に含まれる秘匿領域をマスクし、幾何変換パラメータを用いて秘匿処理用画像に幾何変換を施す。さらに、画像合成部６５は、幾何変換を施した秘匿処理用画像を撮影画像に合成して、合成画像を生成する。画像合成部６５は、合成画像を新規秘匿領域検出部６６に供給し、処理はステップＳ７５に進む。
一方、ステップＳ７２において、検出済みの秘匿領域に対応する秘匿領域が処理対象の撮影画像内にないと判定された場合、ステップＳ７３およびＳ７４の処理はスキップされ、処理はステップＳ７５に進む。
ステップＳ７５において、新規秘匿領域検出部６６は、合成画像に含まれる新規秘匿領域を検出する。新規秘匿領域検出部６６は、新規秘匿領域に関する情報を生成し、画像合成部６５に供給する。なお、ステップＳ７３およびＳ７４の処理がスキップされている場合には、合成画像ではなく撮影画像に対して同様の処理が行われる。また、以下の処理でも同様とする。
ステップＳ７６において、画像合成部６５は、ステップＳ７５における新規秘匿領域検出部６６による検出結果に従って、新規秘匿領域が合成画像内にあるか否かを判定する。
ステップＳ７６において、新規秘匿領域があると判定された場合、処理はステップＳ７７に進み、画像合成部６５は、未使用の秘匿処用画像を秘匿処理データベース６４から取得する。未使用の秘匿処理用画像は、秘匿処理データベース６４において秘匿領域IDに対応付けられていない秘匿処理用画像である。
ステップＳ７８において、画像合成部６５は、新規秘匿領域検出部６６から供給された秘匿領域マスクを用いて合成画像をマスクし、取得した秘匿処理用画像に幾何変換パラメータを用いて幾何変換を施す。そして、画像合成部６５は、合成画像に、幾何変換を施した秘匿処理用画像を合成して、秘匿処理後の画像を生成する。
ステップＳ７９において、画像合成部６５は、合成画像に合成した秘匿処理用画像を、新規秘匿領域に関する情報に対応付けて、秘匿処理データベース６４に供給し、記憶させる。その後、図１３のステップＳ６２に戻り、それ以降の処理が行われる。
一方、ステップＳ７６において、新規秘匿領域がないと判定された場合、ステップＳ７７乃至Ｓ７９の処理はスキップされ、図１３のステップＳ６２に戻り、それ以降の処理が行われる。なお、この場合、ステップＳ７４で生成された合成画像を、秘匿処理後の画像として同様の処理が行われる。
図１５のフローチャートを参照して、図１４のステップＳ７１において行われる検出済み秘匿領域探索処理＃１について説明する。
ステップＳ９１において、特徴点検出部６１は、処理対象の撮影画像から特徴点を検出する。
ステップＳ９２において、特徴点検出部６１は、ステップＳ９１で検出した各特徴点の特徴量を計算する。そして、特徴点検出部６１は、撮影画像内の各特徴点の特徴量を表す情報と撮影画像とをマッチング部６２に供給する。
ステップＳ９３において、マッチング部６２は、秘匿処理データベース６４から検出済みの秘匿領域に含まれる特徴点と各特徴点の特徴量とを取得する。
ステップＳ９４において、マッチング部６２は、撮影画像の特徴点と、検出済みの秘匿領域に含まれる特徴点とのマッチングを、それぞれの特徴量に基づいて行う。
ステップＳ９５において、マッチング部６２は、特徴点のマッチングが成功したか否かを判定する。
ステップＳ９５において、特徴点のマッチングが成功したと判定された場合、処理はステップＳ９６に進む。例えば、秘匿処理データベース６４から取得された検出済みの秘匿領域に対応する秘匿領域が処理対象の撮影画像内にある場合、マッチング部６２によって秘匿領域が探索され、特徴点のマッチングは成功したと判定される。
ステップＳ９６において、マッチング部６２は、幾何変換パラメータ推定部６３に対応特徴点情報および撮影画像を供給する。これに応じ、幾何変換パラメータ推定部６３は、対応特徴点情報に基づいて、マッチング部６２によって探索された秘匿領域の形状に合わせた幾何変換パラメータを推定する。そして、幾何変換パラメータ推定部６３は、推定した幾何変換パラメータを用いて秘匿領域マスクを作成する。
ステップＳ９７において、幾何変換パラメータ推定部６３は、処理対象の撮影画像と、秘匿領域に関する情報とを対応付けて秘匿処理データベース６４に供給し、記憶させる。その後、処理はステップＳ９８に進む。
一方、ステップＳ９５において、特徴点のマッチングが失敗したと判定された場合、ステップＳ９６およびＳ９７の処理はスキップされ、処理はステップＳ９８に進む。例えば、秘匿処理データベース６４から取得された検出済みの秘匿領域に対応する秘匿領域が処理対象の撮影画像内にない場合、特徴点のマッチングは失敗したと判定される。
ステップＳ９８において、マッチング部６２は、次の検出済みの秘匿領域の取得が可能か否かを判定する。例えば、マッチング部６２は、秘匿処理が既に行われた撮影画像から検出済みの全ての秘匿領域について、マッチングが行われていない秘匿領域がある場合には、次の検出済みの秘匿領域の取得が可能であると判定する。
ステップＳ９８において、次の検出済みの秘匿領域の取得が可能であると判定された場合、処理はステップＳ９３に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ９８において、次の検出済みの秘匿領域の取得が可能でないと判定された場合、即ち、検出済みの全ての秘匿領域についてマッチングが行われた場合、幾何変換パラメータ推定部６３は、撮影画像を画像合成部６５に供給する。その後、図１４のステップＳ７１に戻り、それ以降の処理が行われる。
以上の処理により、３Ｄモデル作成に用いられる撮影画像の解像度やテクスチャなどの情報を損失することなく、撮影画像内のプライバシー情報を秘匿した秘匿処理後の画像を生成することが可能となる。
即ち、独自のテクスチャから構成される秘匿処理用画像を秘匿領域に合成することで、複数の秘匿処理後の画像で共通する領域を秘匿する秘匿領域どうしの幾何的な関係を維持することができ、秘匿処理後の画像を用いた３Ｄモデルの作成を精度良く行わせることができる。
例えば、上述した特許文献３および４に開示されている技術では、低解像度化や、塗りつぶし、ぼかし、モザイク化などの画像処理が行われるが、このような画像処理では、３Ｄモデルの作成に必要となるテクスチャや幾何的な情報が画像から損失してしまう。これに対し、本技術の秘匿処理では、複数の秘匿処理後の画像で共通する領域を秘匿する秘匿領域どうしの幾何的な関係が維持され、３Ｄモデルの作成に必要となるテクスチャや幾何的な情報が画像から損失されてしまうのを回避することができる。
また、ユーザの負担を増やすことなく、撮影画像内のプライバシー情報を秘匿した秘匿処理後の画像を生成することが可能となる。
例えば、上述した特許文献５に開示されている技術では、ユーザが指定した領域に対してプリセットされた画像を合成するため、大量の画像群に対して１つずつマスク領域を指定したり、合成する画像を適切に指定したりする必要があり、ユーザの負担が大きかった。これに対し、本技術の秘匿処理では、これらの指定をユーザが行う必要はなく、ユーザの負担が増加してしまうことを回避することができる。
＜４．カメラ姿勢を用いた例＞
撮影画像を取得する際に推定されたカメラ姿勢が、検出済みの秘匿領域に対応する秘匿領域の探索に用いられるようにしてもよい。カメラ姿勢は、撮影を行ったカメラの位置および回転を表す６自由度のパラメータで表される。
図１６は、スマートフォン１１Ａの構成例を示すブロック図である。
図１６に示すスマートフォン１１Ａにおいて、図４に示すスマートフォン１１の構成と共通する構成については、同じ符号を付してある。重複する説明については適宜省略する。
すなわち、スマートフォン１１Ａは、画像取得部５１、３次元再構成用画像データベース５４、および送信部５５を有する点で、図４のスマートフォン１１Ａと共通する。
一方、スマートフォン１１Ａは、カメラ姿勢推定部９１、姿勢付き画像データベース９２、および秘匿処理部５３Ａを有する点で、図４のスマートフォン１１と異なる。カメラ姿勢推定部９１には、画像取得部５１に供給される撮影画像と同じ複数の撮影画像が供給される。
カメラ姿勢推定部９１は、供給された複数の撮影画像に基づいて、それぞれの撮影画像の撮影時のカメラ姿勢を推定する。カメラ姿勢の推定には、例えばVisual SLAM(Simultaneous Localization and Mapping)が用いられる。
カメラ姿勢の推定の精度を上げるため、ジャイロセンサや加速度センサなどから構成されるセンサ３８の観測データがカメラ姿勢推定部９１に供給されるようにしてもよい。この場合、カメラ姿勢推定部９１は、観測データと撮影画像に基づいて、それぞれの撮影画像のカメラ姿勢を推定する。
カメラ姿勢推定部９１は、推定したカメラ姿勢を表す情報を姿勢付き画像データベース９２に供給し、撮影画像に対応付けて記憶させる。姿勢付き画像データベース９２には、画像取得部５１が取得した撮影画像が記憶されている。
なお、秘匿処理部５３Ａは、姿勢付き画像データベース９２に記憶された撮影画像と、カメラ姿勢を表す情報を取得し、撮影画像に写る秘匿領域を対象にして秘匿処理を行う。秘匿処理部５３Ａは、秘匿処理後の画像を、３次元再構成用画像データベース５４に供給し、記憶させる。
秘匿処理後の画像とともに、秘匿処理後の画像の元となった撮影画像の撮影時のカメラ姿勢を表す情報が、３次元再構成用画像データベース５４に記憶されるようにしてもよい。この場合、送信部５５は、秘匿処理後の画像とともに、カメラ姿勢を表す情報をフロントエンドサーバ１２に送信する。例えば、バックエンドサーバ１３において３次元再構成を行うための初期値としてカメラ姿勢が用いられることによって、３次元再構成の処理を高速化することが可能となる。また、３次元再構成の精度を向上させることが可能となる。
図１７は、秘匿処理部５３Ａの構成例を示すブロック図である。
図１７に示すように、秘匿処理部５３Ａは、秘匿領域探索部１０１、秘匿処理データベース６４Ａ、画像合成部６５Ａ、および新規秘匿領域検出部６６Ａにより構成される。
秘匿領域探索部１０１は、姿勢付き画像データベース９２に記憶された撮影画像と、撮影画像のカメラ姿勢とを取得する。また、秘匿領域探索部１０１は、検出済みの秘匿領域に関する情報を秘匿処理データベース６４Ａから取得する。ここでは、検出済みの秘匿領域に関する情報は、秘匿領域IDに対応付けられたカメラ姿勢を表す情報、秘匿領域マスク、および平面パラメータを含む。平面パラメータは、検出済みの秘匿領域が存在する３次元空間内の平面を表すパラメータである。
幾何変換パラメータに代わって平面パラメータが記憶される点を除いて、図５の秘匿処理データベース６４に記憶される情報と基本的に同様の情報が秘匿処理データベース６４Ａに記憶される。また、撮影画像のカメラ姿勢を表す情報が秘匿処理データベース６４Ａに記憶される。
秘匿領域探索部１０１は、検出済みの秘匿領域に関する情報と処理対象の撮影画像のカメラ姿勢とに基づいて、検出済みの秘匿領域に対応する、処理対象の撮影画像内の秘匿領域を探索する。
図１８は、カメラ姿勢を用いた、検出済みの秘匿領域に対応する秘匿領域の探索方法の例を示す図である。
例えば、図１８に示すように、略平行四辺形として表される秘匿領域Ａ１が、破線で囲まれた略平行四辺形で表される平面Ｐ１上にあるものとする。平面Ｐ１は、３次元空間内の所定の平面であり、平面パラメータによって表される。秘匿領域Ａ１は、秘匿処理データベース６４Ａから取得された情報によって表される検出済みの秘匿領域である。
秘匿領域探索部１０１は、検出済みの秘匿領域に対応付けられたカメラ姿勢および平面パラメータに基づいて、秘匿領域マスクを３次元空間に写像する。写像された秘匿領域マスクによってマスクされる領域が、秘匿領域Ａ１となる。
また、秘匿領域探索部１０１は、処理対象の撮影画像のカメラ姿勢Ｔ’を用いて、処理対象の撮影画像上に秘匿領域を再射影する。図１８の略平行四辺形の枠Ｆ１は、処理対象の撮影画像の撮影範囲を表す。
平面Ｐ１にある秘匿領域の少なくとも一部が枠Ｆ１の内部に再射影された場合、秘匿領域探索部１０１は、再射影された秘匿領域に対応する秘匿領域を、処理対象の撮影画像内に探索したものとして判断する。
図１８の例においては、平面Ｐ１上の秘匿領域Ａ１は、カメラ姿勢Ｔ’に基づいて、枠Ｆ１内の秘匿領域Ａ２に再射影されている。この場合、秘匿領域Ａ２が検出済みの秘匿領域Ａ１に対応する秘匿領域として探索されることになる。
このように、秘匿領域探索部１０１は、処理対象の撮影画像のカメラ姿勢に基づいて、処理対象の撮影画像から、既に秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の撮影画像において検出済みの秘匿領域と共通する領域を秘匿する秘匿領域を探索することができる。
図１７の説明に戻り、秘匿領域探索部１０１は、探索した秘匿領域の秘匿領域マスクを作成する。秘匿領域探索部１０１は、処理対象の撮影画像と、秘匿領域に関する情報とを対応付けて秘匿処理データベース６４Ａに供給し、記憶させる。秘匿領域に関する情報には、カメラ姿勢を表す情報、平面パラメータ、および秘匿領域マスクが含まれる。
秘匿処理データベース６４Ａには、秘匿領域探索部１０１から供給された情報が記憶される。また、秘匿処理データベース６４Ａには、複数の秘匿処理用画像があらかじめ記憶されている。
図１９乃至図２１を参照して秘匿処理データベース６４Ａによって管理される情報について説明する。例えば、秘匿処理データベース６４には、図１９のテーブル１、図２０のテーブル２、および図２１のテーブル３が記憶される。
図１９は、秘匿処理データベース６４Ａに記憶されるテーブル１の例を示す図である。
図１９のテーブル１においては、「画像ID」、「秘匿領域ID」、および「秘匿領域マスク」が対応付けられている。
例えば、画像ID 100に対しては、手紙７１の領域に対して与えられた秘匿領域ID 1と秘匿領域マスクmask_100_1とが対応付けられている。また、画像ID 100に対しては、秘匿領域ID 2と秘匿領域マスクmask_100_2が対応付けられている。
画像ID 101に対しても同様に、秘匿領域IDと秘匿領域マスクが対応付けられている。
図２０は、秘匿処理データベース６４Ａに記憶されるテーブル２の例を示す図である。
図２０のテーブル２においては、「秘匿領域ID」、「秘匿処理用画像ID」、および「平面パラメータ」が対応付けられている。
秘匿領域ID 1乃至3のそれぞれに対しては、図９を参照して説明した秘匿処理用画像ID と同じIDが対応付けられるとともに、平面パラメータP_1乃至P_3が対応付けられている。平面パラメータP_1は、手紙７１が写像される３次元空間内の平面を表すパラメータである。平面パラメータP_2およびP_3は、それぞれ、書籍７２の表紙および書籍７３の表紙が写像される３次元空間内の平面を表すパラメータである。
図２１は、秘匿処理データベース６４Ａに記憶されるテーブル３の例を示す図である。
図２１のテーブル３においては、「画像ID」および「カメラ姿勢」が対応付けられている。
画像ID 100に対しては、カメラ姿勢T_100が対応付けられている。カメラ姿勢T_100は、画像ID 100の撮影画像の撮影時のカメラ姿勢を表す。
画像ID 101に対しては、カメラ姿勢T_101が対応付けられている。カメラ姿勢T_101は、画像ID 101の撮影画像の撮影時のカメラ姿勢を表す。
図１７の説明に戻り、画像合成部６５Ａは、秘匿領域探索部１０１から供給された撮影画像の画像IDに対応付けられた秘匿領域に関する情報を秘匿処理データベース６４Ａから取得する。具体的には、カメラ姿勢、平面パラメータ、秘匿領域マスク、および秘匿処理用画像が取得される。
画像合成部６５Ａは、秘匿領域マスクを用いて、秘匿領域探索部１０１から供給された撮影画像に含まれる秘匿領域をマスクする。また、画像合成部６５Ａは、カメラ姿勢と平面パラメータに基づいて秘匿処理用画像に幾何変換を施し、幾何変換後の秘匿処理用画像を撮影画像に合成する。画像合成部６５Ａは、カメラ姿勢と、撮影画像に秘匿処理用画像を合成して得られた合成画像とを新規秘匿領域検出部６６Ａに供給する。
また、画像合成部６５Ａは、新規秘匿領域検出部６６Ａから供給された秘匿領域マスクおよび平面パラメータを用いて、合成画像に秘匿処理用画像を合成して、秘匿処理後の画像を生成する。
具体的には、画像合成部６５Ａは、秘匿処理データベース６４Ａにおいて秘匿領域IDに対応付けられていない秘匿処理用画像を秘匿処理データベース６４Ａから取得する。
画像合成部６５Ａは、新規秘匿領域検出部６６Ａから供給された秘匿領域マスクを用いて、処理対象の合成画像に含まれる新規秘匿領域をマスクする。また、画像合成部６５Ａは、カメラ姿勢と平面パラメータに基づいて、秘匿処理用画像に幾何変換を施し、合成画像に合成する。
画像合成部６５Ａは、合成画像に合成した秘匿処理用画像を、新規秘匿領域に関する情報に対応付けて、秘匿処理データベース６４Ａに供給し、記憶させる。新規秘匿領域に関する情報には、平面パラメータと秘匿領域マスクが含まれる。また、画像合成部６５Ａは、秘匿処理後の画像を３次元再構成用画像データベース５４（図１６）に供給し、記憶させる。
新規秘匿領域検出部６６Ａは、画像合成部６５Ａから供給された合成画像に含まれる新規秘匿領域を検出する。新規秘匿領域検出部６６Ａは、画像合成部６５Ａから供給されたカメラ姿勢に基づいて、新規秘匿領域に関する情報を生成し、画像合成部６５に供給する。
次に、以上のような構成を有するスマートフォン１１Ａの動作について説明する。
図２２のフローチャートを参照して、スマートフォン１１Ａの画像取得処理＃２について説明する。
ステップＳ１５１の処理は、図１２のステップＳ５１の処理と同様である。すなわち、画像取得部５１により、撮影画像が取得される。
ステップＳ１５２において、カメラ姿勢推定部９１は、画像取得部５１に供給される撮影画像と同じ複数の撮影画像に基づいて、それぞれの撮影画像の撮影時のカメラ姿勢を推定する。
ステップＳ１５３において、画像取得部５１は、撮影画像を姿勢付き画像データベース９２に供給し、記憶させる。また、カメラ姿勢推定部９１は、推定したカメラ姿勢を表す情報を姿勢付き画像データベース９２に供給し、記憶させる。
ステップＳ１５４において、画像取得部５１は、次の撮影画像の取得が可能か否かを判定する。
ステップＳ１５４において、次の撮影画像の取得が可能であると判定された場合、処理はステップＳ１５１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１５４において、次の撮影画像の取得が可能でないと判定された場合、処理は終了される。
続いて、図２３のフローチャートを参照して、スマートフォン１１Ａの３次元再構成用画像データベース作成処理＃２について説明する。３次元再構成用画像データベース作成処理＃２は、カメラ姿勢を用いて撮影画像に秘匿処理用画像を合成した結果として得られる秘匿処理後の画像を、３次元再構成用画像データベース５４に記憶させる処理である。
ステップＳ１６１において、秘匿処理部５３Ａは、姿勢付き画像データベース９２から撮影画像と、撮影画像の撮影時のカメラ姿勢とを取得する。
ステップＳ１６２において、秘匿処理部５３Ａは、秘匿処理＃２を行う。秘匿処理＃２により、処理対象の撮影画像から秘匿領域が検出され、秘匿処理後の画像が生成される。なお、秘匿処理＃２は、図１４のフローチャートを参照して上述した秘匿処理＃１と同様に処理が行われるが、ステップＳ７１の検出済み秘匿領域探索処理＃１に替えて、図２４のフローチャートを参照して後述する検出済み秘匿領域探索処理＃２が行われる。
ステップＳ１６３の処理は、図１３のステップＳ６３の処理と同様である。すなわち、秘匿処理後の画像が３次元再構成用画像データベース５４に記憶される。
ステップＳ１６４において、秘匿処理部５３Ａは、次の撮影画像の取得が可能か否かを判定する。
ステップＳ１６４において、次の撮影画像の取得が可能であると判定された場合、処理はステップＳ１６１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１６４において、次の撮影画像の取得が可能でないと判定された場合、処理は終了される。
図２４のフローチャートを参照して、図２３のステップＳ１６２において行われる秘匿処理＃２における検出済み秘匿領域探索処理＃２について説明する。
ここで、図１４を参照して説明したように、秘匿処理＃１においては、処理対象の撮影画像に含まれる、検出済みの秘匿領域に対応する秘匿領域を探索する処理が行われる（ステップＳ７１）。これに対し、検出済み秘匿領域探索処理＃２は、撮影画像の撮影時のカメラ姿勢が姿勢付き画像データベース９２から取得される場合に行われる処理である。
ステップＳ１７１において、秘匿領域探索部１０１は、検出済みの秘匿領域に関する情報を秘匿処理データベース６４Ａから取得する。
ステップＳ１７２において、秘匿領域探索部１０１は、検出済みの秘匿領域に対応付けられたカメラ姿勢および平面パラメータに基づいて、検出済みの秘匿領域に対応付けられた秘匿領域マスクを３次元空間の平面に写像する。
ステップＳ１７３において、秘匿領域探索部１０１は、処理対象の撮影画像の撮影時のカメラ姿勢を用いて、３次元空間の平面に写像された秘匿領域マスクを、処理対象の撮影画像上に再射影する。
ステップＳ１７４において、秘匿領域探索部１０１は、検出済みの秘匿領域に対応する秘匿領域が、処理対象の撮影画像上に存在しているかを判定する。
ステップＳ１７４において、検出済み秘匿領域に対応する秘匿領域が、処理対象の撮影画像上に存在していると判定された場合、処理はステップＳ１７５に進み、秘匿領域探索部１０１は、探索した秘匿領域の秘匿領域マスクを作成する。秘匿領域探索部１０１は、処理対象の撮影画像と、秘匿領域に関する情報とを対応付けて秘匿処理データベース６４Ａに供給し、記憶させる。その後、処理はステップＳ１７６に進む。
一方、ステップＳ１７４において、検出済みの秘匿領域に対応する秘匿領域が、処理対象の撮影画像上に存在していないと判定された場合、ステップＳ１７５の処理はスキップされ、処理はステップＳ１７６に進む。
ステップＳ１７６において、秘匿領域探索部１０１は、次の検出済みの秘匿領域の取得が可能か否かを判定する。
ステップＳ１７６において、次の検出済みの秘匿領域の取得が可能であると判定された場合、処理はステップＳ１７１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１７６において、次の検出済みの秘匿領域の取得が可能でないと判定された場合、図１４のステップＳ７１に戻り、それ以降の処理が行われる。
以上の処理により、取得した各撮影画像に対してカメラ姿勢を付与し、各撮影画像を撮影したカメラ姿勢の相対的な関係を計算することが可能となる。
また、特徴点の検出、特徴量の計算、および特徴点のマッチングの精度に依存せず、検出済みの秘匿領域に対応する秘匿領域のロバストな探索を行うことが可能となる。
＜５．テキスト領域を用いた例＞
画像から検出されたテキスト領域を用いて、幾何変換パラメータが推定されるようにしてもよい。
図２５は、テキスト領域を用いて幾何変換パラメータを推定する方法を示す図である。
図２５のＡに示すように、スマートフォン１１は、例えばテキスト領域を撮影画像内から検出し、テキスト領域に対して文字特定処理とフォント特定処理とを行う。図２５のＡの例においては、「あいうかきく」の文字を含むテキスト領域が検出されている。
文字特定処理は、テキスト領域に写っている文字を特定する処理である。文字特定処理によって、例えば、図２５のＡにおいて破線で囲まれた「あ」の文字が特定される。フォント特定処理は、文字のフォントを特定する処理である。フォント特定処理によって、例えば「あ」の文字のフォントが特定される。ここで、文字特定処理およびフォント特定処理については、公開済みの技術（例えば、特開２０１６−３１７０９号公報や、特開２０１３−７３４３９号公報、特開２０１１−１８１７５号公報など）を適用することができる。
図２５のＢに示すように、スマートフォン１１は、特定したフォントの文字を正面から見た画像である正対テキスト画像をデータベースから取得する。例えばスマートフォン１１が管理するデータベースには、各フォントの各文字の正対テキスト画像が用意されている。
スマートフォン１１は、テキスト領域内の特定した文字の向きに合わせて、正対テキスト画像を幾何変換する幾何変換パラメータＨを推定する。スマートフォン１１は、各文字の正対テキスト画像をあらかじめ特徴量化しており、特定した文字と正対テキスト画像のマッチングを特徴量に基づいて行うことで、幾何変換パラメータＨを推定する。
図２５のＣに示すように、スマートフォン１１は、幾何変換パラメータＨを用いて秘匿処理用画像に幾何変換を施す。これにより、テキスト領域内の特定した文字の向きに合わせて秘匿処理用画像が変形される。
図２５のＤに示すように、スマートフォン１１は、幾何変換を施した秘匿処理用画像を撮影画像のテキスト領域上に合成する。
図２５のＥに示すように、同一のテキスト領域に複数の文字が検出された場合、それぞれの文字に対して推定された幾何変換パラメータが統合され、全ての文字を秘匿するように秘匿処理用画像が合成される。また、推定された幾何変換パラメータを統合するのではなく、最適なパラメータが採用され、秘匿処理用画像の合成が行われるようにしてもよい。
図２６のフローチャートを参照して、スマートフォン１１の３次元再構成用画像データベース作成処理＃３における秘匿処理＃３について説明する。３次元再構成用画像データベース作成処理＃３は、撮影画像内のテキスト領域に秘匿処理用画像を合成した結果として得られる秘匿処理後の画像を、３次元再構成用画像データベース５４に記憶させる処理である。
ここで、図１３を参照して説明したように、３次元再構成用画像データベース作成処理＃１においては、処理対象の撮影画像の秘匿領域を検出し、秘匿処理後の画像を生成する処理が行われる（ステップＳ６２）。これに対し、秘匿処理＃３は、例えば秘匿領域がテキスト領域のみで構成される撮影画像群が取得される場合に行われる処理である。
ステップＳ２１１において、秘匿処理部５３は、検出済みテキスト領域探索処理を行う。検出済みテキスト領域探索処理により、処理対象の撮影画像に含まれる、検出済みのテキスト領域に対応するテキスト領域が探索される。なお、検出済みテキスト領域探索処理については、図２７のフローチャートを参照して後述する。
ステップＳ２１２において、画像合成部６５は、ステップＳ２１１での探索結果に従って、検出済みのテキスト領域に対応するテキスト領域が、処理対象の撮影画像内にあるか否かを判定する。
ステップＳ２１２において、検出済みのテキスト領域に対応するテキスト領域が、処理対象の撮影画像内にあると判定された場合、処理はステップＳ２１３に進み、画像合成部６５は、探索されたテキスト領域に対応付けられた秘匿処理用画像を、秘匿領域に関する情報とともに秘匿処理データベース６４から取得する。
ステップＳ２１４において、画像合成部６５は、秘匿領域マスクを用いて撮影画像に含まれるテキスト領域をマスクし、幾何変換パラメータを用いて秘匿処理用画像に幾何変換を施す。さらに、画像合成部６５は、幾何変換を施した秘匿処理用画像を撮影画像に合成して、合成画像を生成する。画像合成部６５は、合成画像を新規秘匿領域検出部６６に供給し、処理はステップＳ２１５に進む。
一方、ステップＳ２１２において、検出済みのテキスト領域に対応するテキスト領域が撮影画像内にないと判定された場合、ステップＳ２１３およびＳ２１４の処理はスキップされ、処理はステップＳ２１５に進む。
ステップＳ２１５において、新規秘匿領域検出部６６は、合成画像に含まれる、秘匿処理データベース６４に登録されていないテキスト領域である新規テキスト領域を検出する。
ステップＳ２１６において、新規秘匿領域検出部６６は、ステップＳ２１５での検出結果に従って、新規テキスト領域が合成画像内にあるか否かを判定する。
新規秘匿領域があるとステップＳ２１６において判定された場合、処理はステップＳ２１７に進み、新規秘匿領域検出部６６は、図２５を参照して上述したように、幾何変換パラメータＨを計算する。また、新規秘匿領域検出部６６は、検出した新規秘匿領域の秘匿領域マスクを作成する。新規秘匿領域検出部６６は、検出したテキスト領域に対応する幾何変換パラメータＨと秘匿領域マスクを画像合成部６５に供給する。
ステップＳ２１８乃至Ｓ２２０の処理は、図１４のステップＳ７７乃至Ｓ７９の処理と同様の処理である。
一方、新規テキスト領域がないとステップＳ２１６において判定された場合、図１３のステップＳ６２に戻り、それ以降の処理が行われる。
図２７のフローチャートを参照して、図２６のステップＳ２１１において行われる検出済みテキスト領域探索処理について説明する。
ステップＳ２３１において、特徴点検出部６１は、処理対象の撮影画像内のテキスト領域を検出する。特徴点検出部６１は、検出したテキスト領域に含まれる文字を特徴点として検出する。
ステップＳ２３２において、特徴点検出部６１は、検出した文字に対して特徴量を計算する。特徴点検出部６１は、テキスト領域内の各文字の特徴量を表す情報と撮影画像とをマッチング部６２に供給する。
ステップＳ２３３において、マッチング部６２は、検出済みのテキスト領域に含まれる文字の特徴量を秘匿処理データベース６４から取得する。なお、検出済みのテキスト領域に含まれる文字の特徴量として、検出済みのテキスト領域に含まれる文字の正対テキスト画像の特徴量が秘匿処理データベース６４に記憶されている。
ステップＳ２３４において、マッチング部６２は、撮影画像内のテキスト領域に含まれる文字と、検出済みのテキスト領域に含まれる文字とのマッチングを、それぞれの特徴量に基づいて行う。
ステップＳ２３５において、マッチング部６２は、文字のマッチングが成功したか否かを判定する。
特徴点のマッチングが成功したとステップＳ２３５において判定された場合、処理はステップＳ２３６に進む。
ステップＳ２３６において、マッチング部６２は、幾何変換パラメータ推定部６３に対応特徴点情報および撮影画像を供給する。幾何変換パラメータ推定部６３は、対応特徴点情報に基づいて、幾何変換パラメータＨを推定する。幾何変換パラメータ推定部６３は、推定した幾何変換パラメータＨを用いて秘匿領域マスクを生成する。
ステップＳ２３７において、幾何変換パラメータ推定部６３は、処理対象の撮影画像と、秘匿領域に関する情報とを対応付けて秘匿処理データベース６４に供給し、記憶させる。その後、処理はステップＳ２３８に進む。
一方、文字のマッチングが失敗したとステップＳ２３５において判定された場合、ステップＳ２３６およびＳ２３７の処理はスキップされ、処理はステップＳ２３８に進む。
ステップＳ２３８において、マッチング部６２は、次の検出済みのテキスト領域の取得が可能か否かを判定する。
ステップＳ２３８において、次の検出済みのテキスト領域の取得が可能であると判定された場合、処理はステップＳ２３３に戻り、以下、同様の処理が繰り返して行われる。
一方、次の検出済みのテキスト領域の取得が可能でないとステップＳ２３８において判定された場合、幾何変換パラメータ推定部６３は、撮影画像を画像合成部６５に供給する。その後、図２６のステップＳ２１１に戻り、それ以降の処理が行われる。
以上の処理により、スマートフォン１１は、テキスト領域が秘匿された画像を生成することが可能となる。テキスト領域のみを秘匿することによって、秘匿領域の形状に合わせて、より精細に秘匿処理を行うことが可能となる。また、３次元再構成の精度を向上させることが可能となる。
＜６．その他＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３に示されるリムーバブルメディア４４に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２やメモリ４１に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する制御部
を備える画像処理装置。
（２）
複数の前記画像は、同一の前記被写体が異なる位置から撮影された画像である
前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記秘匿処理用画像を合成して前記秘匿領域を秘匿する秘匿処理が施された秘匿処理後の複数の前記画像を、複数の前記画像を用いて前記被写体の３次元情報を作成する他の装置へ送信し、
前記他の装置は、複数の前記画像における特徴点の対応関係に基づいて、前記被写体の前記３次元情報を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
前記制御部は、処理対象の前記画像において複数の前記秘匿領域が探索された場合、それぞれの前記秘匿領域に対して、互いに異なる独自のテクスチャ有する前記秘匿処理用画像を合成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記秘匿領域は、個人に関するプライバシー情報を含む領域である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記秘匿領域は、前記プライバシー情報が表記されたテキストを含むテキスト領域、または、前記プライバシー情報として意味ラベルが付与された領域である
前記（５）に記載の画像処理装置。
（７）
前記秘匿処理用画像は、一つの前記秘匿処理用画像内において同一のテクスチャパターンが繰り返し現れず、かつ、他の前記秘匿処理用画像との間で共通のテクスチャパターンが存在しないテクスチャから構成される
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記制御部は、
処理対象の前記画像上で前記秘匿領域の形状に合わせて前記秘匿処理用画像を変形するのに用いられる幾何変換パラメータを推定し、
前記幾何変換パラメータを用いて、前記秘匿処理用画像を変形して前記秘匿領域に合成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記制御部は、共通する領域を秘匿する前記秘匿領域について、検出済みの前記秘匿領域との間の幾何関係に基づいて、処理対象の前記秘匿領域に対して前記秘匿処理用画像を変形するのに用いる前記幾何変換パラメータを推定する
前記（８）に記載の画像処理装置。
（１０）
前記制御部は、
前記秘匿領域を有する前記画像において特徴となる点を表す特徴点を検出し、
秘匿処理後の前記画像内の前記特徴点と、処理対象の前記画像内の前記特徴点とに基づいて、前記幾何変換パラメータを推定する
前記（８）または（９）に記載の画像処理装置。
（１１）
前記制御部は、
前記被写体を撮影したカメラの撮影時の姿勢を、複数の前記画像のそれぞれに基づいて推定し、
前記カメラの撮影時の前記姿勢に基づいて、秘匿処理後の前記画像内の前記秘匿領域と共通する領域を秘匿する前記秘匿領域を、処理対象の前記画像内から探索する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１２）
前記制御部は、
秘匿処理後の前記画像の撮影時における前記カメラの前記姿勢に基づいて、秘匿処理後の前記画像内での検出済みの前記秘匿領域により秘匿された被写体が３次元空間内で配置されている平面に、検出済みの前記秘匿領域を写像し、
処理対象の前記画像の撮影時における前記カメラの前記姿勢に基づいて、前記３次元空間内の平面に写像された検出済みの前記秘匿領域を、処理対象の前記画像の撮影範囲を表す平面に射影することによって、検出済みの前記秘匿領域が秘匿している前記被写体が処理対象の前記画像内に写る領域を探索する
前記（１１）に記載の画像処理装置。
（１３）
前記秘匿領域は、テキストを含むテキスト領域であり、
前記制御部は、
秘匿処理後の前記画像内の検出済みの前記テキスト領域と共通する前記テキスト領域を、処理対象の前記画像から探索し、
前記テキスト領域に含まれる前記テキストを正面から見た画像である正対テキスト画像を、前記テキスト領域に含まれる前記テキストの向きに合わせて変形する前記幾何変換パラメータを推定する
前記（８）に記載の画像処理装置。
（１４）
画像処理装置が、
同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する
画像処理方法。
（１５）
コンピュータに、
同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する
処理を実行させるためのプログラム。
（１６）
同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成し、
前記秘匿処理用画像を合成して前記秘匿領域を秘匿する秘匿処理が施された秘匿処理後の複数の前記画像を送信する制御部
を備える画像処理装置と、
秘匿処理後の複数の前記画像を受信するフロントエンドサーバと、
秘匿処理後の複数の前記画像を用いて前記被写体の３次元情報を作成するバックエンドサーバと
を含むように構成された画像処理システム。
１ 画像処理システム， １１ スマートフォン， １２ フロントエンドサーバ， １３ バックエンドサーバ，１４ ネットワーク， ５１ 画像取得部， ５２ 画像データベース， ５３ 秘匿処理部，５４ ３次元再構成用画像データベース， ５５ 送信部， ６１ 特徴点検出部， ６２ マッチング部， ６３ 幾何変換パラメータ推定部， ６４ 秘匿処理データベース， ６５ 画像合成部， ６６ 新規秘匿領域検出部， ９１ カメラ姿勢推定部， ９２ 姿勢付き画像データベース， １０１ 秘匿領域探索部

Claims (16)

  1. 同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
    処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する制御部
    を備える画像処理装置。
  2. 複数の前記画像は、同一の前記被写体が異なる位置から撮影された画像である
    請求項１に記載の画像処理装置。
  3. 前記制御部は、前記秘匿処理用画像を合成して前記秘匿領域を秘匿する秘匿処理が施された秘匿処理後の複数の前記画像を、複数の前記画像を用いて前記被写体の３次元情報を作成する他の装置へ送信し、
    前記他の装置は、複数の前記画像における特徴点の対応関係に基づいて、前記被写体の前記３次元情報を生成する
    請求項１に記載の画像処理装置。
  4. 前記制御部は、処理対象の前記画像において複数の前記秘匿領域が探索された場合、それぞれの前記秘匿領域に対して、互いに異なる独自のテクスチャを有する前記秘匿処理用画像を合成する
    請求項１に記載の画像処理装置。
  5. 前記秘匿領域は、個人に関するプライバシー情報を含む領域である
    請求項１に記載の画像処理装置。
  6. 前記秘匿領域は、前記プライバシー情報が表記されたテキストを含むテキスト領域、または、前記プライバシー情報として意味ラベルが付与された領域である
    請求項５に記載の画像処理装置。
  7. 前記秘匿処理用画像は、一つの前記秘匿処理用画像内において同一のテクスチャパターンが繰り返し現れず、かつ、他の前記秘匿処理用画像との間で共通のテクスチャパターンが存在しないテクスチャから構成される
    請求項１に記載の画像処理装置。
  8. 前記制御部は、
    処理対象の前記画像上で前記秘匿領域の形状に合わせて前記秘匿処理用画像を変形するのに用いられる幾何変換パラメータを推定し、
    前記幾何変換パラメータを用いて、前記秘匿処理用画像を変形して前記秘匿領域に合成する
    請求項１に記載の画像処理装置。
  9. 前記制御部は、共通する領域を秘匿する前記秘匿領域について、検出済みの前記秘匿領域との間の幾何関係に基づいて、処理対象の前記秘匿領域に対して前記秘匿処理用画像を変形するのに用いる前記幾何変換パラメータを推定する
    請求項８に記載の画像処理装置。
  10. 前記制御部は、
    前記秘匿領域を有する前記画像において特徴となる点を表す特徴点を検出し、
    秘匿処理後の前記画像内の前記特徴点と、処理対象の前記画像内の前記特徴点とに基づいて、前記幾何変換パラメータを推定する
    請求項９に記載の画像処理装置。
  11. 前記制御部は、
    前記被写体を撮影したカメラの撮影時の姿勢を、複数の前記画像のそれぞれに基づいて推定し、
    前記カメラの撮影時の前記姿勢に基づいて、秘匿処理後の前記画像内の前記秘匿領域と共通する領域を秘匿する前記秘匿領域を、処理対象の前記画像内から探索する
    請求項１に記載の画像処理装置。
  12. 前記制御部は、
    秘匿処理後の前記画像の撮影時における前記カメラの前記姿勢に基づいて、秘匿処理後の前記画像内での検出済みの前記秘匿領域により秘匿された被写体が３次元空間内で配置されている平面に、検出済みの前記秘匿領域を写像し、
    処理対象の前記画像の撮影時における前記カメラの前記姿勢に基づいて、前記３次元空間内の平面に写像された検出済みの前記秘匿領域を、処理対象の前記画像の撮影範囲を表す平面に射影することによって、検出済みの前記秘匿領域が秘匿している前記被写体が処理対象の前記画像内に写る領域を探索する
    請求項１１に記載の画像処理装置。
  13. 前記秘匿領域は、テキストを含むテキスト領域であり、
    前記制御部は、
    秘匿処理後の前記画像内の検出済みの前記テキスト領域と共通する前記テキスト領域を前記画像から探索し、
    前記テキスト領域に含まれる前記テキストを正面から見た画像である正対テキスト画像を、前記テキスト領域に含まれる前記テキストの向きに合わせて変形する前記幾何変換パラメータを推定する
    請求項８に記載の画像処理装置。
  14. 画像処理装置が、
    同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
    処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する
    画像処理方法。
  15. コンピュータに、
    同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
    処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成する
    処理を実行させるためのプログラム。
  16. 同一の被写体が写った複数の画像のうち、前記画像において秘匿にすべき領域である秘匿領域を探索する処理の対象となっている処理対象の前記画像から、既に前記秘匿領域を秘匿する秘匿処理が行われた秘匿処理後の前記画像において検出済みの前記秘匿領域と共通する領域を秘匿する前記秘匿領域を探索し、
    処理対象の前記画像から探索された前記秘匿領域に、独自のテクスチャから構成される秘匿処理用画像を合成する際に、検出済みの前記秘匿領域と共通する領域を秘匿する処理対象の前記画像における前記秘匿領域には、検出済みの前記秘匿領域に対する秘匿処理で合成された前記秘匿処理用画像と同一の前記秘匿処理用画像を合成し、
    前記秘匿処理用画像を合成して前記秘匿領域を秘匿する秘匿処理が施された秘匿処理後の複数の前記画像を送信する制御部
    を備える画像処理装置と、
    秘匿処理後の複数の前記画像を受信するフロントエンドサーバと、
    秘匿処理後の複数の前記画像を用いて前記被写体の３次元情報を作成するバックエンドサーバと
    を含むように構成された画像処理システム。
JP2019174414A 2019-09-25 2019-09-25 画像処理装置、画像処理方法、プログラム、および画像処理システム Pending JP2021052321A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019174414A JP2021052321A (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、プログラム、および画像処理システム
US17/635,539 US20220301119A1 (en) 2019-09-25 2020-09-11 Image processing device, image processing method, program, and image processing system
DE112020004546.3T DE112020004546T5 (de) 2019-09-25 2020-09-11 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und bildverarbeitungssystem
PCT/JP2020/034435 WO2021060016A1 (ja) 2019-09-25 2020-09-11 画像処理装置、画像処理方法、プログラム、および画像処理システム
CN202080065676.2A CN114424519A (zh) 2019-09-25 2020-09-11 图像处理装置、图像处理方法、程序和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174414A JP2021052321A (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、プログラム、および画像処理システム

Publications (1)

Publication Number Publication Date
JP2021052321A true JP2021052321A (ja) 2021-04-01

Family

ID=75156522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174414A Pending JP2021052321A (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、プログラム、および画像処理システム

Country Status (5)

Country Link
US (1) US20220301119A1 (ja)
JP (1) JP2021052321A (ja)
CN (1) CN114424519A (ja)
DE (1) DE112020004546T5 (ja)
WO (1) WO2021060016A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996805B2 (ja) * 2002-06-06 2007-10-24 株式会社日立製作所 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法
JP2007166341A (ja) * 2005-12-14 2007-06-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
JP2008299670A (ja) * 2007-05-31 2008-12-11 Canon Inc 画像領域抽出装置およびその制御方法、複合現実感提示システム及びコンピュータプログラム
JP4475325B2 (ja) * 2007-12-21 2010-06-09 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
JP4577419B2 (ja) * 2008-07-10 2010-11-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5358549B2 (ja) * 2010-11-26 2013-12-04 日本電信電話株式会社 保護対象情報マスキング装置、保護対象情報マスキング方法および保護対象情報マスキングプログラム
JP2013115660A (ja) * 2011-11-29 2013-06-10 Hitachi Ltd 監視システムおよび撮像装置
JP6039903B2 (ja) * 2012-01-27 2016-12-07 キヤノン株式会社 画像処理装置、及びその作動方法
JP6003135B2 (ja) * 2012-03-22 2016-10-05 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
US9094616B2 (en) * 2012-10-16 2015-07-28 Vidinoti Sa Method and system for image capture and facilitated annotation
CN104021350B (zh) 2014-05-13 2016-07-06 小米科技有限责任公司 隐私信息隐藏方法及装置
JP6117880B2 (ja) 2015-09-04 2017-04-19 京セラ株式会社 画像合成装置、画像合成方法および画像合成プログラム
WO2017168949A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
JP6607354B2 (ja) * 2016-11-10 2019-11-20 京セラドキュメントソリューションズ株式会社 画像形成システム、画像形成方法及び画像形成プログラム
CN107122679A (zh) * 2017-05-16 2017-09-01 北京小米移动软件有限公司 图像处理方法及装置
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
DE112020004546T5 (de) 2022-06-30
WO2021060016A1 (ja) 2021-04-01
US20220301119A1 (en) 2022-09-22
CN114424519A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
US10163003B2 (en) Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
KR102118000B1 (ko) 타겟 대상 표시 방법 및 디바이스
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
KR102120046B1 (ko) 오브젝트를 표시하는 방법
US20200184726A1 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
CN112889091A (zh) 使用模糊特征的相机位姿估计
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
CN109711472B (zh) 训练数据生成方法和装置
Viyanon et al. AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US20220319230A1 (en) Facial synthesis in augmented reality content for online communities
CN112581632B (zh) 一种房源数据的处理方法和装置
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
JP2021152935A (ja) 情報可視化システム、情報可視化方法、及びプログラム
WO2021060016A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2008191751A (ja) 配置シミュレーションシステム
KR20220069659A (ko) 딥러닝 기반 3차원 개인 트윈 모델 생성 및 배치 방법 및 이를 이용한 장치
CN110914871A (zh) 获取三维场景的方法与装置
CN109348132B (zh) 全景拍摄方法及装置
WO2021179919A1 (en) System and method for virtual fitting during live streaming