JP2021196951A - 画像処理装置、画像処理方法、プログラム、学習済みモデルの製造方法、および画像処理システム - Google Patents

Abstract

【課題】２視点画像から他視点画像を高精度に推定することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１０３）は、同一被写体を異なる２つの視点で撮影した２つの第１の画像を取得する取得部（１０３ｂ）と、２つの第１の画像を機械学習モデルに入力し、２つの視点とは異なる１つ以上の視点の第２の画像を推定する画像処理部（１０３ｃ）とを有する。【選択図】図４

Description

本発明は、機械学習ＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いて２視点画像から他視点画像を推定する画像処理装置に関する。

非特許文献１には、ＤＬを用いて４視点画像から他視点画像を推定する方法が開示されている。ここで、４視点画像は同一被写体を異なる４つの視点で撮影した画像であり、他視点画像は４視点とは異なる１つ以上の視点で同一被写体を撮影した相当の画像である。

Ｎ．Ｋ．Ｋａｌａｎｔａｒｉ、Ｔ−Ｃ．Ｗａｎｇ、Ｒ．Ｒａｍａｍｏｏｒｔｈｉ、 "Ｌｅａｒｎｉｎｇ−Ｂａｓｅｄ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ ｆｏｒ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａ"、 ＳＩＧＧＲＡＰＨ Ａｓｉａ （２０１６年）．

非特許文献１に開示された方法を用いて、横方向に視差がついた２視点画像から他視点画像を推定する場合、２視点画像中に存在する横長（ｒｅｃｔａｎｇｕｌａｒ−ｓｈａｐｅｄ）被写体の推定精度が低下する。これは、２視点画像中に存在する横長被写体の対応点を見つけることが困難であり、カメラから横長被写体までの距離（デプス）が定まらないためである。

そこで本発明は、２視点画像から他視点画像を高精度に推定することが可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、同一被写体を異なる２つの視点で撮影した２つの第１の画像を取得する取得部と、前記２つの第１の画像を機械学習モデルに入力し、前記２つの視点とは異なる１つ以上の視点の第２の画像を推定する画像処理部とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、２視点画像から他視点画像を高精度に推定することが可能な画像処理装置を提供することができる。

各実施例における機械学習モデルの学習の流れを示す図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 各実施例におけるウエイトの学習に関するフローチャートである。 各実施例における他視点画像の推定に関するフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例３における画像処理システムのブロック図である。 実施例３における他視点画像の推定に関するフローチャートである。 各実施例における概要の説明図である。 各実施例の変形例としての機械学習モデルの学習の流れを示す図である。 各実施例の別の変形例としての機械学習モデルの学習の流れを示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、具体的な説明を行う前に、各実施例の要旨を説明する。各実施例は、ＤＬを用いて横方向に視差がついた２視点画像から他視点画像を推定する際、２視点画像中の横長被写体に頑健に、他視点画像を推定する。

ＤＬによる画像処理では、ニューラルネットワークを用いる。ニューラルネットワークでは、画像に対して畳み込むフィルタと足し合わせるバイアス、および非線形変換を行う活性化関数を用いる。フィルタおよびバイアスはウエイトと呼ばれ、訓練画像から学習により生成される。本発明では、訓練画像として、２視点画像と対応する他視点画像とを用いる。また、パラメトリックな活性化関数を用いて、そのパラメータを学習で同時に生成してもよい。

画像に対してフィルタを畳み込み、バイアスを足し合わせ、非線形変換を行うことを繰り返した結果、ニューラルネットワークの中間層で得られる多次元配列は、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。なお、画像に対して複数のフィルタを何度も畳み込むことで、得られる特徴マップの１点には画像中の対応する広い領域（受容野）に関する情報が含まれる。

次に、図１０を参照して、各実施例の概要に関して説明する。各実施例では、まず２視点画像（第１の画像）から、第１のニューラルネットワークにより、２視点画像のそれぞれの２つの特徴マップ（第１の特徴量）を生成する。次に、生成された２つの特徴マップを比較し、２視点画像の対応点に関する情報（第２の特徴量）を抽出する。ここで、２視点画像の対応点に関する情報とは、２視点画像中の同一被写体のデプス（距離）に応じたずれ量を求めるための情報である。最後に、２視点画像の対応点に関する情報（第２の特徴量）から、第２のニューラルネットワークにより、他視点画像（第２の画像）を推定する。

各実施例は、２視点画像からそれぞれ得られる２つの特徴マップを比較して対応点を見つけることを特徴とする。これにより、２視点画像を画素毎に比較する従来技術よりも、横長被写体の対応点を見つけることが容易になる。これは、横長被写体であっても、広い領域で見れば対応点の手掛かり（横長被写体の端や横長被写体表面のテクスチャ）が見つかるためである。その結果、各実施例によれば、２視点画像中の横長被写体に頑健に、他視点画像を推定することが可能となる。

ここで、２視点画像の対応点をテンプレートマッチングにより見つける場合について説明する。この場合、テンプレートを大きくすれば、２視点画像中の横長被写体の対応点を見つけることができるかもしれない。しかし、テンプレートが大きくなるほど計算負荷が増大するため、それは現実的ではない。一方、各実施例では、特徴マップを用いるため、ネットワークを深くするだけで受容野が広がり、２視点画像のより広い領域で対応点を探すことができる。その結果、２視点画像中の横長被写体の対応点を見つけやすくなる。

また、一般に横方向に視差がついた２視点画像は、縦方向の視差情報がない。このため、２視点画像から、２つの視点で決まる横方向（所定の方向）から縦方向（所定の方向と直交する方向、または所定の方向とは異なる方向）にずれた視点における画像の推定は難しい。しかし、各実施例では、２視点画像の各々から得られる２つの特徴マップを比較して対応点を見つけることで、カメラから被写体までの距離を高精度に推定することができる。そこから縦方向の視差情報を推定することで、各実施例によれば、２視点画像からその２つの視点で決まる横方向から縦方向にずれた視点における画像の推定も可能となる。

なお、前述の画像処理方法は、一例であり、各実施例はこれに限定されるものではない。その他の画像処理方法などの詳細については、以下の各実施例で説明する。また各実施例は、２視点画像の２つの視点は横方向にずれている場合に限定されるものではなく、任意の方向（所定の方向）に視点がずれた画像にも適用可能である。

まず、本発明の実施例１における画像処理システムに関して説明する。本実施例では、ニューラルネットワークを用いて２視点画像から他視点画像を推定する画像処理を学習、実行させる。

図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、学習装置１０１、撮像装置１０２、画像推定装置１０３、表示装置１０４、記録媒体１０５、出力装置１０６ｂ、および、ネットワーク１０７を有する。

学習装置（画像処理装置）１０１は、記憶部１０１ａ、画像生成部１０１ｂ、特徴量生成部１０１ｃ、特徴量比較部１０１ｄ、画像再構成部１０１ｅ、および、学習部１０１ｆを有する。

撮像装置１０２は、光学系（撮像光学系）１０２ａおよび撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。光学系１０２ａを介して形成された被写体の光学像を受光して撮像画像（２視点画像）を取得する。撮像素子１０２ｂは、撮像面位相差センサである。ここで、撮像面位相差センサとは、１画素が左右に独立した２個のフォトダイオードで構成されているイメージセンサである。これにより、右目と左目で同一被写体を見た２視点画像が同時に取得することができる。なお、撮像面位相差センサを備えた撮像装置１０２は、被写体までの距離を算出して、被写体に自動で焦点を合わせる目的（オートフォーカス）で主に用いられている。なお本実施例の撮像装置１０２は、このような構成に限定されるものではなく、２視点画像が取得可能であれば、例えばステレオカメラでもよい。その場合、撮像素子１０２ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。また、取得した２視点画像を記憶する記憶部や表示する表示部、外部に送信する送信部、外部の記憶媒体に記憶させる出力部、撮像装置１０２の各部を制御する制御部などは、図２および図３にそれぞれ示されていない。

画像推定装置（画像処理装置）１０３は、記憶部１０３ａ、取得部１０３ｂ、および、画像処理部（推定部）１０３ｃを有する。画像推定装置１０３は、取得した２視点画像から、他視点画像を推定する画像処理を行う。画像処理にはニューラルネットワークが用いられ、ニューラルネットワークのウエイトの情報は記憶部１０３ａから読み出される。ウエイトは学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して記憶部１０１ａからウエイトの情報を読み出し、記憶部１０３ａに保存している。保存されるウエイトの情報は、ウエイトの数値そのものでもよいし、符号化された形式でもよい。なお、ウエイトの学習、およびウエイトを用いた画像処理に関する詳細については、後述する。

推定された他視点画像は、表示装置１０４、記録媒体１０５、および、出力装置１０６ｂの少なくとも１つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して、処理途中の画像を確認しながら編集作業などを行うことができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバなどである。出力装置１０６ｂは、プリンタなどである。画像推定装置１０３は、必要に応じて、現像処理やリフォーカスなどの画像処理を行う機能を有する。リフォーカスとは、多視点画像の対応点を重ね合わせて合焦位置（ピント位置）を可変にする画像処理である。すなわち画像処理部１０３ｃは、推定した他視点画像から合焦位置を変化させた第３の画像（リフォーカス画像）を生成することができる。

次に、図１および図４を参照して、本実施例における学習装置１０１により実行されるウエイトの学習方法（学習済みモデルの製造方法）に関して説明する。図１は、ニューラルネットワークのウエイトの学習の流れ（機械学習モデル）を示す図である。図４は、ウエイトの学習に関するフローチャートである。図４の各ステップは、主に、画像生成部１０１ｂ、特徴量生成部１０１ｃ、特徴量比較部１０１ｄ、画像再構成部１０１ｅ、または、学習部１０１ｆにより実行される。

まず、図４のステップＳ１０１において、画像生成部１０１ｂは、２視点パッチ（２つの第１の画像）と対応する他視点パッチ（少なくとも１つの第２の画像）とを生成する。本実施例において、２視点パッチは同一被写体を異なる２つの視点で撮影した画像（第１の画像）であり、他視点パッチは２つの視点とは異なる１つ以上の視点で同一被写体を撮影した画像（第２の画像）である。なお、パッチとは、既定の画素数（例えば、１２０×１２０画素など）を有する画像を指す。また本実施例において、２つの視点とは異なる１つ以上の視点は、２つの視点で決まる方向と直交する方向にずれた視点を含むが、これに限定されるものではなく、２つの視点で決まる方向からずれた視点を含んでいればよい。

本実施例では、ライトフィールドカメラで多視点画像を取得し、そこから２視点パッチおよび他視点パッチを生成する。例えば、ライトフィールドカメラで４視点画像を取得し、取得した４視点画像から撮像面位相差センサを備えたカメラで取得される相当の２視点画像を生成してもよい。なお、４視点画像から２視点画像は、視点間の関係から視点画像を補間して生成すればよい。また、視点間の関係は、ライトフィールドカメラのセンサと撮像面位相差センサの構成で決定される。

ただし本実施例は、これに限定されるものではなく、数値計算で２視点パッチと対応する他視点パッチとを生成してもよい。例えば、３ＤＣＧの３次元空間上に被写体とカメラを配置し、カメラで撮影した相当の画像をレンダリングすることで、２視点パッチと対応する他視点パッチとを生成してもよい。

続いてステップＳ１０２において、特徴量生成部１０１ｃは、２視点パッチ（２つの第１の画像）から、第１のニューラルネットワークにより、２視点パッチのそれぞれの特徴マップ（２つの第１の特徴量）を生成する。なお第１のニューラルネットワークは、２視点パッチのそれぞれに１つ用意される（２視点パッチのそれぞれに対して存在する）。また本実施例において、２視点パッチが入力されるそれぞれの第１のニューラルネットワークは互いに同じネットワーク構造とウエイトとを有する。ただし本実施例は、これに限定されるものではなく、２視点パッチが入力されるそれぞれの第１のニューラルネットワークが異なるネットワーク構造またはウエイトを有していてもよい。

また本実施例において、２視点パッチのそれぞれを第１のニューラルネットワークへ入力するが、これに限定されるものではない。例えば、撮影条件や推定する他視点パッチの視点に関する情報を、２視点パッチと共に第１のニューラルネットワークへ入力してもよい。ここで、撮影条件とは、２視点パッチを撮影したレンズの絞り値（Ｆ値）、焦点距離、カメラから合焦被写体までの距離、カメラ側のセンサのＩＳＯ感度やシャッタースピード、画素ピッチ、各種フィルタ特性などである。

撮影条件や推定する他視点画像の視点に関する情報をニューラルネットワークへ入力する方法として、例えばレンズの絞り値に対して割り当てた値を画素値として有する絞り画像を２視点パッチと連結して第１のニューラルネットワークへ入力する方法が用いられる。または、レンズの絞り値に対して割り当てた値を第３のニューラルネットワークへ入力し、得られる値を画素値として有する絞り画像を２視点パッチと連結して第１のニューラルネットワークへ入力する方法を用いてもよい。すなわち、レンズの絞り値に対して割り当てた値を、第１のニューラルネットワークへそのまま入力するのではなく、別途用意した第３のニューラルネットワークで非線形変換した後に入力してもよい。また、２視点パッチそのものを第１のニューラルネットワークへ入力するのではなく、例えば２視点パッチを補間で横方向にサブ画素シフトした画像を入力してもよい。

続いてステップＳ１０３において、特徴量比較部１０１ｄは、２視点パッチ（２つの第１の画像）からそれぞれ生成される２つの特徴マップ（２つの第１の特徴量）を比較することで、２視点パッチの対応点に関する情報（第２の特徴量）を抽出する。本実施例において、特徴量比較部１０１ｄは、２つの特徴マップの対応点（２つの特徴マップの類似度）を算出して比較を行う。より具体的には、特徴量比較部１０１ｄは、２つの特徴マップの行列積に基づく処理を行って２つの特徴マップの対応点を算出する。ただし本実施例は、特徴マップの行列積に基づく処理を用いた比較方法に限定されるものではない。例えば、ＳＩＦＴやＳＵＲＦ、ＨｏＧなど位置合わせに用いられてきた古典的な特徴量を用いてもよい。または、特徴マップを横方向にサブ画素シフトさせたのち画素毎に減算して比較してもよい。または、特徴マップを並置して第４のニューラルネットワークで処理することで比較してもよい。

続いてステップＳ１０４において、画像再構成部１０１ｅは、２視点パッチの対応点に関する情報（第２の特徴量）から、第２のニューラルネットワークにより、推定パッチ（出力画像）２０２を生成する。なお、推定パッチ２０２は、２視点パッチ（２つの第１の画像）２０１から得られる他視点パッチ（第２の画像）２００の推定（推定画像）である。

本実施例において、２視点パッチの対応点に関する情報（第２の特徴量）を第２のニューラルネットワークへ入力するが、これに限定されるものではない。例えば、撮影条件や推定する他視点画像の視点に関する情報を、２視点パッチの対応点に関する情報と共に第２のニューラルネットワークへ入力してもよい。ここで、撮影条件はステップＳ１０２と同様である。また、撮影条件や推定する他視点画像の視点に関する情報を第２のニューラルネットワークへ入力する方法も、ステップＳ１０２と同様である。また、２視点画像の対応点に関する情報を用いて、２視点パッチをワープさせた後に第２のニューラルネットワークへ入力してもよい。

本実施例において、図１に示されるように、前半の分岐したネットワークが第１のニューラルネットワーク、後半のネットワークが第２のニューラルネットワークを表す。図１中のＣＮは畳み込み層を表す。畳み込み層ＣＮは、入力とフィルタの畳み込み、およびバイアスとの和が算出され、その結果を活性化関数によって非線形変換する。フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを用いることができる。最終層を除く各層で出力される多次元配列は、特徴マップと呼ばれる。スキップコネクション２０３は、連続していない層から出力された特徴マップを合成するショートカットの経路である。特徴マップの合成は、要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施例では要素ごとの和を採用する。

図１中の２０４は、２視点パッチ（２つの第１の画像）２０１からそれぞれ生成される２つの特徴マップ（２つの第１の特徴量）を比較する比較部であり、図２中の特徴量比較部１０１ｄの機能に相当する。前述したように、本実施例では特徴マップの比較方法は行列積であるが、これに限定されるものではない。

図１中の点線枠２０５内の要素は、残差ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）を表す。なお、点線で括ってはいないが、第１のニューラルネットワークにおいて、残差ブロックの前後の要素もまた残差ブロックである。同様に、第２のニューラルネットワークも残差ブロックで構成されている。このように、残差ブロックを多層化したニューラルネットワークは残差ネットワークと呼ばれており、ＤＬによる画像処理において広く用いられている。ただし本実施例は、これに限定されるものではなく、その他の要素を多層化しニューラルネットワークを構成してもよい。例えば、互いに異なる畳み込みフィルタサイズを有する畳み込み層を並置し、得られる複数の特徴マップを統合して最終的な特徴マップとするインセプションモジュール（Ｉｎｃｅｐｔｉｏｎ Ｍｏｄｕｌｅ）を用いることができる。また、密にスキップコネクションを有するデンスブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）を用いてもよい。

また、入力に近い層で特徴マップをダウンサンプリング、出力に近い層で特徴マップをアップサンプリングし、中間層での特徴マップのサイズを小さくすることで処理負荷（畳み込み回数）を軽減させてもよい。ここで、特徴マップのダウンサンプリングには、プーリング（Ｐｏｏｌｉｎｇ）やストライド（Ｓｔｒｉｄｅ）、逆ピクセルシャッフル（Ｄｅ―Ｐｉｘｅｌ Ｓｈｕｆｆｌｅ）などを用いることができる。また、特徴マップのアップサンプリングには、逆畳み込み（ＤｅｃｏｎｖｏｌｕｔｉｏｎまたはＴｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）、ピクセルシャッフル（Ｐｉｘｅｌ Ｓｈｕｆｆｌｅ）、補間などを用いることができる。

続いて、図４のステップＳ１０５において、学習部１０１ｆは、他視点パッチ（第２の画像）２００とその推定パッチ（出力画像または推定画像）２０２との誤差から、図１に示されるニューラルネットワークのウエイトを更新する。ここで、ウエイトは、各層のフィルタの成分とバイアスを含む。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いるが、本実施例はこれに限定されるものではない。ミニバッチ学習では、複数の他視点パッチ２００とそれらに対応する推定パッチ２０２との誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いればよい。ウエイト更新方法（学習方法）はミニバッチ学習に限らず、バッチ学習でもオンライン学習でもよい。なお、以前に学習した第１のニューラルネットワークのウエイトを用いて、第２のニューラルネットワークだけ学習してもよい。すなわち、第１のニューラルネットワークのウエイトは学習せずに固定し、第２のニューラルネットワークだけ学習してもよい。または、第１のニューラルネットワークだけ学習してもよい。また、図１には示されていないが、ステップＳ１０２にて第３のニューラルネットワークを使う場合、そのウエイトも同時に更新する。ステップＳ１０３にて第４のニューラルネットワークを使う場合も同様である。

続いてステップＳ１０６において、学習部１０１ｆは、ウエイトの学習が完了したか否かを判定する。完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより判定することができる。学習が完了していないと判定された場合、ステップＳ１０１へ戻り、新たな２視点パッチ（第１の画像）２０１と他視点パッチ（第２の画像）２００とを複数取得する。一方、学習が完了と判定された場合、学習装置１０１（学習部１０１ｆ）は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。

なお本実施例では、機械学習モデルとして図１に示される構成を用いるが、これに限定されるものではない。例えば、図１１または図１２に示される構成を用いてもよい。図１１は、本実施例の変形例としての機械学習モデルの学習の流れを示す図である。図１１に示されるように、２視点パッチ（２つの第１の画像）２０１を共通のニューラルネットワークに入力して推定パッチ（出力画像）２０２を生成する機械学習モデルを用いてもよい。すなわち本実施例の機械学習モデルは、第１のニューラルネットワークおよび第２のニューラルネットワークのように２つのニューラルネットワークに分離されていなくてもよい。図１２は、本実施例の別の変形例としての機械学習モデルの学習の流れを示す図である。図１２に示されるように、２視点パッチ（２つの第１の画像）２０１のそれぞれの第１のニューラルネットワークからの２つの出力を直接、第２のニューラルネットワークに入力して推定パッチ（出力画像）２０２を生成する機械学習モデルを用いることができる。すなわち本実施例の機械学習モデルは、第１のニューラルネットワークのそれぞれの出力を比較する比較部２０４を用いなくてもよい。

次に、図５を参照して、本実施例における画像推定装置１０３で実行される他視点画像の推定に関して説明する。図５は、他視点画像の推定に関するフローチャートである。図５の各ステップは、主に、画像推定装置１０３の取得部１０３ｂおよび画像処理部１０３ｃにより実行される。

まずステップＳ２０１において、取得部１０３ｂは、撮像画像とウエイトの情報を取得する。撮像画像は、学習の場合と同様に２視点画像であり、本実施例では撮像装置１０２から送信された画像である。ウエイトの情報は、学習装置１０１から送信されて記憶部１０３ａに記憶される。また、図４のステップＳ１０２にて撮影条件や推定する他視点画像の視点に関する情報を、第１の画像と共に第１のニューラルネットワークへ入力する場合、それらの情報も取得する。なお、撮像条件は、撮像画像と共に撮像装置１０２から送信されて記憶部１０３ａに記憶される。また、推定する他視点画像の視点に関する情報は、例えば入力装置１０６ａからユーザにより入力され、記憶部１０３ａに記憶される。

続いてステップＳ２０２において、画像処理部１０３ｃは、取得したウエイトの情報を適用したニューラルネットワークに撮像画像を入力し、他視点画像を推定する。ここで他視点画像は、撮像画像とは異なる１つ以上の視点で撮影した画像の推定である。他視点画像の推定には、図１に示される構成と同様のニューラルネットワークを用いることができる。なお、ニューラルネットワークへ撮像画像を入力する際は、学習時に使用した２視点パッチと同サイズに切り出す必要はないが、処理の高速化のため、撮影画像を互いに重複した複数枚のパッチに分解したのち処理してもよい。この場合、処理後に得られるパッチを融合して他視点画像とすればよい。

以上のように、本実施例の画像推定装置１０３は、取得部１０３ｂおよび画像処理部１０３ｃを有する。取得部１０３ｂは、同一被写体を異なる２つの視点で撮影した２つの第１の画像を取得する。画像処理部１０３ｃは、２つの第１の画像を機械学習モデルに入力し、２つの視点とは異なる１つ以上の視点の第２の画像を推定する。また、本実施例の学習装置１０１は、画像生成部１０１ｂおよび学習部１０１ｆを有する。画像生成部１０１ｂは、同一被写体を異なる２つの視点で撮影した２つの第１の画像、および、２つの視点とは異なる１つ以上の視点の第２の画像を生成する。学習部１０１ｆは、２つの第１の画像を機械学習モデルに入力し、出力画像と第２の画像とを比較して機械学習モデルを学習する。

なお本実施例において、学習装置１０１と画像推定装置１０３とが別体である場合を例に説明したが、これに限定されるものではなく、学習装置１０１と画像推定装置１０３とが一体的に構成されていてもよい。すなわち、一体の装置内で学習（図４に示される処理）と推定（図５に示される処理）を行ってもよい。

以上の構成により、本実施例によれば、横方向に視差がついた２視点画像中の横長被写体に頑健に、他視点画像を推定する画像処理装置を提供することができる。

次に、本発明の実施例２における画像処理システムに関して説明する。本実施例は、実施例１と同様に、ニューラルネットワークを用いて２視点画像から他視点画像を推定するＤＬ画像処理を学習、実行させる。本実施例の画像処理システムは、撮像装置が撮像画像（２視点画像）を取得して画像処理を行う点で、実施例１と異なる。

図６は、本実施例における画像処理システム３００のブロック図である。図７は、画像処理システム３００の外観図である。画像処理システム３００は、ネットワーク３０３を介して接続された学習装置（画像処理装置）３０１と撮像装置３０２とを含む。なお、学習装置３０１と撮像装置３０２は、ネットワーク３０３を介して常に接続されている必要はない。

学習装置３０１は、実施例１の学習装置１０１と同様な構成を有する。すなわち学習装置３０１は、記憶部３１１、画像生成部３１２、特徴量生成部３１３、特徴量比較部３１４、画像再構成部３１５、および学習部３１６を有する。このような構成において、学習装置３０１は、ニューラルネットワークを用いて２視点画像から他視点画像を推定する画像処理を行うためのウエイトを学習する。

撮像装置３０２は、被写体空間を撮像して撮像画像（２視点画像）を取得し、読み出した前記ウエイトの情報を用いて、２視点画像から他視点画像を推定する。撮像装置３０２で実行される画像処理に関する詳細は、後述する。撮像装置３０２は、光学系（撮像光学系）３２１および撮像素子３２２を有する。画像推定部３２３は、取得部３２３ａおよび画像処理部３２３ｂを有し、記憶部３２４に保存されたウエイトの情報を用いて、２視点画像から他視点画像を推定する。なお、学習装置３０１で実行されるニューラルネットワークのウエイトの学習は、実施例１と同様であるため、その説明は省略し、撮像装置３０２で実行される画像処理に関する詳細のみ後述する。

ウエイトの情報は、学習装置３０１で事前に学習され、記憶部３１１に保存されている。撮像装置３０２は、記憶部３１１からネットワーク３０３を介してウエイトの情報を読み出し、記憶部３２４に保存する。推定された他視点画像は、記録媒体３２５ａに保存される。推定された他視点画像の表示に関する指示がユーザから出された場合、保存された画像（推定された他視点画像）が読み出され、表示部３２５ｂに表示される。なお、記録媒体３２５ａに既に保存された撮像画像（２視点画像）を読み出し、画像推定部３２３で他視点画像の推定を行ってもよい。また、ユーザから指示が出された場合、推定された他視点画像からリフォーカス画像を生成してもよい。以上の一連の制御は、システムコントローラ３２７によって行われる。

次に、本実施例における画像推定部３２３で実行される他視点画像の推定に関して説明する。画像処理の手順は、実施例１の図５と同様である。画像処理の各ステップは、主に、画像推定部３２３の取得部３２３ａまたは画像処理部３２３ｂにより実行される。

まず、ステップＳ２０１において、取得部３２３ａは、撮像画像（２視点画像）とウエイトの情報を取得する。２視点画像は、撮像装置３０２で取得され、記憶部３２４に記憶されたものである。ウエイトの情報は、学習装置３０１から送信されて記憶部３２４に記憶されたものである。

続いてステップＳ２０２において、画像処理部３２３ｂは、取得したウエイトを適用したニューラルネットワークに撮像画像（２視点画像）を入力し、他視点画像を推定する。他視点画像の推定には、図１に示される構成と同様のニューラルネットワークを用いることができる。

以上の構成により、本実施例によれば、横方向に視差がついた２視点画像中の横長被写体に頑健に、他視点画像を推定する画像処理システムを提供することができる。

次に、本発明の実施例３における画像処理システムに関して説明する。本実施例の画像処理システムは、画像推定装置に対して画像処理の対象である撮像画像（２視点画像）を送信し、２視点画像から推定された他視点画像を画像推定装置から受信する処理装置（コンピュータ）を有する点で、実施例１および実施例２と異なる。

図８は、本実施例における画像処理システム４００のブロック図である。画像処理システム４００は、学習装置４０１、撮像装置４０２、画像推定装置（第２の装置）４０３、および、コンピュータ（処理装置、第１の装置）４０４を有する。学習装置４０１および画像推定装置４０３は、例えばサーバである。コンピュータ４０４は、例えばユーザ端末（パーソナルコンピュータまたはスマートフォン）である。コンピュータ４０４は、ネットワーク４０５を介して画像推定装置４０３に接続されている。画像推定装置４０３は、ネットワーク４０６を介して学習装置４０１に接続されている。

すなわち、コンピュータ４０４と画像推定装置４０３は通信可能に構成され、画像推定装置４０３と学習装置４０１は通信可能に構成されている。なお、学習装置４０１および撮像装置４０２の構成は、実施例１の学習装置１０１および撮像装置１０２とそれぞれ同様であるため、それらの説明を省略する。

画像推定装置４０３は、記憶部４０３ａ、取得部４０３ｂ、通信部（受信部）４０３ｃ、および、画像処理部４０３ｄを有する。記憶部４０３ａ、取得部４０３ｂ、および、画像処理部４０３ｄは、実施例１の画像推定装置１０３の記憶部１０３ａ、取得部１０３ｂ、および、画像処理部１０３ｃとそれぞれ同様である。通信部４０３ｃは、コンピュータ４０４から送信される要求を受信する機能、および、画像推定装置４０３により推定された他視点画像をコンピュータ４０４に送信する機能を有する。

コンピュータ４０４は、通信部（送信部）４０４ａ、表示部４０４ｂ、入力部４０４ｃ、画像処理部４０４ｄ、記録部４０４ｅを有する。通信部４０４ａは、撮像画像（２つの第１の画像、２視点画像）に対する処理を画像推定装置４０３に実行させるための要求を画像推定装置４０３に送信する機能、および、画像推定装置４０３により推定された出力画像（他視点画像）を受信する機能を有する。表示部４０４ｂは、種々の情報を表示する機能を有する。表示部４０４ｂによって表示される情報は、例えば画像推定装置４０３に送信する撮像画像（２視点画像）と、画像推定装置４０３から受信した他視点画像、他視点画像から生成されるリフォーカス画像（第３の画像）を含む。入力部４０４ｃは、ユーザからの指示を入力する。画像処理部４０４ｄは、画像推定装置４０３により推定された他視点画像を受信し、さらにそれに対して画像処理を施す機能を有する。ここで、推定された他視点画像に施す画像処理として、リフォーカス処理などが含まれる。記録部４０４ｅは、撮像装置４０２から取得した撮像画像、画像推定装置４０３から受信した出力画像などを記録する。

次に、図９を参照して、本実施例における画像処理について説明する。図９は、本実施例における他視点画像の推定に関するフローチャートである。なお本実施例における画像処理は、実施例１にて説明した画像処理（図５）と同等である。図９に示される画像処理は、コンピュータ４０４を介してユーザにより画像処理開始の指示が成されたことを契機として開始される。

最初に、コンピュータ４０４における動作について説明する。まずステップＳ４０１において、コンピュータ４０４は、撮像画像（２視点画像）に対する処理の要求を画像推定装置４０３へ送信する。なお、処理対象である２視点画像を画像推定装置４０３に送信する方法は問わない。例えば、２視点画像はステップＳ４０１と同時に画像推定装置４０３にアップロードされてもよいし、ステップＳ４０１以前に画像推定装置４０３にアップロードされていてもよい。また、２視点画像は画像推定装置４０３とは異なるサーバ上に記憶された画像でもよい。なお、ステップＳ４０１において、コンピュータ４０４は２視点画像に対する処理の要求と共に、ユーザを認証するＩＤや、撮像条件、推定する他視点画像の視点に関する情報などを送信してもよい。続いてステップＳ４０２において、コンピュータ４０４は、画像推定装置４０３により推定された他視点画像を受信する。

次に、画像推定装置４０３の動作について説明する。まずステップＳ５０１において、画像推定装置４０３は、コンピュータ４０４から送信された撮像画像（２視点画像）に対する処理の要求を受信する。画像推定装置４０３は、２視点画像に対する処理が指示されたと判定し、ステップＳ５０２以降の処理を実行する。

続いてステップＳ５０２において、画像推定装置４０３は、ウエイトの情報を取得する。ウエイトの情報は、実施例１と同様の方法（図４）で学習された情報（学習済みモデル）である。画像推定装置４０３は、学習装置４０１からウエイト情報を取得してもよいし、予め学習装置４０１から取得され記憶部４０３ａに記憶されたウエイト情報を取得してもよい。続くステップＳ５０３は、実施例１のステップＳ２０２と同様である。続いてステップＳ５０４において、画像推定装置４０３は、推定した他視点画像をコンピュータ４０４へ送信する。

以上のように、本実施例のように、画像推定装置４０３を、画像推定装置４０３と通信可能に接続されたコンピュータ４０４を用いて制御するように構成してもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、機械学習ＤＬを用いて横方向に視差を有する２視点画像から他視点画像を推定する際、２視点画像中の横長被写体に頑健に、他視点画像を推定することができる。このため各実施例によれば、２視点画像から他視点画像を高精度に推定することが可能な画像処理装置、画像処理方法、プログラム、学習済みモデルの製造方法、および画像処理システムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 画像推定装置（画像処理装置）
１０３ｂ 取得部
１０３ｃ 画像処理部

Claims (17)

1. 同一被写体を異なる２つの視点で撮影した２つの第１の画像を取得する取得部と、
   前記２つの第１の画像を機械学習モデルに入力し、前記２つの視点とは異なる１つ以上の視点の第２の画像を推定する画像処理部と、を有することを特徴とする画像処理装置。
2. 前記機械学習モデルは、
   第１のニューラルネットワークにより、前記２つの第１の画像にそれぞれ対応する２つの第１の特徴量を生成する特徴量生成部と、
   前記２つの第１の特徴量に基づき第２のニューラルネットワークにより前記第２の画像を推定する画像再構成部と、を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記機械学習モデルは、前記特徴量生成部により生成された前記２つの第１の特徴量を比較して第２の特徴量を生成する比較部を更に有することを特徴とする請求項２に記載の画像処理装置。
4. 前記２つの第１の特徴量は、２つの特徴マップであり、
   前記比較部は、前記２つの特徴マップの対応点を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記比較部は、前記２つの特徴マップの行列積に基づく処理を行って前記２つの特徴マップの対応点を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１のニューラルネットワークは、前記２つの第１の画像のそれぞれに対して存在し、互いに同じネットワーク構造とウエイトとを有することを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記２つの視点とは異なる１つ以上の視点は、前記２つの視点で決まる方向からずれた視点を含むことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記２つの視点とは異なる１つ以上の視点は、前記２つの視点で決まる方向と直交する方向にずれた視点を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理部は、前記第２の画像から合焦位置を変化させた第３の画像を生成することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 同一被写体を異なる２つの視点で撮影した２つの第１の画像を取得する取得ステップと、
    前記２つの第１の画像を機械学習モデルに入力し、前記２つの視点とは異なる１つ以上の視点の第２の画像を推定する推定ステップと、を有することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
12. 同一被写体を異なる２つの視点で撮影した２つの第１の画像、および、前記２つの視点とは異なる１つ以上の視点の第２の画像を生成する画像生成部と、
    前記２つの第１の画像を機械学習モデルに入力し、出力画像と前記第２の画像とを比較して前記機械学習モデルを学習する学習部と、を有することを特徴とする画像処理装置。
13. 前記機械学習モデルは、
    第１のニューラルネットワークにより、前記２つの第１の画像にそれぞれ対応する２つの特徴量を生成する特徴量生成部と、
    前記２つの特徴量に基づき第２のニューラルネットワークにより前記第２の画像を推定する画像再構成部と、を有し、
    前記学習部は、前記第１のニューラルネットワークと前記第２のニューラルネットワークの少なくとも一方を学習することを特徴とする請求項１２に記載の画像処理装置。
14. 同一被写体を異なる２つの視点で撮影した２つの第１の画像、および、前記２つの視点とは異なる１つ以上の視点の第２の画像を生成する画像生成工程と、
    前記２つの第１の画像を機械学習モデルに入力し、出力画像と前記第２の画像とを比較して前記機械学習モデルを学習する学習工程と、を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
16. 同一被写体を異なる２つの視点で撮影した２つの第１の画像、および、前記２つの視点とは異なる１つ以上の視点の第２の画像を生成する画像生成工程と、
    前記２つの第１の画像を機械学習モデルに入力し、出力画像と前記第２の画像とを比較して前記機械学習モデルを学習する学習工程と、を有することを特徴とする学習済みモデルの製造方法。
17. 第１の装置と、前記第１の装置と通信可能な第２の装置と、を有する画像処理システムであって、
    前記第１の装置は、同一被写体を異なる２つの視点で撮影した２つの第１の画像に対する処理を前記第２の装置に実行させるための要求を送信する送信部を有し、
    前記第２の装置は、
    前記送信部により送信された前記要求を受信する受信部と、
    前記２つの第１の画像を機械学習モデルに入力し、前記２つの視点とは異なる１つ以上の視点の第２の画像を推定する画像処理部と、を有することを特徴とする画像処理システム。

Images