JP2022128671A - 情報処理装置、情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】立体的な物体が撮影されるという想定の下で行われた撮影によって生成された２次元画像データをネットワーク経由で情報処理装置が取得するシステムにおいて、立体的な物体が撮影されるという想定が守られていないときに、２次元画像データを処理対象とする不適切な処理が行われてしまうことを防止する。【解決手段】サーバ３は、カメラ５による撮影と同時に実行されたＬｉＤＡＲスキャナ６によるスキャンにより生成された３次元画像データをネットワークＮ経由で端末から取得し、３次元画像データを少なくとも利用して撮影対象の立体性の有無を判別する立体性判別部１３を備えており、立体的な物体が撮影されるという想定が守られているか否かを判定する。【選択図】図２

Description

本発明は、撮影されて生成されたデータを処理する情報処理装置、当該情報処理装置と端末とを備える情報処理システム、および、当該情報処理装置による情報処理方法に関する。

従来、立体的な物体が撮影されるという想定の下、撮影によって生成された２次元画像データ（撮影画像データ）をネットワーク経由で情報処理装置が取得し、その２次元画像データに基づく処理を実行するシステムが知られている。例えば特許文献１には、中古車が撮影されて生成されたパノラマ写真（２次元画像データ）をネットワーク経由でサーバ（情報処理装置）が取得した後、パノラマ写真を保管し、事後的に中古車の傷の状況等をパノラマ写真によって確認できるようにしたシステムが記載されている。

特開２０１８－９７６７９号公報

しかしながら特許文献１のシステムでは、以下の問題があった。すなわちサーバに保管されたパノラマ写真は、中古車の傷の状況を確認するために用いられるものであるが、サーバに送られてきたパノラマ写真が、傷のない中古車の画像が表示された別の写真や、傷のない中古車の画像が表示されたディスプレイ画面が撮影されることによって生成されたものである可能性がある。このような場合、パノラマ写真を傷の状況の確認用のデータとして保管してしまうと、不正なパノラマ写真から中古車の傷の状況の確認を行う事態が発生することになる。このため、上記の場合にパノラマ写真を保管することは適切でないものの、特許文献１のシステムではこれを回避する手段がなかった。

本発明は、このような問題を解決するために成されたものであり、立体的な物体が撮影されるという想定の下で行われた撮影によって生成された２次元画像データをネットワーク経由で情報処理装置が取得するシステムにおいて、立体的な物体が撮影されるという想定が守られていないときに、２次元画像データを処理対象とする不適切な処理が行われてしまうことを防止することを目的とする。

上記した課題を解決するために、本発明は、カメラの撮影結果に基づく２次元画像データだけではなく、カメラによる撮影と同時に実行された測距センサによるスキャンにより生成された３次元画像データをネットワーク経由で端末から取得し、３次元画像データを少なくとも利用して撮影対象の立体性の有無を判別するようにしている。

上記のように構成した本発明によれば、２次元画像データだけでなく、このデータと同時に生成された３次元画像データが取得された上で、３次元画像データを利用して撮影対象の立体性の有無が判別されるため、カメラによる撮影が立体性のある物体を撮影対象として行われたか否かを判別することができる。このため立体性のある物体を撮影対象として撮影が行われていないときに、上記判別を通してそのことを検知でき、例えば立体性のある物体が撮影されて生成された２次元画像データを処理対象とする通常の処理を行わず、これに代えて立体性のある物体が撮影されていないことに対処する処理を実行する、といったことが可能となる。これにより立体的な物体が撮影されるという想定が守られていないときに、２次元画像データを処理対象とする不適切な処理が行われてしまうことを防止できる。

本発明の一実施形態に係る情報処理システムの構成例を示す図である。 本発明の一実施形態に係る端末およびサーバの機能構成例を示すブロック図である。 撮影用画面を示す図である。 立体性判別部の処理の説明に利用する図である。 本発明の一実施形態に係る情報処理システムの動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る情報処理システム１の構成例を示す図である。図１で示すように情報処理システム１は、端末２とサーバ３とを備えている。端末２およびサーバ３は共に、インターネットを含むネットワークＮに接続可能である。

サーバ３は、端末２をクライアントの１つとするサーバ装置である。図１では、サーバ３を１つのブロックで表しているが、サーバ３は単一のサーバ装置である必要はなく、例えば複数のサーバ装置により構成されてもよく、また、所定のシステムの一部であってもよい。サーバ３は、運営会社によって管理、運営されており、後述するサービスを提供する。サーバ３は、特許請求の範囲の「情報処理装置」に相当する。

端末２は、タブレット型の筐体の全面の広い領域にタッチスクリーン４（表示パネル＋タッチパネル）が設けられたスマートフォンである。特に本実施形態に係る端末２は、カメラ５およびＬｉＤＡＲスキャナ６が搭載されており、カメラ５による撮影の結果に基づいて２次元画像データを生成する機能を備えると共に、ＬｉＤＡＲスキャナ６によるスキャンの結果に基づいて３次元画像データを生成する機能を備えている。ＬｉＤＡＲスキャナ６は、特許請求の範囲の「測距センサ」に相当する。

２次元画像データは、２次元の画像データ（いわゆる写真）であり、マトリックス状に配置された各画素について色に関する情報を保持している。また３次元画像データは、ＬｉＤＡＲスキャナ６により距離が測定された画素が三次元直交座標系に配置された点群データである。三次元画像データでは、ＬｉＤＡＲスキャナ６によるスキャン範囲内の各物体の表面（ＬｉＤＡＲスキャナ６により距離の測定の対象となる表面）が三次元直交座標系における点の集合として表現される。

なお本実施形態では、端末２がＬｉＤＡＲスキャナ６を搭載している構成であるが、三次元画像データの生成に用いられる他の機構（例えばステレオカメラや、ＬｉＤＡＲとは異なる方式の光学的測距センサ等）を備える構成でもよい。本実施形態に係る端末２のような３次元画像データを生成する機能を有する端末（スマートフォンや、携帯電話機能を有さないタブレット端末、ノートパソコン等）は、現時点で広く普及しており、今後もますます普及していくと想定される。

端末２には事前に、所定のアプリケーション（以下「専用アプリ」という）が、アプリケーションダウンロードシステムを利用してインストールされている。専用アプリの機能については後述する。以下、端末２の所有者を「ユーザ」と表現する。

図２は、端末２およびサーバ３の機能構成例を示すブロック図である。図２で示すように端末２は機能構成として、端末側制御部１０および端末側通信部１１を備えている。またサーバ３は機能構成として、サーバ側通信部１２、立体性判別部１３および処理部１４を備えている。上記各機能ブロック１０～１４は、コンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＣＰＵがＲＯＭ、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムをＲＡＭに読み出して実行することによって実現される。特に端末側制御部１０は、ＣＰＵが、記憶媒体に記憶された専用アプリ（ただしＯＳ、ＯＳが提供するＡＰＩ、その他の付随するプログラムを含む）を読み出して実行することにより実行される。ただし、上記各機能ブロック１０～１４の実現方法は本実施形態で例示する方法に限られず、他の方法でソフトウェアとハードウェアとが協働することによって実現されてもよく、また、ＤＳＰ等のハードウェアのみにより実現されてもよい。またサーバ３は記憶手段として、サーバ側記憶部１６を備えている。

端末側通信部１１は、ネットワークＮに接続された機器と所定のプロトコルに従って通信する。以下の説明では端末２とネットワークＮに接続された機器とでの通信は、端末側通信部１１により適切に行われるものとして詳細な説明を省略する。またサーバ側通信部１２は、ネットワークＮに接続された機器と所定のプロトコルに従って通信する。以下の説明ではサーバ３とネットワークＮに接続された機器とでの通信は、サーバ側通信部１２により適切に行われるものとして詳細な説明を省略する。

以下、評価シーンと本人確認シーンとの２つのシーンにおける本実施形態に係る情報処理システム１の動作例について説明する。

＜評価シーン＞
まず評価シーンにおける情報処理システム１の動作例について説明する。評価シーンではまず、ユーザが所有する物品が端末２のカメラ５によって撮影されることが想定されている。ユーザが所有する物品とは、立体的な物体であって、ユーザが評価される（評価の具体的な内容については後述）ことを望むものあり、一例としてブランド物のバック、ブランド物のアクセサリ、その他のブランド品であり、また一例としてノートパソコン、スマートフォン、ゲーム機、その他の電子機器である。以下、ユーザが所有する物品を対象物品という。対象物品は、特許請求の範囲の「評価対象の立体的な物体」に相当する。

ユーザによる対象物品の撮影後、撮影結果に基づく２次元画像データがサーバ３に送信される。サーバ３は、２次元画像データに基づいて対象物品を評価する。本実施形態において「評価」とは、対象物品の価値を評価し、買取り価格（値段）をつけることを意味する。詳細な説明は省略するが、対象物品に買取り価格がつけられた後、ユーザによる同意があれば、その買取り価格で対象物品が運営会社によって買い取られると共に、その買取り価格に相当する金銭がユーザに支払われる。特に本実施形態では運営会社によって買い取られた対象物品は、ユーザにリースされる。このためユーザは、対象物品を運営会社に引き渡すことなく手元に置いたまま、買取り価格相当の金銭を得ることができる（ただし、リース料の支払い義務等が生じる）。

以上の通り評価シーンにおいては、ユーザが、自身が所有する対象物品（立体的な物体）を撮影することが想定されていると共に、対象物品が撮影されて生成された２次元画像データがサーバ３に送信されることが想定されている。しかしながらユーザが、対象物品を撮影するのではなく、物品の画像が表示された写真や、物品の画像が表示されたディスプレイ画面（例えばパソコンのディプレイに映る画面や、テレビの画面等）を撮影し、その撮影の結果に基づく２次元画像データがサーバ３に送られてくる可能性がある。以下、物品の２次元的な画像が表示された平面的な媒体（上述した写真やディスプレイ画面のほか、例えば、写真以外の紙媒体がある）を「平面媒体」という。

一例としてユーザが、実際にはブランド物のバッグを所有していないのにもかかわらず、ブランド物のバッグの画像が表示された写真が掲載されたカタログの、その写真部分を撮影したり、ブランド物のバッグの画像が表示されたウェブページの該当部分を撮影したりし、その撮影の結果に基づく２次元画像データがサーバ３に送られてくる可能性がある。

以上のユーザの行動は、ユーザにより以下の事項が期待されて行われるものである。すなわち上述の通り情報処理システム１では、２次元画像データに基づいて対象物品の評価が行われ、対象物品に買取り価格が設定され、買取り価格に相当する金銭がユーザに支払われることになる。これを踏まえ、上記のユーザの行動は、２次元画像データに記録されたブランド物のバッグの画像（立体的な物体の撮影結果に基づく画像ではなく、カタログ或いはウェブページ等の撮影結果に基づく画像）に基づいて物品（本来はユーザが所有していない物品）の評価が行われ、買取り価格に相当する金銭が運営会社から支払われることが期待して行われる。

この他、ユーザが対象物品を所有しているものの、少しでも高い買取り価格となることを企図して、その対象物品と同モデルの物品であって、新品状態のものが表示された写真等を撮影することも考えられる。そして本実施形態に係る情報処理装システム１は、ユーザが以上のような行動をとる可能性があることを踏まえ、以下の処理を実行する。

まず２次元画像データの生成に先立って、ユーザは、端末２の専用アプリを起動し、物品種別選択画面をタッチスクリーン４に表示することを指示する。当該指示があると、そのことが立体性判別部１３に通知され、立体性判別部１３は、当該通知に応じて、端末側制御部１０に物品種別選択画面をタッチスクリーン４に表示させる。物品種別選択画面は、物品種別のそれぞれが選択可能に一覧表示された画面である。物品種別とは、評価の対象となり得る物品について、機能や用途によって大きく区分したときの各種別のことを意味する。本実施形態では物品種別として、ノートパソコンや、スマートフォン、ゲーム機、バッグ、時計等が事前に用意されている。ユーザは、所定の操作を行って、物品種別選択画面に一覧表示された物品種別から１つの物品種別を選択する。以下、ユーザにより選択された物品種別のことを「選択物品種別」という。

ユーザにより物品種別が選択されると、立体性判別部１３は端末側制御部１０を制御して、選択物品種別に応じた方法による対象物品の撮影を案内すると共に、カメラ５による撮影の実行を指示するための種々の撮影用画面Ｇ３（図３）を表示する。ユーザは、撮影用画面Ｇ３の案内に従ってカメラ５による撮影の実行を指示する。この指示に応じて、カメラ５による撮影が実行されると共に、更にＬｉＤＡＲスキャナ６によるスキャンが実行され、カメラ５の撮影結果に基づく２次元画像データ、および、ＬｉＤＡＲスキャナ６のスキャン結果に基づく３次元画像データが生成される。端末側制御部１０は、２次元画像データと３次元画像データとの組合せを取得する。

図３の各図は、選択物品種別がノートパソコンである場合に表示される撮影用画面Ｇ３の一例を示す図である。以下、図３を用いて撮影用画面Ｇ３の内容の具体例と共に、情報処理システム１の動作について説明する。立体性判別部１３は、端末側制御部１０を制御して、図３（Ａ）の撮影用画面Ｇ３Ａをタッチスクリーン４に表示させる。図３（Ａ）の撮影用画面Ｇ３Ａでは、閉じた状態のノートパソコンを撮影する様子が描かれたイラストと共に、ノートパソコンを閉じた状態で上面を撮影することを指示する文章が表示されている。

また図３（Ａ）の撮影用画面Ｇ３Ａには撮影の開始を指示するボタンＢ３Ａが表示されており、ユーザは、撮影の準備が整ったらボタンＢ３Ａを操作する。ボタンＢ３Ａの操作に応じて端末側制御部１０は、ＯＳが提供するＡＰＩを利用して端末２のカメラ５およびＬｉＤＡＲスキャナ６を有効にし、更に図３（Ｂ）の撮影用画面Ｇ３Ｂをタッチスクリーン４に表示する。図３（Ｂ）の撮影用画面Ｇ３Ｂでは、端末２のカメラによる撮影画像上に、枠線と、対象物品たるノートパソコンの上面が枠線内に収まった状態で撮影を行うことを指示する文章とが重ねて表示される。また図３（Ｂ）の撮影用画面Ｇ３Ｂには、撮影の実行を指示するボタンＢ３Ｂが表示されている。

基本的にはユーザは、対象物品を机等に載置し、対象物品の画像が枠線内に収まった状態でボタンＢ３Ｂを操作する。するとカメラ５により撮影が実行されて２次元画像データが生成され、更にＬｉＤＡＲスキャナ６によりスキャンが実行さて３次元画像データが生成される。以上の通り本来であれば、この段階では、ユーザにより立体的な物体であるノートパソコンが撮影されることが想定されている。一方、この段階でユーザにより、閉じた状態のノートパソコンの（２次元的な）画像が表示された平面媒体（写真や、ディスプレイ画面等）が撮影される可能性がある。

ユーザの指示に応じて撮影（およびスキャン）が実行されると、立体性判別部１３は、端末側制御部１０と協働して、図３（Ｃ）の撮影用画面Ｇ３Ｃをタッチスクリーン４に表示する。図３（Ｃ）の撮影用画面Ｇ３Ｃは、開いた状態のノートパソコンの撮影を促す画面である。撮影用画面Ｇ３ＣのボタンＢ３Ｃが操作されると、端末側制御部１０は、カメラ５およびＬｉＤＡＲスキャナ６を有効にした上で、図３（Ｂ）の撮影用画面Ｇ３Ｂに対応する画面を表示する。ユーザは、撮影用画面Ｇ３Ｂに対応する画面で所定のボタンを操作し、カメラ５による撮影およびＬｉＤＡＲスキャナ６によるスキャンを実行させる。これにより２次元画像データおよび３次元画像データが生成される。

以上、図３を用いて例示したように、立体性判別部１３は、端末側制御部１０を制御して、選択物品種別に応じた方法による対象物品の撮影を案内する。また端末側制御部１０は、カメラ５による撮影およびＬｉＤＡＲスキャナ６によるスキャンに応じて生成された２次元画像データと３次元画像データとの組合せ（以下、「データ組合せ」という）を取得する。なお図３の例のように、データ組合せは複数、生成されるケースもある。

端末側制御部１０は、１つ以上のデータ組合せを取得した後、全てのデータ組合せをサーバ３の立体性判別部１３に送信する。立体性判別部１３は、全てのデータ組合せを受信し、各データ組合せを対象として以下の立体性有無判別処理を実行する。以下、ある１つのデータ組合せについて立体性判別部１３が実行する立体性有無判別処理について説明する。

まず立体性判別部１３は、データ組合せに含まれる２次元画像データを取得する。次いで立体性判別部１３は、２次元画像データを分析し、２次元画像データにおける選択物品種別の物品の画像の位置を認識する。２次元画像データにおける選択物品種別の物品の画像の位置は、例えば、選択物品種別ごとに予め用意されたテンプレートデータを用いたパターンマッチングや、その他の画像処理技術（画像認識技術）により行われる。この他、ディープラーニングその他の機械学習手法により学習されたモデルが用いられて行われてもよい。

上述の通り、２次元画像データにおける選択物品種別の物品の画像は、立体的な対象物品が撮影されることによって形成された画像とは限らず、物品の画像が表示された平面媒体が撮影されることによって形成された画像である可能性がある。

次いで立体性判別部１３は、２次元画像データに写る空間と３次元画像データに写る空間とが一致するように、２次元画像データと３次元画像データとを重ね合わせ、３次元画像データにおいて、「２次元画像データにおける選択物品種別の物品の画像の領域」に対応する領域を特定する。以下、特定した領域を「特定領域」という。次いで立体性判別部１３は、３次元画像データにおいて特定領域に属する像が、周囲の像と平面的に連続する（平面上で連続する）、平らな像（凹凸のない或いは限定的にしか凹凸がない像）であるか否かを判別する。この判別は、特許請求の範囲の「撮影対象の立体性の有無を判別する」処理に相当する。

図４の各図は、立体性判別部１３の処理の説明に利用する図である。図４の各図は、３次元画像データを説明に適した態様で模式的に示している。図４の各図において符号２０は、光学中心を示し、符号２１は、ＬｉＤＡＲスキャナ６によりスキャンされる放射状の領域を示し、符号２２は、特定領域を示している。ユーザが立体的な対象物品を撮影およびスキャンした場合には、図４（Ａ）で示すように、特定領域には、周囲の像から独立した立体的な像Ｊ１（点群）が形成されることになる。一方、物品の画像が表示された平面媒体をユーザが撮影およびスキャンした場合には、図４（Ｂ）で示すように、特定領域には、周囲の像と平面的に連続する平らな像Ｊ２（点群）が形成されることになる。

以上を踏まえ立体性判別部１３は、特定領域に、周囲の像と平面的に連続する平らな像が形成されている場合には、撮影対象について立体性がないと判定する。一方、それ以外の場合、立体性判別部１３は、撮影対象について立体性があると判定する。ここで撮影対象とは、立体的な対象物品が撮影された場合のその対象物品と、物品の画像が表示された平面媒体が撮影された場合のその物品の画像とを含む概念である。

なお立体性判別部１３が、立体性の有無を判別するときの方法は、上記方法に限られない。例えば立体性判別部１３が、特定領域に、周囲の像から独立した立体的な像（点群）が形成されている場合に撮影対象について立体性があると判定し、それ以外の場合に立体性がないと判定する構成でもよい。その他の例については後述する。

以上の処理が立体性有無判別処理である。以上の立体性有無判別処理が実行されることにより、あるデータ組合せが、立体的な対象物体が撮影されて生成されたものではなく、平面媒体が撮影されて生成されたものである場合には、そのデータ組合せについての立体性有無判別処理において、撮影対象の立体性がないと判定される。

処理部１４は、立体性判別部１３により撮影対象の立体性がないと判定された場合（データ組合せが複数存在するときは、撮影対象の立体性がないと判定されたデータ組合せが１つでも存在する場合）、以下の処理を実行する。すなわち処理部１４は、端末側制御部１０を制御して、立体的な物品が撮影されておらず、写真やディスプレイ画面が撮影された可能性があるため、再度、撮影を行うべき旨の情報をタッチスクリーン４に表示させ、その旨をユーザに伝える。この場合、処理部１４は物体評価関連処理（後述）を実行しない。

なお立体性判別部１３により、撮影対象の立体性がないと判定された場合に処理部１４が実行する処理は上述した処理に限られない（ただし、物体評価関連処理は実行されない）。例えば運営会社の担当者に対して通知する構成としてもよい。通知は、サーバ３に接続された表示装置への情報の表示や、担当者へのメール等どのような方法で行われてもよい。担当者は、当該通知に応じて、例えば、２次元画像データおよび３次元画像データを目視、その他の手段により確認し、立体的な物品が撮影されているかどうかを再検証する等の処置を行うことができる。

一方、処理部１４は、立体性判別部１３により撮影対象の立体性があると判定された場合（データ組合せが複数存在するときは、全てのデータ組合せについて撮影対象の立体性があると判定された場合）、以下の処理を実行する。すなわち処理部１４は、物体評価関連処理を実行する。

物体評価関連処理において処理部１４は、撮影された対象物品の価値を評価し、買取り価格を決定する。より詳細には処理部１４は、画像処理技術（画像認識技術）により２次元画像データを分析し、対象物品について最深種別（例えば、ノートパソコンであればモデル、ブランド物のバッグであれば型番というように、対象物品を最も細かく区分した種別）を特定する。更に処理部１４は、所定のデータベースにアクセスし、特定した最深種別の物品の相場価格を取得する。更に処理部１４や、画像処理技術（画像認識技術）により２次元画像データを分析し、傷や汚れ、摩耗、凹み、部品の欠損等による見た目の劣化の状況の判別や、物品の真贋判別等を行う。その際、最深種別ごとにテンプレートデータを用意しておき、特定した最深種別に対応するテンプレートデータを用いたパターンマッチングを行うことができる。

そして処理部１４は、対象物品の相場価格や、劣化の状況、真贋を反映して対象物品の価値を評価し、買取り価格を決定する。以上が物体評価関連処理である。なお２次元画像データの分析に、所定の機械学習手法（例えばディープラーニング）で機械学習されたモデルを用いてもよい。また処理部１４による物体評価関連処理は、外部装置と協働して行われてもよく、また一部に人間による判断が含まれてもよく、また２次元画像データに加えて３次元画像データが用いられて行われてもよい。また本実施形態では説明の便宜のため、簡略化しているが、物体評価関連処理で対象物品の価値を評価し、買取り価格を決定するにあたって必要な情報およびデータは、ユーザや運営会社の者から適切に提供される。

評価シーンにおいて以上の処理が行われることにより、以下の効果を奏する。すなわち立体性判別部１３は、２次元画像データだけでなく、このデータと同時に生成された３次元画像データを取得し、２次元画像データを利用して撮影対象の立体性の有無を判別する。そして立体性のある物体を撮影対象として撮影が行われていないとき、つまりユーザが対象物品を撮影したのではなく平面媒体を撮影しているときには、これを検知して物体評価関連処理が実行されず、これに代えて立体性のある物体が撮影されていないことに対処する処理が実行される。これにより立体的な物体が撮影されるという想定が守られていないときに、平面媒体が撮影されて生成された２次元画像データに基づいて買取り価格を決定するという不適切な処理が行われてしまうことを防止でき、ひいてはユーザに対して金銭が引き渡されることを防止できる。

＜本人確認シーン＞
次に本人確認シーンにおける情報処理システム１の動作例について説明する。本人確認シーンでは、ユーザが所有する立体的な本人確認資料が端末２のカメラ５によって撮影され、その撮影の結果に基づく２次元画像データがサーバ３に送信され、サーバ３において２次元画像データに基づいて本人確認関連処理（処理の内容については後述）が実行される。本人確認資料は、例えば、運転免許証や、パスポート、マイナンバーカード等である。本人確認資料は、特許請求の範囲の「本人確認用の情報が記録された物体」に相当する。

本人確認資料についても、ユーザが、自身が所有する本人確認資料ではなく、他人の本人確認資料の画像が表示された写真や、他人の本人確認資料の画像が表示されたディスプレイ画面を撮影する可能性がある。一例として、他人の本人確認資料をカメラによって不正に撮影し、他人の本人確認資料の画像が表示された写真をプリントアウトし或いはディスプレイ画面に映し、写真或いはディスプレイ画面を撮影する可能性がある。これを踏まえ、情報処理システム１は、以下の処理を実行する。

すなわち本人確認シーンにおいてユーザにより撮影が指示されると、端末側制御部１０は、端末２のカメラ５およびＬｉＤＡＲスキャナ６を有効にして、カメラ５による撮影およびＬｉＤＡＲスキャナ６によるスキャンを実行し、２次元画像データおよび３次元画像データを取得する。端末側制御部１０は、取得した２次元画像データおよび３次元画像データを立体性判別部１３に送信する。

立体性判別部１３は、２次元画像データおよび３次元画像データ（データ組合せ）を受信する。次いで立体性判別部１３は、データ組合せについて立体性有無判別処理を実行し、撮影対象の立体性の有無を判別する。立体性有無判別処理では、評価シーンのときと同等の処理が実行される。

簡単に説明すると立体性判別部１３は、２次元画像データを分析し、２次元画像データにおける本人確認資料の画像の領域を特定する。例えば本人確認資料が運転免許証であれば、立体性判別部１３は、２次元画像データを分析し、２次元画像データにおける運転免許証の画像の領域を特定する。例えば立体性判別部１３は、ユーザの入力、その他の手段により本人確認資料の種類（運転免許証や、パスポート、マイナンバーカード等）を認識し、種類に応じたテンプレートデータを取得し（本人確認資料の種類ごとのテンプレートデータは事前に用意される）、テンプレートデータを用いたパターンマッチングを行って画像の領域を特定する。

次いで立体性判別部１３は、２次元画像データと３次元画像データとを重ね合わせ、３次元画像データにおいて、「２次元画像データにおける本人確認資料の画像の領域」に対応する領域（特定領域）を特定する。次いで立体性判別部１３は、３次元画像データの特定領域に属する像が、周囲の像と平面的に連続する（平面上で連続する）、平らな像（凹凸のない或いは限定的にしか凹凸がない像）であるか否かを判別する（＝撮影対象の立体性の有無を判別する）。立体性判別部１３は、特定領域に、周囲の像と平面的に連続する平らな像が形成されている場合には、撮影対象について立体性がないと判定する。一方、それ以外の場合、立体性判別部１３は、撮影対象について立体性があると判定する。

処理部１４は、立体性判別部１３により撮影対象に立体性がないと判定された場合、本人確認関連処理を実行することなく、対応する処理を実行する。本実施形態では処理部１４は、撮影対象に立体性がないと判定されたことを運営会社の担当者に通知する。当該担当者は、この通知に基づいて、例えば、２次元画像データおよび３次元画像データを目視その他の手段により確認し、立体的な本人確認書類が撮影されているかどうかを再検証する等の処置を行う。

一方、処理部１４は、立体性判別部１３により撮影対象に立体性があると判定された場合、本人確認関連処理を実行する。本実施形態では処理部１４は本人確認関連処理として、２次元画像データをユーザの識別情報と対応付けて所定のデータベースに登録する処理を実行する。データベースは、サーバ側記憶部１６に記憶されている。ただし上記の本人確認関連処理は、あくまで一例であり、処理部１４が本人確認関連処理として異なる処理を実行する構成でもよい。一例として処理部１４は、本人確認関連処理として、２次元画像データの本人確認書類の画像を光学文字認識し、氏名や住所のテキストを抽出し、氏名や住所のテキストをデータベースに登録したり、氏名や住所のテキストに基づいて、事前に登録された情報との整合性を確認したりする。

本人確認シーンにおいて以上の処理が行われることにより、本人確認シーンのときと同様、立体的な物体が撮影されるという想定が守られていないときに、平面媒体が撮影されて生成された２次元画像データがデータベースに登録されるという不適切な処理が実行されることを防止できる。

次に情報処理システム１の動作例についてフローチャートを用いて説明する。以下の説明において、サーバ３の動作は、サーバ３（情報処理装置）による情報処理方法の一例を表している。図５は、評価シーンにおける情報処理システム１の動作例を示すフローチャートである。図５において（Ａ）は端末２の動作を示し、（Ｂ）はサーバ３の動作を示している。

図５（Ａ）で示すようにユーザは、端末２の専用アプリを起動し、物品種別選択画面をタッチスクリーン４に表示することを指示する（ステップＳＸ１）。当該指示に応じて端末側制御部１０および立体性判別部１３は協働して、物品種別選択画面をタッチスクリーン４に表示する（ステップＳＡ１、ＳＢ１）。ユーザにより物品種別が選択されると（ステップＳＸ２）、端末側制御部１０および立体性判別部１３は協働して、選択物品種別に応じた方法による対象物品の撮影を案内すると共に、カメラ５による撮影の実行を指示するための種々の撮影用画面Ｇ３（図３）を表示する（ステップＳＡ２、ＳＢ２）。

ユーザにより撮影（およびスキャン）が指示され（ステップＳＸ３）、２次元画像データおよび３次元画像データ（データ組合せ）が生成されると、端末側制御部１０は、１つ以上のデータ組合せを取得する（ステップＳＡ３）。次いで端末側制御部１０は、ステップＳＡ３で取得した全てのデータ組合せを立体性判別部１３に送信する（ステップＳＡ４）。

立体性判別部１３は、全てのデータ組合せを受信し（ステップＳＢ３）、各データ組合せを対象として以下の立体性有無判別処理を実行する（ステップＳＢ４）。上述の通り立体性有無判別処理では、撮影対象に立体性があるか否かが判別される。

処理部１４は、立体性判別部１３により撮影対象の立体性があると判定されたか否かを判別する（ステップＳＢ５）。処理部１４は、立体性判別部１３により撮影対象の立体性があると判定された場合（ステップＳＢ５：ＹＥＳ）、物体評価関連処理を実行する（ステップＳＢ６）。一方、処理部１４は、立体性判別部１３により撮影対象の立体性がないと判定された場合（ステップＳＢ６：ＮＯ）、物体評価関連処理を実行することなく、立体性のある物体が撮影されていないことに対応する処理を実行する（ステップＳＢ７）。

以上詳しく説明したように、本実施形態に係るサーバ３は、カメラ５の撮影結果に基づく２次元画像データだけではなく、カメラ５による撮影と同時に実行されたＬｉＤＡＲスキャナ６によるスキャンにより生成された３次元画像データをネットワークＮ経由で端末２から取得し、３次元画像データを少なくとも利用して撮影対象の立体性の有無を判別するようにしている。

この構成によれば、２次元画像データだけでなく、このデータと同時に生成された３次元画像データが取得された上で、３次元画像データを利用して撮影対象の立体性の有無が判別されるため、カメラによる撮影が立体性のある物体を撮影対象として行われたか否かを判別することができる。このため立体性のある物体を撮影対象として撮影が行われていないときに、上記判別を通してそのことを検知でき、例えば立体性のある物体が撮影されて生成された２次元画像データを処理対象とする通常の処理を行わず、これに代えて立体性のある物体が撮影されていないことに対処する処理を実行する、といったことが可能となる。これにより立体的な物体が撮影されるという想定が守られていないときに、２次元画像データを処理対象とする不適切な処理が行われてしまうことを防止できる。

以上、本発明の一実施形態について説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば上記実施形態では、サーバ３が２次元画像データに基づいて物体評価関連処理を行うシステム、および、サーバ３が２次元画像データに基づいて本人確認関連処理を行うシステムに本発明を適用する場合を説明した。しかしながら、本発明が適用されるシステムは上記実施形態で例示したシステムに限られない。すなわち、本発明は、立体的な物体が撮影されるという前提の下で撮影対象に対する撮影により生成された２次元画像データをネットワーク経由で端末から取得し、２次元画像データを処理する機能を有する情報処理装置、或いは、このような端末と情報処理装置とを含んで構成されるシステムに広く適用可能である。特に物体評価関連処理或いは本人確認関連処理に代えて異なる処理を実行するシステムに本発明を広く適用可能である。

例えば、物体評価関連処理で決定された買取り価格に相当する金銭を支払うのではなく、単に買取り価格を査定額として提示するシステムに本発明を適用可能である。また例えば、運営会社が買い取った物品をリースによりユーザの手元に置いておけるようにするのではなく、所定の手段でユーザから運営会社に引き渡されるシステムに本発明を適用可能である。また２次元画像データに基づいて対象物品を評価するのではなく、撮影対象の立体性が確認された場合に２次元画像データを単に保管したり、公開したりするシステムに本発明を適用可能である。

また例えば立体性判別部１３による立体性有無判別処理は、上記実施形態で示した方法以外の方法で行われてもよい。一例として、上記実施形態では２次元画像データに基づいて特定領域を定めたが、このような処理を行わず、特定領域を予め定められた領域としてもよい。すなわち、評価シーンや、本人確認シーンにおいて、カメラ５による撮影（およびＬｉＤＡＲスキャナ６によるスキャン）時の端末２に対する撮影対象の相対的な位置は、ある程度、固定的であることが想定される。具体的には、図３（Ｂ）の枠線内の中央部に撮影対象が位置した状態で、３０～９０センチ程度、端末２と撮影対象とが離間した状態で撮影が行われることが想定される。これを踏まえ、特定領域として、通常の態様で撮影が行われた場合に３次元画像データにおいて撮影対象が位置する領域を予め定めておき、立体性判別部１３が、予め定められた特定領域に出現する像について、周囲の像と平面的に連続する、平らな像であるか否かを判別する構成でもよい。

別の例として、以下の構成でもよい（ただしシーンは説明の便宜のため、評価シーンであるものとする）。すなわち物品種別ごとに３次元的なテンプレートデータ（点群データ）が用意される。そして立体性判別部１３は、立体性判別処理において、選択物品種別に対応するテンプレートデータを用いたパターンマッチングを行って、テンプレートデータと類似度が一定以上である像（点群）が３次元画像データ中に存在するか否かを判定する。立体性判別部１３は、このような像が存在する場合には、撮影対象が立体的であると判定し、存在しない場合には、撮影対象が立体的でないと判定する。なお後述するように選択物品種別は、より細かく区分することができ（例えばパソコンであればモデルや、ブランド物のバッグであれば型番とすることができる）、本構成は、このように選択物品種別がより細かく区分されている場合に、有効である。なぜなら細かく区分された選択物品種別ごとにテンプレートデータが用意されることになり、より高い精度で撮影対象が立体的であるか否かの判別を行うことができるからである。

更に別の例として、以下の構成でもよい。すなわち、「２次元画像データおよび３次元画像データの双方」と、選択物品種別とを入力とし、撮影対象の立体性がある確率を出力とするモデルが事前に用意される。このモデルは、ディープラーニングその他の機械学習手法により学習されたモデルである。そして立体性判別部１３が、このモデルに「２次元画像データおよび３次元画像データの双方」と、選択物品種別とを入力し、その出力を得ることによって、撮影対象が立体的であるか否かの判別を行う構成でもよい。ただし、モデルの入力は上記に限られず、３次元画像データおよび選択物品種別が入力であってもよく、選択物品種別が入力に含まれなくてもよい。また出力についても、立体性がない確率や、立体性の有無が出力されてもよい。

また上記実施形態では、物品種別は、ノートパソコンや、スマートフォン、ゲーム機、バッグ、時計といった、物品を機能や用途によって大きく区分したときの各種別であった。しかしながら、物品種別がより細かく区分されていてもよい。例えばノートパソコンやスマートフォン、その他の電子機器についてはモデル（型番と呼ばれる場合もある）を物品種別としてもよい。また例えばブランド品のバッグや小物、洋服、アクセサリについては型番を物品種別としてもよい。物品種別は、ユーザに選択させ或いは入力させる構成でもよく、また、立体性判別部１３が、２次元画像データを分析し、認識する構成でもよい。

また上記実施形態では、端末２はスマートフォンであったが、端末２がスマートフォンに限られず、例えば、端末２は、端末機能を有さないタブレット端末やノートパソコンであってもよい。

１ 情報処理システム
２ 端末
３ サーバ（情報処理装置）
５ カメラ
６ ＬｉＤＡＲスキャナ（測距センサ）
１０ 端末側制御部
１３ 立体性判別部
１４ 処理部

Claims (7)

1. 立体的な物体が撮影されるという想定の下で撮影対象に対するカメラによる撮影により生成された２次元画像データをネットワーク経由で端末から取得する情報処理装置であって、
   前記カメラによる撮影と同時に実行された測距センサによるスキャンにより生成された３次元画像データをネットワーク経由で前記端末から取得し、前記３次元画像データを少なくとも利用して前記撮影対象の立体性の有無を判別する立体性判別部を備える
   ことを特徴とする情報処理装置。
2. 前記撮影対象に対する撮影では、評価対象の立体的な物体が撮影されることが想定されており、
   前記立体性判定部により前記撮影対象に立体性があると判定された場合、前記２次元画像データに基づいて、物体の評価に関連する物体評価関連処理を実行する一方、立体性がないと判定された場合、前記物体評価関連処理を実行しない処理部を更に備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮影対象に対する撮影では、本人確認用の情報が記録された物体が撮影されることが想定されており、
   前記立体性判定部により前記撮影対象に立体性があると判定された場合、前記２次元画像データに基づいて、本人の確認に関連する本人確認関連処理を実行する一方、立体性がないと判定された場合、前記本人確認関連処理を実行しない処理部を更に備える
   ことを特徴とする請求項１に記載の情報処理装置。
4. 端末と、この端末とネットワークを介して通信可能な情報処理装置とを備える情報処理システムであって、
   前記端末は、
   立体的な物体が撮影されるという想定の下で撮影対象に対するカメラによる撮影により生成された２次元画像データ、および、前記カメラによる撮影と同時に実行された測距センサによるスキャンにより生成された３次元画像データをネットワーク経由で前記サーバに送信する端末側制御部を有し、
   前記情報処理装置は、
   前記端末からネットワーク経由で前記２次元画像データおよび前記３次元画像データを取得し、前記３次元画像データを少なくとも利用して前記撮影対象の立体性の有無を判別する立体性判別部を有する
   ことを特徴とする情報処理システム。
5. 前記撮影対象に対する撮影では、評価対象の立体的な物体が撮影されることが想定されており、
   前記情報処理装置は、
   前記立体性判定部により前記撮影対象に立体性があると判定された場合、前記２次元画像データに基づいて、物体の評価に関連する物体評価関連処理を実行する一方、立体性がないと判定された場合、前記物体評価関連処理を実行しない処理部を更に備える
   ことを特徴とする請求項４に記載の情報処理システム。
6. 前記撮影対象に対する撮影では、本人確認用の情報が記録された物体が撮影されることが想定されており、
   前記情報処理装置は、
   前記立体性判定部により前記撮影対象に立体性があると判定された場合、前記２次元画像データに基づいて、本人の確認に関連する本人確認関連処理を実行する一方、立体性がないと判定された場合、前記本人確認関連処理を実行しない処理部を更に備える
   ことを特徴とする請求項４に記載の情報処理システム。
7. 立体的な物体が撮影されるという想定の下で撮影対象に対するカメラによる撮影により生成された２次元画像データをネットワーク経由で端末から取得する情報処理装置による情報処理方法であって、
   前記情報処理装置の立体性判別部が、前記カメラによる撮影と同時に実行された測距センサによるスキャンにより生成された３次元画像データをネットワーク経由で前記端末から取得するステップと、
   前記情報処理装置の前記立体性判別部が、前記３次元画像データを少なくとも利用して前記撮影対象の立体性の有無を判別するステップとを含む
   ことを特徴とする情報処理方法。

Images