JP2021077260A - プログラム及び情報処理装置 - Google Patents

Abstract

【課題】画像の深度情報を利用して背景の除去を容易に行うことのできるプログラム及び情報処理装置を提供すること。【解決手段】本発明の一態様によれば、コンピュータを情報処理装置として動作させるプログラムであって、前記情報処理装置は、画像処理部と、画像表示部とを備え、前記画像処理部は、深度情報を有する二次元画像を該深度情報に基づいて三次元表示情報に変換可能に構成され、前記画像表示部は、前記三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される、プログラムが提供される。【選択図】図２

Description

本発明は、プログラム及び情報処理装置に関する。

画像内の奥行きを示す深度情報を当該画像の画素に関連付けて記録した画像を生成する画像処理装置等が提案されている（例えば、特許文献１を参照）。

特開２０１８−４２０９２号公報

撮影した画像には、撮影者が所望する被写体の他に、背景等が含まれることが一般的である。この背景等は、画像の利用目的によっては不要なものであり、除去することが望まれる場合がある。

本発明は、かかる事情を鑑みてなされたものであり、画像の深度情報を利用して背景の除去を容易に行うことのできるプログラム及び情報処理装置を提供することを目的とする。

本発明の一態様によれば、コンピュータを情報処理装置として動作させるプログラムであって、前記情報処理装置は、画像処理部と、画像表示部とを備え、前記画像処理部は、深度情報を有する二次元画像を該深度情報に基づいて三次元表示情報に変換可能に構成され、前記画像表示部は、前記三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される、プログラムが提供される。

本発明の一態様によれば、所望の被写体を含む画像から、その被写体以外の背景等を容易に除去することが可能となる。

本発明の実施形態に係る情報処理装置の構成を示した図である。 情報処理装置１の機能的な構成を示すブロック図である。 情報処理装置１の動作の一例を示すアクティビティ図である。 被写体の例を示した図である。 二次元画像を表示する表示画面の例を示した図である。 三次元画像を表示する表示画面の例を示した図である。 深度平面１２０の深度を変更した場合の表示画面の例を示した図である。 画像を回転させた場合の表示画面の例を示した図である。 深度平面１２０の深度を変更した後に画像を二次元表示させた場合の表示画面の例を示した図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報（プログラム、各コンテンツ等）を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．情報処理装置の構成
図１は、本発明の実施形態に係るプログラムにより動作させる情報処理装置の構成例を示した図である。同図に示す情報処理装置１は、スマートフォン又はタブレット端末等のコンピュータと、本発明の実施形態に係るプログラムとによって実現されるものである。なお、コンピュータのユーザが、サーバ等からネットワークを介してプログラムをコンピュータに取得させることによって情報処理装置１が実現されてもよいし（ダウンロード）、予めコンピュータにプログラムが取得されていることによって情報処理装置１が実現されてもよい（プリインストール）。なお、パーソナルコンピュータやサーバ等を情報処理装置１として用いることも可能である。

図１に示すように、情報処理装置１は、処理部１１と、記憶部１２と、一時記憶部１３と、外部装置接続部１４と、通信部１５と、撮影部１６と、表示部１７と、入力部１８とを有しており、これらの構成要素が情報処理装置１の内部において通信バス１０を介して電気的に接続されている。

処理部１１は、例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）により実現されるもので、記憶部１２に記憶された所定のプログラムに従って動作し、種々の機能を実現する。

記憶部１２は、様々な情報を記憶する不揮発性の記憶媒体である。この記憶部１２は、例えば、半導体メモリ等を用いたストレージデバイスにより実現される。

一時記憶部１３は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリにより実現され、処理部１１が動作する際に一時的に必要な情報（引数、配列等）を記憶する。

外部装置接続部１４は、例えばユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：ＵＳＢ）や高精細度マルチメディアインターフェース（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：ＨＤＭＩ）といった規格に準じた接続部であり、カメラ等の撮影装置、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイス、キーボード等の入力装置、モニタ等の表示装置を接続可能としている。

通信部１５は、例えばローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）規格に準じた通信手段や、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格に準じた通信手段である。

撮影部１６は、カメラであり、望ましくは、深度情報有する二次元画像を撮影することのできるカメラである。撮影部１６としては、例えば、デプスセンサを備えたカメラや、二眼のカメラを用いることができる。なお、撮影部１６は、必ずしも必要な構成ではない。

表示部１７は、情報処理装置１の操作者に対して様々な情報を表示するものであり、例えば、タッチパネル式のディスプレイである。

入力部１８は、情報処理装置１の操作者が様々な情報を入力するものであり、例えば、タッチパネル式のディスプレイである。

２．情報処理装置１の機能
図２は、情報処理装置１の機能的な構成を示すブロック図である。同図に示すように、情報処理装置１は、画像記憶部１０１と、画像処理部１０２と、メニュー表示部１０３と、画像表示部１０４とを有している。この図２に示す各部は、情報処理装置１でプログラムを実行することにより実現される。

画像記憶部１０１は、撮影部１６が撮影した画像、通信部１５を介して取得した画像、外部装置接続部１４に接続された外部装置から取得した画像等を記憶する。この画像記憶部１０１が記憶する画像は、深度情報を有する二次元画像である。また、画像記憶部１０１は、画像処理部１０２による画像処理に伴って、変換された画像や生成された画像も記憶する。

画像処理部１０２は、画像記憶部１０１に記憶されている二次元画像に対して、様々な画像処理を行う。画像処理部１０２が行う画像処理には、少なくとも、深度情報を有する二次元画像を、その深度情報に基づいて三次元表示情報に変換する。また、画像処理部１０２は、深度平面に対応する深度よりも深い深度の画素を二次元画像から除去する画像処理も行う。

メニュー表示部１０３は、深度平面に対応する深度を変更するための指示を受け付けるメニューを表示部１７が表示する画面に表示する。メニュー表示部１０３が表示するメニューは、例えば、スライドバーとして表示する。また、メニュー表示部１０３は、画面に表示する画像を二次元画像と三次元画像とに切り替えるメニューも表示する。このメニューは、例えば、ボタンとして表示する。

画像表示部１０４は、三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される。深度平面は、平面の任意の部分が他の部分と同じ深度となる平面である。そして、画像表示部１０４は、深度平面を不透過にした表示画像を表示部１７が表示する画面に表示する。また、画像表示部１０４は、所定の操作に応じて三次元表示情報に基づいて表示している立体像に対する視点を変更した表示画像を画面に表示する。所定の操作とは、例えば、表示部１７と入力部１８を構成するタッチパネル上での指やタッチペンのスライド操作である。また、視点の変更とは、立体像を見る位置や角度の変更である。

３．情報処理装置１の動作
次に、情報処理装置１の動作について説明する。図３は、情報処理装置１の動作の一例を示すアクティビティ図である。

情報処理装置１は、まず、情報処理装置１の操作者の操作に基づいて、被写体を撮影する（Ａ１０１）。ここでは、被写体は、図３に示すようなものであるとする。なお、情報処理装置１による撮影に代えて、通信等を利用して画像を取得することもできる。

図４は、被写体の例を示した図である。同図に示した例では、被写体である球２を矢印５の方向から撮影するものとする。このとき、球２の背後には、立方体３と円柱４が存在するため、被写体である球２の背景として、立方体３と円柱４とが映り込むことになる。

続いて、情報処理装置１は、撮影した画像と、メニュー表示部１０３が生成したメニューとを含む画像を表示部１７に表示する（Ａ１０２）。このとき、画像表示部１０４は、画像を二次元画像として表示する。

図５は、二次元画像を表示する表示画面の例を示した図である。同図に示すように、情報処理装置１は、その表示部１７に、撮影された画像１４１と、２Ｄ表示ボタン１３１及び３Ｄ表示ボタン１３２を含む画面を表示する。２Ｄ表示ボタン１３１と３Ｄ表示ボタン１３２は、メニュー表示部１０３による表示である。２Ｄ表示ボタン１３１は、画像を二次元表示させる指示を入力するためのメニューであり、３Ｄ表示ボタン１３２は、画像を立体像として表示させる指示を入力させるためのメニューである。なお、図４に示した例では、２Ｄ表示ボタン１３１が押下された状態となっている。

この状態で、操作者が３Ｄ表示ボタン１３２を押下して、画像を立体像として表示させる３Ｄ表示を指示すると、画像表示部１０４は、三次元表示情報に基づいて、画像を三次元表示する（Ａ１０３）。画像の三次元表示は、厳密には、立体像を所定の平面に投影した二次元画像であるが、ここでは、便宜的に三次元表示とする。

図６は、三次元画像を表示する表示画面の例を示した図である。同図に示すように、情報処理装置１は、その表示部１７に、三次元表示情報に基づく画像１４２と、２Ｄ表示ボタン１３１、３Ｄ表示ボタン１３２及び深度調整バー１３３を含む画面を表示する。２Ｄ表示ボタン１３１、３Ｄ表示ボタン１３２及び深度調整バー１３３は、メニュー表示部１０３による表示である。

画像１４２には、球２の立体像である球画像２０と、深度平面１２０とが含まれている。深度平面１２０は、不透過であるため、この深度平面１２０の深度よりも深い深度を有する部分である球画像２０の一部や、立方体３の画像、円柱４の画像は、画像１４２に含まれていない。深度調整バー１３３は、深度平面１２０の深度の変更の指示を入力するためのメニューである。この深度調整バー１３３は、例えば、表示部１７と入力部１８を構成するタッチパネル上での指やタッチペンをスライドさせることで、深度平面１２０の深度の変更を指示可能なものである。

したがって、操作者が、深度平面１２０の深度の変更を指示すると、深度平面１２０の深度が変更されることになる（Ａ１０４）。

図７は、深度平面１２０の深度を変更した場合の表示画面の例を示した図である。図７に示した例では、図６に示した例に比べ、深度調整バー１３３の調整により、深度平面１２０の深度が深く変更されているため、球画像２０が奥深くまで表示されている。

また、例えば、画像１４２（図６参照）や画像１４３を表示している部分のタッチパネル上での指やタッチペンをスライドさせることで、操作者は、画像の回転を指示することができる。操作者が、画像の回転を指示すると、画像が回転（立体像に対する視点の変更）されることになる（Ａ１０５）。

図８は、画像を回転させた場合の表示画面の例を示した図である。同図に示す画像１４４は、球画像２０の左前方に視点があった画像１４３を、球画像２０の右前方に視点があるように回転したものである。

深度調整バー１３３により深度が変更された状態で、操作者が２Ｄ表示ボタン１３１を押下して、二次元表示を指示すると、画像表示部１０４は、画像を二次元表示する（Ａ１０２）。

図９は、深度平面１２０の深度を変更した後に画像を二次元表示させた場合の表示画面の例を示した図である。同図に示す画像１４５は、深度平面１２０の深度よりも深い深度に対応する画素が非表示状態となっている。

これらいずれかの画像が表示されている状態で、操作者が図示しない保存ボタンを押下することで、保存を指示すると、情報処理装置１は、保存を行う（Ａ１０６）。保存に際しては、操作者に保存形式を選択させるが、例えば、保存形式として、深度情報を除去した二次元画像（一般的な写真に相当）、深度情報を含む二次元画像、深度平面１２０の深度よりも深い深度に対応する背景部分を除去した二次元画像、深度平面１２０の深度よりも深い深度に対応する背景部分を除去した三次元表示情報を選択させる。操作者が保存形式を選択すると、画像処理部１０２が画像等の処理を行い選択された保存形式での保存を行う。なお、保存形式として深度平面１２０の深度よりも深い深度に対応する背景部分を除去した三次元表示情報が選択された場合には、画像処理部１０２は、深度平面１２０の深度よりも深い深度に対応する画素を除去し、残った画素から三次元表示情報を生成（立体点群からのポリゴンデータ化）し、三次元表示情報（ポリゴンデータ）のデータ削減処理を行った後に、三次元表示情報（ポリゴンデータ）の保存を行う。

深度平面１２０の深度よりも深い深度に対応する背景部分を除去した二次元画像は、他の画像への合成等に用いることができ、深度平面１２０の深度よりも深い深度に対応する背景部分を除去した三次元表示情報は、他の画像への合成等はもちろんのこと、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に利用することも可能である。

４．深度平面の変形例
前述のように、深度平面は、所定の深度に応じた平面であり、図６に示した深度平面１２０は、平面上の全ての点の深度が同じとなる平面である。この他にも、例えば、図６に示した深度平面１２０と交わる平面も、その平面上の一部が所定の深度に応じており、深度平面であるといえる。

この深度平面１２０とは別の深度平面は、例えば、机上に置かれた物体を、机の斜め上方から撮影した画像に対して処理を行う場合、深度平面１２０を用いて机の表面を全て除去することは困難であるが、深度平面１２０とは別の深度平面、つまり、深度平面１２０と交わる平面を深度平面とすることで、机の表面を全て除去することが可能となる。

また、背景部分の除去に、複数の深度平面を用いることも可能である。

５．その他
本発明は、次に記載の各態様で提供されてもよい。
前記プログラムにおいて、前記画像表示部は、所定の操作に応じて前記立体像に対する視点を変更した表示画像を前記画面に表示する、プログラム。
前記プログラムにおいて、前記情報処理装置がメニュー表示部を備えるように動作させ、前記メニュー表示部は、前記深度平面に対応する深度を変更するための指示を受け付けるメニューを前記画面に表示する、プログラム。
前記プログラムにおいて、前記画像表示部は、前記深度平面を不透過にした表示画像を前記画面に表示する、プログラム。
前記プログラムにおいて、前記画像処理部は、前記深度平面に対応する深度よりも深い深度の画素を前記二次元画像から除去する、プログラム。
前記プログラムにおいて、前記情報処理装置は、撮影部を備え、前記撮影部を、深度情報を有する二次元画像を撮影するように動作させる、プログラム。
情報処理装置であって、画像処理部と、画像表示部とを備え、前記画像処理部は、深度情報を有する二次元画像を該深度情報に基づいて三次元表示情報に変換可能に構成され、前記画像表示部は、前記三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される、情報処理装置。
もちろん、この限りではない。

また、上述のプログラムを格納する、コンピュータ読み取り可能な非一時的な記録媒体として提供してもよい。

１ ：情報処理装置
２ ：球
３ ：立方体
４ ：円柱
５ ：矢印
１０ ：通信バス
１１ ：処理部
１２ ：記憶部
１３ ：一時記憶部
１４ ：外部装置接続部
１５ ：通信部
１６ ：撮影部
１７ ：表示部
１８ ：入力部
２０ ：球画像
１０１ ：画像記憶部
１０２ ：画像処理部
１０３ ：メニュー表示部
１０４ ：画像表示部
１２０ ：深度平面
１３１ ：２Ｄ表示ボタン
１３２ ：３Ｄ表示ボタン
１３３ ：深度調整バー
１４１ ：画像
１４２ ：画像
１４３ ：画像
１４４ ：画像
１４５ ：画像

Claims (7)

1. コンピュータを情報処理装置として動作させるプログラムであって、
   前記情報処理装置は、画像処理部と、画像表示部とを備え、
   前記画像処理部は、深度情報を有する二次元画像を該深度情報に基づいて三次元表示情報に変換可能に構成され、
   前記画像表示部は、前記三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される、
   プログラム。
2. 請求項１に記載のプログラムにおいて、
   前記画像表示部は、所定の操作に応じて前記立体像に対する視点を変更した表示画像を前記画面に表示する、
   プログラム。
3. 請求項１又は請求項２に記載のプログラムにおいて、
   前記情報処理装置がメニュー表示部を備えるように動作させ、
   前記メニュー表示部は、前記深度平面に対応する深度を変更するための指示を受け付けるメニューを前記画面に表示する、
   プログラム。
4. 請求項１乃至請求項３のいずれか１項に記載のプログラムにおいて、
   前記画像表示部は、前記深度平面を不透過にした表示画像を前記画面に表示する、
   プログラム。
5. 請求項１乃至請求項４のいずれか１項に記載のプログラムにおいて、
   前記画像処理部は、前記深度平面に対応する深度よりも深い深度の画素を前記二次元画像から除去する、
   プログラム。
6. 請求項１乃至請求項５のいずれか１項に記載のプログラムにおいて、
   前記情報処理装置は、撮影部を備え、
   前記撮影部を、深度情報を有する二次元画像を撮影するように動作させる、
   プログラム。
7. 情報処理装置であって、
   画像処理部と、画像表示部とを備え、
   前記画像処理部は、深度情報を有する二次元画像を該深度情報に基づいて三次元表示情報に変換可能に構成され、
   前記画像表示部は、前記三次元表示情報に基づく立体像と所定の深度に応じた深度平面とを二次元平面に投影した表示画像を画面に表示可能に構成される、
   情報処理装置。

Images