JP2023026891A - 情報処理装置、及び情報処理プログラム - Google Patents

Abstract

【課題】本発明は、作業対象が占める領域が変化した場合であっても、撮影された映像における加工の過不足の発生を抑制することができる情報処理装置、及び情報処理プログラムを提供することを目的とする。【解決手段】情報処理装置は、プロセッサを有し、プロセッサは、物体を撮影した画像を取得し、画像における物体のうち作業を行う対象である作業対象が占める第１の領域を特定し、画像における第１の領域以外の領域を示す第２の領域を不可視にする加工を施した加工画像を生成し作業対象の変形に伴い第１の領域が変化する場合、第１の領域の代わりに予め登録した変形後の作業対象の形状が定める領域である変形領域を適用して、当該適用に伴う第２の領域を不可視にした加工画像をさらに生成し、加工画像を送信する。【選択図】図３

Description

本発明は、情報処理装置、及び情報処理プログラムに関する。

特許文献１には、撮像手段を具備し保守作業者が装着するウェアラブル端末と、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定手段と、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定手段と、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、を備え、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、ことを特徴とする保守支援システムが開示されている。

特許文献２には、ＩＴシステムの運用作業を支援するＩＴ運用作業遠隔支援システムであって、現地のＩＴシステムで作業を行う第１作業者の第１携帯端末と、遠隔地で作業を行う第２作業者の第２携帯端末と、サーバと、を備え、前記ＩＴシステムの機器には、ＩＤが記載されたＩＤ媒体が付与されており、前記機器と前記ＩＤとの関連付け情報と、前記第１作業者のユーザＩＤ及び前記第２作業者のユーザＩＤと、前記ＩＤで示す前記機器に対する前記第２作業者の参照権限の情報と、を含む設定情報を有し、前記サーバは、前記第１作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ＩＤ媒体の前記ＩＤを検出し、前記設定情報に基づいて、前記検出した前記ＩＤで示す前記機器に関する前記第２作業者の参照権限の有無を確認し、前記撮影映像に対し、前記第２作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第２作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成し、前記マスキング映像を前記第２携帯端末へ提供して表示画面に表示させる、ＩＴ運用作業遠隔支援システムが開示されている。

特許文献３には、データキャプチャ及び送信のコンプライアンスのためにローカル拡張現実(ＡＲ)環境においてビデオ信号からシーンの部分を除外する方法であって、ビデオカメラの指向方向をユーザの動きに従わせるステップと、ローカルシーン内のオブジェクトのビデオカメラの視野(ＦＯＶ)内のビデオ信号をキャプチャするステップと、遠隔地から、前記オブジェクトを操作するためのハンドジェスチャを受信するステップと、前記ハンドジェスチャを前記ビデオ信号に重ね、前記オブジェクトの操作の際に前記ユーザに命令するために前記ユーザに対する拡張現実を表示するステップと、前記ビデオ信号をキャプチャする前に、前記ビデオカメラのＦＯＶがマーカに関してユーザ定義の許容可能なＦＯＶ内にあるように、前記ビデオカメラの指向方向が前記ローカルシーン内の前記マーカに対する位置調整条件を満たすか否かを決定するステップと、前記位置調整条件が満たされない場合、前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なＦＯＶ外にある前記カメラのＦＯＶの部分を少なくとも除外するように、前記カメラを制御するステップとを含む方法が開示されている。

特許６７４８７９３号 特開２０１８－３６８１２号公報 特表２０２０－５３７２３０号公報

現場の作業者によって撮影された映像を遠隔にいる支援者が操作する端末へ送信して、現場の作業者と、遠隔にいる支援者と、が作業の状況を共有して作業の支援を行う技術が提案されている。

ところで、撮影された映像に、作業を行う対象である作業対象以外の情報が含まれることがある。そのため、作業者の位置における作業対象が占める領域を予め指定し、作業対象が占める領域のみを撮影し、予め登録した作業対象以外の領域である背景を加工して端末へ送信することによって機密情報等の情報の漏洩を防止することがある。

しかしながら、例えば、作業対象の扉を開く、及び作業対象の部品を取り外す等の作業に伴い、作業対象が占める領域が変化した場合、作業対象の一部が背景として認識される、及び背景が加工されずに撮影されてしまうことがある。すなわち、撮影された映像における加工の過不足が生じることがある。

本発明は、作業対象が占める領域が変化した場合であっても、撮影された映像における加工の過不足の発生を抑制することができる情報処理装置、及び情報処理プログラムを提供することを目的とする。

第１の態様の情報処理装置は、プロセッサを有し、プロセッサは、物体を撮影した画像を取得し、画像における物体のうち作業を行う対象である作業対象が占める第１の領域を特定し、画像における第１の領域以外の領域を示す第２の領域を不可視にする加工を施した加工画像を生成し作業対象の変形に伴い第１の領域が変化する場合、第１の領域の代わりに予め登録した変形後の作業対象の形状が定める領域である変形領域を適用して、当該適用に伴う第２の領域を不可視にした加工画像をさらに生成し、加工画像を送信する。

第２の態様の情報処理装置は、第１の態様に係る情報処理装置において、プロセッサは、画像に対応し、物体を含む三次元空間の情報である空間情報をさらに取得し、画像から作業対象を示す特徴点を検出し、特徴点を用いて、空間情報における第１の領域に対応する第１の空間、及び第２の領域に対応する第２の空間を特定する。

第３の態様の情報処理装置は、第２の態様に係る情報処理装置において、プロセッサは、第２の空間に対して、不可視にする情報を示す不可視情報を設定し、不可視情報を用いて、画像において第２の空間に対応する第２の領域を不可視にした加工画像を生成する。

第４の態様の情報処理装置は、第３の態様に係る情報処理装置において、プロセッサは、空間情報における画像を撮影する撮影部、及び作業対象の位置の情報を示す位置情報と、撮影部が撮影する方向を示す方向情報と、をさらに取得し、位置情報及び方向情報に応じて、第２の領域を不可視にした加工画像を生成する。

第５の態様の情報処理装置は、第４の態様に係る情報処理装置において、特徴点の変化量から位置情報、及び方向情報を推定する。

第６の態様の情報処理装置は、第１の態様から第５の態様の何れか１つの態様に係る情報処理装置において、プロセッサは、複数の変形領域を記憶し、複数の変形領域のうち、１つの変形領域の指定を受け付ける。

第７の態様の情報処理装置は、第１の態様から第６の態様の何れか１つの態様に係る情報処理装置において、プロセッサは、画像から作業対象を示す特徴点を検出し、特徴点の変化量から作業対象の変形を検出した場合、第１の領域を変形領域に切り替える旨を通知する。

第８の態様の情報処理装置は、第７の態様に係る情報処理装置において、プロセッサは、検出した作業対象の変形が、第１の領域を拡げる変形である場合、変形後の作業対象の対応する変形領域を適用して、加工画像を生成する。

第９の態様の情報処理装置は、第１の態様から第８の態様の何れか１つの態様に係る情報処理装置において、プロセッサは、第１の領域を狭める変形領域への切り替えの指示を取得した場合、指示に応じた変形領域を適用して、加工画像を生成する。

第１０の態様の情報処理プログラムは、コンピュータに、物体を撮影した画像を取得し、画像における物体のうち作業を行う対象である作業対象が占める第１の領域を特定し、画像における第１の領域以外の領域を示す第２の領域を不可視にする加工を施した加工画像を生成し作業対象の変形に伴い第１の領域が変化する場合、第１の領域の代わりに予め登録した変形後の作業対象の形状が定める領域である変形領域を適用して、当該適用に伴う２の領域を不可視にした加工画像をさらに生成し、加工画像を送信することを実行させる。

第１の態様の情報処理装置、及び第１０の態様の情報処理プログラムによれば、作業対象が占める領域が変化した場合であっても、撮影された映像における加工の過不足の発生を抑制することができる。

第２の態様の情報処理装置によれば、物体と、撮影部と、の相対的な位置が変化した場合であっても、第１の領域、及び第２の領域を識別できる。

第３の態様の情報処理装置によれば、物体と、撮影部と、の相対的な位置が変化した場合であっても、第２の領域を加工できる。

第４の態様の情報処理装置によれば、相対的な位置関係、及び相対的な方向を考慮して、第２の領域を加工できる。

第５の態様の情報処理装置によれば、位置、及び方向を検知するセンサ等を用いらずとも、容易に位置及び方向の情報を取得できる。

第６の態様の情報処理装置によれば、ユーザが所望する契機において、ユーザが所望する形状の第１の領域を適用できる。

第７の態様の情報処理装置によれば、第１の領域の形状が変化することを認識できる。

第８の態様の情報処理装置によれば、変形領域に切り替える作業の負担を軽減できる。

第９の態様の情報処理装置によれば、意図しない加工不足が発生することを抑制できる。

各実施形態に係る情報処理システムの構成の一例を示す概略図である。 各実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 各実施形態に係るＳＬＡＭの説明に供する三次元空間情報の一例を示す模式図である。 各実施形態に係る作業対象が占める空間の説明に供する三次元空間情報の一例を示す模式図である。 各実施形態に係る画像の一例を示す模式図である。 各実施形態に係る加工画像の一例を示す模式図である。 各実施形態に係る作業対象の変形に伴う切り替えの説明に供する対象空間の一例を示す図である。 第１実施形態に係る加工画像を生成する処理の一例を示すフローチャートである。 第２実施形態に係る変形の検出の説明に供する対象空間の一例を示す図である。 第２実施形態に係る変形の検出の説明に供する対象空間の一例を示す図である。 第２実施形態に係る加工画像を生成する処理の一例を示すフローチャートである。

［第１実施形態］
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。図１は、本実施形態に係る情報処理システム１の構成の一例を示す概略図である。

一例として、図１に示すように、情報処理システム１は、作業者が操作する情報処理装置１０と、支援者が操作する端末５０と、によって構成されている。情報処理装置１０、及び端末５０は、ネットワークＮを介して互いに接続されている。

情報処理装置１０は、後述するモニタ１６及びカメラ１８を備えたタブレット等の端末である。情報処理装置１０は、作業を行う対象（以下、「作業対象」という。）の画像を取得し、取得した画像を端末５０に送信する。情報処理装置１０は、画像を端末５０に送信する際に、作業対象以外の物体及び背景が画像に含まれる場合、作業対象以外の物体及び背景を不可視とする加工を施す。また、情報処理装置１０は、端末５０から支援者による作業の支援に関する情報（以下、「支援情報」という。）を取得して、作業者に提示する。

端末５０は、情報処理装置１０から画像を取得し、支援者に提示する。また、端末５０は、支援者によって入力された支援情報を情報処理装置１０に送信する。

情報処理システム１は、情報処理装置１０が作業者によって撮影された画像を送信して端末５０に提示し、端末５０が支援者によって入力された支援情報を送信して情報処理装置１０に提示する。情報処理システム１により、作業者は、情報処理装置１０を介して遠隔にいる支援者から支援情報を受け取り、作業対象に対する作業が実行できる。

なお、本実施形態では、画像を撮影する形態について説明する。しかし、これに限定されない。映像を撮影してもよい。

次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。

図２に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、モニタ１６、通信インターフェース（通信Ｉ／Ｆ）１７、及びカメラ１８を含んで構成されている。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、モニタ１６、通信Ｉ／Ｆ１７、及びカメラ１８の各々は、バス１９により相互に接続されている。ここで、ＣＰＵ１１は、プロセッサの一例である。

ＣＰＵ１１は、情報処理装置１０の全体を統括し、制御する。ＲＯＭ１２は、本実施形態で用いる情報処理プログラムを含む各種プログラム及びデータ等を記憶している。ＲＡＭ１３は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＣＰＵ１１は、ＲＯＭ１２に記憶されたプログラムをＲＡＭ１３に展開して実行することにより、画像に対して加工を施した加工画像を生成する処理を行う。ストレージ１４は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリ等である。なお、ストレージ１４には、情報処理プログラム等を記憶してもよい。入力部１５は、文字の入力等を受け付けるタッチパネル、及びキーボード等である。モニタ１６は、文字及び画像を表示する。通信Ｉ／Ｆ１７は、データの送受信を行う。カメラ１８は、作業対象を撮像するための撮像装置である。ここで、カメラ１８は、「撮影部」の一例である。

次に、図３を参照して、情報処理装置１０の機能構成について説明する。図３は、本実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。

一例として図３に示すように、情報処理装置１０は、取得部２１、検出部２２、推定部２３、設定部２４、特定部２５、生成部２６、記憶部２７、受付部２８、及び通知部２９を備えている。ＣＰＵ１１が情報処理プログラムを実行することで、取得部２１、検出部２２、推定部２３、設定部２４、特定部２５、生成部２６、記憶部２７、受付部２８、及び通知部２９として機能する。

取得部２１は、カメラ１８によって撮影された作業対象である物体を含む画像を取得する。また、取得部２１は、画像に含まれる物体のうち、作業を行う対象である作業対象の指定を取得する。なお、本実施形態に係る作業対象は、物体の表面に付されたＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コードを読み取ることによって、指定される形態について説明する。しかし、これに限定されない。識別された物体をモニタ１６に表示して、当該物体のうち、作業対象をユーザに選択させてもよい。

検出部２２は、取得した画像から物体を示す特徴点を検出する。ここで、特徴点とは、画像に含まれる物体のエッジ及び角等を示す点である。

推定部２３は、検出した特徴点３１を用いて、作業者（カメラ１８）の位置及び方向を推定し、作業者の位置及び方向における対象空間３３を推定する。具体的には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて、作業者の位置を示す位置情報、方向を示す方向情報、及び対象空間３３を推定する。

例えば、作業者は、作業対象３２に付されたＱＲコード（登録商標）を読み取って撮影を開始し、検出部２２は、撮影された画像に含まれる特徴点３１を検出する。推定部２３は、時間経過に伴って撮影された複数の画像に含まれる特徴点３１を比較し、特徴点３１の変化量から作業者（カメラ１８）が撮影している位置及び方向を推定する。

一例として図４に示すように、撮影された画像に含まれる特徴点３１を追跡することによって、作業者の位置情報、方向情報、及び対象空間３３が推定可能である。なお、本実施形態では、作業対象３２に付されたＱＲコード（登録商標）を読み取ることによって、撮影開始時の作業者の位置を推定する形態について説明した。しかし、これに限定されない。例えば、予め定められた位置において、作業対象３２の撮影を開始してもよい。また、本実施形態では、特徴点３１の変化量から作業者の位置情報及び方向情報を推定する形態について説明した。しかし、これに限定されない。例えば、作業者がいる空間の特徴点３１を配置した特徴点マップを予め作成し、撮影した画像に含まれる特徴点３１と、特徴点マップと、を比較することによって作業者の位置情報及び方向情報を推定してもよい。

設定部２４は、取得した画像、及び検出した特徴点を用いて、三次元空間情報を設定する。具体的には、設定部２４は、一例として図５に示す三次元空間情報を設定する。図５に示すように、設定部２４は、特徴点３１を用いて、画像に含まれる空間、及び各々の物体を識別する。設定部２４は、三次元空間情報として、当該物体のうち、ユーザによって指定された作業対象３２が占める空間（以下、「対象空間」という。）３３と、作業対象以外（他の物体及び背景等）が占める空間（以下、「対象外空間」という。）３４と、を設定する。なお、対象空間３３は、「第１の空間」の一例であり、対象外空間３４は、「第２の空間」の一例である。

また、設定部２４は、対象外空間３４に対して、視認させたくない背景として不可視にする情報（以下、「不可視情報」という。）を設定する。すなわち、三次元空間情報は、物体を示す特徴点３１が設定された三次元座標空間であり、指定された作業対象３２が占める対象空間３３と、対象空間３３を除く空間である対象外空間３４と、で構成されている。

また、設定部２４は、三次元空間情報を保持している場合、三次元空間情報の設定として、取得した画像、及び検出した特徴点を用いて、作業者の位置情報及び方向情報における対象空間３３、及び対象外空間３４の位置合わせを行う。

特定部２５は、一例として図６に示すように、取得した画像３５において、画像３５に含まれる物体のうち、作業対象３２が占める領域（以下、「対象領域」という。）３６を特定する。具体的には、特定部２５は、取得した画像３５、及び三次元空間情報を比較して、画像３５において、三次元空間情報の対象空間３３に対応する対象領域３６を特定する。また、特定部２５は、三次元空間情報における対象外空間３４に対応する対象領域３６以外の領域（以下、「対象外領域」という。）３７を加工すべき背景として特定する。ここで、対象領域３６は、「第１の領域」の一例であり、対象外領域３７は、「第２の領域」の一例である。

生成部２６は、一例として図７に示すように、取得した画像３５において、不可視情報が設定された対象外空間３４に対応する対象外領域３７に対して、不可視にする加工を施した画像（以下、「加工画像」という。）３８を生成する。ここで、不可視にする加工とは、例えば、物体の輪郭及び文字等をぼかす加工、及び対象外領域３７を黒塗りする加工等である。

記憶部２７は、変形後の作業対象の形状を記憶している。

受付部２８は、作業対象３２の変形に伴い対象領域３６が変化する場合、対象領域３６の代わりに予め登録した変形後の作業対象３２の形状が定める領域（以下、「変形領域」という。）に切り替える指示、及び変形後の作業対象の形状をユーザから受け付ける。

通知部２９は、特徴点３１の変化量から作業対象３２の変形を検出した場合、変形領域に切り替える旨を通知する。

次に、情報処理装置１０の作用について説明する前に、図８を参照して、対象領域３６を変形領域に切り替える手法について説明する。図８は、作業対象３２の変形に伴う切り替えの説明に供する対象空間３３の一例を示す図である。

例えば、作業対象３２が画像形成装置である場合、画像形成装置の扉が開閉され、画像形成装置の形状が変形する場合がある。作業対象３２が変形した場合、設定部２４によって変形する前に設定された対象空間３３では、作業の一部が不可視に加工されてしまう、又は不可視にすべき領域が不可視に加工されないことがある。

そこで、本実施形態に係る情報処理装置１０は、記憶部２７に変形後の作業対象３２の形状を作業対象３２毎に予め記憶しておき、予め記憶された形状のうち、変形後の作業対象３２の形状に対応する形状の指定をユーザから受け付ける。

受付部２８は、ユーザから変形後の作業対象３２の形状の指定を受け付け、設定部２４は、受け付けた変形後の作業対象３２の形状に対応する空間（以下、「変形空間」をいう。）を設定する。設定部２４は、図８に示すように、ユーザの指定に応じて、変形前の対象空間３３を変形空間に切り替えて、三次元空間情報に設定する。

ここで、変形空間は、推定した位置情報及び方向情報を考慮して、三次元空間情報に設定される。例えば、記憶部２７に記憶されている変形後の作業対象３２の形状が、作業対象３２を正面から見た形状である場合、推定した位置情報及び方向情報（例えば、変形後の作業対象３２を側面から見た形状）に対応する変形空間を生成する。これにより、記憶部２７に記憶されている変形後の作業対象３２の形状と、作業者の現在地から見た作業対象３２の形状と、が対応付けられる。

特定部２５は、取得した画像３５、及び三次元空間情報を比較して、当該画像３５において、三次元空間情報の変形空間に対応する変形領域を特定する。また、特定部２５は、変形領域以外の領域を背景として加工すべき対象外領域３７として特定する。

生成部２６は、画像３５において、対象外領域３７に対して不可視にした加工画像３８を生成する。

次に、図９を参照して、本実施形態に係る情報処理装置１０の作用について説明する。図９は、本実施形態に係る加工画像３８を生成する処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出し、実行することによって、図９に示す画像生成処理が実行される。図９に示す画像生成処理は、例えば、ユーザから加工画像３８を生成する指示が入力された場合、実行される。

ステップＳ１０１において、ＣＰＵ１１は、作業対象３２を含む物体が撮影された画像３５を取得する。

ステップＳ１０２において、ＣＰＵ１１は、ユーザによって指定された作業対象３２を取得する。

ステップＳ１０３において、ＣＰＵ１１は、取得した画像３５から物体の特徴点３１を検出する。

ステップＳ１０４において、ＣＰＵ１１は、ＳＬＡＭ技術を用いて、検出した特徴点３１から作業者の位置情報及び方向情報を推定する。

ステップＳ１０５において、ＣＰＵ１１は、対象空間３３と、対象外空間３４と、を三次元空間情報に設定する。ここで、三次元空間情報において、対象外空間３４に不可視情報を設定する。また、時間経過に伴って新たな画像３５を取得し、特徴点３１を検出した場合、当該特徴点３１を用いて、対象空間３３と、対象外空間３４と、を三次元空間情報に設定する。

ステップＳ１０６において、ＣＰＵ１１は、ユーザから変形後の作業対象３２の形状の指定を受け付けたか否かの判定を行う。変形後の作業対象３２の形状の指定を受け付けた場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０７に移行する。一方、変形後の作業対象３２の形状の指定を受け付けていない場合（ステップＳ１０６：ＮＯ）、ＣＰＵ１１は、ステップＳ１０９に移行する。

ステップＳ１０７において、ＣＰＵ１１は、変形領域に切り替える指示、及び変形後の作業対象３２の形状を受け付ける。

ステップＳ１０８において、ＣＰＵ１１は、受け付けた変形後の作業対象３２の形状を用いて変形空間を設定し、変形空間に対応する変形領域を特定して、対象領域３６に代えて、変形領域を適用する。

ステップＳ１０９において、ＣＰＵ１１は、三次元空間情報と、取得した画像３５を比較して、画像３５における対象領域３６を特定する。

ステップＳ１１０において、ＣＰＵ１１は、対象外領域３７を加工した加工画像３８を生成する。

ステップＳ１１１において、ＣＰＵ１１は、生成した加工画像３８を端末５０に送信する。

ステップＳ１１２において、ＣＰＵ１１は、処理を終了するか否かの判定を行う。処理を終了する場合（ステップＳ１１２：ＹＥＳ）、ＣＰＵ１１は、加工画像３８を生成する処理を終了する。一方、処理を終了しない場合（ステップＳ１１２：ＮＯ）、ＣＰＵ１１は、ステップＳ１１３に移行する。

ステップＳ１１３において、ＣＰＵ１１は、作業対象３２を含む物体が撮影された新たな画像３５を取得する。

ステップＳ１１４において、ＣＰＵ１１は、取得した画像３５から物体の特徴点３１を検出し、ステップＳ１０４に移行し、検出した特徴点３１を用いて、対象空間３３、及び対象外空間３４の位置合わせを行い、三次元空間情報を設定する。

以上説明したように、本実施形態によれば、作業対象３２が占める領域が変化した場合であっても、撮影された画像における加工の過不足の発生を抑制することができる。

［第２実施形態］
第１実施形態では、ユーザから変形後の作業対象３２の形状の指定を受け付ける形態について説明した。本実施形態では、変形後の作業対象３２の形状を検出する形態について説明する。

なお、本実施形態に係る情報処理システムの構成（図１参照）、情報処理装置１０のハードウェア構成（図２参照）、及び情報処理装置１０の機能構成（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る三次元空間情報の例（図４、及び図５参照）、撮影された画像３５及び加工画像３８の例（図６、及び図７参照）は、第１実施形態と同様であるため、説明を省略する。

一例として図１０に示すように、情報処理装置１０に係る検出部２２は、検出した特徴点３１同士を比較して、特徴点３１の変化量が大きい空間と、特徴点３１の変化量が小さい空間と、を検出する。例えば、図１０に示すように、検出部２２は、特徴点の変化量が大きい空間と、特徴点３１の変化量が小さい空間と、を検出する。通知部２９は、対象空間３３を狭める変化を検出した場合、変化後の作業対象３２の形状を指定して対象空間３３を切り替える旨の通知を行う。ここで、ユーザは、当該通知を受けた場合、変化後の作業対象３２の形状の指定を行ってから作業対象に対する作業（対象空間３３を狭める作業）を行う。これにより、作業対象３２の変形に伴って変形前まで作業対象３２であった箇所が画像に映り込むことが抑制される。

また、一例として図１１に示すように、検出部２２は、対象空間３３を拡げる変化を検出した場合、検出された特徴点３１を用いて変形後の作業対象３２の形状を検出し、設定部２４は、変形後の作業対象３２の形状に対応する対象空間３３を設定する。これにより、ユーザによって変形後の作業対象３２の形状の指定がなくとも、作業対象３２が不可視となることが抑制される。また、設定部２４は、対象空間３３を拡げる変化が止まった際に、変形後の作業対象３２の形状に対応する対象空間３３を設定することによって、ユーザによる作業の途中で、背景である箇所が画像に映り込むことが抑制される。

図１２を参照して、本実施形態に係る情報処理装置１０の作用について説明する。図１２は、本実施形態に係る加工画像３８を生成する処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出し、実行することによって、図１２に示す画像生成処理が実行される。図１２に示す画像生成処理は、例えば、ユーザから加工画像３８を生成する指示が入力された場合、実行される。なお、図１２において、図９に示す画像生成処理と同一のステップについては、図９と同一の符号を付して、その説明を省略する。

ステップＳ１１５において、ＣＰＵ１１は、特徴点の変化量から作業対象３２の変形を検出したか否かの判定を行う。作業対象３２の変形を検出した場合（ステップＳ１１５：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１６に移行する。一方、作業対象３２の変形を検出していない場合（ステップＳ１１５：ＮＯ）、ＣＰＵ１１は、ステップＳ１０９に移行する。

ステップＳ１１６において、ＣＰＵ１１は、検出した変形が対象空間３３を縮小する変形であるか否かの判定を行う。対象空間３３を縮小する変形である場合（ステップＳ１１６：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１７に移行する。一方、対象空間３３を縮小する変形ではない（対象空間３３を拡大する変形である）場合（ステップＳ１１６：ＮＯ）、ＣＰＵ１１は、ステップＳ１１９に移行する。

ステップＳ１１７において、ＣＰＵ１１は、ユーザに対して変形領域に切り替える旨を通知する。

ステップＳ１１８において、ＣＰＵ１１は、ユーザから変形領域へ切り替える指示、及び変形後の作業対象３２の形状を受け付ける。

ステップＳ１１９において、ＣＰＵ１１は、検出された特徴点３１の変化量から変形後の作業対象３２の形状を検出する。

ステップＳ１２０において、ＣＰＵ１１は、変形後の作業対象３２の形状を用いて変形空間を設定し、変形空間に対応する変形領域を特定して、対象領域３６に代えて、変形領域を適用する。

以上説明したように、本実施形態によれば、意図しない加工不足が発生することを抑制できる。

なお、上記実施形態では、情報処理装置１０は、作業者が所持する端末である形態について説明した。しかし、これに限定されない。情報処理装置１０はサーバであってもよい。例えば、情報処理装置１０を備えたサーバは、作業者が所持する端末から画像３５、及び作業対象３２を取得し、当該画像３５における対象外領域３７を不可視に加工して、支援者が所持する端末に加工画像３８を送信してもよい。

以上、各実施形態を用いて本発明について説明したが、本発明は各実施形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で各実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

なお、上記実施形態において、プロセッサとは広義的なプロセッサを指し、例えば汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、本実施形態では、情報処理プログラムがストレージにインストールされている形態を説明したが、これに限定されるものではない。本実施形態に係る情報処理プログラムを、コンピュータ読取可能な記憶媒体に記録した形態で提供してもよい。例えば、本発明に係る情報処理プログラムを、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等の光ディスクに記録した形態で提供してもよい。本発明に係る情報処理プログラムを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ及びメモリカード等の半導体メモリに記録した形態で提供してもよい。また、本実施形態に係る情報処理プログラムを、通信Ｉ／Ｆに接続された通信回線を介して外部装置から取得するようにしてもよい。

１ 情報処理システム
１０ 情報処理装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ モニタ
１７ 通信Ｉ／Ｆ
１８ カメラ
１９ バス
２１ 取得部
２２ 検出部
２３ 推定部
２４ 設定部
２５ 特定部
２６ 生成部
２７ 記憶部
２８ 受付部
２９ 通知部
３１ 特徴点
３２ 作業対象
３３ 対象空間
３４ 対象外空間
３５ 画像
３６ 対象領域
３７ 対象外領域
３８ 加工画像
５０ 端末

Claims (10)

1. プロセッサを有し、前記プロセッサは、
   物体を撮影した画像を取得し、
   前記画像における前記物体のうち作業を行う対象である作業対象が占める第１の領域を特定し、
   前記画像における前記第１の領域以外の領域を示す第２の領域を不可視にする加工を施した加工画像を生成し
   前記作業対象の変形に伴い前記第１の領域が変化する場合、前記第１の領域の代わりに予め登録した変形後の前記作業対象の形状が定める領域である変形領域を適用して、当該適用に伴う第２の領域を不可視にした加工画像をさらに生成し、
   前記加工画像を送信する
   情報処理装置。
2. 前記プロセッサは、
   前記画像に対応し、前記物体を含む三次元空間の情報である空間情報をさらに取得し、
   前記画像から前記作業対象を示す特徴点を検出し、
   前記特徴点を用いて、前記空間情報における前記第１の領域に対応する第１の空間、及び前記第２の領域に対応する第２の空間を特定する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記第２の空間に対して、不可視にする情報を示す不可視情報を設定し、
   前記不可視情報を用いて、前記画像において前記第２の空間に対応する前記第２の領域を不可視にした加工画像を生成する
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記空間情報における前記画像を撮影する撮影部、及び前記作業対象の位置の情報を示す位置情報と、前記撮影部が撮影する方向を示す方向情報と、をさらに取得し、
   前記位置情報及び方向情報に応じて、前記第２の領域を不可視にした前記加工画像を生成する
   請求項３に記載の情報処理装置。
5. 前記特徴点の変化量から前記位置情報、及び前記方向情報を推定する
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   複数の前記変形領域を記憶し、
   前記複数の変形領域のうち、１つの変形領域の指定を受け付ける
   請求項１から請求項５の何れか１項に記載の情報処理装置。
7. 前記プロセッサは、
   前記画像から前記作業対象を示す特徴点を検出し、
   前記特徴点の変化量から前記作業対象の変形を検出した場合、前記第１の領域を前記変形領域に切り替える旨を通知する
   請求項１から請求項６の何れか１項に記載の情報処理装置。
8. 前記プロセッサは、
   検出した前記作業対象の変形が、前記第１の領域を拡げる変形である場合、変形後の前記作業対象の対応する変形領域を適用して、加工画像を生成する
   請求項７に記載の情報処理装置。
9. 前記プロセッサは、
   前記第１の領域を狭める変形領域への切り替えの指示を取得した場合、前記指示に応じた前記変形領域を適用して、前記加工画像を生成する
   請求項１から請求項８の何れか１項に記載の情報処理装置。
10. コンピュータに、
    物体を撮影した画像を取得し、
    前記画像における前記物体のうち作業を行う対象である作業対象が占める第１の領域を特定し、
    前記画像における前記第１の領域以外の領域を示す第２の領域を不可視にする加工を施した加工画像を生成し
    前記作業対象の変形に伴い前記第１の領域が変化する場合、前記第１の領域の代わりに予め登録した変形後の前記作業対象の形状が定める領域である変形領域を適用して、当該適用に伴う２の領域を不可視にした加工画像をさらに生成し、
    前記加工画像を送信する
    ことを実行させるための情報処理プログラム。

Images