JP2022184481A - 画像制限方法、画像制限プログラム、情報処理装置及び支援システム - Google Patents

画像制限方法、画像制限プログラム、情報処理装置及び支援システム Download PDF

Info

Publication number
JP2022184481A
JP2022184481A JP2021092364A JP2021092364A JP2022184481A JP 2022184481 A JP2022184481 A JP 2022184481A JP 2021092364 A JP2021092364 A JP 2021092364A JP 2021092364 A JP2021092364 A JP 2021092364A JP 2022184481 A JP2022184481 A JP 2022184481A
Authority
JP
Japan
Prior art keywords
monitored
unit
image
image data
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021092364A
Other languages
English (en)
Inventor
和久 中間
Kazuhisa Nakama
信幸 石橋
Nobuyuki Ishibashi
達也 廣澤
Tatsuya Hirosawa
昌浩 小柳
Masahiro Koyanagi
宣彦 佐々木
Nobuhiko Sasaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Electron Ltd
Original Assignee
Tokyo Electron Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electron Ltd filed Critical Tokyo Electron Ltd
Priority to JP2021092364A priority Critical patent/JP2022184481A/ja
Priority to TW111118514A priority patent/TW202248952A/zh
Priority to CN202210577122.1A priority patent/CN115442582A/zh
Priority to US17/804,669 priority patent/US20220383472A1/en
Priority to KR1020220066869A priority patent/KR20220162644A/ko
Publication of JP2022184481A publication Critical patent/JP2022184481A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像の監視対象物の領域以外の領域を秘匿されるように画像を制限する技術を提供する。【解決手段】画像制限方法は、監視対象物が配置された空間を撮影部により撮影した画像データを取得する工程と、監視対象物を撮影した際の空間内での撮影部の撮影位置を示す撮影位置データを取得する工程と、監視対象物の３次元の形状を示す形状情報を取得する工程と、空間内での監視対象物の配置位置を特定する工程と、撮影位置データ、形状情報、及び監視対象物の配置位置に基づき、撮影位置データが示す撮影位置を視点位置とする配置位置に配置された監視対象物の形状を特定し、特定結果に基づき、取得した画像データの画像内での監視対象物の領域を特定する工程と、取得した画像データの画像の、特定した監視対象物の領域以外の領域をマスク処理する工程と、マスク処理された画像データを出力する工程と、を有する。【選択図】図１０

Description

本開示は、画像制限方法、画像制限プログラム、情報処理装置及び支援システムに関する。
特許文献１は、秘匿情報に関するものが写っている画像ファイルと、秘匿情報に関するものが写っていない画像ファイルとを選別する。そして、秘匿情報に関するものが写っている画像ファイルを公開の対象から除外し、秘匿情報に関するものが写っていない画像のみを他者に公開する技術を開示する。
特開２０２１－３５００２号公報
本開示は、監視対象物の領域以外の領域が秘匿されるように画像を制限する技術を提供する。
本開示の一態様による画像制限方法は、監視対象物が配置された空間を撮影部により撮影した画像データを取得する工程と、監視対象物を撮影した際の空間内での撮影部の撮影位置を示す撮影位置データを取得する工程と、監視対象物の３次元の形状を示す形状情報を取得する工程と、空間内での監視対象物の配置位置を特定する工程と、撮影位置データ、形状情報、及び監視対象物の配置位置に基づき、撮影位置データが示す撮影位置を視点位置とする配置位置に配置された監視対象物の形状を特定し、特定結果に基づき、取得した画像データの画像内での監視対象物の領域を特定する工程と、取得した画像データの画像の、特定した監視対象物の領域以外の領域をマスク処理する工程と、マスク処理された画像データを出力する工程と、を有する。
本開示によれば、監視対象物の領域以外の領域が秘匿されるように画像を制限できる。
図１は、第１実施形態に係る支援システムの構成の一例を示す図である。 図２は、第１実施形態に係るサーバ装置の機能的な構成の一例を示す図である。 図３は、第１実施形態に係る作業者端末の機能的な構成の一例を示す図である。 図４は、第１実施形態に係る支援システムによる作業の遠隔支援を説明する図である。 図５は、第１実施形態に係る基板処理装置が配置された空間を概略的に示した図である。 図６は、第１実施形態に係る形状情報を取得する流れを説明する図である。 図７は、第１実施形態に係る形状情報を取得する流れを説明する図である。 図８は、第１実施形態に係る第１画像データの画像の一例を示す図である。 図９は、第１実施形態に係る第２画像データの画像の一例を示す図である。 図１０は、第１実施形態に係る画像制限処理の手順を示すフローチャートである。 図１１は、第２実施形態に係るサーバ装置の機能的な構成の一例を示す図である。 図１２は、第３実施形態に係る作業者端末の表示部に表示される画像の一例である。 図１３は、第３実施形態に係る第１画像データの画像の一例を示す図である。
以下、図面を参照して本願の開示する画像制限方法、画像制限プログラム、情報処理装置及び支援システムの実施形態について詳細に説明する。なお、本実施形態により、開示する画像制限方法、画像制限プログラム、情報処理装置及び支援システムが限定されるものではない。
近年、監視対象物に対するメンテナンス等の作業を遠隔で支援する支援システムが求められている。例えば、支援システムは、作業者が監視対象物を撮影した画像を遠隔地の端末装置に送り、指示者が端末装置で画像を確認して作業者の作業を支援する。しかし、監視対象物の周囲には、指示者に見せたくない秘匿情報があり、撮影したままの画像を利用することができないことがある。
そこで、監視対象物の領域以外の領域が秘匿されるように画像を制限する技術が期待されている。
［第１実施形態］
［支援システム１０の概略構成］
図１は、第１実施形態に係る支援システム１０の構成の一例を示す図である。支援システム１０は、監視対象物に対するメンテナンス等の作業を遠隔で支援するシステムである。
支援システム１０は、サーバ装置１１と、作業者端末１２と、端末装置１３とを備える。サーバ装置１１、作業者端末１２及び端末装置１３は、ネットワークＮに接続され、ネットワークＮと通信可能とされている。かかるネットワークＮの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。
サーバ装置１１は、監視対象物に対する作業を遠隔で支援する支援機能を提供する装置である。サーバ装置１１は、例えば、サーバコンピュータなどのコンピュータである。サーバ装置１１は、例えば、データセンサ等に設けられ、グローバルＩＰアドレスが割り当てられており、端末装置１３及び作業者端末１２がネットワークＮを介してアクセス可能とされている。サーバ装置１１は、端末装置１３及び作業者端末１２からアクセスされ、アカウントの認証を行うことにより支援機能が利用可能となる。サーバ装置１１は、支援機能により、作業者端末１２と端末装置１３との通信を中継する。例えば、サーバ装置１１は、作業者端末１２から、通信を許可するアカウントが指定される。サーバ装置１１は、作業者端末１２と、通信が許可されたアカウントの端末装置１３との通信を中継する。本実施形態では、サーバ装置１１を１台のコンピュータとした場合を例として説明するが、複数台のコンピュータによるコンピュータシステムとして実装してもよい。
作業者端末１２は、監視対象物に対して作業を実施する作業者が操作する装置である。本実施形態では、作業者端末１２は、作業者が身に着けて使用可能なウェアブルデバイスとされている。例えば、作業者端末１２は、ヘッドマウントディスプレイとして構成されている。作業者端末１２は、作業者の頭部に装着される。作業者端末１２は、各種の情報を作業者に視認可能に表示する。作業者端末１２は、作業者が装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性の表示部を有する。作業者端末１２は、表示部に図形など各種の情報を表示させることで、表示部を透過して見える対象物に各種の情報を重畳させて表示する。作業者端末１２は、見える対象物に各種の情報を重畳して表示させることで、ＡＲ（Augmented Reality：拡張現実）や、ＭＲ（Mixed Reality）複合現実）を実現できる。ＡＲとは、実空間に存在する物体の画像に装置が情報を付与等することで、現実を拡張して表現する技術である。ＭＲとは、実空間に存在する物体の画像を装置が変化させ、変化した物体の画像と仮想空間に存在する物体の画像とを装置が複合化して表現する技術である。ＡＲは、現実世界をベースとし、現実と非現実を重ねて、現実世界を拡張させている。ＡＲは、現実世界に仮想物体を重ねるため、仮想物体は全面にしか表示されない。ＭＲは、仮想空間をベースとし、空間を認識して仮想空間と現実空間を融合させている。ＭＲは、仮想物体を現実空間に配置することができる。本実施形態に係る作業者端末１２は、ＭＲを実現する。
また、作業者端末１２は、カメラが設けられており、カメラにより、装着した作業者の前面方向の画像が撮影可能とされている。作業者端末１２は、カメラにより撮影された画像をサーバ装置１１を介して端末装置１３へ送信する。また、作業者端末１２は、サーバ装置１１を介して端末装置１３から受信した画像を表示部に表示する。このような作業者端末１２としては、例えば、米国Microsoft社のHololens 2（登録商標）が挙げられる。なお、作業者端末１２をウェアブルデバイスとした場合を例に説明したが、これに限定されるものではない。作業者端末１２は、タブレットやノートＰＣなどの手に持って利用可能な端末であってもよい。第１実施形態では、作業者端末１２が本開示の情報処理装置に対応する。
端末装置１３は、監視対象物に対する作業を遠隔指示する指示者が操作する装置である。端末装置１３は、例えば、パーソナルコンピュータなどのコンピュータである。端末装置１３には、サーバ装置１１を介して作業者端末１２から受信した画像が表示される。指示者は、端末装置１３から音声や画像により作業指示を送信する。
［サーバ装置１１の構成］
次に、各機器の構成について説明する。最初に、サーバ装置１１の構成について説明する。図２は、第１実施形態に係るサーバ装置１１の機能的な構成の一例を示す図である。サーバ装置１１は、通信Ｉ／Ｆ（インタフェース）部２０と、記憶部２１と、制御部２２とを有する。なお、サーバ装置１１は、上記の機器以外にコンピュータが有する他の機器を有してもよい。
通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、ネットワークＮに接続され、ネットワークＮを介して端末装置１３と作業者端末１２と各種情報を送受信する。
記憶部２１は、ハードディスク、ＳＳＤ、光ディスクなどの記憶装置である。なお、記憶部２１は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリであってもよい。
記憶部２１は、制御部２２で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部２１は、制御部２２で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２１は、形状情報２１ａを記憶する。
形状情報２１ａは、監視対象物の３次元の形状を記憶したデータである。形状情報２１ａの詳細は、後述する。
制御部２２は、サーバ装置１１を制御するデバイスである。制御部２２としては、ＣＰＵ、ＭＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部２２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２２は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２２は、支援制御部２２ａと、中継部２２ｂとを有する。
支援制御部２２ａは、支援機能に関する制御を行う処理部である。支援制御部２２ａは、アクセスを受け付けると、アクセス元にアカウント情報を入力させてアカウントの認証を行う。例えば、支援制御部２２ａは、端末装置１３及び作業者端末１２からを受け付けると、アカウントの認証を行う。支援制御部２２ａは、正当なアカウントの認証が行われると、支援機能の各種の操作画面をアクセス元に提供し、操作画面から支援機能の操作を受け付ける。例えば、支援制御部２２ａは、端末装置１３から通信を許可するアカウントが指定される。
中継部２２ｂは、作業者端末１２と、通信が許可されたアカウントの端末装置１３との通信を中継する。
［作業者端末１２の構成］
次に、作業者端末１２の構成について説明する。図３は、第１実施形態に係る作業者端末１２の機能的な構成の一例を示す図である。作業者端末１２は、上述のように、ヘッドマウントディスプレイとして構成されている。作業者端末１２は、通信Ｉ／Ｆ部３０と、表示部３１と、撮影部３２と、センサ部３３と、音声入力部３４と、音声出力部３５と、記憶部３６と、制御部３７とを有する。なお、作業者端末１２は、上記の機器以外の他の機器を有してもよい。
通信Ｉ／Ｆ部３０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部３０は、無線通信によりネットワークＮに接続され、ネットワークＮを介して他の装置と各種情報を送受信する。
表示部３１は、各種情報を表示するデバイスである。表示部３１は、ユーザが作業者端末１２を装着した際に、装着したユーザの目に対向するように作業者端末１２に設けられている。表示部３１は、ユーザが装着したままでも、外部の現実環境を視認可能なように、透過性を有する。表示部３１は、制御部３７からの制御により、各種情報を表示する。例えば、表示部３１は、サーバ装置１１から送信された画像を表示する。本実施形態では、表示部３１は、両眼に対応したものとするが、片眼のみに対応したものであってもよい。
撮影部３２は、制御部３７による制御の下、作業者端末１２の周囲を撮影して画像を生成する。撮影部３２は、カメラを備える。例えば、撮影部３２は、作業者端末１２を装着したユーザの前面方向に向けてカメラを備える。カメラは、３Ｄカメラであってもよく、所定の間隔を開けて少なくとも２台のカメラを配置したステレオ方式のものであってもよく、ＴｏＦ（Time of Flight）方式のものであってもよい。撮影部３２は、ステレオ方式とＴｏＦ方式の３Ｄカメラをそれぞれ備えてもよい。また、撮影部３２は、作業者端末１２の周囲を撮影する複数のカメラを備えてもよい。撮影部３２は、カメラで画像を撮影し、撮影された画像の画像データを制御部３７に出力する。
センサ部３３は、加速度センサ、ジャイロセンサ、方位センサ等のセンサ装置を含み、制御部３７における処理に用いられる情報をセンシングする機能を有する。
音声入力部３４は、音声を入力して電気信号に変換するマイクロフォンを含み、当該電気信号にＡ／Ｄ（Analog／Digital）変換等を行うことにより音声データを生成する。音声入力部３４は、生成した音声データを制御部３７に出力する。
音声出力部３５は、スピーカを含み、制御部３７から入力したデジタルの音声信号をＤ／Ａ（Digital／Analog）変換によってアナログの音声信号に変換し、スピーカから当該アナログの音声信号に応じた音声を出力する。
記憶部３６は、各種の情報を記憶する記憶デバイスである。例えば、記憶部３６は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリである。なお、記憶部３６は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置であってもよい。
記憶部３６は、制御部３７で実行される制御プログラムや、後述する画像制限処理のプログラムを含む各種プログラムを記憶する。さらに、記憶部３６は、制御部３７で実行されるプログラムで用いられる各種データを記憶する。
制御部３７は、作業者端末１２を制御するデバイスである。制御部３７としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部３７は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。
制御部３７は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部３７は、撮影制御部３７ａと、操作受付部３７ｂと、画像取得部３７ｃと、撮影位置取得部３７ｄと、形状取得部３７ｅと、位置特定部３７ｆと、領域特定部３７ｇと、マスク処理部３７ｈと、出力部３７ｉとを有する。各種の処理部の一部又は全部の機能は、作業者端末１２の標準機能であってもよく、標準機能に追加された追加機能であってもよい。
撮影制御部３７ａは、撮影部３２を制御して画像の撮影を行う。例えば、撮影制御部３７ａは、撮影部３２により所定のフレームレートで画像の撮影を行う。例えば、撮影制御部３７ａは、撮影部３２により映像を撮影する。
操作受付部３７ｂは、各種の操作を受け付ける。例えば、操作受付部３７ｂは、手や音声により操作を受け付ける。例えば、操作受付部３７ｂは、操作メニューや操作ボタンを所定の操作に応じて表示部３１に表示する。操作受付部３７ｂは、撮影部３２により得られる画像データの画像から手を認識し、ハンドトラッキングにより、操作メニューや操作ボタンに対する選択などの各種の操作を受け付ける。例えば、操作受付部３７ｂは、位置を指定する操作ボタンが選択された後、手の指が指す位置を認識することにより、空間内での位置の指定を受け付ける。また、例えば、操作受付部３７ｂは、画像の送信や送信停止を指示する操作ボタンが選択されることにより、画像の送信や送信停止の指示を受け付ける。また、操作受付部３７ｂは、音声データの音声認識により、音声による各種の操作を受け付ける。
画像取得部３７ｃは、監視対象物が配置された空間を撮影した画像データを取得する。例えば、作業者は、作業者端末１２を装着し、撮影部３２により映像の撮影を行いつつ監視対象物を中心にして周回する。画像取得部３７ｃは、撮影部３２により監視対象物を周囲から撮影した画像データ（映像データ）を取得する。
撮影位置取得部３７ｄは、監視対象物を撮影した際の空間内での撮影部３２の撮影位置を示す撮影位置データを取得する。例えば、撮影位置取得部３７ｄは、撮影部３２により得られる画像データ及びセンサ部３３により得られる情報から周囲の形状を特定し、空間マッピングを行って監視対象物が配置された空間の形状を示す空間情報を取得する。例えば、撮影位置取得部３７ｄは、撮影部３２により得られる３Ｄカメラのデータから周囲の形状を特定し、特定した周囲の形状を繋げて空間の形状を示す空間情報を取得する。撮影位置取得部３７ｄは、特定した周囲の形状から、空間マッピングされた空間情報の空間内での位置を特定し、特定した位置を撮影部３２の撮影位置として、撮影位置データを取得する。
形状取得部３７ｅは、監視対象物の３次元の形状を示す形状情報を取得する。例えば、作業者により、形状情報を取得する範囲が指定される。例えば、監視対象物の囲むように範囲が指定される。形状取得部３７ｅは、監視対象物を周囲から撮影した画像データから、指定された範囲内の空間マッピングを行って物体（監視対象物）を認識する。そして、形状取得部３７ｅは、認識した物体の形状に合わせてボクセルを配置して、ボクセルにより監視対象物の３次元の形状を示す形状情報を取得する。形状取得部３７ｅは、特定した監視対象物の３次元の形状を修正指示に応じて修正可能としてもよい。例えば、形状取得部３７ｅは、認識した物体の形状に合わせて配置したボクセルを表示部３１に表示して認識した物体の形状を表示する。操作受付部３７ｂは、手や音声により、表示したボクセルの修正指示を受け付ける。形状取得部３７ｅは、操作受付部３７ｂで受け付けた修正指示に応じてボクセルを追加又は削除する修正を行い、修正されたボクセルにより監視対象物の３次元の形状を示す形状情報を取得する。
形状取得部３７ｅにより取得した形状情報は、サーバ装置１１に保存することが可能とされている。形状情報は、名称や、監視対象物の識別ＩＤ、配置空間などの付加情報を付加することが可能とされている。操作受付部３７ｂは、手や音声により、形状情報に名称や、監視対象物の識別ＩＤ、配置空間などの付加情報を付加して保存の指示を受け付ける。操作受付部３７ｂで形状情報の保存が指示されると、形状取得部３７ｅは、付加情報を付加した形状情報をサーバ装置１１に送信する。サーバ装置１１は、受信した形状情報に作業者端末１２のアカウントを対応付けて、形状情報２１ａとして記憶部２１に記憶する。
サーバ装置１１に保存された形状情報２１ａは、作業者端末１２から読み出し可能とされている。サーバ装置１１は、作業者端末１２のアカウントを対応付けて記憶部２１に記憶された形状情報２１ａの付加情報を作業者端末１２に通知する。操作受付部３７ｂは、形状情報の名称や配置空間の付加情報を表示して、形状情報の読み出しの指示を受け付ける。操作受付部３７ｂで形状情報の読み出しが指示されると、形状取得部３７ｅは、読み出しが指示された形状情報２１ａをサーバ装置１１から取得する。
これにより、作業者端末１２は、空間マッピングを行って監視対象物の形状情報を取得してサーバ装置１１に一旦保存すれば、保存した形状情報を利用できる。
位置特定部３７ｆは、監視対象物が配置された空間内での監視対象物の配置位置を特定する。例えば、監視対象物が配置された空間は、基準位置とする基準点が定められる。基準点は、空間の床等にマークとして指定されてもよい。また、操作受付部３７ｂが手や音声により、空間内で基準位置とする基準点の指定を受け付けてもよい。位置特定部３７ｆは、形状取得部３７ｅで空間マッピングを行って監視対象物を認識して形状情報を取得した場合、基準点を基準として、空間情報の空間内での監視対象物の配置位置を特定する。一方、形状情報をサーバ装置１１から取得した場合、作業者端末１２では、作業者により、空間情報の空間に対して形状情報が示す監視対象物の形状の位置合わせが行われる。作業者端末１２は、形状情報が示す監視対象物の形状を表示部３１に表示し、操作受付部３７ｂが、手や音声により、位置合わせの操作を受け付ける。位置特定部３７ｆは、基準点を基準として、位置合わせされた空間情報の空間内での監視対象物の配置位置を特定する。
領域特定部３７ｇは、画像取得部３７ｃにより取得した画像データの画像内での監視対象物の領域を特定する。例えば、領域特定部３７ｇは、撮影位置取得部３７ｄにより取得した撮影位置データ、形状取得部３７ｅにより取得した形状情報、及び位置特定部３７ｆにより特定した監視対象物の配置位置に基づき、撮影位置データが示す撮影位置を視点位置とする配置位置に配置された監視対象物の形状を特定する。例えば、領域特定部３７ｇは、空間マッピングされた空間情報の空間の監視対象物の配置位置となる位置に、形状情報に基づき監視対象物の３次元の形状を示すボクセルを配置する。そして、領域特定部３７ｇは、空間情報の空間内で、撮影位置データが示す撮影位置となる位置からボクセルを見た形状を特定する。領域特定部３７ｇは、特定した形状に基づき、画像データの画像内での監視対象物の領域を特定する。例えば、領域特定部３７ｇは、画像データの画像内で、特定した形状の領域を監視対象物の領域と特定する。あるいは、領域特定部３７ｇは、撮影部３２により得られる画像データ及びセンサ部３３により得られる情報から顔の向き方向（前面方向）を特定し、画像データの画像の顔の向き方向（前面方向）に該当する、特定した形状の領域を監視対象物の領域と特定する。なお、領域特定部３７ｇは、空間情報の空間の配置したボクセルに対応して、ボクセルの画像を表示部３１に表示してもよい。
マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の、領域特定部３７ｇにより特定した監視対象物の領域以外の領域をマスク処理する。例えば、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の監視対象物の領域以外の領域を不透過状態とするマスク処理した第１画像データを生成する。また、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の監視対象物の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成する。
出力部３７ｉは、マスク処理部３７ｈによりマスク処理された画像データを出力する。例えば、出力部３７ｉは、操作受付部３７ｂにより、マスク処理部３７ｈによりマスク処理された画像データを出力する。例えば、出力部３７ｉは、マスク処理部３７ｈによりマスク処理された第１画像データを、サーバ装置１１を介して指示者の端末装置１３へ出力する。また、出力部３７ｉは、第２画像データを表示部３１へ出力する。
［具体例］
次に、第１実施形態に係る支援システム１０を用いて、監視対象物に対する作業を遠隔で支援する具体的な一例を説明する。以下では、監視対象物を基板処理装置５０とし、基板処理装置５０のメンテナンス等の作業を遠隔で支援する場合を例に説明する。図４は、第１実施形態に係る支援システム１０による作業の遠隔支援を説明する図である。
作業者５１は、作業者端末１２であるヘッドマウントディスプレイを頭部に装着する。作業者５１は、作業者端末１２を操作してサーバ装置１１にアクセスし、アカウントの認証を行う。
メンテナンスを支援する指示者５２は、端末装置１３を操作してサーバ装置１１にアクセスし、アカウントの認証を行う。
作業者５１は、作業者端末１２から、通信を許可するアカウントを指定する。例えば、作業者５１は、指示者５２のアカウントを、通信を許可するアカウントとして指定する。これにより、サーバ装置１１は、作業者端末１２と端末装置１３との通信を中継する。これにより、例えば、指示者５２は、マイクやスピーカ、あるいはヘッドセットを端末装置１３に接続することで、作業者端末１２を装着した作業者５１と通話が可能となる。
作業者は、端末装置１３に送信する画像について基板処理装置５０の領域以外の領域が秘匿されるように画像を制限する場合、例えば、以下のような準備作業を行う。なお、準備作業は、遠隔で支援を受ける前であれば何時行ってもよい。
作業者５１は、作業者端末１２を頭部に装着した状態で、基板処理装置５０の周囲を移動する。作業者端末１２は、撮影部３２により撮影を行う。例えば、撮影制御部３７ａは、撮影部３２により所定のフレームレートで画像の撮影を行う。画像取得部３７ｃは、撮影部３２により撮影された画像データを取得する。
作業者端末１２は、基板処理装置５０が配置された空間内で、撮影部３２により基板処理装置５０を撮影した撮影位置を示す撮影位置データを取得する。例えば、撮影位置取得部３７ｄは、撮影部３２により得られる画像データ及びセンサ部３３により得られる情報から周囲の形状を特定し、空間マッピングを行って基板処理装置５０が配置された空間の形状を示す空間情報を取得する。撮影位置取得部３７ｄは、特定した周囲の形状から、空間マッピングされた空間情報の空間内での位置を特定し、特定した位置を撮影部３２の撮影位置として、撮影位置データを取得する。
作業者端末１２は、基板処理装置５０の３次元の形状を示す形状情報を取得する。図５は、第１実施形態に係る基板処理装置５０が配置された空間を概略的に示した図である。図５には、クリールーム６０内にメンテナンスの対象とされた基板処理装置５０が配置され、基板処理装置５０の両側に別の基板処理装置などの装置６１、６２が配置されている。例えば、クリールーム６０内は、様々な機密情報があるため、基板処理装置５０以外を指示者５２に秘匿したい。例えば、装置６１、６２は、指示者５２に見せたくない。そのような場合、作業者５１は、基板処理装置５０を囲むように範囲６３を指定する。また、作業者５１は、基準点６４を指定する。例えば、作業者５１は、所定の間隔を開けて２つの基準点６４が指定する。
作業者端末１２は、基板処理装置５０の３次元の形状を示す形状情報を取得する。例えば、形状取得部３７ｅは、指定された範囲６３内の空間マッピングを行って物体（基板処理装置５０）を認識し、認識した物体の形状に合わせてボクセルを配置して、ボクセルにより基板処理装置５０の３次元の形状を示す形状情報を取得する。図６及び図７は、第１実施形態に係る形状情報を取得する流れを説明する図である。図６には、基板処理装置５０を囲むように４つの点６５で範囲６３が指定されている。範囲６３は、どのように指定してもよい。例えば、作業者端末１２は、点６５の位置を順に指定して範囲６３を指定する場合、指定された点６５の位置を順に線で繋ぎ、さらに最初に指定された点６５の位置と最後に指定された点６５の位置を線で繋いで範囲６３とする。図７には、範囲６３内の基板処理装置５０が認識されて、基板処理装置５０の形状に合わせてボクセルが配置された状態を示している。形状取得部３７ｅは、図７に示すように、基板処理装置５０の形状に合わせてボクセルを配置して、ボクセルにより基板処理装置５０の３次元の形状を示す形状情報を取得する。作業者端末１２は、取得した形状情報を記憶する。
次に、基板処理装置５０以外が写らないように画像を制限しつつ、基板処理装置５０に対する作業の遠隔支援を受ける流れを説明する。
作業者端末１２は、撮影部３２により撮影される画像の送信や送信停止の操作が可能とされている。例えば、操作受付部３７ｂは、手や音声により、画像の送信指示を受け付ける。作業者端末１２は、画像の送信指示を受け付けると、撮影部３２により撮影を行う。例えば、撮影制御部３７ａは、撮影部３２により所定のフレームレートで画像の撮影を行う。画像取得部３７ｃは、撮影部３２により撮影された画像データを取得する。
作業者端末１２は、クリールーム６０内で、撮影部３２により基板処理装置５０を撮影した撮影位置を示す撮影位置データを取得する。例えば、撮影位置取得部３７ｄは、撮影部３２により得られる画像データ及びセンサ部３３により得られる情報から周囲の形状を特定し、空間マッピングを行ってクリールーム６０の形状を示す空間情報を取得する。撮影位置取得部３７ｄは、特定した周囲の形状から、空間マッピングされた空間情報の空間（クリールーム６０）内での位置を特定し、特定した位置を撮影部３２の撮影位置として、撮影位置データを取得する。
作業者端末１２は、クリールーム６０内での基板処理装置５０の配置位置を特定する。例えば、位置特定部３７ｆは、基準点６４を基準として、空間情報の空間内での基板処理装置５０の配置位置を特定する。
作業者端末１２は、撮影部３２により撮影した画像データの画像内での基板処理装置５０の領域を特定する。例えば、領域特定部３７ｇは、撮影位置データ、形状情報、及び特定した基板処理装置５０の配置位置に基づき、撮影位置データが示す撮影位置を視点位置とする配置位置に配置された基板処理装置５０の形状を特定する。例えば、領域特定部３７ｇは、空間情報の空間（クリールーム６０）の基板処理装置５０の配置位置となる位置に、形状情報に基づき基板処理装置５０の３次元の形状を示すボクセルを配置する。そして、領域特定部３７ｇは、空間情報の空間内で、撮影位置データが示す撮影位置となる位置からボクセルを見た形状を特定する。領域特定部３７ｇは、特定した形状に基づき、画像データの画像内での基板処理装置５０の領域を特定する。
作業者端末１２は、撮影部３２により撮影した画像データの画像の基板処理装置５０の領域以外の領域をマスク処理する。例えば、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の基板処理装置５０の領域以外の領域を不透過状態とするマスク処理した第１画像データを生成する。また、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の基板処理装置５０の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成する。
作業者端末１２は、マスク処理された画像データを出力する。例えば、出力部３７ｉは、マスク処理部３７ｈによりマスク処理された第１画像データを、サーバ装置１１を介して指示者の端末装置１３へ出力する。また、出力部３７ｉは、第２画像データを表示部３１へ出力する。
端末装置１３は、サーバ装置１１を介して作業者端末１２から受信した画像を表示する。例えば、端末装置１３では、第１画像データの画像を表示する。指示者５２は、端末装置１３に表示された画像を見て、作業を遠隔で支援する。図８は、第１実施形態に係る第１画像データの画像の一例を示す図である。図８に示すように、第１画像データの画像は、基板処理装置５０の領域以外の領域を不透過状態としている。これにより、基板処理装置５０の領域以外の領域を秘匿できる。例えば、装置６１、６２など周囲の装置を秘匿できる。また、第１画像データの画像は、基板処理装置５０が写っている。これにより、指示者５２は、第１画像データの画像から基板処理装置５０を視認できるため、基板処理装置５０に対する作業を円滑に支援できる。
作業者端末１２は、第２画像データの画像を表示部３１に表示する。図９は、第１実施形態に係る第２画像データの画像の一例を示す図である。図９に示すように、第９画像データの画像は、基板処理装置５０の領域以外の領域が半透過状態にされており、周囲の装置７０、７１を半透過状態で見ることができる。作業者５１は、表示部３１を介しても基板処理装置５０が見えるため、基板処理装置５０に対して必要な視野を確保して作業を安全に行うことができる。また、作業者５１は、表示部３１を介しても基板処理装置５０の領域以外の領域が半透過状態で見えるため、周囲を把握できる。例えば、作業者５１は、表示部３１を介して装置７０、７１が存在することを把握できる。
なお、作業者端末１２は、第２画像データの画像を表示部３１に表示する場合を例に説明したが、これに限定されるものではない。例えば、作業者端末１２は、第２画像データの画像を表示部３１に表示せずに、表示部３１を透過状態として、作業者５１が表示部３１を介しても周囲が見えるようにしてもよい。また、作業者端末１２は、手や音声による操作に応じて、第１画像データの画像を表示部３１に切り替えて表示可能としてもよい。これにより、作業者５１は、指示者５２の端末装置１３に表示される第１画像データの画像を確認でき、基板処理装置５０の領域以外の領域を不透過状態であり、画像の基板処理装置５０の領域以外の領域が秘匿できているかを確認できる。
ここで、本実施形態に係る作業者端末１２は、撮影位置を視点位置とする配置位置に配置された基板処理装置５０の形状を特定し、特定した形状に基づき、画像データの画像内での基板処理装置５０の領域を特定する。そして、作業者端末１２は、画像データの画像の基板処理装置５０の領域以外の領域をマスク処理する。このため、例えば、作業者５１がクリールーム６０内を移動して、撮影部３２により撮影した画像データの画像内で基板処理装置５０の形状や、大きさ、写る面が変化した場合でも、基板処理装置５０の領域以外の領域をマスク処理できる。これにより、画像内で基板処理装置５０の形状や、大きさ、写る面が変化しても、基板処理装置５０の領域以外の領域が秘匿されるように画像を制限できる。
また、本実施形態に係る支援システム１０は、作業者端末１２において、基板処理装置５０の領域以外の領域を不透過状態とするマスク処理した第１画像データを生成し、第１画像データを、サーバ装置１１を介して指示者の端末装置１３へ出力する。これにより、ネットワークＮには、第１画像データが伝送される。第１画像データは、基板処理装置５０の領域以外の領域を不透過状態とするマスク処理がされている。これにより、例えば、ネットワークＮがスニッフィングされて第１画像データが不正に読み取られた場合でも、画像の基板処理装置５０の領域以外の領域を秘匿できる。
［処理フロー］
次に、第１実施形態に係る作業者端末１２が実行する画像制限処理の手順について説明する。図１０は、第１実施形態に係る画像制限処理の手順を示すフローチャートである。なお、図１０のフローチャートに示すフローは、操作受付部３７ｂにより、画像の送信が指示されて、画像の送信する流れを示している。
画像取得部３７ｃは、監視対象物が配置された空間を撮影した画像データを取得する（ステップＳ１０）。例えば、撮影制御部３７ａは、撮影部３２により所定のフレームレートで画像の撮影を行う。画像取得部３７ｃは、撮影部３２により撮影された画像データを取得する。
撮影位置取得部３７ｄは、監視対象物が配置された空間内で撮影部３２により監視対象物を撮影した撮影位置を示す撮影位置データを取得する（ステップＳ１１）。例えば、撮影位置取得部３７ｄは、撮影部３２により得られる画像データ及びセンサ部３３により得られる情報から周囲の形状を特定し、空間マッピングを行って監視対象物が配置された空間の形状を示す空間情報を取得する。撮影位置取得部３７ｄは、特定した周囲の形状から、空間マッピングされた空間情報の空間内での位置を特定し、特定した位置を撮影部３２の撮影位置として、撮影位置データを取得する。
位置特定部３７ｆは、監視対象物が配置された空間内での監視対象物の配置位置を特定する（ステップＳ１２）。例えば、位置特定部３７ｆは、基準点６４を基準として、空間情報の空間内での監視対象物の配置位置を特定する。
領域特定部３７ｇは、画像取得部３７ｃにより取得した画像データの画像内での監視対象物の領域を特定する（ステップＳ１３）。例えば、領域特定部３７ｇは、空間マッピングされた空間情報の空間の監視対象物の配置位置となる位置に、形状情報に基づき監視対象物の３次元の形状を示すボクセルを配置する。そして、領域特定部３７ｇは、空間情報の空間内で、撮影位置データが示す撮影位置となる位置からボクセルを見た形状を特定する。
マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の、領域特定部３７ｇにより特定した監視対象物の領域以外の領域をマスク処理する（ステップＳ１４）。出力部３７ｉは、マスク処理部３７ｈによりマスク処理された画像データを出力する（ステップＳ１５）。
出力部３７ｉは、画像の送信停止の指示が指示されたか否かを判定する（ステップＳ１６）。送信停止が指示されていない場合（ステップＳ１６：Ｎｏ）、上述のステップＳ１０へ移行する。一方、送信停止が指示された場合（ステップＳ１６：Ｙｅｓ）、処理を終了する。
以上のように、第１実施形態に係る作業者端末１２は、画像取得部３７ｃと、撮影位置取得部３７ｄと、形状取得部３７ｅと、位置特定部３７ｆと、領域特定部３７ｇと、マスク処理部３７ｈと、出力部３７ｉとを有する。画像取得部３７ｃは、監視対象物（基板処理装置５０）が配置された空間（クリールーム６０）を撮影部３２により撮影した画像データを取得する。撮影位置取得部３７ｄは、監視対象物を撮影した際の空間内での撮影部３２の撮影位置を示す撮影位置データを取得する。形状取得部３７ｅは、監視対象物の３次元の形状を示す形状情報を取得する。位置特定部３７ｆは、空間内での監視対象物の配置位置を特定する。領域特定部３７ｇは、撮影位置取得部３７ｄにより取得した撮影位置データ、形状取得部３７ｅにより取得した形状情報、及び位置特定部３７ｆにより特定した監視対象物の配置位置に基づき、撮影位置データが示す撮影位置を視点位置とする配置位置に配置された監視対象物の形状を特定する。領域特定部３７ｇは、特定結果に基づき、画像取得部３７ｃにより取得した画像データの画像内での監視対象物の領域を特定する。マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の、領域特定部３７ｇにより特定した監視対象物の領域以外の領域をマスク処理する。出力部３７ｉは、マスク処理部３７ｈによりマスク処理された画像データを出力する。これにより、作業者端末１２は、監視対象物の領域以外の領域が秘匿されるように画像を制限できる。また、作業者端末１２は、ＭＲ技術により、作業者の動きに追従してマスク処理した画像データ（映像データ）を生成する。ＭＲ技術では、仮想空間をベースとし、空間を認識して仮想空間と現実空間を融合させる。作業者端末１２は、ＭＲ技術により、作業者の動きに追従してマスク処理した画像データ（映像データ）を生成することで、監視対象物の領域以外の領域に映り込む可能性のある機密情報が誤って外部（遠隔指示する指示者５２の端末装置１３）へ送られることを回避することができる。また、作業者は、作業中に位置等の変化により視点が動くが、ＭＲ技術を用いることにより、作業者端末１２は、作業者の視点の動きに容易に追従させて画像を制限できる。
また、形状取得部３７ｅは、監視対象物を周囲から撮影した画像データから監視対象物の３次元の形状を特定し、特定した監視対象物の３次元の形状を修正指示に応じて修正して形状情報を取得する。これにより、作業者端末１２は、特定された監視対象物の３次元の形状を、正しい形状に修正できる。この結果、監視対象物全体を画像に写すことができる。また、監視対象物以外が画像に写らないように画像を精度よく制限できる。
また、マスク処理部３７ｈは、画像データの画像の監視対象物の領域以外の領域を不透過状態とするマスク処理した第１画像データと画像データの画像の監視対象物の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成する。出力部３７ｉは、第１画像データを監視対象物に対する作業を遠隔指示する指示者５２の端末装置１３へ出力する。出力部３７ｉは、第２画像データを、指示者の指示に応じて監視対象物に対して作業する作業者５１が装着するヘッドマウントディスプレイの表示部３１へ出力する。これにより、指示者５２に対して画像の監視対象物の領域以外の領域を秘匿できる。また、作業者５１に対して周囲を把握可能な状態で画像を提供できるので、作業者５１は必要な視野を確保して安全に作業を行うことができる。
［第２実施形態］
次に、第２実施形態について説明する。第２実施形態に係る支援システム１０、作業者端末１２及び端末装置１３は、第１実施形態と同様の構成であるため、同一部分の説明を省略し、主に異なる点を説明する。
図１１は、第２実施形態に係るサーバ装置１１の機能的な構成の一例を示す図である。第２実施形態に係るサーバ装置１１は、図２に示した第１実施形態に係るサーバ装置１１と一部同様の構成であるため、同一部分に同一の符号を付して説明を省略し、異なる部分について主に説明する。
記憶部２１は、形状情報２１ｂをさらに記憶する。形状情報２１ｂは、監視対象物の種類ごとに、当該監視対象物の３次元の形状を示すデータである。記憶部２１には、監視対象物の種類ごとに、種類に対応付けて当該種類の監視対象物の形状情報２１ｂが記憶されている。例えば、監視対象物を基板処理装置５０とした場合、形状情報２１ｂは、基板処理装置５０の３次元の形状を示すデータである。記憶部２１には、基板処理装置５０の型番などの種類ごとに、種類に対応付けて当該種類の基板処理装置５０の形状情報２１ｂが記憶されている。
サーバ装置１１の記憶部２１に記憶された各形状情報２１ｂは、作業者端末１２から読み出し可能とされている。作業者端末１２では、サーバ装置１１の記憶部２１から監視対象物の種類に応じた形状情報を取得する。例えば、サーバ装置１１は、各形状情報２１ｂに対応付けられた型番などの基板処理装置５０の種類の情報を作業者端末１２に通知する。操作受付部３７ｂは、種類の情報を表示して、形状情報２１ｂの読み出しの指示を受け付ける。作業者５１は、種類を指定して形状情報２１ｂの読み出しを指示する。操作受付部３７ｂで読み出しが指示されると、形状取得部３７ｅは、読み出しが指示された種類の形状情報２１ｂをサーバ装置１１の記憶部２１から取得する。
なお、形状取得部３７ｅは、撮影部３２により撮影された画像データの画像から監視対象物の種類を識別し、識別した種類の形状情報２１ｂをサーバ装置１１の記憶部２１から取得してもよい。例えば、基板処理装置５０に型番などの基板処理装置５０の種類を示す数字や文字、マーク、コード画像などの識別情報が付されている場合、形状取得部３７ｅは、撮影部３２により撮影された画像データの画像に写る識別情報から基板処理装置５０の種類を識別する。そして、形状取得部３７ｅは、識別した種類の形状情報２１ｂをサーバ装置１１の記憶部２１から取得してもよい。
これにより、作業者端末１２は、サーバ装置１１の記憶部２１から形状情報２１ｂを取得することで、空間マッピングを行うことなく、監視対象物の形状に対応した形状情報２１ｂを取得できる。作業者端末１２では、作業者により、空間情報の空間に対して形状情報２１ｂが示す監視対象物の形状の位置合わせを行う。これにより、位置特定部３７ｆは、基準点を基準として、位置合わせされた空間情報の空間内での監視対象物の配置位置を特定できる。
以上のように、第２実施形態に係るサーバ装置１１は、記憶部２１に監視対象物の種類ごとに、当該監視対象物の３次元の形状を示す形状情報２１ｂを記憶する。作業者端末１２では、形状取得部３７ｅは、サーバ装置１１の記憶部２１から、撮影部３２により撮影される監視対象物の種類に応じた形状情報２１ｂを取得する。これにより、作業者端末１２は、監視対象物から形状情報を取得しなくても、監視対象物の形状に対応した形状情報２１ｂを取得できる。
サーバ装置１１の記憶部２１から取得した形状情報２１ｂは、修正可能としてもよい。例えば、形状取得部３７ｅは、形状情報２１ｂが示す監視対象物の形状に合わせてボクセルを配置し、配置したボクセルを表示部３１に表示する。操作受付部３７ｂは、手や音声により、表示したボクセルの修正指示を受け付ける。形状取得部３７ｅは、操作受付部３７ｂで受け付けた修正指示に応じてボクセルを追加又は削除する修正を行い、修正に応じて形状情報２１ｂを修正してもよい。
［第３実施形態］
次に、第３実施形態について説明する。第３実施形態に係る支援システム１０、サーバ装置１１、作業者端末１２及び端末装置１３は、第１又は第２実施形態と同様の構成であるため、同一部分の説明を省略し、主に異なる点を説明する。
作業者端末１２は、監視対象物の表示する範囲の指定をさらに受け付ける。例えば、操作受付部３７ｂは、手や音声により操作により、監視対象物の表示する範囲の指定を受け付ける。
マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の、領域特定部３７ｇにより特定した監視対象物の領域以外の領域と、操作受付部３７ｂで受け付けた範囲以外の領域をマスク処理する。例えば、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の監視対象物の領域以外の領域と、操作受付部３７ｂで受け付けた範囲以外の領域を不透過状態とするマスク処理した第１画像データを生成する。また、マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の監視対象物の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成する。
具体的な一例を説明する。図１２は、第３実施形態に係る作業者端末１２の表示部３１に表示される画像の一例である。図１２は、第２画像データの画像であり、基板処理装置５０や周囲が見えている。作業者は、手や音声により操作により、基板処理装置５０の表示する範囲を指定する。図１２では、基板処理装置５０の表示する範囲８０が指定されている。
作業者端末１２は、撮影部３２により撮影した画像データの画像の基板処理装置５０の領域以外の領域と、範囲８０以外の領域を不透過状態とするマスク処理した第１画像データを生成する。第１画像データは、サーバ装置１１を介して指示者の端末装置１３へ送信され、端末装置１３に表示される。図１３は、第３実施形態に係る第１画像データの画像の一例を示す図である。図１３に示すように、第１画像データの画像は、基板処理装置５０の範囲８０内の領域以外の領域を不透過状態とされている。これにより、メンテナンス等の作業で不要な部分や秘匿すべき対象がサーバ装置１１を介して、例えばクリーンルームの外部へと流出することのないように、画像が制限される。
以上のように、第３実施形態に係る作業者端末１２では、操作受付部３７ｂ（受付部）により、監視対象物の表示する範囲の指定を受け付ける。マスク処理部３７ｈは、画像取得部３７ｃにより取得した画像データの画像の、操作受付部３７ｂで受け付けた範囲以外の領域をマスク処理する。これにより、作業者端末１２は、監視対象物のうち不必要な画像領域が含まれないように画像を制限できる。
以上、実施形態について説明してきたが、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。実に、上述した実施形態は、多様な形態で具現され得る。また、上述した実施形態は、請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。
例えば、上記の実施形態では、作業者端末１２を作業者の頭部に装着可能なヘッドマウントディスプレイとして構成した場合を例に説明したが、これに限定されるものではない。作業者端末１２は、複数の筐体に分かれて構成されてもよい。例えば、作業者端末１２は、作業者の頭部に装着するヘッドマウント装置と、ヘッドマウント装置と有線又は無線で通信可能とした情報処理装置とにより構成されてもよい。ヘッドマウント装置は、表示部３１と、撮影部３２と、センサ部３３と、音声入力部３４と、音声出力部３５などが設けられる。情報処理装置は、通信Ｉ／Ｆ部３０と、記憶部３６と、制御部３７が設けられ、ヘッドマウント部から得られる画像データ等の各種の情報に基づいて、各実施形態の処理を行ってもよい。この場合、情報処理装置が本開示の情報処理装置に対応する。また、各実施形態の処理は、サーバ装置１１で実施してもよい。この場合、サーバ装置１１が本開示の情報処理装置に対応する。
なお、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。実に、上記した実施形態は多様な形態で具現され得る。また、上記の実施形態は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。
１０ 支援システム
１１ サーバ装置
１２ 作業者端末
１３ 端末装置
２０ 通信Ｉ／Ｆ部
２１ 記憶部
２１ａ、２１ｂ 形状情報
２２ 制御部
３０ 通信Ｉ／Ｆ部
３１ 表示部
３２ 撮影部
３３ センサ部
３４ 音声入力部
３５ 音声出力部
３６ 記憶部
３７ 制御部
３７ａ 撮影制御部
３７ｂ 操作受付部
３７ｃ 画像取得部
３７ｄ 撮影位置取得部
３７ｅ 形状取得部
３７ｆ 位置特定部
３７ｇ 領域特定部
３７ｈ マスク処理部
３７ｉ 出力部
５０ 基板処理装置
５１ 作業者
５２ 指示者
６０ クリールーム

Claims (15)

  1. 監視対象物が配置された空間を撮影部により撮影した画像データを取得する工程と、
    前記監視対象物を撮影した際の前記空間内での前記撮影部の撮影位置を示す撮影位置データを取得する工程と、
    前記監視対象物の３次元の形状を示す形状情報を取得する工程と、
    前記空間内での前記監視対象物の配置位置を特定する工程と、
    前記撮影位置データ、前記形状情報、及び前記監視対象物の配置位置に基づき、前記撮影位置データが示す撮影位置を視点位置とする前記配置位置に配置された前記監視対象物の形状を特定し、特定結果に基づき、取得した画像データの画像内での前記監視対象物の領域を特定する工程と、
    取得した画像データの画像の、特定した前記監視対象物の領域以外の領域をマスク処理する工程と、
    マスク処理された画像データを出力する工程と、
    を有する画像制限方法。
  2. 前記形状情報を取得する工程は、前記監視対象物を周囲から撮影した画像データから前記監視対象物の３次元の形状を特定し、特定した前記監視対象物の３次元の形状を修正指示に応じて修正して前記形状情報を取得する
    請求項１に記載の画像制限方法。
  3. 前記形状情報を取得する工程は、監視対象物の種類ごとに、当該監視対象物の３次元の形状を示す形状情報を記憶する記憶部から、前記撮影部により撮影される前記監視対象物の種類に応じた形状情報を取得する
    請求項１に記載の画像制限方法。
  4. 前記マスク処理する工程は、前記画像データの画像の前記監視対象物の領域以外の領域を不透過状態とするマスク処理した第１画像データと前記画像データの画像の前記監視対象物の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成し、
    前記出力する工程は、前記第１画像データを前記監視対象物に対する作業を遠隔指示する指示者の端末装置へ出力し、前記第２画像データを表示部へ出力する、
    請求項１～３の何れか１つに記載の画像制限方法。
  5. 前記第１画像データと前記第２画像データは、取得した画像データから監視対象物が配置された現実空間を認識し、仮想空間と前記現実空間を融合して作成された画像データである
    請求項４に記載の画像制限方法。
  6. 前記監視対象物の表示する範囲の指定を受け付ける工程をさらに有し、
    前記マスク処理する工程は、取得した画像データの画像の、受け付けた範囲以外の領域をマスク処理する
    請求項１～５の何れか１つに記載の画像制限方法。
  7. 監視対象物が配置された空間を撮影部により撮影した画像データを取得する工程と、
    前記監視対象物を撮影した際の前記空間内での前記撮影部の撮影位置を示す撮影位置データを取得する工程と、
    前記監視対象物の３次元の形状を示す形状情報を取得する工程と、
    前記空間内での前記監視対象物の配置位置を特定する工程と、
    前記撮影位置データ、前記形状情報、及び前記監視対象物の配置位置に基づき、前記撮影位置データが示す撮影位置を視点位置とする前記配置位置に配置された前記監視対象物の形状を特定し、特定結果に基づき、取得した画像データの画像内での前記監視対象物の領域を特定する工程と、
    取得した画像データの画像の、特定した前記監視対象物の領域以外の領域をマスク処理する工程と、
    マスク処理された画像データを出力する工程と、
    をコンピュータに実行させる画像制限プログラム。
  8. 監視対象物が配置された空間を撮影部により撮影した画像データを取得するように構成される画像取得部と、
    前記監視対象物を撮影した際の前記空間内での前記撮影部の撮影位置を示す撮影位置データを取得するように構成される撮影位置取得部と、
    前記監視対象物の３次元の形状を示す形状情報を取得するように構成される形状取得部と、
    前記空間内での前記監視対象物の配置位置を特定するように構成される位置特定部と、
    前記撮影位置取得部により取得した撮影位置データ、前記形状取得部により取得した形状情報、及び前記位置特定部により特定した前記監視対象物の配置位置に基づき、前記撮影位置データが示す撮影位置を視点位置とする前記配置位置に配置された前記監視対象物の形状を特定し、特定結果に基づき、前記画像取得部により取得した画像データの画像内での前記監視対象物の領域を特定するように構成される領域特定部と、
    前記画像取得部により取得した画像データの画像の、前記領域特定部により特定した前記監視対象物の領域以外の領域をマスク処理するように構成されるマスク処理部と、
    前記マスク処理部によりマスク処理された画像データを出力するように構成される出力部と、
    を有する情報処理装置。
  9. 前記形状取得部は、前記監視対象物を周囲から撮影した画像データから前記監視対象物の３次元の形状を特定し、特定した前記監視対象物の３次元の形状を修正指示に応じて修正して前記形状情報を取得するように構成される
    請求項８に記載の情報処理装置。
  10. 前記形状取得部は、監視対象物の種類ごとに、当該監視対象物の３次元の形状を示す形状情報を記憶する記憶部から、前記撮影部により撮影される前記監視対象物の種類に応じた形状情報を取得するように構成される
    請求項８に記載の情報処理装置。
  11. 前記マスク処理部は、前記画像データの画像の前記監視対象物の領域以外の領域を不透過状態とするマスク処理した第１画像データと前記画像データの画像の前記監視対象物の領域以外の領域を半透過状態とするマスク処理した第２画像データとを生成するように構成され、
    前記出力部は、前記第１画像データを前記監視対象物に対する作業を遠隔指示する指示者の端末装置へ出力し、前記第２画像データを表示部へ出力するように構成される、
    請求項８～１０の何れか１つに記載の情報処理装置。
  12. 前記第１画像データと前記第２画像データは、取得した画像データから監視対象物が配置された現実空間を認識し、仮想空間と前記現実空間を融合して作成された画像データである
    請求項１１に記載の情報処理装置。
  13. 前記監視対象物の表示する範囲の指定を受け付けるように構成される受付部をさらに有し、
    前記マスク処理部は、前記画像取得部により取得した画像データの画像の、前記受付部で受け付けた範囲以外の領域をマスク処理する
    請求項８～１２の何れか１つに記載の情報処理装置。
  14. 前記監視対象物に対して作業する作業者が装着するウェアラブルデバイスと有線又は無線で通信可能とされ、前記ウェアラブルデバイスを制御するように構成された
    請求項８～１３の何れか１つに記載の情報処理装置。
  15. 監視対象物に対して作業する作業者の作業者端末と、前記監視対象物に対する作業を遠隔指示する指示者の端末装置と、前記作業者端末と前記端末装置との通信を中継するサーバ装置と、を有する支援システムであって、
    前記端末装置は、
    監視対象物が配置された空間を撮影部により撮影した画像データを取得する画像取得部と、
    前記監視対象物を撮影した際の前記空間内での前記撮影部の撮影位置を示す撮影位置データを取得する撮影位置取得部と、
    前記監視対象物の３次元の形状を示す形状情報を取得する形状取得部と、
    前記空間内での前記監視対象物の配置位置を特定する位置特定部と、
    前記撮影位置取得部により取得した撮影位置データ、前記形状取得部により取得した形状情報、及び前記位置特定部により特定した前記監視対象物の配置位置に基づき、前記撮影位置データが示す撮影位置を視点位置とする前記配置位置に配置された前記監視対象物の形状を特定し、特定結果に基づき、前記画像取得部により取得した画像データの画像内での前記監視対象物の領域を特定する領域特定部と、
    前記画像取得部により取得した画像データの画像の、前記領域特定部により特定した前記監視対象物の領域以外の領域をマスク処理するマスク処理部と、
    前記マスク処理部によりマスク処理された画像データを出力する出力部と、
    を有し、
    前記サーバ装置は、マスク処理された前記画像データを前記作業者端末へ中継し、
    前記端末装置は、マスク処理された前記画像データを表示する、
    支援システム。
JP2021092364A 2021-06-01 2021-06-01 画像制限方法、画像制限プログラム、情報処理装置及び支援システム Pending JP2022184481A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021092364A JP2022184481A (ja) 2021-06-01 2021-06-01 画像制限方法、画像制限プログラム、情報処理装置及び支援システム
TW111118514A TW202248952A (zh) 2021-06-01 2022-05-18 圖像限制方法、圖像限制程式、資訊處理裝置及支援系統
CN202210577122.1A CN115442582A (zh) 2021-06-01 2022-05-25 图像限制方法、图像限制程序、信息处理装置以及支援系统
US17/804,669 US20220383472A1 (en) 2021-06-01 2022-05-31 Image restriction method, recording medium, information processing apparatus, and support system
KR1020220066869A KR20220162644A (ko) 2021-06-01 2022-05-31 화상 제한 방법, 기록 매체, 정보 처리 장치 및 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021092364A JP2022184481A (ja) 2021-06-01 2021-06-01 画像制限方法、画像制限プログラム、情報処理装置及び支援システム

Publications (1)

Publication Number Publication Date
JP2022184481A true JP2022184481A (ja) 2022-12-13

Family

ID=84193555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021092364A Pending JP2022184481A (ja) 2021-06-01 2021-06-01 画像制限方法、画像制限プログラム、情報処理装置及び支援システム

Country Status (5)

Country Link
US (1) US20220383472A1 (ja)
JP (1) JP2022184481A (ja)
KR (1) KR20220162644A (ja)
CN (1) CN115442582A (ja)
TW (1) TW202248952A (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6725736B1 (ja) 2019-08-29 2020-07-22 株式会社東芝 画像特定システムおよび画像特定方法

Also Published As

Publication number Publication date
US20220383472A1 (en) 2022-12-01
TW202248952A (zh) 2022-12-16
KR20220162644A (ko) 2022-12-08
CN115442582A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
WO2017204081A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
KR102340665B1 (ko) 프라이버시 스크린
CN102682520A (zh) 信息处理设备、信息处理方法和终端设备
EP3857851A1 (en) Methods, systems, and media for indicating a security status of an internet of things device
US11393177B2 (en) Information processing apparatus, information processing method, and program
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
TWI831951B (zh) 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像
JP2018207271A (ja) 端末、画像処理システム、画像処理プログラムおよび画像処理方法
JP5215211B2 (ja) 関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
CN110488489B (zh) 用于头戴式壳体的眼睛登记
US20210400234A1 (en) Information processing apparatus, information processing method, and program
EP3805899A1 (en) Head mounted display system and scene scanning method thereof
JP2022184481A (ja) 画像制限方法、画像制限プログラム、情報処理装置及び支援システム
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
WO2018186004A1 (ja) 電子機器及びその制御方法
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
EP4349432A1 (en) Information processing device and image generation method
WO2020196276A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
JP6950548B2 (ja) 送信プログラム、方法及び装置、並びに画像合成プログラム、方法及び装置
JP6700539B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
WO2020230322A1 (ja) 画像処理装置および画像処理方法
KR20180046044A (ko) 전방위 영상 표시 장치 및 그 표시 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240508