JP2020036295A - 情報処理装置、方法、及びプログラム - Google Patents

情報処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP2020036295A
JP2020036295A JP2018163623A JP2018163623A JP2020036295A JP 2020036295 A JP2020036295 A JP 2020036295A JP 2018163623 A JP2018163623 A JP 2018163623A JP 2018163623 A JP2018163623 A JP 2018163623A JP 2020036295 A JP2020036295 A JP 2020036295A
Authority
JP
Japan
Prior art keywords
information
information processing
display
processing apparatus
progress
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018163623A
Other languages
English (en)
Other versions
JP7227717B2 (ja
Inventor
良樹 岩切
Yoshiki Iwakiri
良樹 岩切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018163623A priority Critical patent/JP7227717B2/ja
Priority to PCT/JP2019/032620 priority patent/WO2020045186A1/ja
Publication of JP2020036295A publication Critical patent/JP2020036295A/ja
Priority to US17/174,863 priority patent/US11627256B2/en
Priority to JP2023018557A priority patent/JP7462085B2/ja
Application granted granted Critical
Publication of JP7227717B2 publication Critical patent/JP7227717B2/ja
Priority to US18/117,510 priority patent/US20230209180A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】マルチカメラシステムの設置・運用において適切にユーザを支援すること。【解決手段】情報処理装置は、複数の機器を含んで構成されるマルチカメラシステムの設置または運用における作業に関するワークフローを定めた情報を保持し、そのワークフローに含まれるプロセスの進捗状況について複数の機器の状態を示す情報を取得し、そのワークフローについて、そのワークフローに含まれるプロセスを示す情報とプロセスの進捗状況の情報とを含んだ画面を、表示装置に表示させる。【選択図】 図5

Description

本発明は、複数の機器を用いるシステムの設置・運用技術に関する。
異なる位置に設置した複数の撮像装置により複数の方向から同期して被写体を撮像し、その撮像により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。仮想視点画像によれば、撮像装置の位置と異なる様々な視点での画像の視聴を可能とするため、ユーザに高臨場感を与えることができる。一方、仮想視点画像を生成するには、複数の撮像装置が使用されるため、単一の撮像装置による撮像と比較して煩雑かつ多数の処理手順を実行する必要がある。特許文献1には、仮想視点画像を観察する視点を容易に選択可能とするUI(ユーザインタフェース)が記載されている。
特開2014−215828号公報
特許文献1に記載の技術では、用意された仮想視点画像を視聴する際の処理を簡素化することができるが、仮想視点画像を用意するための処理手順について言及されておらず、また、仮想視点画像を生成することができない状態についても想定されていない。このため、仮想視点画像の生成のため等のマルチカメラシステムを構成する複数の撮像装置やその他の装置の設営や撤去、運用などについては煩雑なままであり、作業員(ユーザ)の負担を軽減することはできないという課題があった。
本発明は、マルチカメラシステムの設置・運用におけるユーザ支援技術を提供する。
本発明の一態様による情報処理装置は、複数の機器を含んで構成されるマルチカメラシステムの設置と運用とにおける作業に関するワークフローを定めた情報を保持する保持手段と、前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況との情報を含んだ画面を、表示装置に表示させる表示制御手段と、を有する。
本発明によれば、マルチカメラシステムの設置・運用において適切にユーザを支援することができる。
情報表示システムの構成例を示す図である。 撮像装置の配置を示す図である。 撮像装置の構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置の機能構成例を示す図である。 ワークフロー定義情報の例を示す図である。 ワークフロー管理情報の例を示す図である。 ワークフローUI表示の処理の流れの例を示す図である。 ワークフローUIの一例を示す図である。 警告UIの一例を示す図である。 ワークフローUIの一例を示す図である。 ワークフロー定義情報の例を示す図である。 異常発生通知を取得した場合の処理の流れの例を示す図である。 ワークフローUIの一例を示す図である。
以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の実施形態は本発明を実施する態様の一例に過ぎず、説明される装置構成や処理の流れは、適宜変更されうる。例えば、装置を構成する機能ブロックやハードウェアブロックは、説明される態様に限定されず、一部のブロックが省略され若しくは他のブロックが追加され、又は、一部のブロックが他のブロックと組み合わされて1つのブロックとして構成されうる。また、処理ステップの一部が省略され若しくは他のステップが追加され、複数の処理ステップが1つの処理ステップによって実行されてもよい。
ここで説明する実施形態では、仮想視点画像を生成するために複数の撮像装置が設置されるマルチカメラシステムを例として説明する。そして、このようなマルチカメラシステムの設営や撤去、運用等について、作業員等のユーザによって適切な処理が行われるように誘導するために、ユーザが実行すべき処理のガイドや誤った処理が行われた場合の警告などの情報をユーザに分かりやすく表示する。これにより、マルチカメラシステムを設営、撤去、運用等を行う際に、ユーザが手順を間違える等の不適切な処理が行われるのを防ぐことが可能となる。なお、マルチカメラシステムは、仮想視点画像の生成に用いられてもよいが、仮想視点画像の生成以外の用途で用いられるシステムであってもよい。ここで、本実施形態において、「画像」とは、静止画像と動画像(映像)を含む。また、以下で説明する撮像装置等の機材を、任意のシステムで用いられる任意の機材に置き換えることによって、多数の機材を用いて所定のサービスを提供する任意のシステムに対して、以下の議論を適用することができる。
図1に、本実施形態に係る情報表示システムの構成例を示す。本情報表示システムは、複数の撮像装置101−1〜101−mを含んだ撮像装置群100と、HUB120と、仮想視点画像生成装置140と、情報処理装置160とを有する。各々の装置は、例えば、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルは、例えば、Ethernet(登録商標)規格に準拠したGbE(Gigabit Ethernet)や10GbEであるが、これらに限定されず、他の種別のケーブルが用いられてもよい。また、各々の装置は無線通信を行ってもよく、ケーブルによる有線通信が行われなくてもよいし、無線通信と有線通信とが並行して行われてもよい。
上述のように、撮像装置群100は、複数(m個)の撮像装置(撮像装置101−1〜101−m)を含む。以下では、特定の撮像装置を指す必要がない場合には、これらの撮像装置を撮像装置101−xと呼ぶ。なお、mやxなど、101の後に付される値は整数である。相互に隣接する位置にある2つの撮像装置101−x(例えば、撮像装置101−1と撮像装置101−2)は、伝送ケーブルを介して相互に直接接続されうる。なお、この直接接続される2つの撮像装置101−xは、物理的に隣接している必要はなく、これらの2つの撮像装置101−xの間に、別の撮像装置101−xが配置されてもよい。例えば、複数の撮像装置が、それぞれ撮像対象(視点)が異なる点に設定された複数のグループに分類されてもよく、この場合に、グループ内の撮像装置101−xが直接接続され、異なるグループの撮像装置101−xが直接接続されないように構成されうる。撮像装置101−xは、撮像画像や情報処理装置160から受信した要求の処理結果を、仮想視点画像生成装置140および情報処理装置160へ伝送する。撮像装置101−2は、図1に示すように撮像装置101−1と接続されると共に、撮像装置101−1と反対側において隣接する不図示の撮像装置101−3と直接接続される。このようにして、撮像装置101−kは、2つの隣接する撮像装置である撮像装置101−(k−1)及び撮像装置101−(k+1)と直接接続されうる。なお、この接続における端部に位置する撮像装置(例えば撮像装置101−1)と、HUB120と直接接続する撮像装置(例えば撮像装置101−n)とについては、この限りでない。すなわち、これらの撮像装置は、2つの他の撮像装置と接続されるのではなく、1つの他の撮像装置と接続される。このように、複数の撮像装置101−xは、デイジーチェーン接続される。なお、複数の撮像装置101−xは、例えば上述のように撮像対象等によってグループ分けされ、グループごとにデイジーチェーン接続されうる。この場合、第1のグループに属する撮像装置101−xは、第1のグループと異なる第2のグループの撮像装置101−xと、HUB120を介さずには接続されないように構成されうる。図1の例では、このようなグループが2つ存在し、撮像装置101−1〜撮像装置101−nまでのグループと、撮像装置101−(n+1)から撮像装置101−mまでのグループとに対して、それぞれ別個のデイジーチェーンが構成される。なお、この接続形態は一例に過ぎず、異なるグループの撮像装置が1つのデイジーチェーンによって接続されてもよい。また、図1では、グループの数が2つの場合の例を示しているが、グループ分けが行われずに全ての撮像装置が1つのデイジーチェーンを構成してもよいし、3つ以上のグループが設けられてもよい。また、複数の撮像装置101−x相互の接続は、デイジーチェーンの形式で行われなければならないわけではなく、環形(リング型)、メッシュ型、スター型、バス型、ツリー型、又はこれらの組み合わせ等の任意の形式で行われてもよい。また、グループ分けは、例えば物理的に近距離に配置された撮像装置が同じグループに属するようにするなど、この他の任意の基準によって行われてもよい。
撮像装置101−xは、一例において、サッカー場等の競技場や特定の被写体を取り囲むように配置される。図2は、撮像装置101−xの配置の一例を示す図である。図2の例では、サッカー場等の競技場の全てまたは一部の範囲が撮像されるように、複数の撮像装置101−xが配置される。
図3に、撮像装置101−xの構成例を示す。撮像装置101−xは、カメラ301、レンズ302、雲台303、画像処理装置304を有する。カメラ301は、例えばデジタルカメラであり、装着されたレンズ302と協働して撮像を行い、画像データを生成する。また、カメラ301は、例えば、画像処理装置304とSDI(Serial Digital Interface)ケーブルで接続される。そして、カメラ301は、画像処理装置304から制御信号や同期信号を受信し、撮像によって得られた画像データを画像処理装置304へ送信する。カメラ301は、画像処理装置304から受信した同期信号に基づいて撮像を行う。なお、同期信号は、複数の撮像装置101−xが、同じタイミングで撮像を行うようにするための信号であり、これにより、全ての撮像装置101−xが同一の又は略同一のタイミングで撮像を行うことができる。なお、カメラ301と画像処理装置304との間のケーブルは、制御信号や同期信号、画像信号を送信可能である限りにおいて、SDIケーブル以外のケーブルであってもよい。雲台303は、カメラ301の気体の角度を調整する。また、雲台303は、例えば、画像処理装置304とシリアルケーブルで接続される。雲台303は、画像処理装置304からパン方向とチルト方向の角度データを受信し、受信した角度データに基づいて、カメラ301の機体の角度の調整を行う。なお、雲台303と画像処理装置304との間のケーブルは、角度データを送信可能である限りにおいて、シリアルケーブル以外のケーブルであってもよい。画像処理装置304は、情報処理装置160から制御信号を取得し、カメラ301やレンズ302、雲台303へ制御信号を出力する。また、画像処理装置304は、カメラ301から受信した撮像画像を、伝送ケーブルを介して仮想視点画像生成装置140へ送信する。さらに、画像処理装置304は、出力した制御信号の処理が正常に完了したか、異常で終了したかを示す制御応答信号を情報処理装置160へ送信する。
図1に戻り、仮想視点画像生成装置140は、HUB120に接続されており、HUB120を介して撮像装置101−xと通信可能に構成され、撮像装置101−xにより撮像された画像を蓄積する。仮想視点画像生成装置140は、例えば、蓄積した画像に基づいて、被写体や背景の三次元形状データを生成し、仮想視点画像の生成のための準備を行いうる。そして、仮想視点画像生成装置140は、ユーザ端末の操作によって仮想視点情報が入力された場合、複数の撮像装置101−xによって撮像された画像を用いて、入力された仮想視点情報に対応する仮想視点画像を生成する。ここで、仮想視点情報とは、位置情報と方向情報とが少なくとも含まれ、どの位置からどの方向を向いて被写体を観察するかを指定する情報である。位置情報は、競技場の中央などの所定位置に対する相対的な位置(例えば、所定位置を基準とした場合の、前後方向、左右方向、および左右方向の位置)を示す情報である。方向情報は、その所定位置からの向き(例えば、所定の方向を基準方向とし、前後方向、左右方向、上下方向を軸とする3次元直交座標系での各軸からの角度)を示す情報である。仮想視点画像生成装置140は、例えば、サーバ装置である。仮想視点画像生成装置140は、例えば、複数の撮像装置101−xのそれぞれによって撮像された画像を保存するデータベース機能と、それらの撮像装置101−xが配置された位置や撮像を行った向きの情報を管理する機能を有する。そして、仮想視点画像生成装置140は、その管理している情報に基づいて、保存した画像を用いて仮想視点画像を生成する画像処理機能を有する。なお、仮想視点画像生成装置140のデータベース機能は、競技の開始前の競技会場の場面など、被写体が存在しない状態の競技会場の場面が撮像された画像を、背景画像データとして予め保持しうる。
情報処理装置160は、HUB120に接続され、HUB120を介して撮像装置101−xや仮想視点画像生成装置140と通信可能に構成される。情報処理装置160は、撮像装置101−xによって撮像された撮像画像や撮像装置101−xの状態情報を受信し、表示画面に表示するための処理を実行する。また、情報処理装置160は、仮想視点画像生成装置140の状態情報をも受信し、表示画面に表示するための処理を実行する。本システムの看視者は、情報処理装置160による処理によって表示画面に表示された撮像画像等を用いて、撮像装置群100や仮想視点画像生成装置140の状態を定常的に監視することができる。また、情報処理装置160は、システムの設置から撮像までで実行すべき作業を示すワークフローを表示し、その作業についての、完了、未完了、又は現在処理中等の処理の進捗状況の情報を表示するための処理を実行しうる。また、情報処理装置160は、完了した処理が正常な状態であるか異常な状態であるかを示す情報を表示するための処理を実行しうる。これらの表示内容については後述する。
HUB120は、撮像装置群100と、仮想視点画像生成装置140と、情報処理装置160との間の通信を中継する。HUB120は、例えば、複数の撮像装置101−xから出力された撮像画像を、仮想視点画像生成装置140と情報処理装置160とへ転送する。これにより、仮想視点画像生成装置140と情報処理装置160は、同一の撮像画像を取得することができる。
続いて、情報処理装置160の構成例について説明する。図4は、情報処理装置160のハードウェアの構成例を示す図である。情報処理装置160は、そのハードウェア構成として、例えば、コントローラユニット401、操作ユニット410、および表示装置420を含んで構成される。なお、情報処理装置160は、例えば操作ユニット410や表示装置420を含まずに構成されてもよい。例えば、情報処理装置160は、外付けのキーボード等の操作機器からユーザ操作を示すコマンドを受け付けて処理を実行し、外付けのディスプレイ等に画面表示させるための画面データを出力するように構成されてもよい。また、情報処理装置160は、ネットワーク上に配置されたサーバ等であってもよく、1つ以上の操作端末からネットワークを介して操作コマンドを受信し、1つ以上のディスプレイにネットワークを介して画面データを送信してもよい。
コントローラユニット401は、例えば、CPU402、ROM403、RAM404、HDD405、操作部I/F406、表示部I/F407、及び通信I/F408を含んで構成される。なお、HDDはHard Disk Driveの頭字語であり、I/Fはインタフェースの略語である。CPU402、ROM403、RAM404、操作部I/F406、表示部I/F407、及び通信I/F408は、システムバス409を介して相互に接続される。
CPU402は、ROM403に格納されているブートプログラムにより、OS(Operating System)を起動する。そして、CPU402は、このOS上で、HDD405等に格納されているアプリケーションプログラムを実行する。CPU402は、アプリケーションプログラムの実行によって各種処理を実現する。RAM404は、CPU402の作業領域等として用いられる。HDD405は、上述のアプリケーションプログラムなどを格納する。
操作部I/F406は、操作ユニット410からユーザ操作を示す情報を受け付け、必要に応じて操作ユニット410に情報を出力することによりユーザ操作制御を行うインタフェースである。操作部I/F406は、操作ユニット410が受け付けたシステム監視者によるユーザ操作を示す情報を、操作ユニット410から取得し、その情報をCPU402に出力する。操作ユニット410は、例えば、マウスやキーボード等のユーザ操作を受け付ける機器によって構成される。ただし、これに限られず、ユーザのジェスチャや視線を検出するセンサや、操作子の動きを検出するセンサなど、ユーザ操作を受け付けることが可能な任意の機器が操作ユニット410として用いられてもよい。
表示部I/F407は、表示装置420に表示させるべき画像データを、表示装置420に対して出力し、必要に応じて表示装置420から情報を受け付けることにより画面表示制御を行うインタフェースである。表示装置420は、コンピュータディスプレイでありうる。なお、操作ユニット410と表示装置420は、例えば、タッチパネルディスプレイ等の1つの装置によって構成されてもよい。また、本実施形態では、情報提示が画面表示により行われるものとするが、音声出力や振動出力など様々な方法で情報提示が行われてもよい。この場合、表示部I/F407は、出力すべき音声データや振動パターンの情報を、外部のスピーカや振動子に対して出力しうる。
通信I/F408は、例えば伝送ケーブルを介して、他の装置と接続して通信するためのインタフェースである。通信I/F408は、外部装置(例えばユーザ端末や、図1のHUB120及び情報処理装置160)との間で、通信により情報の入出力を行う。通信I/F408は、有線通信I/Fでありうるが、無線通信I/Fであってもよい。
図5に、情報処理装置160の機能構成例を示す。情報処理装置160は、データ記録部501、ユーザ入力部502、制御部503、通信部504、ワークフロー管理部505、UI画像生成部506、表示部507、及び、異常検出部508を有する。これらの機能部は、相互に論理的に接続され、制御部503による制御の下で、相互にデータを送受信することができる。なお、データ記録部501は、HDD405にデータを記録し、制御部503とワークフロー管理部505とUI画像生成部506は、CPU402の処理によって処理を行う。また、ユーザ入力部502は操作部I/F406によってユーザ入力を示す情報を取得し、通信部504は通信I/F408によって外部の装置と通信を行う。表示部507は、表示部I/F407を介して表示装置420に情報を表示させる。
データ記録部501は、システムの設置から撮像に至るまでの手順や進捗状況を示すワークフロー定義情報を保持する。ワークフロー定義情報は、「ID」、「カテゴリ」、「プロセス」、及び「要求」の少なくともいずれかの情報を含む。ここで、「カテゴリ」は、設置から撮像までの手順をグルーピングした項目を示し、「プロセス」は、カテゴリに属する処理項目を示し、「要求」は、プロセスに対応する処理の詳細であって、情報処理装置160が撮像装置101−xへ要求する処理内容を示す。また、「ID」は、これらの項目の組み合わせに対して一意に割り当てられる識別情報であり、プロセスの実行順に対応するデータである。「ID」は、例えば、最初に実行すべきプロセスに対して「1」が割り当てられ、順に、「2」、「3」、…と増加する値でありうる。
図6に、ワークフロー定義情報の例を示す。本例におけるワークフロー定義情報は、撮像システムの設置から撮像に至るまでの14個の処理の内容と順序とを定義している。各処理が「プロセス」として定義され、1つの「カテゴリ」が1つ以上の「プロセス」のグループを含む。また、各「プロセス」には、情報処理装置160が撮像装置101−xへ要求する制御内容として、「要求」が定義されている。図6に示すように、本例のワークフロー定義情報は、「機器接続」、「同期」、「画角調整」、「露出調整」、「キャリブレーション(CAL)」カテゴリが定義されている。
機器接続カテゴリに対しては、「カメラ」、「レンズ」、「雲台」を含んだプロセスのグループが定義されている。これらのプロセスは、撮像装置101−xのそれぞれについて、カメラ、レンズ、及び雲台が接続されているかを確認する処理である。本処理では、単に機器が存在していて接続されていることを確認する処理が実行されうるが、撮像装置101−xごとに機器の種別の確認等、他の処理が実行されてもよい。例えば、撮像システムにおいて複数種類のカメラが用いられる場合に、「撮像装置101−1に種別Aのカメラが接続されている」等の確認処理が実行されてもよい。また、撮像装置101−xごとに、機器のIDが確認されてもよい。例えば、撮像システムに用いられるカメラごとにユニークにシリアルIDが定義され、撮像装置101−1にID=001のカメラが接続されていることの確認が行われてもよい。仮想視点画像撮像システムは膨大な機器を扱うため、機材の管理は非常に重要である。これに対して、情報処理装置160は、これらのプロセスにより、機器の台数の確認や所望の機材が接続されているか否かを確認することができる。
同期カテゴリに対しては、「同期」のプロセスが定義されている。仮想視点画像を生成するためには、全ての撮像装置101−xのカメラ301が同期して撮像を行う必要がある。このため、情報処理装置160は、本プロセスによって、全ての撮像装置101−xの画像処理装置304へ同期信号出力要求を行い、多数のカメラ301が同期するための同期信号を出力させる。
画角調整カテゴリに対しては、「雲台角度」、「ズーム」、「フォーカス」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、複数のカメラ301が同じ領域をボケなく撮像する必要がある。このため、情報処理装置160は、これらのプロセスにおいて、雲台の角度を調整することによってカメラの向きを指定し、ズーム調整によってカメラの撮像範囲を定め、フォーカス調整によってボケをなくすための要求信号を出力する。
露出調整カテゴリに対しては、「ISO」、「アイリス」、「シャッター」、「ND」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置101−xのカメラ301の撮像画像が同じ明度である必要がある。そのため、情報処理装置160は、これらのプロセスによって、露出に関する調整を要求する信号を出力する。
キャリブレーション(CAL)カテゴリに対しては、「撮像」、「計算」、「設定」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置101−xのカメラ301がどの位置にどのような向きで設置され、どのようなレンズ歪みを持っているかを管理する必要がある。この管理データを、以下では「CALパラメータ」と呼ぶ。CALパラメータは、全てのカメラ301によって同時刻に撮像を実行し、その撮像画像を解析して特徴点の位置を抽出して計算を行うことによって特定される。CALパラメータは、世界座標系で表された3次元点を画像上にマップする方法を利用して算出されうる。情報処理装置160は、算出したCALパラメータを用いて、全ての撮像装置101−xの画像処理装置304の設定を行う。
なお、本例では14個のプロセスと5個のカテゴリが定義されているが、プロセスとカテゴリの個数及び内容については任意に設定可能であり、特に限定されない。例えば、上述の処理は、仮想視点画像を生成するシステムに関するものであるが、仮想視点画像と関係しないマルチカメラシステムが、その用途を果たすために必要なプロセス及びカテゴリが定義されてもよい。また、複数の撮像装置を用いることも必須ではなく、多数の機材を用いるシステムの設置や運用等のために、プロセスとカテゴリが定義されてもよい。なお、情報処理装置160は、データ記録部501を内包している必要はなく、データ記録部501は、情報処理装置160の外部の記録装置によって実現されてもよい。また、データ記録部501は、撮像装置101−xに関する情報を保持する部分について、各々の撮像装置101−x内に実装されてもよい。データ記録部501は、例えば撮像装置101−x及び情報処理装置160に機能ごとに分けて実装されるなど、複数の装置に分散して実装されてもよい。
図5に戻り、ユーザ入力部502は、操作ユニット410によって受け付けられたユーザ操作の情報を受け付け、制御部503に出力する。
制御部503は、情報処理装置160の各部に制御指示を出力する。例えば、制御部503は、ユーザ入力部502からの操作情報に基づいて、撮像装置101−xへの要求内容を決定し、通信部504へ要求内容を出力する。また、制御部503は、撮像に向けたシステムの進捗状況をUI(ユーザインタフェース)画面に表示させるために、ワークフロー管理部505に対しても同様に、要求内容を送信する。また、制御部503は、撮像装置101−xへ出力した要求の処理結果を示す要求応答情報を、通信部504を介して受信し、ワークフロー管理部505に対して、その要求応答情報を出力しうる。
通信部504は、制御部503からの要求情報を取得し、他の装置へ送信可能な信号形式へその要求情報を変換して、撮像装置101−xのそれぞれに対して送信する。また、通信部504は、撮像装置101−xのそれぞれから信号を受信してその信号に含まれる要求応答情報を抽出し、抽出した要求応答情報を制御部503へ出力する。また、通信部504は、撮像装置101−xのそれぞれから受信した信号から機器情報を取得して、その機器情報を異常検出部508へ出力する。ここで、機器情報は、撮像装置の設定値、外光センサ値、ジャイロセンサ値の少なくともいずれか等の情報を含みうる。
ワークフロー管理部505は、制御部503から要求情報及び要求応答情報を取得し、それらの情報に応じてワークフロー管理情報を更新し、その後に、更新したワークフロー管理情報をUI画像生成部506へ送信する。図7に、ワークフロー管理情報の一例を示す。ワークフロー管理情報は、プロセスごとの、未実行、実行中、正常終了、異常終了の4種類の状態のいずれの状態であるかを示す情報を含む。状態遷移については後述する。
UI画像生成部506は、ワークフロー管理部505から取得したワークフロー管理情報に基づいてUI画像を生成し、表示部507へ出力する。
表示部507は、UI画像生成部506から出力された表示イメージを、不図示のフレームバッファに上書きする。そして、表示部507は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して、表示装置420に表示させる。
異常検出部508は、通信部504から機器情報を取得し、動作が異常な機器がないかを監視する。異常検出部508は、機器の異常発生を検出すると、ワークフロー管理部505へ異常通知を出力する。
(システムの設置・運用時の処理の流れの例)
続いて、情報処理装置160が実行する処理の流れの例について説明する。本処理では、情報処理装置160は、仮想視点画像を生成するために多数の撮像装置が設置されてから撮像が開始されるまでの手順をユーザがもれなく実行することを支援するためのUI画面を表示する。
図8に、本処理の流れの例を示す。本処理は、例えばCPU402がHDD405に記憶されているプログラムを実行することによって実現されうる。なお、以下では、図5の機能構成を用いて処理の流れについて説明する。
本処理では、ワークフロー管理部505は、まず、データ記録部501からワークフロー定義情報を読み込み(S801)、ワークフロー管理情報を生成する。ワークフロー管理部505は、例えば、ワークフロー定義情報の中からカテゴリとプロセスの情報を抽出し、各プロセスの状態を「未実行」に設定して管理する。その後、ワークフロー管理部505は、作成したワークフロー管理情報をUI画像生成部506へ出力し、UI画像生成部506は、ワークフロー管理情報に基づいてワークフローUIを生成して表示する(S802)。なお、ワークフロー定義情報は、ユーザ操作によって手動入力されてもよい。また、複数のシステムに対応するワークフロー管理情報が事前に定義されてデータ記録部501に記録され、ワークフロー管理部505は、その複数のシステムの中からユーザによって選択されたシステムに対応するワークフロー定義情報を読み出してもよい。また、ワークフロー管理部505は、例えば所定のアプリケーションが起動されたことに応じて、そのアプリケーションに対応するワークフロー管理情報をデータ記録部501から読み出してもよい。また、情報処理装置160が所定のシステム専用である場合、ワークフロー管理部505は、情報処理装置160が起動したことによって、一切のユーザ操作を受け付けることなく、所定のワークフロー管理情報をデータ記録部501から読み出してもよい。
図9は、図6のワークフロー定義情報に基づいて、ワークフロー管理情報が生成された時点のワークフローUI表示の一例である。このワークフローUIはS802において初期表示される。図9の表示のうち、上段にはワークフローに含まれるカテゴリの情報が一覧表示されている。また、下段にはワークフローに含まれるプロセスの情報が一覧表示されており、これらのプロセスの情報は、そのプロセスが属するカテゴリの下部に表示されている。カテゴリの情報とプロセスの情報との間には、カテゴリの進捗状態を表示するステータスバー901が配置され、プロセスの情報の下部にはそのプロセスの進捗状態を表示するステータスバー902が配置される。これらのステータスバーによって、未実行/実行中/正常終了/異常終了の4状態が表現される。なお、ワークフローUIは、例えば初期表示においては、カテゴリのみ表示され、カテゴリが選択されたことに応じて、そのカテゴリに属するプロセスが表示されるようにしてもよい。すなわち、例えば、ユーザは、実行中のまま正常終了に移行しないカテゴリなどについては選択して状況を把握し、正常終了したカテゴリについては詳細を知る必要がない場合がある。このような場合に、表示を簡素化して、ユーザが状態を大まかに把握することを容易にすることができる。また、進捗状態の表示においては、図9のように、カテゴリやプロセスの名称を示す領域とは別個にステータスバー等の進捗状況を示す領域が用意されてもよいが、これに限られない。例えばカテゴリやプロセスを示す文字/枠の色/大きさの変更や点滅表示などが利用されてもよく、ユーザが状態を判断可能な表示が行われる限りにおいて、ステータスバー表示が用いられなくてもよい。
図8に戻り、ワークフロー管理部505は、制御部503から要求情報が届くのを待ち受ける(S803)。ここでは、一例として、図7に示すワークフロー管理情報の例に基づいて、機器接続のレンズプロセスまで正常終了している進捗状況である場合について説明する。ワークフロー管理部505は、制御部503から要求情報を取得すると(S803でYES)、その時点で完了しているべきプロセスのうち「正常終了」以外(「未実行」、「実行中」、「異常終了」)のプロセスが存在するかを確認する(S804)。そして、ワークフロー管理部505は、正常終了状態でないプロセスが存在すると判定した場合(S804でYES)、警告UIを表示して(S805)、要求待ち状態(S803)へと遷移する。例えば、ワークフロー管理部505は、制御部503から同期設定の要求情報を取得した場合、ワークフロー管理情報によって現在の進捗を確認する。そして、ワークフロー管理部505は、雲台プロセスが「未実行」であることを検出すると、正常終了以外のプロセスが存在すると判定し、警告UIを表示するようにUI画像生成部506へ要求する。
図10に、警告UI表示の一例を示す。情報処理装置160の操作者は、この警告UIを視認することにより、未完了のプロセスが存在することを認知することができる。これにより、作業者が、ワークフローの手順を漏れなく実行することが可能となる。なお、警告UIの表示内容は、未完了のプロセスがあることをユーザが認知できるものであれば、図10の内容に限定されない。また、この通知は、音声ガイダンスやビープ音といった音によって行われてもよく、UI表示によって行われる必要はない。
一方、ワークフロー管理部505は、それまでに完了しているべきプロセスの全てが正常終了している場合(S804でNO)、要求情報に対応するプロセスの状態を実行中の状態へと変更する。そして、ワークフロー管理部505は、このプロセスについて実行中であることを表示するようにUI画像生成部506へ要求する(S806)。その後、ワークフロー管理部505は、制御部503から要求応答情報を受信するのを待ち受ける(S807)。ワークフロー管理部505は、要求応答情報を受信すると(S807でYES)、その要求応答情報に基づいて、S803の要求が正常終了したか否かを判定する(S808)。ワークフロー管理部505は、要求が正常終了したと判定した場合(S808でYES)、その要求に対応するプロセスの状態の情報を正常終了状態へと変更する。そして、ワークフロー管理部505は、そのプロセスについて「正常終了」したことを表示するようにUI画像生成部506へ要求する(S809)。一方、ワークフロー管理部505は、S803の要求が異常終了したと判定した場合(S808でNO)、その要求に対応するプロセスの状態の情報を異常終了状態へと変更する。この場合、ワークフロー管理部505は、そのプロセスが「異常終了」したことを表示するようにUI画像生成部506へ要求する(S810)。その後、ワークフロー管理部505は、カテゴリの表示を変更すべきか否かを判定する(S811)。そして、ワークフロー管理部505は、表示を変更すべきと判定した場合(S811でYES)は、要求に対応するカテゴリについて正常終了したことを表示するようにUI画像生成部506へ要求する(S812)。一方、ワークフロー管理部505は、カテゴリの表示を変更すべきでないと判定した場合(S811でNO)は、要求情報の待受け状態へと戻る。
図11(A)〜図11(D)に、ワークフローUI表示の一例を示す。なお、図11(A)〜図11(D)には、説明を簡単にするために、機器接続カテゴリのUI表示の例のみが図解されている。図11(A)は、レンズプロセスまで正常終了しており、雲台プロセスが未実行の進捗状況を示している。進捗状態が未実行の場合、ステータスバーは白色で表示される。図11(B)は、制御部503から雲台接続確認要求が取得された後に、雲台プロセスが実行中の進捗状況へと遷移した際の表示例である。進捗状態が実行中の場合、ステータスバーは、例えば第1の所定色(例えば灰色)の明滅表示となる。次に、図11(C)は、制御部503から取得された要求応答情報によってプロセスが異常終了したことが示されたことに応じて、雲台プロセスの進捗状況が異常終了へと遷移した場合の表示例を示している。進捗状態が異常終了となった場合、ステータスバーは、例えば第2の所定色(例えば赤色)で表示される。この表示により、情報処理装置160の操作者は、雲台接続ができなかったことを認識することができ、画像処理装置304と雲台303との間のケーブルが接続されているか、雲台の電源が入っているか等の対応をとることができる。図11(D)は、制御部503から取得された要求応答情報によってプロセスが正常終了したこと示されたことに応じて、雲台プロセスの進捗状況が正常終了へと遷移した場合の表示例を示している。進捗状態が正常終了となった場合、ステータスバーはカメラ等の正常終了状態となったプロセスのステータスバーと同色で表示される。また、カテゴリに属する全プロセスが正常終了状態であることをワークフロー管理部505が確認すると、UI画像生成部506は、正常終了状態を示すようにカテゴリのステータスバーの状態を変更しうる。なお、ステータスバーの表示については、上述のものに限定されず、バー(進捗状況を示すアイコン・領域)の色やサイズ、模様、アニメーションの少なくともいずれか等の任意の態様によって、進捗状況を区別可能に表示してもよい。
情報処理装置160の操作者は、ワークフローUIの進捗状況を見て適切なプロセスを確認し、操作ユニット410を操作することにより、プロセスに対応する要求を実行しうる。一例において、操作ユニット410のキーボードの各キーに対してそれぞれ別個のプロセスが対応付けられ、ユーザは、選択対象のプロセスに対応するキーを押下することによって、そのプロセスに対応する要求を実行することができる。なお、この要求の実行は、キーボードのキー入力に限定されず、例えばワークフローUIの各プロセスの表示部分がボタンとなっており、ユーザがマウス操作によりそのボタンを押下することにより、そのプロセスの要求が実行されるようにしてもよい。また、情報処理装置160は、音声認識機能を有し、操作者の声による音声入力により、この要求を実行してもよい。これ以外にも、要求の実行の指示を受付可能な任意の方法が用いられてもよい。
なお、プロセスの進捗状況を、ユーザ入力によって任意に変更可能としてもよい。例えば、上述の説明では、露出調整を情報処理装置160が実行するワークフローとなっているが、カメラ301において直接設定されてもよく、この場合には、情報処理装置160からの設定が行われる必要がない。このとき、ユーザ入力によって露出調整のプロセスの進捗状況を全て正常終了へ遷移させることにより、露出調整処理をスキップすることができる。
以上のように、上述の処理では、情報処理装置160は、ワークフローUIによってプロセスの順序を表示すると共に、その進捗表示を容易に判別することができるように表示することで、ユーザによるシステムの設置・運用を効率的に支援することができる。ユーザは、このワークフローUIにより、次に実行すべき処理を容易に把握し、誤った操作を行うこと又は次に実行すべき処理の誤認が発生することを防ぐことができる。このため、ユーザは、表示されたプロセス順に沿ってプロセスに対応する要求を実行していくことにより、設置から撮像に向けた複雑な手順を、迷わずに、かつ、漏れなく実行することができ、システムを確実に稼働させることができるようになる。
(異常発生時の処理の流れの例)
次に、設置から撮像に向けて処理する最中に異常が発生した場合に、復旧に必要な処理を簡単に漏れなく実行するためのUIを表示する例を説明する。
本処理のために、データ記録部501が記憶するワークフロー定義情報には、上述の情報に加えて、異常が影響を与えるプロセスに対して定義される以上内容の情報が含まれる。図12に、この場合のワークフロー定義情報の例を示す。本例では、図6と同様に14個のプロセスと5個のカテゴリが示されており、図6の情報に加えて、プロセスごとに、異常発生時に再度実行すべき処理を定義する異常情報を含んでいる。まず、各異常情報の詳細について説明する。
カメラ切断、レンズ切断、雲台切断は、撮像装置101−x内の画像処理装置304と各機器との接続が切断されたことを指す。これらの異常のことを以下では「切断異常」と総称する。切断異常は、機器接続カテゴリのプロセスに影響を及ぼすが、他のプロセスには影響を与えないため、機器接続カテゴリ内の各プロセスに対してのみ定義される。同期異常は、撮像装置101−x内の画像処理装置304から送出された同期信号がカメラ301へ届かないことや、同期信号の情報が誤っている状態であることを指す。同期異常は、同期プロセスに影響を及ぼすが、他のプロセスには影響を与えないため、同期カテゴリに対してのみ定義される。
カメラ移動、ズームレンズ移動、フォーカスレンズ移動、機体振動は、総じて画角ずれ異常である。仮想視点画像を生成するためには、複数の撮像装置101−xが同じ空間領域を撮像する必要がある。このため、事前に複数の撮像装置101−xのそれぞれの位置やカメラ向き、焦点距離を、予め計算によって決定しておく必要がある。すなわち、画角調整は、撮像装置101−xを事前に求めた設置状態へ設定することを指し、一度設置した状態から設置状態がずれた場合は異常として検出される。カメラ移動は、例えば人の手によりカメラ301の姿勢が調整されることや、ボールなどの物体がカメラ301や雲台303に衝突したこと等の外力によりカメラ301が動いてしまったことを指す。ズームレンズ移動は、ズームレンズが移動することにより、焦点距離が変わり撮像範囲が変化したことを指す。フォーカスレンズ移動は、フォーカスレンズが移動することによりピントがずれたことを指す。機体振動は、雲台303の設置治具の取り付け不良や、雲台303とカメラ301と間の設置治具の取り付け不良により、カメラ301が微小に動いてしまっていることを指す。これらの画角ずれ異常は、画角調整カテゴリとキャリブレーションカテゴリの各プロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
ISO値変動、アイリス値変動、シャッター値変動、NDフィルタ値変動、外光変化は、総じて露出異常である。仮想視点画像は、複数の撮像画像が合成されることにより作成されるため、露出の異なるカメラ301があると、仮想視点画像の品位が低下する。ISO値変動、アイリス値変動、シャッター値変動、NDフィルタ値変動は、少なくとも一部のカメラ301の設定値が他のカメラ301の設定値と異なっている状態であることを指す。外光変化は、会場の屋根の開閉や雲の移動による日照変化により周囲環境の明るさが変化することを指す。露出異常は、アイリス値変動以外は、露出調整プロセスにのみ影響を及ぼすため、露出調整プロセスに対してのみ定義される。一方、アイリス値変動は、被写界深度に影響を与えるためキャリブレーションプロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
異常情報の定義内容は、異常検出部508の異常検出処理にも適用される。すなわち、異常検出部508は、撮像装置101−xにおける画像処理装置304と各機器との接続状態を監視しており、これらの切断を検出すると、切断異常の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101−x内で画像処理装置304からカメラ301へ出力する同期信号の状態を監視し、同期信号が正常でない状態を検出した場合に同期異常の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101−xのカメラ301に搭載されているジャイロセンサの値を取得し、カメラ301の姿勢変化を監視する。異常検出部508は、姿勢変化を検出した場合に、カメラ移動の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101−xのカメラ301の露出設定値を取得し、例えばISO値の変化を検出した場合に、ISO値変動の異常通知をワークフロー管理部505へ出力する。なお、異常の特定が可能な限りにおいて、上述の方法と異なる異常検出方法が用いられてもよい。また、異常情報の定義は任意に設定可能であり、上述の例に限定されない。
例えば上述のように異常が影響を及ぼすプロセスが定義され、異常が発生した場合にその異常に応じて定義されたプロセスが再度実行されることにより、異常状態から正常状態への復旧が可能となる。このため、情報処理装置160は、異常が検出された場合に、その異常に対応するカテゴリやプロセスの処理をユーザに通知して、そのプロセスに関する処理を実行するように促すためのUIを生成して表示するための処理を実行する。
図13は、このような処理のために、ワークフロー管理部505が異常発生通知を取得した際に実行する処理の流れの例を示している。ワークフロー管理部505は、例えば図8の処理と並行して又はシステムによってサービスを提供している間に、異常検出部508から異常通知が受信されたか否かの監視を行う(S1301)。ワークフロー管理部505は、異常通知を取得した場合(S1301でYES)、ワークフロー定義情報に記述されている異常情報を確認し、取得した異常が影響を与えるプロセスを確認する(S1302)。その後、ワークフロー管理部505は、取得した異常が影響を与えるプロセスについて、その進捗状態を「未実行」に変更する(S1303)。なお、更新されたワークフロー管理情報は、UI画像生成部506へ送信される。UI画像生成部506は、ワークフロー管理部505から取得したワークフロー管理情報に基づいてUI画像を生成し、表示部507は、そのUI画像を取得して表示装置420に表示させる。なお、異常通知が異常検出部508から取得する例を記載したが、制御部503から取得した制御内容に応じて、ワークフロー管理部505が異常を検出してもよい。
図14(A)及び図14(B)は、異常発生時のワークフローUI表示の例である。図14(A)の画面によって、キャリブレーションカテゴリ内の計算プロセスまで正常終了しており、設定プロセスを実行することにより、全ての処理が完了する状態であることが表示されている。この状況で、作業者がカメラにぶつかってしまうなどの要因によって、カメラ移動の異常が発生したとする。この場合、カメラ移動の異常が影響を及ぼすプロセスは、画角調整カテゴリとキャリブレーションカテゴリに属するプロセスである。このため、ワークフロー管理部505は、これらの影響を及ぼすプロセスの進捗状態を「未完了」に変更して、UI表示を更新させる。図14(B)は、この更新後のUI表示の例である。これにより、情報処理装置160の操作者は、画角調整カテゴリのプロセスとキャリブレーションカテゴリの完了していたプロセスが未完了となったことを認識することができる。そして、情報処理装置160の操作者が、これらの未完了のプロセスに応じた要求を再度実行するようにすることで、異常な状態から復旧するために必要な処理を簡単に漏れなく実行することができる。
なお、本例では、発生した異常から復旧するために必要な処理がワークフロー定義情報に予め定義され、異常が発生した場合に、その異常に対応する処理の状態が未完了状態に変更されるが、これに限られない。例えば、異常から復旧するために必要な処理の選択が、AI(Artificial Intelligence)機械学習を用いて実行されてもよい。AIを用いることにより、学習の回数が増えるにつれて、復旧処理の確度が向上し、システムのロバスト性能を徐々に向上させることができる。また、復旧に必要な処理を特定可能な方法であれば、これらの方法と異なる方法が用いられてもよい。
上述の処理は、多数の機器を有するシステムにおいて有効であり、その多数の機器と通信可能に構成された情報処理装置が、上述のようにして、そのシステムを稼働させるための作業に関するワークフローの情報をUI表示させることができる。そして、情報処理装置は、多数の機器のうち、ワークフロー内の各プロセスに関与する機器と通信し、その機器が、システムの機能を果たすことができるような状態となっているかを確認し、その状態をUI表示において表示する。これにより、多数の機器を有するシステムにおける作業の順序を容易に把握し、設置及び運用を誤りなく進めることができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:撮像装置群、301:カメラ、302:レンズ、303:雲台、304:画像処理装置、160:情報表示装置、402:CPU、403:ROM、404:RAM、405:HDD、406:操作部I/F、407:表示部I/F、408:通信部、410:操作ユニット、420:表示装置、501:データ記録部、502:ユーザ入力部、503:制御部、504:通信部、505:ワークフロー管理部、506:UI画像生成部、507:表示部、508:異常検出部

Claims (17)

  1. 複数の機器を含んで構成されるマルチカメラシステムの設置または運用における作業に関するワークフローを定めた情報を保持する保持手段と、
    前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、
    前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況とを示す情報を含んだ画面を、表示装置に表示させる表示制御手段と、
    を有することを特徴とする情報処理装置。
  2. 実行する前記プロセスに関するユーザ操作を受け付ける操作手段をさらに有し、
    前記取得手段は、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示制御手段は、前記ユーザ操作に対応する前記プロセスを実行する時点で完了しているべき前記プロセスが正常に終了していない場合に、前記表示装置に警告を表示させる、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記表示制御手段は、1つ以上の前記プロセスを含んだカテゴリと当該カテゴリの進捗状況とを示す情報を前記画面において表示させる、
    ことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記複数の機器は、複数の撮像装置を含み、
    前記プロセスは、前記マルチカメラシステムへの前記複数の撮像装置の接続、前記複数の撮像装置の同期、前記複数の撮像装置が撮像する画像の画角の調整、前記複数の撮像装置が撮像する画像の露出の調整、撮像装置のキャリブレーションの少なくともいずれかに関する、
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記表示制御手段は、前記プロセスのそれぞれの前記進捗状況として、未実行、実行中、正常終了、異常終了の少なくともいずれかを前記表示装置に表示させる、
    ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記表示制御手段は、前記進捗状況を示す領域が前記プロセスの情報と別個に用意された前記画面を前記表示装置に表示させる、
    ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記表示制御手段は、前記進捗状況が示される領域の色、サイズ、模様、アニメーションの少なくともいずれかによって前記進捗状況を区別可能に表示させる、
    ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。
  9. 前記取得手段は、前記複数の機器のそれぞれについて異常が発生したことの通知を取得し、
    前記表示制御手段は、前記異常により影響を受ける前記プロセスの前記進捗状況を、当該プロセスが完了していない状態とした前記画面を前記表示装置に表示させる、
    ことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
  10. 前記進捗状況を変更するユーザ操作を受け付ける手段をさらに有する、
    ことを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。
  11. 前記マルチカメラシステムは、仮想視点画像を生成するためのシステムである、
    ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
  12. 前記マルチカメラシステムは、仮想視点画像の生成に用いられる被写体の三次元形状データを生成するために、複数の方向から当該被写体が撮像されるシステムである、
    ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
  13. 情報処理装置が実行する方法であって、
    複数の機器を含んで構成されるマルチカメラシステムの設置または運用における作業に関するワークフローを定めた情報を保持する保持工程と、
    前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得工程と、
    前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況とを示す情報を含んだ画面を、表示装置に表示させる表示制御工程と、
    を有することを特徴とする方法。
  14. 実行する前記プロセスに関するユーザ操作を受け付ける操作工程をさらに含み、
    前記取得工程において、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
    ことを特徴とする請求項13に記載の方法。
  15. 前記表示制御工程において、前記ユーザ操作に対応する前記プロセスを実行する時点で完了しているべき前記プロセスが正常に終了していない場合に、前記表示装置に警告を表示させる、
    ことを特徴とする請求項14に記載の方法。
  16. 前記表示制御工程において、1つ以上の前記プロセスを含んだカテゴリと当該カテゴリの進捗状況とを示す情報を前記画面において表示させる、
    ことを特徴とする請求項13から15のいずれか1項に記載の方法。
  17. コンピュータを、請求項1から12のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
JP2018163623A 2018-08-31 2018-08-31 情報処理装置、方法、及びプログラム Active JP7227717B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018163623A JP7227717B2 (ja) 2018-08-31 2018-08-31 情報処理装置、方法、及びプログラム
PCT/JP2019/032620 WO2020045186A1 (ja) 2018-08-31 2019-08-21 情報処理装置、方法、及びプログラム
US17/174,863 US11627256B2 (en) 2018-08-31 2021-02-12 Information processing apparatus, method, and non-transitory computer-readable storage medium
JP2023018557A JP7462085B2 (ja) 2018-08-31 2023-02-09 情報処理装置、方法、及びプログラム
US18/117,510 US20230209180A1 (en) 2018-08-31 2023-03-06 Information processing apparatus, method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163623A JP7227717B2 (ja) 2018-08-31 2018-08-31 情報処理装置、方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023018557A Division JP7462085B2 (ja) 2018-08-31 2023-02-09 情報処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020036295A true JP2020036295A (ja) 2020-03-05
JP7227717B2 JP7227717B2 (ja) 2023-02-22

Family

ID=69668777

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018163623A Active JP7227717B2 (ja) 2018-08-31 2018-08-31 情報処理装置、方法、及びプログラム
JP2023018557A Active JP7462085B2 (ja) 2018-08-31 2023-02-09 情報処理装置、方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023018557A Active JP7462085B2 (ja) 2018-08-31 2023-02-09 情報処理装置、方法、及びプログラム

Country Status (1)

Country Link
JP (2) JP7227717B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181482A (ja) * 2008-01-31 2009-08-13 Fuji Television Network Inc 画像処理システム及び画像処理方法
JP2017096725A (ja) * 2015-11-20 2017-06-01 キヤノン株式会社 情報処理装置、情報処理方法
WO2018070121A1 (ja) * 2016-10-11 2018-04-19 キヤノン株式会社 画像処理システム、画像処理装置、及び、制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054503A (ja) 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
JP5078423B2 (ja) 2007-05-07 2012-11-21 キヤノン株式会社 ワークフロー管理サーバ及び方法
JP5327381B2 (ja) 2010-04-22 2013-10-30 コニカミノルタ株式会社 情報処理装置、プログラム、および情報処理システム
WO2014013551A1 (ja) 2012-07-17 2014-01-23 株式会社クレオネットワークス ワークフロー管理装置及びワークフロー管理方法
JP6390720B2 (ja) 2015-02-05 2018-09-19 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6197907B2 (ja) 2016-03-29 2017-09-20 株式会社ニコン 撮像装置、システム、電子機器およびプログラム
JP6808357B2 (ja) 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム
JP6833348B2 (ja) 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181482A (ja) * 2008-01-31 2009-08-13 Fuji Television Network Inc 画像処理システム及び画像処理方法
JP2017096725A (ja) * 2015-11-20 2017-06-01 キヤノン株式会社 情報処理装置、情報処理方法
WO2018070121A1 (ja) * 2016-10-11 2018-04-19 キヤノン株式会社 画像処理システム、画像処理装置、及び、制御方法

Also Published As

Publication number Publication date
JP7462085B2 (ja) 2024-04-04
JP2023054061A (ja) 2023-04-13
JP7227717B2 (ja) 2023-02-22

Similar Documents

Publication Publication Date Title
JP6482696B2 (ja) 表示制御装置、表示制御方法、およびプログラム
CN106454065B (zh) 信息处理装置及其控制方法
US11627256B2 (en) Information processing apparatus, method, and non-transitory computer-readable storage medium
JP7182865B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6620394B2 (ja) 制御装置、制御方法及びプログラム
WO2020068269A1 (en) Methods, systems, and media for indicating a security status of an internet of things device
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
JP5868128B2 (ja) 情報処理装置およびその制御方法
JP7075252B2 (ja) 情報処理装置およびその制御方法、プログラム
JP7462085B2 (ja) 情報処理装置、方法、及びプログラム
US11528462B2 (en) Display control apparatus, method for controlling display control apparatus, and storage medium
CN115213890B (zh) 抓取的控制方法、装置、服务器、电子设备及存储介质
JP2020182109A (ja) 情報処理装置、情報処理方法及びプログラム
JP2011188147A (ja) 監視システム及び監視方法
JP2015198408A (ja) 情報処理装置、情報処理方法、及びプログラム
US11516404B2 (en) Control apparatus and control method
JP2021141533A (ja) 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム
JP6218872B2 (ja) 監視装置、情報処理装置、監視装置の処理方法及びプログラム
WO2023279163A1 (en) Method, program, and system for 3d scanning
JP2016109904A (ja) レンズ装置、カメラ装置及び撮像装置
GB2606182A (en) System and method of error logging
JP2015089031A (ja) 監視カメラシステム及び監視カメラ
JP2019118042A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015008429A (ja) 監視システム及び監視システムの制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R151 Written notification of patent or utility model registration

Ref document number: 7227717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151