JP2023173764A - 情報処理装置、情報処理方法 - Google Patents

情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP2023173764A
JP2023173764A JP2022086234A JP2022086234A JP2023173764A JP 2023173764 A JP2023173764 A JP 2023173764A JP 2022086234 A JP2022086234 A JP 2022086234A JP 2022086234 A JP2022086234 A JP 2022086234A JP 2023173764 A JP2023173764 A JP 2023173764A
Authority
JP
Japan
Prior art keywords
information
information processing
camera
imaging
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022086234A
Other languages
English (en)
Inventor
健一 沖原
Kenichi Okihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022086234A priority Critical patent/JP2023173764A/ja
Priority to EP23171242.3A priority patent/EP4284014A1/en
Priority to US18/317,189 priority patent/US20230388624A1/en
Priority to CN202310599941.0A priority patent/CN117135475A/zh
Publication of JP2023173764A publication Critical patent/JP2023173764A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

【課題】 撮像のシチュエーションに応じた適切な映像構成の撮像を可能にするための撮像装置の配置案を生成するための技術を提供すること。【解決手段】 撮像のシチュエーションを示すシチュエーション情報を取得し、該シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、該シチュエーション情報に基づいて取得する。撮像装置のパラメータを取得する。該映像構成情報と該パラメータとに基づいて、該シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する。【選択図】 図1

Description

本開示は、撮像装置の配置情報を生成するための技術に関するものである。
一つまたは複数の撮像装置の配置を提示する方法がいくつか提案されている。撮像装置には、例えば、手持ちカメラ、PTZカメラ、スマートフォンやドローンに搭載されたカメラ、などが該当する。特許文献1に開示されている技術では、撮像装置の設置可能範囲や設置台数などの制約情報に基づいて、仮想視点画像の生成に用いる複数の撮像装置の適切な配置を出力する。また、特許文献2に開示されている技術では、縮尺、天井高、アルゴリズムの条件を入力し、検出位置のオブジェクトを指定するとカメラが設置可能な設置位置をレイアウトガイドに表示する。
特開2019-92007号公報 特開2018-14553号公報
前述の通り、撮像装置自体や周囲の建物などの情報から撮像装置の適切な配置を提示する技術は従来から提案されている。しかし、ユーザが作成したい映像作品のシチュエーションに適した撮像装置の配置や、実際に撮像した映像に基づいて撮像装置の再配置を行うことは考慮されていなかった。本開示では、撮像のシチュエーションに応じた適切な映像構成の撮像を可能にするための撮像装置の配置案を生成するための技術を提供する。
本開示の一様態は、撮像のシチュエーションを示すシチュエーション情報を取得する第1取得手段と、前記シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、前記シチュエーション情報に基づいて取得する第2取得手段と、撮像装置のパラメータを取得する第3取得手段と、前記映像構成情報と、前記パラメータと、に基づいて、前記シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する生成手段とを備えることを特徴とする。
本開示によれば、撮像のシチュエーションに応じた適切な映像構成の撮像を可能にするための撮像装置の配置案を生成することができる。
システムの構成例を示すブロック図。 情報処理装置100のハードウェア構成例を示すブロック図。 システムの構成例を示すブロック図。 情報処理装置100が行う処理のフローチャート。 ステップS405における処理の詳細を示すフローチャート。 GUIの表示例を示す図。 (a)はジャンルの一覧を示す図、(b)はカメラの種類の一覧を示す図。 映像構成情報に基づく映像の提示例を示す図。 (a)は被写体の撮像範囲の一例を示す図、(b)は被写体に対するカメラの角度範囲の一例を示す図、(c)は被写体の移動可能な範囲の一例を示す図。 配置情報の提示例を示す図。 情報処理装置100が行う処理のフローチャート。 カメラの個別情報の構成例を示す図。 撮像装置間情報の一例を示す図。 ステップS1103の処理の詳細の一例を示す図。 (a)は、カメラAの再配置が必要である旨のメッセージの表示例を示す図、(b)は再配置の推奨位置を地図上に示した表示例を示す図。 情報処理装置100が行う処理のフローチャート。 システムの構成例を示すブロック図。 データベースの構成例を示す図。 カメラのパラメータの構成例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本開示を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが本開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
本実施形態では、撮像装置を用いた撮像を開始する前に、該撮像のシチュエーションに応じた適切な構成の映像の撮像を可能にするための撮像装置の配置案を生成してユーザに提示するための情報処理装置について説明する。
先ず、本実施形態に係る情報処理装置100のハードウェア構成例について、図2のブロック図を用いて説明する。情報処理装置100には、PC(パーソナルコンピュータ)、スマートフォン、タブレット端末装置、などのコンピュータ装置が適用可能である。
CPU201は、ROM202やRAM203に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU201は、情報処理装置100全体の動作制御を行うと共に、情報処理装置100が行うものとして説明する各種の処理を実行もしくは制御する。
ROM202には、情報処理装置100の設定データ、情報処理装置100の起動に係るコンピュータプログラムやデータ、情報処理装置100の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
RAM203は、ROM202やHDD(ハードディスクドライブ)205からロードされたコンピュータプログラムやデータを格納するためのエリア、I/F204を介して外部から受信したデータを格納するためのエリア、を有する。さらにRAM203は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM203は、各種のエリアを適宜提供することができる。
I/F204は、情報処理装置100を有線および/または無線のネットワークに接続するための通信インターフェースである。ネットワークは、LANやインターネットなどのネットワークである。本実施形態ではネットワークには複数台のカメラが接続されているものとする。よって情報処理装置100は、I/F204を介して該ネットワークに接続されているそれぞれのカメラとの間のデータ通信を行うことができる。なお、I/F204は、USBデバイスなどのデバイスとの間のデータ通信を行うためのインターフェースを含んでも良い。
HDD205は大容量情報記憶装置の一例である。HDD205には、OS(オペレーティングシステム)、情報処理装置100が行うものとして説明する各種の処理をCPU201に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。HDD205に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM203にロードされ、CPU201による処理対象となる。
操作部207は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をCPU201に対して入力することができる。
表示部208は、液晶画面やタッチパネル画面を有し、CPU201による処理結果を画像や文字などでもって表示することができる。なお、表示部208は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
CPU201、ROM202、RAM203、I/F204、HDD205、操作部207、表示部208はいずれも、システムバス206に接続されている。なお、図2に示した構成は、本実施形態に係る情報処理装置100に適用可能な構成の一例であり、図2に示した構成に限らない。
次に、情報処理装置100を含む本実施形態に係るシステムの構成例を図1のブロック図に示す。本実施形態に係るシステムでは、図1に示す如く、情報処理装置100にはカメラ105、106、107を含む複数のカメラ(撮像装置)が上記のネットワークを介して接続されている。
カメラ105、106、107を含む複数のカメラには、PTZカメラ、ユーザが可搬のカメラ(ディジタルカメラ、スマートフォンやタブレット端末装置に備わっているカメラ)、ドローンに搭載されたカメラ、などの様々なタイプのカメラが適用可能である。PTZカメラは、被写体を認識して該被写体を画角に納めるべく自身のパン、チルト、ズームを変更可能なカメラである。情報処理装置100は、これらのカメラの中から、撮像のシチュエーションに応じた適切な構成の映像の撮像を可能にするカメラを特定し、該特定したカメラの配置案をユーザに提示する。
図1に示す如く、情報処理装置100は、入力部101、提示部102、取得部103、提示部104を有する。本実施形態では、これらの機能部をソフトウェア(コンピュータプログラム)で実装するケースについて説明する。そして以下では、これらの機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをCPU201が実行することで、該機能部の機能が実現される。なお、これらの機能部のうち1以上をハードウェアで実装しても良い。
撮像のシチュエーションに応じた適切な構成の映像の撮像を可能にするカメラの配置案を生成してユーザに提示するために情報処理装置100が行う処理について、図4のフローチャートに従って説明する。
ステップS401では、入力部101は、撮像のシチュエーションを示すシチュエーション情報を取得する。本実施形態では一例として、入力部101は、シチュエーション情報を入力するためのGUI(グラフィカルユーザインターフェース)を表示部208に表示させ、ユーザが操作部207を操作して入力したシチュエーション情報を取得する。
図6(a)は、撮像したい内容のジャンルとしてインタビューが選択された場合におけるGUI601の表示例を示しており、図6(b)は、撮像したい内容のジャンルとして料理配信が選択された場合におけるGUI610の表示例を示している。
プルダウンメニュー602は、撮像したい内容のジャンルを選択するためのものである。ユーザが操作部207を操作してプルダウンメニュー602を指示すると、図7(a)に例示するジャンルの一覧が表示され、ユーザはこの一覧から1つを操作部207を用いて選択する。図6(a)はこの一覧においてインタビューが選択された場合のGUIの表示例を示しており、図6(b)はこの一覧において料理配信が選択された場合のGUIの表示例を示している。
プルダウンメニュー603は、メインとして撮像する被写体の数(本実施形態では被写体を人物とするので、被写体の数は人数となる)を選択するためのものである。ユーザが操作部207を操作してブルダウンメニュー603を指示すると、0以上の整数が並んだ一覧が表示され、ユーザはこの一覧から1つを操作部207を用いて選択する。
プルダウンメニュー604は、サブとして撮像する被写体の数(本実施形態では被写体を人物とするので、被写体の数は人数となる)を選択するためのものである。ユーザが操作部207を操作してブルダウンメニュー604を指示すると、0以上の整数が並んだ一覧が表示され、ユーザはこの一覧から1つを操作部207を用いて選択する。
プルダウンメニュー605、607は、情報処理装置100に接続されているカメラの種類を選択するためのものである。ユーザが操作部207を操作してブルダウンメニュー605やプルダウンメニュー607を指示すると、図7(b)に例示するカメラの種類の一覧が表示される。「手持ちカメラ」は人が持ち運び撮像できるカメラである。「PTZカメラ」は上記の通りである。「スマホカメラ」はスマートフォンに搭載されたカメラである。「ドローンカメラ」はドローンに搭載されたカメラである。ユーザはこの一覧から1つを操作部207を用いて選択する。
プルダウンメニュー606は、プルダウンメニュー605で選択した種類のカメラの台数を選択するためのものである。ユーザが操作部207を操作してブルダウンメニュー606を指示すると、0以上の整数が並んだ一覧が表示され、ユーザはこの一覧から1つを操作部207を用いて選択する。
プルダウンメニュー608は、プルダウンメニュー607で選択した種類のカメラの台数を選択するためのものである。ユーザが操作部207を操作してブルダウンメニュー608を指示すると、0以上の整数が並んだ一覧が表示され、ユーザはこの一覧から1つを操作部207を用いて選択する。
そして、ユーザが操作部207を操作して決定ボタン609を指示すると、入力部101はGUI601における上記のプルダウンメニュー群を用いて選択した情報群を、インタビューのための撮像のシチュエーション情報として取得する。
図6(b)のGUI610の構成は、図6(a)のGUI601と同様である。また、GUI610の操作方法についても図6(a)のGUI601の操作方法と同様である。そして、ユーザが操作部207を操作してGUI610の決定ボタンを指示すると、入力部101はGUI610におけるプルダウンメニュー群を用いて選択した情報群を、料理配信のための撮像のシチュエーション情報として取得する。
ステップS402では、提示部102は、プルダウンメニュー602にて選択されたジャンルのシチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、入力部101が取得したシチュエーション情報に基づいて取得する。
本実施形態では、HDD205には図18に例示するデータベースが登録されており、提示部102は、このデータベースから、入力部101が取得したシチュエーション情報に対応する映像構成情報を取得する。図18のデータベースには、様々なシチュエーション情報に対応する映像構成情報が登録されている。
枠1801で囲ったシチュエーション情報および映像構成情報のセット群は、シチュエーションのジャンルが「インタビュー」である場合に参照されるセット群である。例えば枠1801内のシチュエーション情報において先頭行のシチュエーション情報は、ジャンルとして「インタビュー」、被写体人数として「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類として「手持ちカメラ」、が選択されたシチュエーション情報である。このシチュエーション情報に対応する映像構成情報は、被写体の撮像範囲として「被写体の上半身」、被写体に対するカメラの角度範囲として「正面プラスマイナス10度」、被写体の移動可能な範囲として「固定」が設定されている映像構成情報である。
枠1802で囲ったシチュエーション情報および映像構成情報のセット群は、シチュエーションのジャンルが「料理配信」である場合に参照されるセット群である。例えば枠1802内のシチュエーション情報において先頭行のシチュエーション情報は、ジャンルとして「料理配信」、被写体人数として「メインとして撮像する被写体の人数は2人、サブとして撮像する被写体の人数は0人」、カメラの種類として「PTZカメラ」、が選択されたシチュエーション情報である。該シチュエーション情報に対応する映像構成情報は、被写体の撮像範囲として「被写体の上半身」、被写体に対するカメラの角度範囲として「正面プラスマイナス30度」、被写体の移動可能な範囲として「キッチン内動く」が設定されている映像構成情報である。
被写体の撮像範囲は、図9(a)に示す如く、様々な撮像範囲がある。また、被写体に対するカメラの角度範囲としては、図9(b)に示す如く、様々な角度範囲がある。また、被写体の移動可能な範囲としては、図9(c)に示す如く、様々な範囲がある。なお、1つのシチュエーション情報に対して複数の映像構成情報がデータベースに登録されていても良い。
図18のデータベースは、例えば、システム開発者が予め作成してHDD205に登録する。しかし、各ユーザから実際のシチュエーション情報に対応する映像構成情報の例を随時集めてデータベースに随時更新/追加/削除などを行って該データベースを更新するようにしても良い。
なお、入力部101が取得したシチュエーション情報に対応する映像構成情報がデータベースから見つからなかった場合には、提示部102は、入力部101が取得したシチュエーション情報と類似するシチュエーション情報に対応する映像構成情報を取得するようにしても良い。例えば、ジャンルと被写体が一致するものがあるがカメラの種類でスマホカメラがなくても手持ちカメラの場合の映像構成情報があれば該映像構成情報を取得する。この類似性の判断は、どのような技術を用いて行っても良く、例えば周知のAI技術を用いて行っても良い。
ステップS403では、提示部102は、ステップS402でデータベースから取得した映像構成情報に基づく映像を表示部208に表示させることで該映像構成情報をユーザに提示する。該映像は、例えば、該映像構成情報、該映像構成情報に含まれる撮像範囲および角度範囲に応じて撮像される被写体の見え方を示す画像を含む。
図8(a)は、図6(a)に示すシチュエーション情報に対応する映像構成情報に基づく映像の提示例を示している。図6(a)のシチュエーション情報は、ジャンル「インタビュー」、被写体人数「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類「手持ちカメラ、PTZカメラ」、台数「手持ちカメラは2台、PTZカメラは2台」となっている。
よって、一方の手持ちカメラ(手持ちカメラ1)については、シチュエーション情報(ジャンル「インタビュー」、被写体「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類「手持ちカメラ」)に対応する映像構成情報に基づく映像を表示部208の表示領域801の左上の領域に表示している。領域802には該一方の手持ちカメラの名称、領域803には映像構成情報に含まれている撮像範囲および角度範囲を表示している。
他方の手持ちカメラ(手持ちカメラ2)については、シチュエーション情報(ジャンル「インタビュー」、被写体「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類「手持ちカメラ」)に対応する映像構成情報(一方の手持ちカメラの映像構成情報とは異なる映像構成情報)に基づく映像を表示部208の表示領域801の右下の領域に表示している。
一方のPTZカメラ(PTZカメラ1)については、シチュエーション情報(ジャンル「インタビュー」、被写体「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類「PTZカメラ」)に対応する映像構成情報に基づく映像を表示部208の表示領域801の左下の領域に表示している。
他方のPTZカメラ(PTZカメラ2)については、シチュエーション情報(ジャンル「インタビュー」、被写体「メインとして撮像する被写体の人数は1人、サブとして撮像する被写体の人数は0人」、カメラの種類「PTZカメラ」)に対応する映像構成情報(一方のPTZカメラの映像構成情報とは異なる映像構成情報)に基づく映像を表示部208の表示領域801の右上の領域に表示している。
図8(b)は、図6(b)に示すシチュエーション情報に対応する映像構成情報に基づく映像の提示例を示している。図6(b)のシチュエーション情報は、ジャンル「料理配信」、被写体人数「メインとして撮像する被写体の人数は2人、サブとして撮像する被写体の人数は0人」、カメラの種類「PTZカメラ、スマホカメラ」、台数「PTZカメラは1台、スマホカメラは1台」となっている。
よって、PTZカメラについては、ジャンル「料理配信」、被写体人数「メインとして撮像する被写体の人数は2人、サブとして撮像する被写体の人数は0人」、カメラの種類「PTZカメラ」に対応する映像構成情報に基づく映像を表示部208の表示領域804の上の領域に表示している。
スマホカメラについては、ジャンル「料理配信」、被写体人数「メインとして撮像する被写体の人数は2人、サブとして撮像する被写体の人数は0人」、カメラの種類「スマホカメラ」に対応する映像構成情報に基づく映像を表示部208の表示領域804の下の領域に表示している。
なお、シチュエーション情報に対応する映像構成情報に基づく映像の表示方法は図8に示した表示方法に限らず、例えば、カメラごとに映像を切り替えて表示しても良いし、ユーザが操作部207を用いて選択したカメラの映像を表示するようにしても良い。また、シチュエーション情報に対応する映像構成情報に基づく映像の表示はオプションであっても良く、表示/非表示をユーザが操作部207を操作して設定/切り替える、ようにしても良い。
ステップS404では、取得部103は、情報処理装置100に接続されているそれぞれのカメラのパラメータを取得する。カメラのパラメータの構成例を図19に示す。
PTZ制御情報は、PTZカメラのパラメータに含まれる情報であり、パン、チルト、ズームのそれぞれの制御可能な範囲を示す情報である。PTZ制御情報は、例えば、PTZカメラからネットワークを介して取得する。
位置情報は、カメラの位置を示す情報である。位置情報の取得方法については特定の取得方法に限らず、例えば、カメラが有するGPSや該カメラに付属のGPSレシーバから取得するようにしても良いし、地図から取得しても良い。
移動範囲情報は、カメラが移動可能な範囲を規定する情報である。たとえば、手持ちカメラの移動範囲情報は、該手持ちカメラを持った人が移動可能な範囲(予め設定した一般的な移動可能な範囲、位置情報や地図データから把握できる物理的に移動可能な範囲)を示す情報である。物理的に移動可能な範囲とは、壁や海などの人がその場所にカメラを持ち込めない場所を除いた範囲のことである。地図データがなく、実際に撮像しないと分からない場合は、一般的な移動可能な範囲を示す情報を移動範囲情報とする。また、ドローンカメラの移動範囲情報は、該ドローンカメラを搭載したドローンが移動可能な範囲を示す情報である。移動範囲情報の取得については、例えば、予めHDD205に保持しておいた移動範囲情報を取得するようにしても良いし、ネットワーク上の装置に保持している移動範囲情報を取得するようにしても良い。
ステップS405では、提示部104は、提示部102が取得した映像構成情報と、取得部103が取得したカメラのパラメータと、を用いて、「プルダウンメニュー602にて選択したジャンルのシチュエーション」において撮像を行うカメラの配置案を示す配置情報を生成する。ステップS405における処理の詳細については、図5を用いて後述する。
そしてステップS406では、提示部104は、ステップS405で生成した配置情報をユーザに提示する。配置情報の提示例を図10に示す。図10(a)は、図6(a)のGUI601から取得したシチュエーション情報に対応する配置情報に基づくレイアウト画像1001の一例を示している。レイアウト画像1001は、インタビューの様子を手持ちカメラ1、手持ちカメラ2、PTZカメラ1、PTZカメラ2を用いて撮像する場合の、それぞれのカメラの配置案を示す画像である。
白丸1003~1006はそれぞれ、手持ちカメラ1、手持ちカメラ2、PTZカメラ1、PTZカメラ2の位置を示しており、それぞれのパラメータに含まれる位置情報で特定される。なお、カメラの位置に加えて、該カメラの方位や画角が取得可能であれば、該方位や画角を表すオブジェクト(方位方向に向く矢印のオブジェクトや、画角範囲を示す扇形のオブジェクトなど)を表示しても良い。これは後述するレイアウト画像1007においても同様である。
黒丸1002は、手持ちカメラ1、手持ちカメラ2、PTZカメラ1、PTZカメラ2の撮像範囲を示している。インタビューの場合、手持ちカメラ1、手持ちカメラ2、PTZカメラ1、PTZカメラ2のそれぞれの映像構成情報より、被写体の範囲は「被写体の上半身」、被写体の移動可能な範囲は「固定」、である。然るに、実空間における固定位置の被写体が撮像範囲となる。よって黒丸1002は、この固定位置の被写体の範囲を撮像範囲として示している。
図10(b)は、図6(b)のGUI602から取得したシチュエーション情報に対応する配置情報に基づくレイアウト画像1007の一例を示している。レイアウト画像1007は、キッチンの様子(料理人が料理を行っている様子)をPTZカメラ、スマホカメラを用いて撮像する場合の、それぞれのカメラの配置案を示す画像である。なお、PTZカメラの撮像範囲とスマホカメラの撮像範囲とは異なるため、レイアウト画像1007は、PTZカメラの配置案を示す画像1008と、スマホカメラの配置案を示す画像1009と、を含む画像となっている。
画像1008において白丸1008bはPTZカメラの位置を示しており、該PTZカメラのパラメータに含まれる位置情報で特定される。黒楕円1008aは、PTZカメラの撮像範囲を示している。料理配信の場合、PTZカメラの映像構成情報より、被写体の範囲は「被写体の上半身」、被写体の移動可能な範囲は「キッチン内」、であるから、実空間において被写体が移動しうる範囲が撮像範囲となる。よって黒楕円1008aは、この撮像範囲を示している。
画像1009において白丸1009bは、スマホカメラの移動しうる範囲における幾つかの位置(図10(b)では3カ所)を示している。料理配信の場合、スマホカメラの映像構成情報より、被写体の範囲は「被写体の手元」、被写体の移動可能な範囲は「手元のみの移動範囲」、である。然るに、スマホカメラの移動しうる範囲は、被写体が料理のために手元を動かし得る実空間中の範囲を撮像可能な範囲、となる。白丸1009bは、「被写体が料理のために手元を動かし得る実空間中の範囲を撮像可能な範囲」における幾つかの位置(図10(b)では3カ所)を示している。黒楕円1009aは、スマホカメラの撮像範囲を示している。スマホカメラの撮像範囲は、上記の「被写体が料理のために手元を動かし得る実空間中の範囲を撮像可能な範囲」である。
次に、上記のステップS405における処理の詳細について、図5のフローチャートに従って説明する。ステップS501では、提示部104は、提示部102が取得した映像構成情報を取得する。
ステップS502では、提示部104は、ステップS501で取得した映像構成情報のうち未選択の1つを選択映像構成情報として選択する。そして提示部104は、取得部103が取得したカメラのパラメータのうち、該選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ(該選択映像構成情報が示す映像構成の映像を撮像可能なカメラのパラメータ)があるか否かを判断する。例えば、PTZカメラの映像構成情報を選択映像構成情報として選択した場合、選択映像構成情報に含まれる撮像範囲を画角内に最も大きく納め、かつ該選択映像構成情報に含まれる角度範囲を「パン、チルト、ズームの制御可能な範囲」に含むカメラのパラメータを「選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ」として特定する。より具体的には、例えば、選択映像構成情報に含まれる撮像範囲および角度範囲がそれぞれ「上半身」、「斜め45度プラスマイナス10度」であるとする。その場合はPTZ制御情報が「350°(パン角度範囲)」、「90°(チルト角度範囲)」、「3.5倍(光学ズーム)」であればパンとチルトは問題なく、上半身を写せる範囲に物理的に配置できる場所であれば問題ないと判断する。よってこの場合、PTZ制御情報として「350°(パン角度範囲)」、「90°(チルト角度範囲)」、「3.5倍(光学ズーム)」を含むパラメータを、選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータとして特定される。
なお、選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータが複数特定された場合には、解像度が最も高いカメラのパラメータや、フレームレートが最も高いなど、より高い性能を有するカメラのパラメータを特定するようにしても良い。
ステップS502における判断の結果、選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータが特定できた場合には、処理はステップS503に進む。一方、ステップS502における判断の結果、選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータが特定できなかった場合には、処理はステップS505に進む。ステップS505では、提示部104は、配置可能なカメラはないと判断する。
ステップS503では、提示部104は、ステップS502で「選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ」として特定したパラメータが、選択映像構成情報に含まれる移動範囲を満たす(カバーする)か否かを判断する。例えば、選択映像構成情報に含まれる移動範囲が「キッチン内動く」の場合、キッチンの地図データにおいて人物が移動可能な範囲Aを取得する。そして、PTZカメラのパラメータの場合、該パラメータが、該パラメータに含まれる移動範囲情報が規定する移動範囲から該範囲Aを撮像可能なPTZに制御可能なPTZ制御情報を含むパラメータであれば、該パラメータは選択映像構成情報に含まれる移動範囲を満たす(カバーする)と判断する。また、スマホカメラの場合、該パラメータが、該パラメータに含まれる移動範囲情報が規定する移動範囲から該範囲Aを撮像可能なパラメータであれば、該パラメータは選択映像構成情報に含まれる移動範囲を満たす(カバーする)と判断する。
このような判断の結果、ステップS502で「選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ」として特定したパラメータが、選択映像構成情報に含まれる移動範囲を満たす(カバーする)場合には、処理はステップS504に進む。一方、ステップS502で「選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ」として特定したパラメータが、選択映像構成情報に含まれる移動範囲をを満たさない(カバーしない)場合には、処理はステップS505に進む。なお、選択映像構成情報に含まれている移動範囲が「固定」である場合には、ステップS503における判断処理は行わずに、処理はステップS504に進む。
ステップS504では、提示部104は、ステップS502で「選択映像構成情報に含まれる撮像範囲および角度範囲を満たすパラメータ」として特定したパラメータをリストに登録する。初期状態のリストには何も登録されておらず、ステップS504の処理を行うたびに該リストにパラメータを登録する。
ステップS506では、提示部104は、ステップS501で取得した映像構成情報の全てを選択映像構成情報として選択したか否かを判断する。この判断の結果、ステップS501で取得した映像構成情報の全てを選択映像構成情報として選択した場合には、図5のフローチャートに従った処理は終了する。図5のフローチャートに従った処理が終了した段階で得られるリストが配置情報となる。一方、ステップS501で取得した映像構成情報のうち未だ選択映像構成情報として選択してない映像構成情報が残っている場合には、処理はステップS501に進む。
このように、本実施形態によれば、撮像のシチュエーションと、該シチュエーションにおいて撮像を行うカメラのパラメータと、に基づいて適切な映像構成の映像の撮像を行うカメラの配置案を生成して提示することができる。
<変形例>
GUIの構成や操作方法については、それぞれ特定の構成や特定の操作方法に限らない。たとえば、図6では2種類のカメラの台数を入力する構成としているが、3種類以上のカメラの台数を入力することができる構成としても良い。また、第1の実施形態の説明では、GUIに対する操作入力はユーザが操作部207を操作することで行っていた。しかし、これに限らず、例えば、GUIをタッチパネル画面に表示した場合には、ユーザはタッチパネル画面上をタッチするなどしてGUIに対する操作入力を行うようにしても良い。
また、第1の実施形態では、被写体が人物であるケースについて説明したが、被写体は人物に限らず、動物や自然がメインのシチュエーションにおける被写体であっても構わない。
また、第1の実施形態では、ステップS502における映像構成情報の選択順については特に指定していないが、それぞれの映像構成情報に選択順を設定して、該それぞれの映像構成情報を該選択順に従って選択するようにしても良い。例えば、よりメインで放送/配信したい映像構成の映像構成情報から順に高い優先度を予め設定してもよい。この場合、ステップS502では、優先度がより高い映像構成情報から順に選択する。
また、適切な配置場所が確保できない場合は、できない旨とできない理由を提示しても良い。例えば、配置場所が地図上に壁などの障害物の位置である場合は「壁があるためカメラを配置できません。」等の警告を提示するようにしても良い。
[第2の実施形態]
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態では、カメラによる撮像中の変化を考慮したカメラの再配置案を生成してユーザに提示する。
情報処理装置100を含む本実施形態に係るシステムの構成例を図3のブロック図に示す。本実施形態に係るシステムでは、図3に示す如く、情報処理装置100にはカメラ105、106、107を含む複数のカメラに加えて、スイッチャ307が接続されている。また、上記のネットワークには配信サービスサーバ309が接続されており、情報処理装置100は該ネットワークを介して配信サービスサーバ309との間のデータ通信を行うことができる。
図3に示す如く、情報処理装置100は、取得部301、取得部302、判断部303を有する。本実施形態では、これらの機能部をソフトウェア(コンピュータプログラム)で実装するケースについて説明する。そして以下では、これらの機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをCPU201が実行することで、該機能部の機能が実現される。なお、これらの機能部のうち1以上をハードウェアで実装しても良い。本実施形態に係る情報処理装置100の動作について、図11のフローチャートに従って説明する。
ステップS1101では、取得部301は、情報処理装置100に接続されているそれぞれのカメラの情報(個別情報)を取得する。それぞれのカメラの個別情報の取得方法は特定の取得方法に限らず、該カメラから上記のネットワークを介して取得しても良いし、それぞれのカメラの個別情報を管理するサーバ(配信サービスサーバ309など)から上記のネットワークを介して取得しても良い。
カメラの個別情報の構成例を図12に示す。位置情報は、カメラの位置と、再配置の条件と、を含む情報である。PTZ制御情報は、PTZカメラの個別情報に含まれる情報であり、パン、チルト、ズームの値と、再配置の条件と、を含む情報である。メタデータ付与数は、カメラから得られる映像において被写体の特定の動作を検出した回数と、再配置の条件と、を含む情報である。該回数は周知の映像解析技術によって得られる。映像から被写体の特定の動作を検出するたびに、該被写体の特定の動作のフレーム区間などを示すデータが該映像のメタデータとして生成されるので、この生成されたメタデータの個数がメタデータ付与数となる。
ステップS1102では、取得部302は、取得部301が取得した個別情報を取得する。さらに取得部302は、スイッチャ307および配信サービスサーバ309から撮像装置間情報を取得する。スイッチャ307および配信サービスサーバ309のそれぞれから取得する撮像装置間情報の一例を図13に示す。
スイッチング割合は、スイッチャ307から取得する撮像装置間情報であり、それぞれのカメラにスイッチングした割合と、再配置の条件と、を含む。図13の例では、カメラ105(カメラA)、カメラ106(カメラB)、カメラ107(カメラC)のそれぞれにスイッチングした割合は、10%、40%、50%であり、再配置の条件は「10%未満」である。
配信割合は、配信サービスサーバ309から取得する撮像装置間情報であり、「メインとしてではなくサブとして配信された映像(サブ映像)の割合」と、再配置の条件と、を含む。図13の例では、配信されたサブ映像のうち20%はカメラAにより撮像された映像であり、配信されたサブ映像のうち30%はカメラBにより撮像された映像であり、配信されたサブ映像のうち50%はカメラCにより撮像された映像である、ことを示している。また配信割合は、再配置の条件として「25%未満」を示している。
メタデータ付与数の割合は、配信サービスサーバ309から取得する撮像装置間情報であり、それぞれのカメラに対応するメタデータ付与数の割合と、再配置の条件と、を含む。図13の例では、情報処理装置100が取得したメタデータのうち7%(2個)のメタデータはカメラAに対応するメタデータである。また、情報処理装置100が取得したメタデータのうち37%(10個)のメタデータはカメラBに対応するメタデータである。また、情報処理装置100が取得したメタデータのうち55%(15個)のメタデータはカメラCに対応するメタデータである。また、メタデータ付与数の割合は、再配置の条件として「10%未満」を示している。なお、どの撮像装置間情報をどの装置が生成してどの装置から取得するのかについては特定の形態に限らない。
ステップS1103では、判断部303は、取得部302が取得した個別情報および撮像装置間情報に基づいて、カメラの再配置が必要であるか否か(カメラの再配置の要否)を判断する。図13の例では、カメラの再配置が必要であるか否かの判断は、位置情報、PTZ制御情報、メタデータ付与数、スイッチング割合、配信割合、メタデータ付与数の割合、のそれぞれについて判断する。
位置情報についての判断では、カメラA、カメラB、カメラCの位置情報が、位置情報に含まれている再配置の条件を満たすか否かを判断する。PTZ制御情報についての判断では、カメラA、カメラB、カメラCのPTZ値が、PTZ制御情報に含まれている再配置の条件を満たすか否かを判断する。メタデータ付与数についての判断では、カメラA、カメラB、カメラCのメタデータ付与数が、メタデータ付与数に含まれている再配置の条件を満たすか否かを判断する。スイッチング割合についての判断では、カメラA、カメラB、カメラCのスイッチング割合が、スイッチング割合に含まれている再配置の条件を満たすか否かを判断する。配信割合についての判断では、カメラA、カメラB、カメラCの配信割合が、配信割合に含まれている再配置の条件を満たすか否かを判断する。メタデータ付与数の割合についての判断では、カメラA、カメラB、カメラCのメタデータ付与数の割合が、メタデータ付与数の割合に含まれている再配置の条件を満たすか否かを判断する。
図13の例では、位置情報、PTZ制御情報、メタデータ付与数、スイッチング割合、配信割合、メタデータ付与数の割合、のそれぞれの要件についての判断で、再配置の条件を満たすと判断した要件が1つでもあれば、カメラの再配置は必要と判断する。一方、該それぞれの要件についての判断で、再配置の条件を満たすと判断した要件が1つもなければ、カメラの再配置は必要ないと判断する。ステップS1103の処理の詳細の一例について、図14のフローチャートに従って説明する。
ステップS1401では、判断部303は、カメラの位置情報が、位置情報に含まれている再配置の条件を満たすか否かを判断する。この判断の結果、再配置の条件を満たすと判断した場合、例えば、撮像前に想定していたカメラの移動範囲を超えていると考えられるので、カメラの再配置が必要と判断し、処理はステップS1405に進む。一方、再配置の条件を満たさないと判断した場合には、処理はステップS1402に進む。図12の例では、「カメラの緯度が35.56~35.57の範囲外、カメラの経度が139.68~139.69の範囲外」という条件が満たされた場合は、カメラの位置情報は再配置の条件を満たすと判断する。一方、該条件が満たされなかった場合は、カメラの位置情報は再配置の条件を満たさないと判断する。
ステップS1402では、判断部303は、カメラのPTZ値が、PTZ制御情報に含まれている再配置の条件を満たすか否かを判断する。この判断の結果、再配置の条件を満たすと判断した場合、例えば、撮像前に想定していた被写体の撮像範囲の限界値が撮像範囲を超えていると考えられるので、処理はステップS1405に進む。一方、再配置の条件を満たさないと判断した場合には、処理はステップS1403に進む。図12の例では、「カメラのパン角度がパン角度限界(330°~350°)の範囲内、カメラのチルト角度がチルト角度限界(80°~90°)の範囲内、カメラの光学ズームが光学ズーム限界(3.3倍~3.5倍)の範囲内」という条件が満たされた場合は、カメラのPTZ制御情報は再配置の条件を満たすと判断する。一方、該条件が満たされなかった場合は、カメラのPTZ制御情報は再配置の条件を満たさないと判断する。
ただし、PTZ制御情報が限界値を取るフレームが連続で例えば1分間分のフレーム数など一定時間以下の場合は問題ない可能性が高い。その場合は予め設定した時間分限界値を取っているか否かで再配置が必要か否かを判断しても良い。
ステップS1403では、判断部303は、カメラのスイッチング割合が、スイッチング割合に含まれている再配置の条件を満たすか否かを判断する。この判断の結果、再配置の条件を満たすと判断した場合には、処理はステップS1405に進み、再配置の条件を満たさないと判断した場合には、処理はステップS1404に進む。図12の例では、スイッチング割合が10%未満であれば、スイッチング割合は再配置の条件を満たすと判断し、スイッチング割合が10%以上であれば、スイッチング割合は再配置の条件を満たさないと判断する。
ステップS1404では、判断部303は、カメラのメタデータ付与数の割合が、メタデータ付与数の割合に含まれている再配置の条件を満たすか否かを判断する。この判断の結果、再配置の条件を満たすと判断した場合には、処理はステップS1405に進み、再配置の条件を満たさないと判断した場合には、処理はステップS1406に進む。図12の例では、メタデータ付与数の割合が10%未満であれば、メタデータ付与数の割合は再配置の条件を満たすと判断し、メタデータ付与数の割合が10%以上であれば、メタデータ付与数の割合は再配置の条件を満たさないと判断する。
ステップS1405では、判断部303は、再配置が必要であると判断する。ステップS1406では、判断部303は、全てのカメラについてステップS1401~S1405のループ処理を行ったか否かを判断する。この判断の結果、全てのカメラについてステップS1401~S1405のループ処理を行った場合には、処理はステップS1104に進む。一方、ステップS1401~S1405のループ処理を行っていないカメラが残っている場合には、該ループ処理を行っていないカメラを対象に該ループ処理を行うべく、処理はステップS1401に進む。
なお、上記の判断の処理では利用していない個別情報や撮像装置間情報があるが、必要に応じて利用しても良い。例えば、撮像した映像をネットワーク経由で配信している場合には、配信割合を用いて再配置するか否かの判断処理を追加しても良い。
このような判断の結果、カメラの再配置が必要と判断した場合には、処理はステップS1104を介してステップS1105に進み、カメラの再配置は必要ないと判断した場合には、処理はステップS1104を介してステップS1106に進む。
ステップS1105では、提示部104は、再配置が必要である旨を提示する。例えば提示部104は、再配置が必要である旨のメッセージを表示部208に表示させる。例えば、図12に示した個別情報がカメラAの個別情報である場合、位置情報、PTZ制御情報、メタデータ付与数のいずれについても再配置の条件を満たしていない。然るにこの場合、提示部104は図15(a)に示す如く、カメラAの再配置が必要である旨のメッセージを表示部208に表示させる。また例えば、図13より、カメラAについて配信割合およびメタデータ付与数の割合はいずれも再配置の条件を満たしていないので、提示部104は図15(a)に示す如く、カメラAの再配置が必要である旨のメッセージを表示部208に表示させる。
なお、提示部104が表示するメッセージは、図15(b)に示す如く、再配置の推奨位置を地図上に示したものであっても良い。白丸1501~1503はそれぞれ、カメラAの位置、カメラBの位置、カメラCの位置を示しており、黒丸1504は再配置の推奨位置を示している。カメラの位置は該カメラの個別情報から得られる。再配置の推奨位置については、たとえば、メタデータ付与数が多いカメラの近くの位置、カメラが未配置の位置、とすることができる。また、カメラの推奨位置を学習したCNNなどを用いて、再配置の推奨位置を取得するようにしても良い。
ステップS1106では、判断部303は、全てのカメラによる撮像が終了したか否かを判断する。この判断の結果、全てのカメラによる撮像が終了している場合には、図11のフローチャートに従った処理は終了する。一方、撮像が終了していないカメラが残っている場合には、処理はステップS1101に進む。
なお、すぐに処理を繰り返しても変化はない場合があるので、効率的に再配置案を提示できるように、ステップS1101に戻る前に任意の時間の待機処理(例えば、5分間待機する処理)を設けても良い。
このように、本実施形態によれば、映像の撮像中に取得できる情報から撮像中の変化を考慮したカメラの再配置案を生成し、該生成した再配置案をユーザに対して提示することができる。
[第3の実施形態]
本実施形態では、第2の実施形態の構成に加えて、場面やケースの切り替えなど、シーンの切り替えがあった場合も考慮したカメラの再配置案の生成および提示を行う。本実施形態に係るシステムの構成は第2の実施形態(図3)と同様であるものとする。撮像するシーンの変化に応じてカメラの再配置案を生成して提示するために情報処理装置100が行う処理について、図16のフローチャートに従って説明する。
ステップS1601では、取得部301は、情報処理装置100に接続されているそれぞれのカメラの情報(個別情報)を取得すると共に、該カメラにより撮像された映像を取得する。
ステップS1602では、取得部301は、情報処理装置100に接続されているそれぞれのカメラについて、該カメラについて今回のステップS1601で取得した映像におけるシーンが、該カメラについて前回のステップS1601で取得した映像におけるシーンと同じであるか否かを判断する。つまり、取得した映像においてシーンの切り替わりがあったか否かを判断する。映像におけるシーンの切り替わりの検出については、公知技術である動作認識の利用や、過去の映像との類似度に基づいて同じシーンか否かを判定する公知技術がある。
この判断の結果、同じシーンであると判断した場合(シーンの切り替わりはなかったと判断した場合)には、処理はステップS1603に進む。一方、同じシーンではないと判断した場合(シーンの切り替わりがあったと判断した場合)には、処理はステップS1604に進む。
ステップS1603では上記のステップS1102と同様、取得部302は、取得部301が取得した個別情報を取得すると共に、スイッチャ307および配信サービスサーバ309から撮像装置間情報を取得する。
ステップS1605では上記のステップS1103と同様、判断部303は、取得部302が取得した個別情報および撮像装置間情報に基づいて、カメラの再配置が必要であるか否か(カメラの再配置の要否)を判断する。
このような判断の結果、カメラの再配置が必要と判断した場合には、処理はステップS1606を介してステップS1607に進み、カメラの再配置は必要ないと判断した場合には、処理はステップS1606を介してステップS1610に進む。
ステップS1607では、判断部303は、カメラの再配置の要否を判断した回数をカウントするためのカウンタの値を1つインクリメントする。カウンタの値は、図16のフローチャートに従った処理の開始前には0に初期化されているものとする。
ステップS1608では、判断部303は、カウンタの値が閾値(一定回数:例えば3回)以上であるか否かを判断する。この判断の結果、カウンタの値が閾値以上であれば、処理はステップS1609に進み、カウンタの値が閾値未満であれば、処理はステップS1610に進む。閾値を設けることによって、安易な再配置の提示を低減させる。ステップS1609では上記のステップS1105と同様、提示部104は、再配置が必要である旨を提示する。
ステップS1610では上記のステップS1106と同様、判断部303は、全てのカメラによる撮像が終了したか否かを判断する。この判断の結果、全てのカメラによる撮像が終了している場合には、図16のフローチャートに従った処理は終了する。一方、撮像が終了していないカメラが残っている場合には、処理はステップS1601に進む。
一方、ステップS1604では、判断部303は、カウンタの値を0に初期化(リセット)する。そして処理はステップS1601に進む。これによって、異なるシーンによる再配置の影響を少なくする。
このように、本実施形態によれば、場面やケースの切り替えなど、シーンの切り替えがあった場合も考慮したカメラの再配置案の生成および提示を行うことができる。
[第4の実施形態]
第1の実施形態では、カメラを用いた撮像を開始する前に、該撮像のシチュエーションに応じた適切な構成の映像の撮像を可能にするためのカメラの配置案を生成してユーザに提示した。また、第2の実施形態では、カメラによる撮像中の変化を考慮したカメラの再配置案を生成してユーザに提示した。本実施形態では、カメラを用いた撮像を開始する前にカメラの配置案を生成してユーザに提示する構成と、カメラによる撮像中にカメラの再配置案を生成してユーザに提示する構成と、を有する情報処理装置100について説明する。このような情報処理装置100を含むシステムの構成例を図17のブロック図に示す。なお、このような構成を有する情報処理装置100は、第1の実施形態で説明した動作と、第2の実施形態で説明した動作と、を行う。なお、第2の実施形態で説明した動作に加えて若しくは代えて、第3の実施形態で説明した動作を実行するようにしても良い。
また、上記の各実施形態や変形例で使用した数値、処理タイミング、処理順、処理の主体、データ(情報)の取得方法/送信先/送信元/格納場所、GUIの構成やその操作方法などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。
また、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。
(その他の実施形態)
本開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本明細書の開示は、以下の情報処理装置、情報処理方法、コンピュータプログラムを含む。
(項目1)
撮像のシチュエーションを示すシチュエーション情報を取得する第1取得手段と、
前記シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、前記シチュエーション情報に基づいて取得する第2取得手段と、
撮像装置のパラメータを取得する第3取得手段と、
前記映像構成情報と、前記パラメータと、に基づいて、前記シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する生成手段と
を備えることを特徴とする情報処理装置。
(項目2)
前記第1取得手段は、ユーザにより入力されたシチュエーション情報を取得することを特徴とする項目1に記載の情報処理装置。
(項目3)
前記シチュエーション情報は、シチュエーションのジャンル、被写体の数、撮像装置の種類ごとの台数、を含むことを特徴とする項目1または2に記載の情報処理装置。
(項目4)
前記第2取得手段は、シチュエーション情報ごとに予め登録されている映像構成情報から、前記第1取得手段が取得したシチュエーション情報に対応する映像構成情報を取得することを特徴とする項目1ないし3のいずれか1項目に記載の情報処理装置。
(項目5)
前記映像構成情報は、被写体の撮像範囲、被写体に対する撮像装置の角度範囲、被写体の移動範囲に係る情報、を含むことを特徴とする項目1ないし4のいずれか1項目に記載の情報処理装置。
(項目6)
前記撮像装置のパラメータは、該撮像装置の位置、該撮像装置が移動可能な範囲、を含むことを特徴とする項目1ないし5のいずれか1項目に記載の情報処理装置。
(項目7)
前記撮像装置がパン、チルト、ズームを制御可能である場合、該撮像装置のパラメータはさらに、パン、チルト、ズームの制御可能な範囲を含むことを特徴とする項目6に記載の情報処理装置。
(項目8)
前記生成手段は、映像構成情報が規定する映像構成の映像を撮像可能であると判定された撮像装置のパラメータを用いて前記配置情報を生成することを特徴とする項目1ないし7のいずれか1項目に記載の情報処理装置。
(項目9)
前記生成手段は、より高い優先度の映像構成情報から順に、該映像構成情報が規定する映像構成の映像を撮像可能であると判定された撮像装置のパラメータを用いて前記配置情報を生成することを特徴とする項目1ないし8のいずれか1項目に記載の情報処理装置。
(項目10)
さらに、
前記第2取得手段が取得した映像構成情報を提示する手段を備えることを特徴とする項目1ないし9のいずれか1項目に記載の情報処理装置。
(項目11)
さらに、
前記生成手段が生成した配置情報を提示する提示手段を備えることを特徴とする項目1ないし10のいずれか1項目に記載の情報処理装置。
(項目12)
さらに、
撮像装置の再配置の要否を判断する判断手段と、
前記判断手段による判断の結果を提示する判断結果提示手段と
を備えることを特徴とする項目1ないし11のいずれか1項目に記載の情報処理装置。
(項目13)
前記判断手段は、
撮像装置の位置、撮像装置のPTZ値、撮像装置により撮像された映像から特定の動作が検出された回数、撮像装置のスイッチング割合、撮像装置が配信した映像においてサブとなる映像として配信したの割合、前記回数の割合、の1以上が再配置の条件を満たしているか否かに応じて、撮像装置の再配置の要否を判断することを特徴とする項目12に記載の情報処理装置。
(項目14)
前記判断結果提示手段はさらに、撮像装置の再配置の推奨位置を提示することを特徴とする項目12または13に記載の情報処理装置。
(項目15)
前記判断結果提示手段は、映像におけるシーンの切り替わりが検出されていない状態で撮像装置の再配置が必要であると判断した回数が閾値以上の場合に、前記判断手段による判断の結果を提示することを特徴とする項目12ないし14のいずれか1項目に記載の情報処理装置。
(項目16)
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第1取得手段が、撮像のシチュエーションを示すシチュエーション情報を取得する第1取得工程と、
前記情報処理装置の第2取得手段が、前記シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、前記シチュエーション情報に基づいて取得する第2取得工程と、
前記情報処理装置の第3取得手段が、撮像装置のパラメータを取得する第3取得工程と、
前記情報処理装置の生成手段が、前記映像構成情報と、前記パラメータと、に基づいて、前記シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する生成工程と
を備えることを特徴とする情報処理方法。
(項目17)
コンピュータを、項目1ないし15のいずれか1項目に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
本開示は上記実施形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本開示の範囲を公にするために請求項を添付する。
100:情報処理装置 101:入力部 102:提示部 103:取得部 104:提示部 105:カメラ 106:カメラ 107:カメラ

Claims (17)

  1. 撮像のシチュエーションを示すシチュエーション情報を取得する第1取得手段と、
    前記シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、前記シチュエーション情報に基づいて取得する第2取得手段と、
    撮像装置のパラメータを取得する第3取得手段と、
    前記映像構成情報と、前記パラメータと、に基づいて、前記シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する生成手段と
    を備えることを特徴とする情報処理装置。
  2. 前記第1取得手段は、ユーザにより入力されたシチュエーション情報を取得することを特徴とする請求項1に記載の情報処理装置。
  3. 前記シチュエーション情報は、シチュエーションのジャンル、被写体の数、撮像装置の種類ごとの台数、を含むことを特徴とする請求項1に記載の情報処理装置。
  4. 前記第2取得手段は、シチュエーション情報ごとに予め登録されている映像構成情報から、前記第1取得手段が取得したシチュエーション情報に対応する映像構成情報を取得することを特徴とする請求項1に記載の情報処理装置。
  5. 前記映像構成情報は、被写体の撮像範囲、被写体に対する撮像装置の角度範囲、被写体の移動範囲に係る情報、を含むことを特徴とする請求項1に記載の情報処理装置。
  6. 前記撮像装置のパラメータは、該撮像装置の位置、該撮像装置が移動可能な範囲、を含むことを特徴とする請求項1に記載の情報処理装置。
  7. 前記撮像装置がパン、チルト、ズームを制御可能である場合、該撮像装置のパラメータはさらに、パン、チルト、ズームの制御可能な範囲を含むことを特徴とする請求項6に記載の情報処理装置。
  8. 前記生成手段は、映像構成情報が規定する映像構成の映像を撮像可能であると判定された撮像装置のパラメータを用いて前記配置情報を生成することを特徴とする請求項1に記載の情報処理装置。
  9. 前記生成手段は、より高い優先度の映像構成情報から順に、該映像構成情報が規定する映像構成の映像を撮像可能であると判定された撮像装置のパラメータを用いて前記配置情報を生成することを特徴とする請求項1に記載の情報処理装置。
  10. さらに、
    前記第2取得手段が取得した映像構成情報を提示する手段を備えることを特徴とする請求項1に記載の情報処理装置。
  11. さらに、
    前記生成手段が生成した配置情報を提示する提示手段を備えることを特徴とする請求項1に記載の情報処理装置。
  12. さらに、
    撮像装置の再配置の要否を判断する判断手段と、
    前記判断手段による判断の結果を提示する判断結果提示手段と
    を備えることを特徴とする請求項1に記載の情報処理装置。
  13. 前記判断手段は、
    撮像装置の位置、撮像装置のPTZ値、撮像装置により撮像された映像から特定の動作が検出された回数、撮像装置のスイッチング割合、撮像装置が配信した映像においてサブとなる映像として配信したの割合、前記回数の割合、の1以上が再配置の条件を満たしているか否かに応じて、撮像装置の再配置の要否を判断することを特徴とする請求項12に記載の情報処理装置。
  14. 前記判断結果提示手段はさらに、撮像装置の再配置の推奨位置を提示することを特徴とする請求項12に記載の情報処理装置。
  15. 前記判断結果提示手段は、映像におけるシーンの切り替わりが検出されていない状態で撮像装置の再配置が必要であると判断した回数が閾値以上の場合に、前記判断手段による判断の結果を提示することを特徴とする請求項12に記載の情報処理装置。
  16. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の第1取得手段が、撮像のシチュエーションを示すシチュエーション情報を取得する第1取得工程と、
    前記情報処理装置の第2取得手段が、前記シチュエーションにおける撮像で要求される映像構成を規定する映像構成情報を、前記シチュエーション情報に基づいて取得する第2取得工程と、
    前記情報処理装置の第3取得手段が、撮像装置のパラメータを取得する第3取得工程と、
    前記情報処理装置の生成手段が、前記映像構成情報と、前記パラメータと、に基づいて、前記シチュエーションにおいて撮像を行う撮像装置の配置案を示す配置情報を生成する生成工程と
    を備えることを特徴とする情報処理方法。
  17. コンピュータを、請求項1ないし15のいずれか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
JP2022086234A 2022-05-26 2022-05-26 情報処理装置、情報処理方法 Pending JP2023173764A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022086234A JP2023173764A (ja) 2022-05-26 2022-05-26 情報処理装置、情報処理方法
EP23171242.3A EP4284014A1 (en) 2022-05-26 2023-05-03 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/317,189 US20230388624A1 (en) 2022-05-26 2023-05-15 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN202310599941.0A CN117135475A (zh) 2022-05-26 2023-05-25 信息处理设备、信息处理方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022086234A JP2023173764A (ja) 2022-05-26 2022-05-26 情報処理装置、情報処理方法

Publications (1)

Publication Number Publication Date
JP2023173764A true JP2023173764A (ja) 2023-12-07

Family

ID=86328982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022086234A Pending JP2023173764A (ja) 2022-05-26 2022-05-26 情報処理装置、情報処理方法

Country Status (4)

Country Link
US (1) US20230388624A1 (ja)
EP (1) EP4284014A1 (ja)
JP (1) JP2023173764A (ja)
CN (1) CN117135475A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
WO2017119034A1 (ja) * 2016-01-06 2017-07-13 ソニー株式会社 撮影システム、撮影方法およびプログラム
JP6701018B2 (ja) 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7046567B2 (ja) 2017-11-13 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN117135475A (zh) 2023-11-28
US20230388624A1 (en) 2023-11-30
EP4284014A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
RU2528566C2 (ru) Устройство управления, система камеры и программа
US9851877B2 (en) Image processing apparatus, image processing method, and computer program product
US20160055675A1 (en) Information processing device, information processing method, and program
KR101573646B1 (ko) 공간 북마킹
US20160055676A1 (en) Display control device, display control method, and program
US10628010B2 (en) Quick review of captured image data
JP6070783B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
JP2015018296A (ja) 表示制御装置、プログラム及び記録媒体
CN102202168A (zh) 控制装置、相机系统和程序
JP2019062575A (ja) 制御装置及び制御方法、プログラム
JP7111288B2 (ja) ビデオ処理方法、装置および記憶媒体
WO2015142971A1 (en) Receiver-controlled panoramic view video share
EP3335179A1 (en) Methods, systems, and media for presenting interactive elements within video content
JP6852293B2 (ja) 画像処理システム、情報処理装置、情報端末、プログラム
EP3062506B1 (en) Image switching method and apparatus
CN108140401A (zh) 访问视频片段
US11205360B2 (en) Display control apparatus, display control method, and non-transitory computer-readable storage medium
US11310430B2 (en) Method and apparatus for providing video in portable terminal
JP2023173764A (ja) 情報処理装置、情報処理方法
JP6881193B2 (ja) 情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システム
CN112887603A (zh) 拍摄预览方法、装置及电子设备
JP5967126B2 (ja) 端末装置及びプログラム
JP6540732B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2017062350A (ja) 表示制御装置及びその制御方法、表示装置、コンピュータプログラム