JP2017034313A - 撮影装置、プログラム及び撮影方法 - Google Patents

撮影装置、プログラム及び撮影方法 Download PDF

Info

Publication number
JP2017034313A
JP2017034313A JP2015149049A JP2015149049A JP2017034313A JP 2017034313 A JP2017034313 A JP 2017034313A JP 2015149049 A JP2015149049 A JP 2015149049A JP 2015149049 A JP2015149049 A JP 2015149049A JP 2017034313 A JP2017034313 A JP 2017034313A
Authority
JP
Japan
Prior art keywords
person
unit
speaker
shooting
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015149049A
Other languages
English (en)
Inventor
清人 五十嵐
Kiyoto Igarashi
清人 五十嵐
内山 裕章
Hiroaki Uchiyama
裕章 内山
耕司 桑田
Koji Kuwata
耕司 桑田
高橋 仁人
Masahito Takahashi
仁人 高橋
智幸 後藤
Tomoyuki Goto
智幸 後藤
和紀 北澤
Kazuki Kitazawa
和紀 北澤
宣正 銀川
Nobumasa Gingawa
宣正 銀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015149049A priority Critical patent/JP2017034313A/ja
Priority to US15/216,779 priority patent/US9615059B2/en
Publication of JP2017034313A publication Critical patent/JP2017034313A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1063Application servers providing network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1073Registration or de-registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】映像をより快適に閲覧させること。【解決手段】人物が存在する方向及び撮影部による撮影の可否を、一意に人物を識別する識別情報に対応付けた人物の情報を記憶する記憶部と、発話した人物の方向を検出する検出部と、記憶部に記憶された人物の情報に基づいて、検出した方向の人物の撮影が可能であるか否かを判定する判定部と、判定部において撮影が可能であると判定された場合、検出した人物の方向に撮影部の撮影方向を制御する制御部と、を有する撮影装置が開示される。【選択図】図3

Description

本発明は、撮影装置、プログラム及び撮影方法に関する。
会議で発話した参加者をカメラで追尾して撮影し、会議の映像を外部に配信するシステムがある。
例えば、会議室に設置されているカメラにマイクアレイが配列されており、マイクアレイによって発話した参加者の方向が検知される。検知した参加者の方向にカメラの向きが制御され、発話している参加者が撮影される。別の参加者が発話した場合、発話した参加者の方向にカメラの向きが変更される。撮影された会議の映像は、ネットワークを介して閲覧者の端末に配信される。
例えば、複数のマイクを配列して構成されたマイクアレイを用いて発話者の方向を検出し、検出した方向にカメラの向きを制御する技術が開示されている(例えば、特許文献1)。
しかしながら、従来の技術では、映像を快適に閲覧できないという問題があった。
例えば、会議の進行役、アシスタント等のように発話する頻度は高いが、討議の中心とならない参加者を撮影する場合、進行役及びアシスタント等の方向にカメラの撮影方向が頻繁に変更されるため、閲覧者が画面酔いすることがある。
そこで、開示の技術では、映像をより快適に閲覧させることを目的とする。
実施形態では、人物が存在する方向及び撮影部による撮影の可否を、一意に人物を識別する識別情報に対応付けた人物の情報を記憶する記憶部と、発話した人物の方向を検出する検出部と、前記記憶部に記憶された前記人物の情報に基づいて、前記検出した方向の人物の撮影が可能であるか否かを判定する判定部と、前記判定部において撮影が可能であると判定された場合、前記検出した人物の方向に前記撮影部の撮影方向を制御する制御部と、を有する撮影装置が開示される。
映像をより快適に閲覧させることができる。
映像配信システムの全体の構成の例を示す図である。 配信端末のハードウェア構成を示す図である。 実施形態1に係る配信端末の機能構成の例を示す図である。 カメラの位置座標と角度との関係を示す図である。 参加者テーブルのデータ構造の第1の例を示す図である。 選択メニューの表示例を示す図である。 実施形態1の制御フローを示す図である。 実施形態2に係る配信端末の機能構成の例を示す図である。 参加者テーブルのデータ構造の第2の例を示す図である。 ユーザテーブルのデータ構造の例を示す図である。 実施形態2の制御フローを示す図である。 参加者テーブルのデータ構造の第3の例を示す図である。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。
(実施形態1)
図1は、映像配信システム1の全体の構成の例を示す図である。映像配信システム1は、サーバ2と、配信端末3と、利用者端末4a〜4nとを有する。サーバ2は、通信部21を有する。配信端末3は、通信部31と、処理部32と、データ取得部33と、データ出力部34と、記憶部35とを有する。サーバ2と、配信端末3と、利用者端末4a〜4nとは、通信ネットワーク5を介して接続される。
データ取得部33は、例えば、会議室内の映像データ及び音声データを取得する。通信部31は、取得した映像データ及び音声データを、通信ネットワーク5を介してサーバ2に送信する。サーバ2は、通信ネットワーク5を介して利用者端末4a〜4nに映像データ及び音声データを配信する。
図2は、配信端末3のハードウェア構成を示す図である。図2に示されているように、配信端末3は、配信端末3全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、配信端末3の宛先を選択する場合などに操作される操作ボタン108、配信端末3の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク5を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、配信端末3は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、及び上記各構成要素を図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが動作する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、配信端末3に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
図3は、実施形態1に係る配信端末3の機能構成の例を示す図である。記憶部35は、参加者テーブル35aを有する。データ取得部33は、マイクアレイ33aと、カメラ33bとを有する。マイクアレイ33aは、会議室内の音声データを取得するとともに、会議室内で発話した発話者の方向を特定する。
カメラ33bは、発話者の画像データ及び映像データを取得する。カメラ33bは、取得した発話者の画像を参加者テーブル35aに記憶する。通信部31は、会議室内の映像データ及び音声データをサーバ2へ送信する。
処理部32は、検出部32aと、登録部32bと、判定部32cと、制御部32dとを有する。検出部32aは、マイクアレイ33aを用いて、会議室で発話した参加者の方向を検出する。例えば、検出部32aは、座標を(0,0)とする原点から会議室内の基準点(座標(0,Y))を撮影する方向を0度とした場合に、カメラ33bの位置座標(X,Y)と参加者を撮影した時の撮影角度θとを取得する。以下、発話者の位置に対応した撮影方向に関するデータを方向データという。方向データは、カメラ33bの位置座標(X,Y)と参加者を撮影した時の撮影角度θとにより、例えば、(X,Y,θ)のように表される。
図4は、カメラ33bの位置座標と角度との関係を示す図である。方向データB(0,0,0)は、原点(0,0)から基準点β(0,Y)を撮影した場合のカメラ33bの位置座標(0,0)及び撮影角度0度を示す。
方向データA(X,Y)は、カメラ33bの位置座標(X,Y)と、発話者が検出された方向に対応するカメラ33bの撮影角度θを示す。カメラ33bの位置座標(X,Y)は、カメラが設置された位置の座標を示す。また、撮影角度θは、原点(0,0)から基準点β(0,Y)を撮影したカメラ33bの撮影角度を0度とした場合において、位置座標(X,Y)から発話者を撮影したときの撮影角度を示す。なお、カメラ33bを原点(0,0)に固定する場合は、方向データを撮影角度θのみで表してもよい。
また、検出部32aは、複数のカメラ33bを用いて発話者を検出してもよい。例えば、複数のカメラ33bを用いて発話者を検出する場合、発話者を検出したカメラ33bの識別番号nと、カメラ33bの位置及び撮影角度のデータ(X,Y,θ)とに基づいて、検出部32aは、カメラの識別番号nを含む方向データ(n,X,Y,θ)を取得してもよい。
図3に戻る。登録部32bは、参加者テーブル35aに登録されていない方向データを取得した場合、最初に発言した発話者であるものとして、参加者テーブル35aの登録の対象であると判別する。続いて、登録部32bは、カメラ33bの撮影方向を、方向データに対応する方向に制御して発話者の画像を取得する。続いて、登録部32bは、取得した発話者の画像と方向データとを対応付けて参加者テーブル35aに登録する。なお、登録部32bは、取得した方向データが参加者テーブル35aに登録されている方向データと一致する場合、参加者テーブル35aに登録済みの参加者により発話されたため、参加者テーブル35aの登録の対象でないと判別する。
判定部32cは、検出部32aによって検出された発話者を撮影するか否かを判定する。例えば、判定部32cは、参加者テーブル35aで発話者を撮影しないと指定されている場合、発話者を撮影しない旨の判定をする。一方、判定部32cは、参加者テーブル35aで発話者を撮影すると指定されている場合、発話者を撮影する旨の判定をし、判定結果を制御部32dに通知する。
図5は、参加者テーブル35aのデータ構造の第1の例を示す図である。参加者テーブル35aは、記憶部35に記憶される。参加者テーブル35aは、参加者の画像、撮影方向、撮影回数、撮影の可否を対応付ける。「No」は、発話者を検出した順番を示す。例えば、参加者テーブル35aは、最初に撮影した発話者のNOを「0001」とし、その次に撮影した発話者の「No」を「0002」として保持する。「画像」は、カメラ33bにより撮影された発話者の画像であり、JPEG又はGIF等の形式で保存される。「方向」は、検出された発話者の撮影方向を示す方向データである。例えば、方向データは、発話者が検出された場合のカメラ33bの位置座標(X,Y)及び撮影角度θにより、(X,Y,θ)のように表される。「回数」は、発話回数を示す。「撮影可否」は、参加者が発話した場合に撮影するか否かを示す。撮影可否が「○」の場合、参加者が発話した場合に撮影することを示し、撮影可否が「×」の場合、参加者が発話しても撮影しないことを示す。なお、撮影可否の初期値を「○」とし、撮影しない参加者を適宜「×」に変更できるようにしてもよい。
図3に戻る。制御部32dは、判定部32cによる判定結果に応じて、カメラ33bの撮影方向を制御する。例えば、制御部32dは、発話者の方向データに応じてカメラ33bを旋回させて発話者の方向に向くように制御してもよい。また、制御部32dは、カメラ33bが会議室全体を正面から撮影している場合、発話者の方向データに基づいて発話者の映像が拡大されるように制御してもよい。通信部31は、カメラ33bによって撮影されたデータを、通信ネットワーク5を介して閲覧者に配信する。
図6は、選択メニュー120Aの表示例を示す図である。選択メニュー120Aは、検出部32aによって検出された発話者を撮影するか否かを指定するためのメニュー画面である。例えば、選択メニュー120Aは、データ出力部34に接続されたモニタ上に表示される。
選択メニュー120Aには、検出部32aによって検出された参加者が、発話回数の多い順に表示される。例えば、発話者Aが最も発話回数の多い参加者であり、発話者Bが2番目に発話回数の多い参加者であり、発話者Cが3番目に発話回数の多い参加者であり、発話者Dが4番目に発話回数の多い参加者である。例えば、発話者A、発話者B、発話者C、発話者Dは、それぞれ図5のNo「0001」「0002」「0003」等に対応する。なお、発話回数は、図5の参加者テーブル35aの「回数」に対応している。
選択メニュー120Aにおいて、発話者A、発話者B、発話者C、発話者Dの右側に対応する参加者の画像が表示される。発話者A、発話者B、発話者C、発話者Dの画像は、それぞれ図5の画像「010a」「010b」「010c」等に対応する。
また、発話者の画像の右に表示されているカメラ撮影選択ボタンは、参加者の撮影の可否を示している。例えば、発話者Aは、「○」が選択されているので、発話者Aが発話した場合にカメラ33bによって撮影されることを示す。また、発話者Bは、「×」が選択されているので、発話者Bが発話した場合にカメラ33bによって撮影されないことを示す。
また、カメラ撮影選択ボタンをクリックすることで、撮影の可否の指定を参加者毎に切り替えることができる。カメラ撮影選択ボタンの「○」又は「×」の指定は、図5の「撮影可否」に対応しており、カメラ撮影選択ボタンがクリックされて「○」「×」が切り替わると、図5の「撮影可否」の「○」「×」も切り替わる。
図7は、実施形態1の制御フローを示す図である。ビデオ会議が開始されると(ステップS10)、検出部32aは、発話者が存在するか否かを判定する(ステップS11)。検出部32aは、発話者が存在しない場合(ステップS11No)、制御部32dにカメラを制御する命令を送信せず(ステップS16)、タイマーで所定時間経過した後(ステップS17)、再度ステップS17を実行する。
一方、検出部32aは、発話者が存在する場合(ステップS11Yes)、マイクアレイ33aにより発話者の方向データを取得する(ステップS12)。続いて、検出部32aは、取得した方向データに基づいて発話者の方向を検出し、発話回数を集計する(ステップS13)。例えば、検出部32aは、図5の参加者テーブル35aに登録されている発話者が発言した場合、発言した発話者に対応するレコードの発話回数をカウントアップする。
また、登録部32bは、発話者が最初に発言した場合、図5の参加者テーブル35aに新規レコードを生成し、カメラ33bにより撮影した発話者の画像、検出した方向データ等を同じNoに対応付けて登録する(ステップS13)。かかる場合に、登録部32bは、参加者テーブル35aの「撮影可否」に初期設定として「○」を格納してもよい。
続いて、判定部32cは、参加者テーブル35aを参照して、参加者に対し、カメラ撮影をしない指定がなされているかを判定する(ステップS14)。判定部32cは、参加者に対してカメラ撮影をしない指定がなされている場合(ステップS14No)、制御部32dにカメラ33bを制御する命令を送信せず(ステップS16)、タイマーで所定時間経過した後(ステップS17)、再度ステップS10を実行する。
一方、判定部32cは、参加者に対してカメラ撮影をする指定がなされている場合(ステップS14Yes)、制御部32dにカメラ33bを制御する命令を送信し、ステップS15に移行する。ステップS15において、制御部32dは、参加者テーブル35aに登録されている方向データに基づいて、撮影方向を発話者に向けるようカメラ33bを制御する。続いて、判定部32cは、タイマーで所定時間経過した後(ステップS17)、再度ステップS10を実行する。
以上説明したように、発話者に対してカメラ撮影をするか否かの指定に基づいてカメラ撮影するか否かを判定しているので、カメラ33bの撮影方向の切り替え頻度を少なくすることができ、閲覧者に映像をより快適に閲覧させることができる。
(実施形態2)
図8は、実施形態2に係る配信端末3の機能構成の例を示す図である。データ取得部33は、マイクアレイ33aと、カメラ33bとを有する。
記憶部35は、参加者テーブル35bと、ユーザテーブル35cとを有する。参加者テーブル35bは、参加者の方向データ及び撮影の可否を対応付けて記憶する。また、ユーザテーブルは、参加者を顔認証するための顔画像とユーザIDとを対応付けて記憶する。
図9は、参加者テーブル35bのデータ構造の第2の例を示す図である。参加者テーブル35bは、参加者のユーザID、撮影方向を対応付ける。「No」は、発話者を検出した順番を示す。「ユーザID」は、ユーザを一意に識別する識別情報であり、数字、又は数字、文字及び記号の組み合わせで表現される。「ユーザID」は、各ユーザに対して、予め1つずつ付与される。「方向」は、検出された発話者の撮影方向を示す。「撮影可否」は、参加者が発話した場合に撮影するか否かを示す。
図10は、ユーザテーブル35cのデータ構造の例を示す図である。「ユーザID」は、ユーザを一意に識別する識別番号であり、参加者テーブル35bの「ユーザID」に対応する。「画像」は、ユーザの顔画像である。顔認証によって発話者のユーザIDを特定する場合に用いられる。「撮影可否」は、参加者が発話した場合に撮影するか否かを示す。
なお、図9の参加者テーブル35bの「撮影可否」の初期値は、図10のユーザテーブル35cの「撮影可否」をコピーしたものであってもよい。また、図9の参加者テーブル35bの「撮影可否」は事後的に変更されてもよい。
また、図9の参加者テーブル35bは、「撮影可否」の項目を有しなくてもよい。例えば、処理部32は、参加者テーブル35bに「撮影可否」の項目が含まれない場合、ユーザIDを図10のユーザテーブル35cの外部キーとして用い、ユーザテーブル35c対応するレコードの「撮影可否」の項目を参照するようにしてもよい。
処理部32は、検出部32aと、登録部32bと、判定部32cと、制御部32dとを有する。
検出部32aは、マイクアレイ33aを用いて、会議室で発話した発話者の方向データを検出する。検出部32aは、検出した方向データに基づいて、参加者テーブル35bの発話者のレコードを特定し、判定部32cにレコードのNoを通知する。
登録部32bは、検出された方向データが最初に発言した発話者の方向データであった場合、検出部32aによって検出された方向データに基づいてカメラ33bを発話者の方向に向け、発話者の顔画像を含む画像データを取得する。続いて、登録部32bは、取得した画像データと図10のユーザテーブル35cの画像とを顔認証等によって比較する。例えば、登録部32bは、顔認証する場合に、固有顔等の顔認証アルゴリズムを用いてもよい。
続いて、登録部32bは、画像データに一致する画像を含むユーザテーブル35cのレコードを特定し、特定したレコードのユーザID及び撮影可否を取得する。続いて、登録部32bは、参加者テーブル35bの新規レコードに、カメラ33bによって取得した方向データと、図10のユーザテーブル35cから取得したユーザID及び撮影可否とを格納する。
判定部32cは、検出部32aから通知されたレコードのNoの撮影可否に応じて撮影するか否かを判定する。
制御部32dは、判定部32cによる判定結果に基づいてカメラ33bの撮影方向を制御する。
図11は、実施形態2の制御フローを示す図である。ビデオ会議が開始されると(ステップS20)、検出部32aは、発話者が存在するか否かを判定する(ステップS21)。検出部32aは、発話者が存在しない場合(ステップS21No)、制御部32dにカメラを制御する命令を送信せず(ステップS33)、タイマーで所定時間経過した後(ステップS34)、再度ステップS21を実行する。
一方、検出部32aは、発話者が存在する場合(ステップS21Yes)、マイクアレイ33aにより発話者の方向データを取得する(ステップS22)。続いて、検出部32aは、取得した発話者の方向データに基づいて、参加者テーブル35bに既登録の発話者であるか否かを判定する(ステップS23)。
登録部32bは、新規の発話者であった場合(ステップS23No)、カメラ33bの撮影方向を発話者に向け、発話者の顔画像を含む画像データを取得する(ステップS24)。続いて、登録部32bは、取得した画像データとユーザテーブル35cの画像とを顔認証等によって比較することで、発話者のユーザIDを特定する(ステップS25)。
ステップS26において、登録部32bは、特定されたユーザIDに対応するユーザテーブル35cのレコードに基づいて、発話者をカメラ撮影する指定がなされているかを判定する。登録部32bは、発話した発話者に対してカメラ撮影をしない指定がなされている場合(ステップS26Yes)、参加者テーブル35bに発話者の方向データを記憶する(ステップS27)。さらに、登録部32bは、参加者テーブル35bに発話者が撮影可能であることを登録する(ステップS28)。一方、登録部32bは、発話した発話者に対してカメラ撮影をしない指定がなされている場合(ステップS26No)、参加者テーブル35bに発話者の方向データを記憶する(ステップS29)。さらに、登録部32bは、参加者テーブル35bに発話者が撮影不可であることを登録する(ステップS30)。続いて、検出部32aは、ステップS34の処理に移行する。
一方、ステップS23において、判定部32cは、参加者テーブル35bに既登録の発話者であった場合(ステップS23Yes)、カメラ33bによる撮影不可が指定されていないかを判定する(ステップS31)。制御部32dは、カメラ33bによる撮影不可が指定されていなかった場合(ステップS31Yes)、カメラ33bの撮影方向を発話者に向ける(ステップS32)。一方、制御部32dは、カメラ33bによる撮影不可が指定されていた場合(ステップS31No)、カメラ33bの撮影方向を制御しない(ステップS33)。続いて、検出部32aは、ステップS34の処理に移行する。
以上説明したように、あらかじめユーザごとに撮影の可否を設定しておき、顔認証により特定したユーザに対して撮影の可否を判定するので、各参加者の撮影の可否を設定する手間を省くことができる。
(実施形態3)
配信端末3は、参加者が着席する席番ごとにあらかじめ撮影の可否を設定してもよい。配信端末3の機能構成は、実施形態1(図3)と同様である。参加者テーブル35dのデータ構造が実施形態1と異なる。
図12は、参加者テーブル35dのデータ構造の第3の例を示す図である。参加者テーブル35dは、記憶部35に記憶される。参加者テーブル35dは、参加者の席番、撮影方向、撮影の可否を対応付ける。「席番」は、参加者の席番を示す。例えば、会議室内の席毎に一意に席番が付される。「方向」は、席番に対応する撮影方向である。例えば、カメラ33bの位置座標(X,Y)と参加者を撮影した時の撮影角度θとを含む方向データ(X,Y,θ)が、それぞれの席番に対して与えられる。「撮影可否」は、参加者が発話した場合に撮影するか否かを示す。例えば、撮影しない参加者が着席する席番「0001」の「撮影可否」にあらかじめ「×」を設定しておくことで、会議中に席番「0001」に着席した参加者を撮影しないようにカメラ33bが制御される。
検出部32aは、マイクアレイ33aを用いて、会議室で発話した発話者の方向を検出する。検出部32aは、カメラ33bの位置座標(X,Y)と参加者を撮影した時の撮影角度θとを、方向データ(X,Y,θ)として取得し、方向データ(X,Y,θ)を判定部32cに送信する。
判定部32cは、方向データ(X,Y,θ)に対応する参加者テーブル35dの席番のレコードで、発話者を撮影しない指定されている場合、検出された発話者を撮影しない判定をする。一方、判定部32cは、方向データ(X,Y,θ)に対応する参加者テーブル35dの席番のレコードで、発話者を撮影する指定されている場合、検出された発話者を撮影する判定をし、判定結果を制御部32dに通知する。
制御部32dは、判定部32cによる判定結果に基づいてカメラ33bの撮影方向を制御する。
以上のように、参加者が着席する席番ごとにあらかじめ撮影の可否を設定しておくことで、会議開始前に参加者の撮影の可否を設定することができる。
また、実施形態1乃至3は、コンピュータの媒体に格納されたプログラムを実行させることにより、配信端末3の機能を実現できる。
以上、配信端末3を実施形態1乃至3により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
なお、本実施形態において、配信端末3は、撮影装置の一例である。記憶部35は、記憶部の一例である。検出部32aは、検出部の一例である。判定部32cは、判定部の一例である。制御部32dは、制御部の一例である。登録部32bは、登録部の一例である。カメラ33bは、撮影部の一例である。
2 サーバ
3 配信端末
4 利用者端末
5 通信ネットワーク
31 通信部
32 処理部
32a 検出部
32b 登録部
32c 判定部
32d 制御部
33 データ取得部
33a マイクアレイ
33b カメラ
34 データ出力部
35 記憶部
35a 参加者テーブル
100 ビデオ配信システム
特開2008−103824号公報

Claims (6)

  1. 人物が存在する方向及び撮影部による撮影の可否を、一意に人物を識別する識別情報に対応付けた人物の情報を記憶する記憶部と、
    発話した人物の方向を検出する検出部と、
    前記記憶部に記憶された前記人物の情報に基づいて、前記検出した方向の人物の撮影が可能であるか否かを判定する判定部と、
    前記判定部において撮影が可能であると判定された場合、前記検出した人物の方向に前記撮影部の撮影方向を制御する制御部と、を有する撮影装置。
  2. 前記記憶部は、さらに人物の画像を前記識別情報に対応付けて記憶し、
    前記検出部が新規の方向を検出した場合に、該新規の方向にいる人物の画像を前記記憶部に前記識別情報に対応付けて登録する登録部をさらに有する請求項1に記載の撮影装置。
  3. 前記登録部は、前記記憶部に記憶されている人物の撮影の可否が指定された場合、前記指定に基づいて、該撮影の可否を前記記憶部に前記識別情報に対応付けて登録する請求項2に記載の撮影装置。
  4. 前記検出部は、検出された方向の人物の画像と、前記記憶部に記憶された画像との比較に基づいて、前記識別情報を特定する請求項1乃至3のうちいずれか1項に記載の撮影装置。
  5. 発話した人物の方向を検出し、
    人物が存在する方向及び撮影部による撮影の可否を、一意に人物を識別する識別情報に対応付けた人物の情報を記憶する記憶部に記憶された前記人物の情報に基づいて、前記検出した方向の人物の撮影が可能であるか否かを判定し、
    撮影が可能であると判定された場合、前記検出した人物の方向に前記撮影部の撮影方向を制御する処理をコンピュータに実行させるプログラム。
  6. 発話した人物の方向を検出し、
    人物が存在する方向及び撮影部による撮影の可否を、一意に人物を識別する識別情報に対応付けた人物の情報を記憶する記憶部に記憶された前記人物の情報に基づいて、前記検出した方向の人物の撮影が可能であるか否かを判定し、
    撮影が可能であると判定された場合、前記検出した人物の方向に前記撮影部の撮影方向を制御する処理をコンピュータが実行する方法。
JP2015149049A 2015-07-28 2015-07-28 撮影装置、プログラム及び撮影方法 Pending JP2017034313A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015149049A JP2017034313A (ja) 2015-07-28 2015-07-28 撮影装置、プログラム及び撮影方法
US15/216,779 US9615059B2 (en) 2015-07-28 2016-07-22 Imaging apparatus, medium, and method for imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015149049A JP2017034313A (ja) 2015-07-28 2015-07-28 撮影装置、プログラム及び撮影方法

Publications (1)

Publication Number Publication Date
JP2017034313A true JP2017034313A (ja) 2017-02-09

Family

ID=57886203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015149049A Pending JP2017034313A (ja) 2015-07-28 2015-07-28 撮影装置、プログラム及び撮影方法

Country Status (2)

Country Link
US (1) US9615059B2 (ja)
JP (1) JP2017034313A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010439A (ja) 2016-07-13 2018-01-18 株式会社リコー 座標検出装置
CN110232925A (zh) * 2019-06-28 2019-09-13 百度在线网络技术(北京)有限公司 生成会议记录的方法、装置和会议终端
CN112543302B (zh) * 2020-12-03 2023-01-31 云知声智能科技股份有限公司 一种多人远程会议中智能降噪的方法和设备
US11800057B2 (en) * 2021-12-31 2023-10-24 Plantronics, Inc. System and method of speaker reidentification in a multiple camera setting conference room

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5028944B2 (ja) 2006-10-17 2012-09-19 ヤマハ株式会社 音声会議装置及び音声会議システム
US20100085415A1 (en) * 2008-10-02 2010-04-08 Polycom, Inc Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference
US8427521B2 (en) * 2009-10-21 2013-04-23 At&T Intellectual Property I, L.P. Method and apparatus for providing a collaborative workspace
JP5031016B2 (ja) 2009-12-07 2012-09-19 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US20120327176A1 (en) * 2011-06-21 2012-12-27 Broadcom Corporation Video Call Privacy Control
JP6221489B2 (ja) 2013-08-09 2017-11-01 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6303324B2 (ja) 2013-08-09 2018-04-04 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6326750B2 (ja) 2013-09-11 2018-05-23 株式会社リコー 通信端末、通信管理システム、通信システム、発信履歴の管理方法、及びプログラム
JP2015082149A (ja) 2013-10-21 2015-04-27 株式会社リコー 通信システム、通信方法及び通信プログラム
JP6432127B2 (ja) 2013-11-12 2018-12-05 株式会社リコー 通信装置、通信システム、通信方法及び通信プログラム
JP2015103106A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、及び通信プログラム
JP2015103105A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、通信システム、及び通信プログラム
JP2015106768A (ja) * 2013-11-29 2015-06-08 ブラザー工業株式会社 通信装置のプログラム、通信装置、及び通信方法

Also Published As

Publication number Publication date
US20170034481A1 (en) 2017-02-02
US9615059B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
JP5967473B2 (ja) 撮像装置及び撮像システム
US9094597B2 (en) Imaging apparatus and imaging system
WO2020238380A1 (zh) 全景拍摄方法及终端设备
US10200585B2 (en) Imaging device, imaging system, imaging method, and computer-readable recording medium for use in an imaging system including an external communication device
US10158798B2 (en) Imaging apparatus and method of controlling the same
TW200808044A (en) Imaging apparatus and computer readable recording medium
JPWO2016038971A1 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
JP2013013062A (ja) 撮像装置及び撮像システム
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US9635235B2 (en) Communication apparatus and control method thereof
JP2017034313A (ja) 撮影装置、プログラム及び撮影方法
US20200014843A1 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
US20100033582A1 (en) Method and apparatus for controlling thumbnail display and digital photographing apparatus
US11270407B2 (en) Electronic device, control method, and non-transitory computer readable medium
US20200301565A1 (en) Electronic device for controlling display of vr image, control method of electronic device, and non-transitory computer readable medium
CN105744165A (zh) 拍照方法、装置及终端
JP6631166B2 (ja) 撮影装置、プログラム及び撮影方法
JP6544209B2 (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
JP2017168903A (ja) 情報処理装置、会議システムおよび情報処理装置の制御方法
EP3033874B1 (en) Electronic apparatus and method of controlling the same
JP6128929B2 (ja) 撮像装置及びその制御方法並びにプログラム
WO2023181862A1 (ja) 情報処理装置、情報処理方法、記憶媒体
JP2006238033A (ja) 電子機器
JP2021022910A (ja) 通信端末、通信プログラム、通信方法及び通信システム