JP2013243543A - 撮像装置、マスク画像の重畳方法、および、プログラム - Google Patents

撮像装置、マスク画像の重畳方法、および、プログラム Download PDF

Info

Publication number
JP2013243543A
JP2013243543A JP2012115762A JP2012115762A JP2013243543A JP 2013243543 A JP2013243543 A JP 2013243543A JP 2012115762 A JP2012115762 A JP 2012115762A JP 2012115762 A JP2012115762 A JP 2012115762A JP 2013243543 A JP2013243543 A JP 2013243543A
Authority
JP
Japan
Prior art keywords
mask
image
imaging
received
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012115762A
Other languages
English (en)
Other versions
JP2013243543A5 (ja
JP5921331B2 (ja
Inventor
Takahiro Iwasaki
崇博 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012115762A priority Critical patent/JP5921331B2/ja
Priority to PCT/JP2013/063244 priority patent/WO2013175980A1/ja
Priority to US14/065,143 priority patent/US9525826B2/en
Publication of JP2013243543A publication Critical patent/JP2013243543A/ja
Publication of JP2013243543A5 publication Critical patent/JP2013243543A5/ja
Application granted granted Critical
Publication of JP5921331B2 publication Critical patent/JP5921331B2/ja
Priority to US15/351,098 priority patent/US10122941B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 撮像素子によって生成された撮像画像のうち特定の部分をキャプチャして配信するようキャプチャ範囲を指定するパラメータをサポートしているかどうかに因らない共通のマスク設定が行える撮像装置を提供する。
【解決手段】 受信したマスクパラメータに撮像部1003の撮像方向を示す撮像方向情報が含まれる場合には、撮像方向情報と、配信画像位置情報と、重畳位置情報とに基づいて撮像範囲におけるマスク画像の位置を特定する。一方、マスクパラメータに撮像方向情報が含まれない場合には、配信画像位置情報と重畳位置情報とに基づいて撮像画像におけるマスク画像の位置を特定する。
【選択図】 図2

Description

本発明は、撮像した画像を配信可能な撮像装置に関し、特に撮像装置が配信する画像をマスクする機能に関する。
従来、撮像画像の配信先でその領域を特定できないようにするためのマスク処理機能が提供されている。マスク処理機能には、例えば、対象領域をOSD(On Screen Display:オンスクリーン表示)によって塗りつぶす処理や、対象領域の画質低下処理、フィルター処理などの機能がある。
例えば、特許文献1では、カメラ撮像部から出力される画像データにおける撮影禁止領域の画質低減処理を行うことが開示されている。
特開2005−323007号公報
しかしながら撮像装置やクライアントアプリケーションの機種毎にマスク処理機能の実装やインタフェースが異なるため、従来は異なる機種間でマスクの設定ができないことがあった。
例えば、撮像素子によって生成された撮像画像のうち特定の部分をキャプチャして配信するようキャプチャ範囲を指定するBoundsというパラメータをサポートした撮像装置Bと、Boundsをサポートしない撮像装置Cがあったとする。従来、これらの異なる撮像装置BとCに対してクライアントアプリケーションAからは、共通のマスク設定が行えないことがあった。
上記課題を解決するために、本発明による撮像装置は、撮像方向を変更可能な撮像手段と、前記撮像手段が撮像した撮像画像の一部又は全体を配信画像として受信装置に送信する送信手段と、前記撮像画像における前記配信画像の位置を示す配信画像位置情報を、前記配信画像位置情報を特定するための特定情報と対応付けて複数記憶する記憶手段と、前記配信画像におけるマスク画像の位置を示す重畳位置情報と、前記特定情報とを含むマスクパラメータを前記受信装置から受信する受信手段と、前記受信手段が受信した前記マスクパラメータに前記撮像手段の撮像方向を示す撮像方向情報が更に含まれる場合には、前記受信したマスクパラメータに含まれる前記撮像方向情報と、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と、前記受信したマスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像手段が撮像可能な撮像範囲における前記マスク画像の位置を特定し、前記受信手段が受信した前記マスクパラメータに前記撮像方向情報が含まれない場合には、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と前記マスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像画像における前記マスク画像の位置を特定する特定手段と、前記特定手段が特定した位置に基づいて前記マスク画像を前記撮像画像上に重畳する重畳手段とを有することを特徴とした。
本発明の撮像装置によれば、機種毎にマスク処理機能の実装やインタフェースが異なる場合でも、共通のマスク設定が行えるようになるという効果がある。
システム外観図である。 ブロック図である。 パラメータ構成図である。 コマンドシーケンス図である。 マスク設定のコマンドシーケンス図である。 マスクパラメータ処理のフローチャート図である。 マスクパラメータ処理のフローチャート図である。 座標計算の説明図である。 座標計算の説明図である。
以下に、本発明の実施の形態を説明する。
図1(a)は、本発明の実施形態にかかわる監視カメラを示す図である。1101は撮像部の向きをパン方向に、同じく1102はチルト方向に変更する機構であり、1103はズーム機構である。
図1(c)は、監視カメラ1000を含むシステム構成図である。2000は、本発明における外部機器を示すクライアント装置である。監視カメラ1000とクライアント装置2000は、IPネットワーク網1500を介して相互に通信可能な状態に接続されている。クライアント装置2000は、監視カメラ1000に対して、後述する撮像パラメータ変更や雲台駆動、映像ストリーミング開始等の各種コマンドを送信する。監視カメラ1000は、それらのコマンドに対するレスポンスや映像ストリーミングをクライアント装置2000に送信する。図1(b)については、後述する。
図2(a)は、本実施形態に関わる監視カメラの内部構成を示す図である。
図2(a)において、1001は制御部であり、監視カメラ1000の全体の制御を行う。制御部1001は、例えばCPUで構成されるコンピュータである。
1002は記憶部(メモリ)である。記憶部1002は、主に制御部1001が実行するプログラム格納領域、プログラム実行中のワーク領域、後述する撮像部1003が生成する画像データの格納領域等、様々なデータの格納領域として使用される。
1003は撮像部である。撮像部1003は、被写体を撮影して取得したアナログ信号をデジタルデータに変換し、また、ADCT(適応離散コサイン変換)等によりデータの圧縮処理を行って撮像画像の画像データを生成し、記憶部1002に出力する。撮像部1003は、撮像画像を記憶部1002に出力した後、制御部1001に画像取得イベントを発行する。
1004は通信部である。通信部1004は、各種制御コマンドを外部機器から受信する場合や、各制御コマンドに対するレスポンスを外部機器(クライアント装置)へ送信する場合に、使用される。通信部1004は、撮像部1003が撮像した撮像画像の一部又は全体を配信画像として受信装置(クライアント装置)に送信する。
1006は撮像制御部である。制御部1001から入力するパン角度、チルト角度、ズーム倍率の値に従って、パン機構1101、チルト機構1102、及びズーム機構1103を制御するために使用される。すなわち、撮像制御部1006により撮像部1003の撮像方向が変更可能である。また制御部1001の問い合わせに応じて、現在のパン角度値、チルト角度値、ズーム倍率値を提供する。
1007はマスク処理部である。マスク処理部1007は、撮像部1003が出力する画像データの適切な位置にマスクを施す。このマスク処理は、制御部1001がマスク位置を特定するべく入力するパン角度、チルト角度、ズーム倍率に基づく。さらに、このマスク処理は、当該パン・チルト・ズーム状態での撮像部1003の撮像範囲における画像の切り出し位置、画像の切り出し位置におけるマスクの大きさと位置の指定に基づく。マスク処理部1007は、マスク毎に有効フラグを有し、本フラグがFalseの場合はマスクを出力しないように制御する。
以上、図2を参照し監視カメラ1000の内部構成について説明したが、図2に示す処理ブロックは、本発明における監視カメラの好適な実施形態の一例を説明したものでありこの限りではない。音声入力部を備えるなど、本発明の要旨の範囲内で、種々の変形及び変更が可能である。図2(b)については、後述する。
本実施例にて使用するコマンド、パラメータ等の名称と内容を以下に説明する。
図3は、本実施例における監視カメラ1000が記憶部1002に保持するパラメータの構造を図示している。
MediaProfile6100とは、監視カメラの各種設定項目を関連づけて記憶するためのパラメータセットである。MediaProfile6100は、MediaProfile6100のIDであるProfileTokenを保持する。さらに、MediaProfile6100は、VideoSourceConfiguration6102、VideoEncoderConfiguration6103、PTZConfiguration6104を保持する。さらに、MediaProfile6100は、このほか、配信画像のエンコーダや音声のエンコーダを含む各種設定項目へのリンクを保持する。
VideoSource6101とは、監視カメラが備える1つの撮像センサーの性能を示すパラメータの集合体である。VideoSource6101は、VideoSource6101のIDであるVideoSourceTokenと、撮像センサーが出力可能な画像データの解像度を示すResolutionを含む。Resolutionは、高さと幅をそれぞれピクセルで表したHeight、Widthを含む。
VideoSourceConfiguration6102とは、監視カメラが備えるVideoSource6101をMediaProfile6100に関連付けるパラメータの集合体である。VideoSourceConfiguration6102は、VideoSourceConfiguration6102のIDであるVideoSourceConfigurationTokenを含む。VideoSourceConfiguration6102は、VideoSource6101が出力する画像データをうち、どの部分を切り出して配信画像とするかを指定するBoundsを含む。Boundsは、画像データから切り出す配信画像の高さと幅をそれぞれピクセルで表したHeight、Widthと、画像データの左上を原点として、切り出す配信画像の左下の点の座標をピクセルで表したx,yを含む。なお、撮像画像における配信画像の位置を示す配信画像位置情報(Boundsの位置)を、配信画像位置情報を特定するための特定情報(VideoSourceConfigurationToken)と対応付けて複数記憶される。
VideoEncoderConfiguration6103とは、ビデオ圧縮に関する設定をMediaProfile6100に関連付けるパラメータの集合体である。監視カメラ1000は、VideoSourceConfiguration6102の内容に基づいて出力される画像データをクライアント装置2000に配信する。この配信は、本VideoEncoderConfiguration6103内に設定されるビデオ圧縮方式(例えばJPEGやH.264)、フレームレート、或いは解像度等のパラメータに従う。
PTZConfiguration6104とは、監視カメラ1000のパン機構1101、チルト機構1102、及びズーム機構1103に関する設定をMediaProfile6100に関連付けるパラメータの集合体である。PTZConfiguration6104は、パン機構、チルト機構、及びズーム機構における実際のパン・チルト角度値とズーム倍率値を表現する座標系に関する情報を含む。本例においてはパン範囲x=−180〜+180[度]、チルト範囲y=−90〜+90[度]の角度座標と、ズームz=1〜100[倍]の倍率座標であるとする。
PrivacyMask6105とは、マスクに関連する一覧のパラメータを保持するパラメータの集合体である。PrivacyMask6105は、PrivacyMask6105のIDであるPrivacyMaskToken、PrivacyMask構造体の名称であるName、マスクの位置及び大きさをポリゴンによって3つ以上の点で指定するMaskを含む。さらに、PrivacyMask6105は、マスクを配信画像上に表示するか否かを指定するフラグであるEnabled、マスクの色を指定するColor、雲台の位置を特定するPTZDesignationを含む。
PTZDesignationは、雲台の向き(パン、チルト)とズーム倍率を表現するための座標系の定義を含むPTZConfiguration6104を指定するPTZConfigurationTokenを含む。さらに、PTZDesignationは、指定されるPTZConfigurationに示される座標系によって雲台の向きとズーム倍率を指定するPositionを含む。Positionは、撮像部1003の向き、すなわち撮像部が出力する画像データの中心点の座標と、ズーム倍率の数値を含む。
図4は、本実施例における監視カメラ1000とクライアント装置2000の間における、設定開始から映像配信までの典型的なコマンドシーケンスを示している。
7100は、GetVideoSourceConfigurationsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持する保持するVideoSourceConfiguration6102のリストを取得する。
7101は、GetVideoEncoderConfigurationsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持する保持するVideoEncoderConfiguration6103のリストを取得する。
7102は、GetConfigurationsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持する保持するPTZConfiguration6104のリストを取得する。
7103は、CreateProfileコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000に新たなMediaProfile6100を作成し、そのProfileTokenを得る。
7104、7105、706は、AddVideoSourceConfigurationコマンド、AdddVideoEncoderConfigurtionコマンド、及びAddPTZConfigurationコマンドの各トランザクションである。これらのコマンドにより、クライアント装置2000は、以下の3つを関連付ける。すなわち、3つとは、指定したMediaProfileに所望のVideoSourceConfiguration、VideoEncoderConfiguration、及びPTZConfigurationである。
7107は、GetStreamUriコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、指定したMediaProfileの設定に基づいて監視カメラ1000が配信ストリームを取得するためのアドレス(URI)を取得する。
7108は、Describeコマンドのトランザクションである。7107において取得したURIを使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000がストリーム配信するコンテンツの情報を要求し取得する。
7109は、Setupコマンドのトランザクションである。7107において取得したURIを使用してこのコマンドを実行することにより、クライアント装置2000と監視カメラ1000の間で、セッション番号を含むストリームの伝送方法が共有される。
7110は、Playコマンドのトランザクションである。7109において取得したセッション番号を使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000に対してストリームの開始を要求する。7111は、配信ストリームである。監視カメラ1000は、7110において開始を要求されたストリームを、7109において共有された伝送方法によって配信する。
7112は、Teardownコマンドのトランザクションである。7109において取得したセッション番号を使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000に対してストリームの停止を要求する。
図5は、本実施例における監視カメラ1000とクライアント装置2000の間における、マスク設定の典型的なコマンドシーケンスを示している。
7200は、GetPrivacyMaskコマンドのトランザクションである。
GetPrivacyMasksコマンドは、クライアント装置2000が監視カメラ1000に対して、以下のPrivacyMask6105を返送するよう指示するコマンドである。すなわち、返却されるのは、図3に示されるような指定のVideoSourceConfiguration6102に関連づけられている全てのPrivacyMask6105である。
7201は、CreatePrivacyMaskコマンドのトランザクションである。CreatePrivacyMaskコマンドとは、クライアント装置2000が監視カメラ1000に対して、PrivacyMask6105を作成することを指示するためのコマンドである。このPrivacyMask6105は、指定のVideoSourceConfiguration6102に関連付けて作成される。CreatePrivacyMaskコマンドの実行により、監視カメラ1000はクライアント装置2000へ生成したPricasyMaskのPrivacyMaskTokenを返送する。
7202は、GetPrivacyMaskOptionsのトランザクションである。GetPrivacyMaskOptionsコマンドは、クライアント装置2000が監視カメラ1000に対して、PrivacyMask6105の各パラメータの選択範囲、或いは選択肢を返送するよう指示するコマンドである。なお、ここで返送するよう指示されるのは、後述するModifyPrivacyMaskによって設定可能なPrivacyMask6105の各パラメータの選択範囲、或いは選択肢である。
7203は、GetPrivacyMaskのトランザクションである。GetPrivacyMaskコマンドは、指定のPrivacyMaskTokenを持つPrivacyMask6105を返送するよう指示するコマンドである。PrivacyMask6105は、クライアント装置2000が監視カメラ1000に対して指定のVideoSourceConfiguration6102に関連づけられている、指定のPrivacyMaskTokenを持つ。
7204は、ModifyPrivacyMaskのトランザクションである。ModifyPrivacyMasksコマンドは、クライアント装置2000が監視カメラ1000に対してPrivacyMask6105に含まれる各パラメータの編集を指示するコマンドである。ModifyPrivacyMaskの実行により、監視カメラ1000はクライアント装置2000が指定したPrivacyMaskTokenを持つPrivacyMask6105の内容を編集する。この編集により、マスクを新たに表示したり、表示中のマスクの色や大きさ、位置を変更したりする。監視カメラ1000における本コマンドの詳細処理の詳細は後述する。
7205は、DeletePrivacyMaskコマンドのトランザクションである。DeletePrivacyMasksコマンドは、クライアント装置2000が監視カメラ1000に対してCreatePrivacyMaskコマンドによって作成されたPrivacyMask6105の削除を指示するコマンドである。DeletePrivacyMaskの実行により、監視カメラ1000はクライアント装置2000が指定したPrivacyMaskTokenを持つPrivacyMask6105を記憶装置から削除する。
図6は、監視カメラ1000が前述のModifyPrivacyMaskコマンドをクライアント装置2000から受信した場合の処理手順を示している。この手順は、コンピュータである制御部1001が記憶部1002から読み出して実行するプログラムの一部を示す。記憶部1002は、このプロラムを、コンピュータである制御部1001が読み出して実行することができるように記憶した記憶媒体である。
ステップS1000において制御部1001は、受信したコマンドに指定されているPrivacyMaskTokenを持つPrivacyMask6105が記憶部1002に存在するかどうか判定する。存在する場合制御部1001は、処理をステップS1060に移す。
ステップS1001において制御部1001は、PrivacyMask6105に含まれるMaskが正しく設定されているかどうか確認する。例えば3点以上の点を含むかどうか、また各点は、図8の5002に示すBoundsにおける正規化座標内にプロットされているかどうかを判定する。正しく設定されていなかった場合制御部1001は、処理をステップS1060に移す。
ステップS1002において制御部1001は、受信したコマンドに指定されているVideoSourceConfigurationが記憶部1002に存在するかどうか判定する。存在しなかった場合制御部1001は、処理をステップS1060に移す。
ステップS1003において制御部1001は、受信したコマンドに指定されているPrivacyMaskを記憶部1002に記憶させる。
ステップS1004において制御部1001は、クライアント装置2000が指定したVideoSourceConfigurationTokenを含むVideoSourceConfiguration6102から、Boundsを読みだす。このVideoSourceConfigurationTokenは、記憶部1002に記憶されているクライアント装置2000により指定される。
ステップS1005において制御部1001は、受信したコマンドに指定されているVideoSourceConfiguration6102にリンク(関連付け)されているVideoSource6101からResolutionを読みだす。このVideoSourceConfiguration6102は、受信したコマンドに指定されているVideoSourceConfigurationTokenを含む。
ステップS1008において制御部1001は、受信したコマンドにPTZDesigntionが指定されているか、或いは省略されているか判定する。指定されている場合、制御部1001はステップS1009に、省略されている場合はステップS1050にそれぞれ処理を移す。このPTZDesigntionは、撮像方向を示す撮像方向情報である。したがって、ステップS1008では、受信したコマンドに含まれるマスクパラメータに撮像方向を示す撮像方向情報が含まれているか判定する。
ステップS1009において制御部1001は、PTZDesignationに指定されているPTZConfigurationTokenで特定されるPTZConfiguration6104から、パン・チルト・ズームの座標系を読み出す。制御部1001は、本座標系に基づいてPTZDesignationに指定されているPositionに含まれるパン・チルト・ズームの各値を、それぞれパン角度値、チルト角度値、ズーム倍率値に変換する。
ステップS1050において制御部1001は、撮像制御部1006より現在のパン角度値、チルト角度値、ズーム倍率値を取得する。
ステップS1011において制御部1001は、マスク表示処理(詳細は省略する)を実行する。このマスク表示処理では、以下の3つを引数として用いる。すなわち、1つ目の引数は、ステップS1004で取得したBoundsである。2つ目の引数は、ステップS1005で取得したResolutionである。3つ目の引数は、ステップS1009或いはステップS1050にて取得したパン角度、チルト角度、ズーム角度値、及び受信したコマンドに含まれているEnabledフラグの状態である。
ステップS1008がYESの場合、撮像部1003が撮像可能な撮像範囲におけるマスク画像の位置は、以下の3つに基づいて特定される。すなわち、1つ目は、受信したマスクパラメータに含まれるPTZDesigntion(撮像方向情報)である。2つ目は、受信したマスクパラメータに含まれるVideoSourceConfigurationTokenに対応付けられた配信画像位置情報(Boundsの位置)である。3つ目は、受信したマスクパラメータに含まれる重畳位置情報(マスク画像の位置)である。なお、VideoSourceConfigurationTokenは、撮像画像における配信画像の位置を示す配信画像位置情報(Boundsの位置)を特定するための特定情報である。
ステップS1008がNOの場合、マスク位置は、以下の3つに基づいて撮像画像におけるマスク画像の位置を特定する。すなわち、1つ目は、受信したマスクパラメータに含まれるVideoSourceConfigurationTokenに対応付けられた配信画像位置情報(Boundsの位置)である。2つ目は、受信したマスクパラメータに含まれる重畳位置情報(マスク画像の位置)である。また、3つ目は、ステップS1050で撮像制御部1006より取得した現在の撮像装置の撮像方向である。
マスク表示処理において制御部1001は、ステップS1011において渡された引数をマスク処理部1007に入力する。後述の図8、図9に関する説明の通り、マスク処理部1007は、入力データに基づいて撮像視野におけるマスクの位置を一意に特定し、Enabledフラグの指定に基づいて配信中の画像にマスクを施す。本処理の詳細は後述する。
ステップS1012において制御部1001は、正常レスポンス送信処理(詳細は省略する)を実行する。正常レスポンス送信処理において制御部1001は、通信部1004を介してクライアント装置2000に対して、受信コマンドに対する正常レスポンスを送信する。
ステップS1060において制御部1001は、エラーレスポンス送信処理(詳細は省略する)を実行する。エラーレスポンス送信処理において制御部1001は、通信部1004を介してクライアント装置2000に対して、受信コマンドに対するエラーレスポンスを送信する。
図8、図9はマスクの座標の特定方法を説明する図である。図8、図9を参照しながら、ステップS1011の処理を説明する。
図8(a)は、PrivacyMaskにおける、Maskの座標指定方法を示している。Maskは、VideoSource6101が出力する画像データをうち、Boundsによって切り出される配信画像5002内を、正規化座標系でプロットされる点3点以上で指定される。これらの点は、水平方向(x)・垂直方向(y)のそれぞれを右向き・上向きをプラスとして、ともに−1.0〜+1.0に正規化した正規化座標系でプロットされる。例として、図5(a)におけるMask5004は(x,y)=(0.2,0.8)、(0.8,0,8)、(0.2,0.1)、及び(0.8,0.1)の点1〜4にて指定されている。
図8(b)は、VideoSource6101が出力する画像データ5001上に、図8(a)で説明したMask5004を重ねたものである。例として、Resolution.Heightを960ピクセル、Resolution.Widthを1280ピクセルであるとする。また、Bounds.Heightを480ピクセル、Bounds.Widthを640ピクセル、Bounds.xを500ピクセル、Bounds.yを900ピクセルであるとする。このとき、画像データ5001の中心点を原点としたResolutionのピクセル座標系で、Mask5004の各点の位置(x2,y2)を計算する場合、計算式はそれぞれ以下の通りとなる。
Mask.x2=((Bounds.x−Resolution.Width/2 )+Bounds.Width/2 )+Bounds.Width/2* Mask.x
Mask.y2=((Bounds.y−Resolution.Height/2)−Bounds.Height/2)+Bounds.Height/2*Mask.y
このとき、画像データから配信画像を切り出す機能に対応していない撮像装置であった場合は、Bounds=Resolutionとなり、上記の計算式は次のように表すことができる。
Mask.x2=Resolution.Width/2*Mask.x
Mask.y2=Resolution.Height/2*Mask.y
例として図8(b)におけるMask5004は(x2,y2)=(244,372)、(436,372)、(436,204)、及び(244,204)の4点にて表現される。
図9は、撮像部1003の撮像可能な全範囲5000において、図8(b)に示される画像データ5001を、Positionに指定される撮像方向の向き(パン=x・チルト=y)とズーム倍率(y)に基づいて重ねたものである。撮像方向の向き(x,y)は、画像データ5001の中心点を示す。Positionの座標系は、PTZConfigurationに含まれる座標系を用い、本例においてはパン範囲x=−180〜+180[度]、チルト範囲y=−90〜+90[度]の角度座標と、ズームz=1〜100[倍]の倍率座標であるとする。例として、Position.x=−20[度]、Position.y=+10[度]、Position.z=1.2[倍]であるとする。このとき、撮像部1003の撮像可能な全範囲5000の中心点を原点として、PTZConfigurationに示される座標系で、Mask5004の各点の位置(x3,y3)を計算する場合、計算式はそれぞれ以下のとおりとなる。
Mask.x3=Position.x+Mask.x2/Resolution.Width/2/Position.Zoom*パン角度変換係数
Mask.y3=Position。y+Mask。y2/Resolution.Height/2/Position.Zoom*チルト角度変換係数
ズーム・パン角度変換係数、及びズーム・チルト角度変換係数は、画像データにおけるマスクのx,y位置を、それぞれパン、チルトの角度座標に変換するための、撮像部1003の特性に基づく係数である。本例ではそれぞれ90、180であるとし、図9におけるMask5004は(x3,y3)=(38.19,68.13)、(82.19,68.13)、(82.19,41.88)、及び(38.19,41.88)の4点にて表現される。
以上、例として計算の流れを図8(a)(b)、図9により説明した。このように、Boundsによって切り出された配信画像内の座標によって指定されるマスクの位置(x,y)を、撮像装置の撮像可能視野の座標によって指定される位置(x3,y3)に変換することができる。この変換は、Bounds、Resolution、Positionの情報を元に行われる。すなわち監視カメラ1000は、撮像可能視野におけるマスクの位置を一意に特定することができる。
以上に示した本実施例に係るマスク設定処理によれば、以下の効果が得られる。すなわち、監視カメラ1000は、撮像部1003によって生成された画像データのうち、Boundsによって特定の部分を切り出して配信する機能の有無関わらず、クライアント装置から設定されたマスクの位置を一意に特定することが可能となる。これによって撮像装置は、Boundsのサポート有無に関わらず、クライアント装置に共通のマスク処理機能の設定をさせることができるという効果がある。
実施例1において、マスク処理機能用のパラメータであるPrivacyMaskをVideoSourceConfigurationに関連付けて保持する監視カメラに言及しながら、本発明の実施の形態を説明した。
実施例1ではパン、チルト、或いはズームによって撮像部の撮像範囲を変更できる機能を有する監視カメラを例示しているが、この限りではない。パン、チルト、ズームを有しない監視カメラに対しても本発明は適用可能である。
以上の点を考慮した本発明の第2の実施の形態を以下に説明する。尚、実施例1と同じ部分については説明を省略する。
図1(b)は、実施例2に係る監視カメラ1200示す図である。
図2(b)は、監視カメラ1200の内部構成を示す図である。
図4は、本実施例における監視カメラ1200とクライアント装置2000の間における、設定開始から映像配信までの典型的なコマンドシーケンスを示している。
図7は、監視カメラ1200が前述のModifyPrivacyMaskコマンドをクライアント装置2000から受信した場合の処理を示している。
ステップS2011において制御部1001は、ステップS1004で取得したBounds、ステップS1005で取得したResolution、及び受信したコマンドに含まれているEnabledフラグの状態を引数としてマスク表示処理を実行する。マスク表示処理の詳細は省略する。
マスク表示処理において制御部1001は、ステップS1011において渡された引数をマスク処理部1007に入力する。前述の図5に関する説明の通り、マスク処理部1007は、入力データに基づいて撮像視野におけるマスクの位置を一意に特定し、Enabledフラグの指定に基づいて配信中の画像にマスクを施す。
図5を参照しながら、ステップS2011の処理を説明する。
監視カメラ1200は、撮像部1003の撮像範囲の変更が行えないため、図8(b)における画像データ5001=撮像可能視野となる。したがって、図8(a)(b)に説明した計算の流れにより、Boundsによって切り出された配信画像内の座標によって指定されるマスクの位置(x,y)を、撮像装置の撮像可能視野の座標によって指定される位置(x2,y2)に変換することができる。この変換は、Bounds、Resolutionの情報を元に行われる。すなわち監視カメラ1200は、撮像可能視野におけるマスクの位置を一意に特定することができる。すなわち、撮像部1003が、撮像方向を変更する機能を有さない場合は、以下の2つに基づいて、撮像部1003が撮像可能な撮像範囲におけるマスク画像の位置を特定する。すなわち、1つ目は、受信したマスクパラメータに含まれるVideoSourceConfigurationTokenに対応付けられた配信画像位置情報(Boundsの位置)である。2つ目は、受信したマスクパラメータに含まれる重畳位置情報(マスク画像の位置)である。なお、VideoSourceConfigurationTokenは、撮像画像における配信画像の位置を示す配信画像位置情報(Boundsの位置)を特定するための特定情報である。
以上に示した本実施例に係るマスク設定処理によれば、監視カメラは、パン・チルト・ズームを含む撮像部1003の撮像範囲を変更する機能の有無に関わらず、共通のマスク処理機能を有することが可能となる。これによって、撮像装置は、PTZConfigurationやPositionを含むPTZDesignationのサポート有無に関わらず、クライアント装置に共通のマスク処理機能の設定をさせることができるという効果がある。
以上、本発明を実装した監視カメラの動作を実施例1〜2に示したが、実施形態は必ずしも上述の限りでなく、部分的に変更されてもよい。即ち、
(1) 実施例中の監視カメラ1000は、PTZConfigurationにおいてパン、チルトにそれぞれ角度座標、ズーム座標に倍率座標を使用するようにしているがこの限りではない。例えば全範囲を−1.0〜+1.0に正規化する正規化座標を用いてもよい。
(2) 実施例中の撮像装置における撮像方向の変更は、雲台装置等を例示して説明しているがこの限りではない。撮像画像の一部を電子的に切り出すことで実現する、いわゆる電子PTZによるものであってもよい。
(3) 図8、図9の説明において、マスクの位置を一意に特定するための計算式を説明しているが、この限りではない。機種毎のマスク処理部1007のアルゴリズム、仕様等に基づいて、マスク位置の特定方法は異なり、マスクの位置を特定するために必要な情報の種類、或いは特定の計算方法は必ずしも本実施例の通りでなくともよい。
1000 監視カメラ
1001 制御部
1007 マスク処理部
2000 クライアント装置
5004 マスク
6105 PrivacyMask

Claims (5)

  1. 撮像方向を変更可能な撮像手段と、
    前記撮像手段が撮像した撮像画像の一部又は全体を配信画像として受信装置に送信する送信手段と、
    前記撮像画像における前記配信画像の位置を示す配信画像位置情報を、前記配信画像位置情報を特定するための特定情報と対応付けて複数記憶する記憶手段と、
    前記配信画像におけるマスク画像の位置を示す重畳位置情報と、前記特定情報とを含むマスクパラメータを前記受信装置から受信する受信手段と、
    前記受信手段が受信した前記マスクパラメータに前記撮像手段の撮像方向を示す撮像方向情報が更に含まれる場合には、前記受信したマスクパラメータに含まれる前記撮像方向情報と、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と、前記受信したマスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像手段が撮像可能な撮像範囲における前記マスク画像の位置を特定し、前記受信手段が受信した前記マスクパラメータに前記撮像方向情報が含まれない場合には、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と前記マスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像画像における前記マスク画像の位置を特定する特定手段と、
    前記特定手段が特定した位置に基づいて前記マスク画像を前記撮像画像に重畳する重畳手段とを有することを特徴とする撮像装置。
  2. 前記特定手段は、前記受信手段が受信した前記マスクパラメータに前記撮像方向情報が含まれない場合は、現在の撮像装置の撮像方向を撮像方向情報として、前記撮像方向情報と、前記前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と前記マスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像画像における前記マスク画像の位置を特定することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像手段が、撮像方向を変更する機能を有さない場合は、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と、前記受信したマスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像手段が撮像可能な撮像範囲における前記マスク画像の位置を特定することを特徴とする請求項1に記載の撮像装置。
  4. 撮像方向を変更可能であって、撮像した撮像画像の一部又は全体を配信画像として受信装置に送信する撮像装置におけるマスク画像の重畳方法であって、
    前記撮像画像における前記配信画像の位置を示す配信画像位置情報を、前記配信画像位置情報を特定するための特定情報と対応付けて複数記憶し、
    前記配信画像におけるマスク画像の位置を示す重畳位置情報と、前記特定情報とを含むマスクパラメータを前記受信装置から受信し、
    前記受信した前記マスクパラメータに前記撮像方向を示す撮像方向情報が更に含まれる場合には、前記受信したマスクパラメータに含まれる前記撮像方向情報と、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と、前記受信したマスクパラメータに含まれる前記重畳位置情報とに基づいて撮像可能な撮像範囲における前記マスク画像の位置を特定し、前記受信した前記マスクパラメータに前記撮像方向情報が含まれない場合には、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と前記マスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像画像における前記マスク画像の位置を特定し、
    前記位置に基づいて前記マスク画像を前記撮像画像に重畳することを特徴とするマスク画像の重畳方法。
  5. 撮像方向を変更可能であって、撮像した撮像画像の一部又は全体を配信画像として受信装置に送信するコンピュータに、
    前記撮像画像における前記配信画像の位置を示す配信画像位置情報を、前記配信画像位置情報を特定するための特定情報と対応付けて複数記憶する手順と、
    前記配信画像におけるマスク画像の位置を示す重畳位置情報と、前記特定情報とを含むマスクパラメータを前記受信装置から受信する手順と、
    前記受信した前記マスクパラメータに前記撮像方向を示す撮像方向情報が更に含まれる場合には、前記受信したマスクパラメータに含まれる前記撮像方向情報と、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と、前記受信したマスクパラメータに含まれる前記重畳位置情報とに基づいて撮像可能な撮像範囲における前記マスク画像の位置を特定し、前記受信した前記マスクパラメータに前記撮像方向情報が含まれない場合には、前記受信したマスクパラメータに含まれる前記特定情報に対応付けられた前記配信画像位置情報と前記マスクパラメータに含まれる前記重畳位置情報とに基づいて前記撮像画像における前記マスク画像の位置を特定する手順と、
    前記位置に基づいて前記マスク画像を前記撮像画像に重畳する手順とを、実行させるためのプログラム。
JP2012115762A 2012-05-21 2012-05-21 撮像装置、マスク画像の重畳方法、および、プログラム Active JP5921331B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012115762A JP5921331B2 (ja) 2012-05-21 2012-05-21 撮像装置、マスク画像の重畳方法、および、プログラム
PCT/JP2013/063244 WO2013175980A1 (ja) 2012-05-21 2013-05-13 撮像装置、撮像装置の制御方法、および、記録媒体
US14/065,143 US9525826B2 (en) 2012-05-21 2013-10-28 Image pickup apparatus, method for controlling the image pickup apparatus, and recording medium
US15/351,098 US10122941B2 (en) 2012-05-21 2016-11-14 Image pickup apparatus, method for controlling the image pickup apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012115762A JP5921331B2 (ja) 2012-05-21 2012-05-21 撮像装置、マスク画像の重畳方法、および、プログラム

Publications (3)

Publication Number Publication Date
JP2013243543A true JP2013243543A (ja) 2013-12-05
JP2013243543A5 JP2013243543A5 (ja) 2015-07-09
JP5921331B2 JP5921331B2 (ja) 2016-05-24

Family

ID=49623674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012115762A Active JP5921331B2 (ja) 2012-05-21 2012-05-21 撮像装置、マスク画像の重畳方法、および、プログラム

Country Status (3)

Country Link
US (2) US9525826B2 (ja)
JP (1) JP5921331B2 (ja)
WO (1) WO2013175980A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150127498A (ko) * 2014-05-07 2015-11-17 한화테크윈 주식회사 감시 카메라 및 감시 시스템
KR20190087117A (ko) * 2018-01-16 2019-07-24 한화테크윈 주식회사 마스킹 영역 설정 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812593B2 (ja) * 2010-10-28 2015-11-17 キヤノン株式会社 映像処理装置、撮像装置、映像処理方法及びプログラム
JP6512751B2 (ja) * 2014-05-23 2019-05-15 キヤノン株式会社 画像処理装置、及び外部装置
JP6504364B2 (ja) * 2015-11-27 2019-04-24 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN107850991B (zh) * 2016-04-05 2021-11-30 韩华泰科株式会社 管理显示器的设备和方法
JP6835080B2 (ja) * 2016-05-25 2021-02-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6786378B2 (ja) 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE112017008142A5 (de) * 2017-10-10 2020-09-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Maskierung eines Bildes einer Bildsequenz mit einer Maske, Computerprogramm, maschinenlesbares Speichermedium und elektronische Steuereinheit

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012019466A (ja) * 2010-07-09 2012-01-26 Canon Inc 撮像装置、制御装置、制御方法および画像送信制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3574170B2 (ja) * 1994-03-17 2004-10-06 富士通株式会社 分散型画像処理装置
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
US7893959B2 (en) * 2002-01-22 2011-02-22 Sanyo Electric Co., Ltd. Video display system for correcting the position and size of mask images
JP3996805B2 (ja) * 2002-06-06 2007-10-24 株式会社日立製作所 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
JP2005323007A (ja) 2004-05-06 2005-11-17 Matsushita Electric Ind Co Ltd 記録再生装置、及び記録再生方法
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
JP5773608B2 (ja) * 2010-10-16 2015-09-02 キヤノン株式会社 映像配信装置、撮像装置、映像配信システム、映像配信方法、映像配信プログラム
JP2013026642A (ja) * 2011-07-15 2013-02-04 Hitachi Ltd カメラ及び制御装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012019466A (ja) * 2010-07-09 2012-01-26 Canon Inc 撮像装置、制御装置、制御方法および画像送信制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150127498A (ko) * 2014-05-07 2015-11-17 한화테크윈 주식회사 감시 카메라 및 감시 시스템
KR101990368B1 (ko) * 2014-05-07 2019-09-30 한화테크윈 주식회사 감시 카메라 및 감시 시스템
KR20190087117A (ko) * 2018-01-16 2019-07-24 한화테크윈 주식회사 마스킹 영역 설정 방법, 장치 및 컴퓨터 프로그램
KR102457619B1 (ko) * 2018-01-16 2022-10-24 한화테크윈 주식회사 마스킹 영역 설정 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20140049655A1 (en) 2014-02-20
US9525826B2 (en) 2016-12-20
US10122941B2 (en) 2018-11-06
JP5921331B2 (ja) 2016-05-24
WO2013175980A1 (ja) 2013-11-28
US20170064216A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
JP5921331B2 (ja) 撮像装置、マスク画像の重畳方法、および、プログラム
JP5875463B2 (ja) 撮像装置、マスク画像設定方法、および、プログラム
JP6587113B2 (ja) 画像処理装置及び画像処理方法
JP5925059B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
WO2020170606A1 (ja) 画像処理装置、画像処理方法、プログラム
JP6376743B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
JP6486437B2 (ja) 撮像装置、設定方法、および、プログラム
US10715732B2 (en) Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium
JP2009088850A (ja) 動画像配信システムおよび動画像配信方法
JP7339786B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP6253681B2 (ja) 撮像装置、設定方法、および、プログラム
JP2019115057A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP6239023B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6335668B2 (ja) 撮影装置、その制御方法、撮影システム、及びプログラム
JP5917175B2 (ja) 撮像装置、撮像装置の配信方法、撮像システムおよびプログラム
JP7130976B2 (ja) 表示情報作成装置、撮影システムおよびプログラム
JP4281011B2 (ja) 制御装置および制御方法
JP2015089077A (ja) 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
JP2017103652A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014053695A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160412

R151 Written notification of patent or utility model registration

Ref document number: 5921331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151