JP2019087974A - 撮像装置、撮像方法、表示装置および表示方法 - Google Patents

撮像装置、撮像方法、表示装置および表示方法 Download PDF

Info

Publication number
JP2019087974A
JP2019087974A JP2017217225A JP2017217225A JP2019087974A JP 2019087974 A JP2019087974 A JP 2019087974A JP 2017217225 A JP2017217225 A JP 2017217225A JP 2017217225 A JP2017217225 A JP 2017217225A JP 2019087974 A JP2019087974 A JP 2019087974A
Authority
JP
Japan
Prior art keywords
imaging
image
imaging area
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017217225A
Other languages
English (en)
Other versions
JP7013210B2 (ja
JP2019087974A5 (ja
Inventor
健太朗 福永
Kentaro Fukunaga
健太朗 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017217225A priority Critical patent/JP7013210B2/ja
Priority to US16/182,894 priority patent/US11463624B2/en
Priority to CN201811331758.8A priority patent/CN110022431B/zh
Priority to CN202111211655.XA priority patent/CN113923360A/zh
Publication of JP2019087974A publication Critical patent/JP2019087974A/ja
Publication of JP2019087974A5 publication Critical patent/JP2019087974A5/ja
Application granted granted Critical
Publication of JP7013210B2 publication Critical patent/JP7013210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】過去に撮像した領域の現在の状態をユーザが確認できるようにしつつ撮像領域を変更することができる撮像装置を提供すること。【解決手段】撮像装置は、第一の撮像領域を撮像する第一の撮像手段と、前記第一の撮像領域内の第二の撮像領域を撮像する第二の撮像手段と、前記第一の撮像領域の撮像画像から、前記第二の撮像領域の画像を切り出して切出画像として出力する出力手段と、前記第一の撮像領域の撮像画像をクライアント装置に表示させると共に、前記切出画像を前記クライアント装置に表示させる表示制御手段と、前記出力手段が出力した複数の切出画像のうちの1つが選択されると、前記第二の撮像領域を、前記選択された切出画像に対応した撮像領域に変更する変更手段と、を備える。【選択図】 図1

Description

本発明は、撮像装置、撮像方法、表示装置および表示方法に関する。
従来、ユーザが撮像装置の撮像領域の変更を行う方法の1つとして、撮像装置が過去に撮像した画像を使用する方法が用いられていた。例えば、特許文献1では、過去に撮像した画像を使用して作成したパノラマ画像を表示部に表示し、表示されたパノラマ画像における任意の領域をユーザが選択すると、当該領域に撮像領域を変更する技術が開示されている。特許文献2では、同一カメラで同一領域を撮像する場合、過去の撮像画像からパン角度、チルト角度、ズーム位置等を取得し、過去の撮像画像と同じパン角度等で撮像を行う技術が開示されている。
特開2007―43505号公報 特開2014―236313号公報
特許文献1および特許文献2では過去に撮像した画像を使用するため、負荷や電力削減の観点や、過去のある時点と現時点の同一の撮像領域の状況を比較する用途では有用である。一方で、注視したい対象が動体であるような場合、動体が特定の領域に現れたことを確認した上で撮像領域を変更するために、使用する画像を常に時間的に最新の状態にしておきたいという要望もあるが、特許文献1または2はこのような要望に対応していない。
そこで、本発明の目的は、過去に撮像した領域の現在の状態をユーザが確認できるようにしつつ撮像装置の撮像領域の変更を可能にすることである。
上記目的を達成するために、本発明の1つの態様による撮像装置は、第一の撮像領域を撮像する第一の撮像手段と、前記第一の撮像領域内の第二の撮像領域を撮像する第二の撮像手段と、前記第一の撮像領域の撮像画像から、前記第二の撮像領域の画像を切り出して切出画像として出力する出力手段と、前記第一の撮像領域の撮像画像をクライアント装置に表示させると共に、前記切出画像を前記クライアント装置に表示させる表示制御手段と、前記出力手段が出力した複数の切出画像のうちの1つが選択されると、前記第二の撮像領域を、前記選択された切出画像に対応した撮像領域に変更する変更手段と、を備える。
本発明によれば、第一の撮像領域を撮像した画像から第二の撮像領域の画像を切り出して表示するので、第二の撮像領域の状態をユーザが確認できるようにし易くすることができる。
本発明の第1実施形態に係る撮像装置とUI表示部のブロック図。 第1実施形態のUI表示部を説明するための図。 第1実施形態の撮像領域の変更方法を説明するためのフローチャート。 第1実施形態の撮像領域の変更方法を説明するための図。 本発明の第2実施形態のUI表示部を説明するための図。 第2実施形態の撮像領域の変更方法を説明するためのフローチャート。 第2実施形態の撮像領域の変更方法を説明するための図。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置やシステムの構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
第1実施形態
(撮像システム)
図1を参照して本発明の第1実施形態に関わる撮像システム10を説明する。撮像システム10は、撮像装置100と、撮像装置100にIPネットワーク130を介して接続されたUI表示部140とからなる。撮像装置100は、室内の天井または壁に設置されているとする。UI表示部140は、表示装置(クライアント装置)の一例である。
撮像装置100は、広角カメラ110と、PTZカメラ(パンチルトズームカメラ)120と、システム制御部124と、記憶部125とを有する。本実施形態の撮像装置100は、広角カメラ110とPTZカメラ120が一体化した撮像装置である。広角カメラ110とPTZカメラ120は、同一の筐体に収容されている。撮像装置100は、IPネットワーク130を介してUI表示部140に相互通信可能な状態で、無線または有線で接続されている。UIはUser Interfaceの略である。
広角カメラ110は、広い画角の画像を取得するために広角レンズ等で構成される撮像光学系111、撮像素子部112および画像処理部113によって構成されている。本実施形態の広角カメラ110は、撮像方向(パン角度、チルト角度)およびズーム位置(画角)を変更する手段を有していない。また、本実施形態の広角カメラ110は、単一のカメラで構成される。広角カメラ110はPTZカメラ120よりも広い画角を持つ。広角カメラ110は、所定の撮像領域を撮像する。
PTZカメラ120は、ズームレンズ、フォーカスレンズ、絞り機構などにより構成される撮像光学系121、撮像素子部122、画像処理部123、駆動制御部126、ズームモータ127、パンモータ128およびチルトモータ129によって構成される。PTZカメラ120は、駆動制御部126によって、撮像光学系121を駆動させることでフォーカスや絞りの調整を行うことができる。また、PTZカメラ120は、ズームモータ127、パンモータ128およびチルトモータ129を駆動させることでPTZカメラ120の撮像方向、画角の変更等を行うことができる。つまり、PTZカメラ120は撮像領域を変更することができる。PTZカメラ120は、撮像領域を変更する前のパン角度、チルト角度およびズーム位置(画角)の情報を記憶部125に格納する。PTZカメラ120の画角は広角カメラ110の画角より狭いが、PTZカメラ120は、モータ127、128、129を駆動することで広角カメラ110の全画角の範囲に亘って撮像領域を変更することが可能である。PTZカメラ120は、広角カメラ110が撮像する所定の撮像領域内の撮像領域を撮像する。
システム制御部124は、カメラ制御、画像のエンコーディング(符号化)、表示画像の生成、記憶部125に対する記憶処理、ネットワーク配信、広角カメラ110の画像の切り出し(デジタルPTZ)等の処理を行う。システム制御部124によるカメラ制御は、広角カメラ110の制御と、PTZカメラ120の制御とを含む。広角カメラ110の画像の切り出しする場合、UI表示部140に表示される広角カメラ110の撮像画像から任意の領域を指定することで、切り出し処理を行うことができる。システム制御部124は、切出した画像を切出画像として出力する。システム制御部124は、例えば、CPUにより構成される。システム制御部124は、広角カメラ110が撮像した撮像画像をUI表示部140に送信する。
記憶部125は、例えば、ROMおよびRAMにより構成される。ROMは、例えば、システム制御部(CPU)124が処理を実行するために必要なプログラム等を記憶する。CPUが、ROMに記憶されたプログラムに基づき処理を実行することにより、撮像装置100の機能や処理(図3)等が実現される。なお、当該プログラム等は、外部メモリや着脱可能な記憶媒体(図示せず)に記憶されてもよい。RAMは、CPUがROMから読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAMは、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
IPネットワーク130は、インターネットプロトコルに基づいてデータの送受信を行う。
UI表示部140は、例えば、パーソナルコンピュータやタブレット端末(またはその表示部)であり、入出力機能や通信機能を有する。UI表示部140は、広角カメラ110およびPTZカメラ120に対して、撮像パラメータの変更や各モータ127〜129の制御指示、映像ストリーミング開始等の各種コマンドを送信する。このコマンド送信により、UI表示部140は、広角カメラ110およびPTZカメラ120の制御を行うことができる。撮像装置100は上記したコマンドに対してレスポンスや映像ストリーミングをUI表示部140に送信する。
図1に示す各機能モジュール(画像処理部113、画像処理部123、システム制御部124、駆動制御部126)はソフトウェア又はハードウェアによって実現される。ソフトウェアによって実現される場合、前述した各機能モジュールの機能を提供するためのプログラムが記憶部125のROMに記憶される。記憶されたプログラムは、適宜、記憶部125のRAMに読み出され、システム制御部124を構成するCPUが実行することにより、それら機能モジュールの機能が実現される。一方、ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。なお、図1に示した機能モジュールの構成は一例であり、複数の機能モジュールが1つの機能モジュールを構成するようにしてもよいし、いずれかの機能モジュールが複数の機能を行うモジュールに分かれてもよい。
(UI表示部)
図2は、UI表示部140に表示される画像201、202、204および205を示している。UI表示部140の表示面200はユーザが使用するUIである。UI表示部140は、画像201、202、204および205を表示する表示部を有する。
画像201は、広角カメラ110が撮像している領域のリアルタイムの画像である。画像202は、PTZカメラ120が撮像している領域(撮像領域208)のリアルタイムの画像である。本実施形態では、広角カメラ110の撮像領域とPTZカメラ120のパン角度、チルト角度、ズーム(望遠、広角)位置とは、紐づけられている(対応づけられている、関連づけられている)とする。例えば、ユーザがUI表示部140から画像201内の領域203を指定すると、システム制御部124は、領域203に紐づけられたパン角度、チルト角度、ズーム位置の情報に基づいてPTZカメラ120が領域203を撮像するように各モータ127〜129を駆動させる。このモータ駆動により、PTZカメラ120の撮像領域を変更することができる。
画像204は、PTZカメラ120が現在の1つ前の姿勢で撮像した撮像領域206を広角カメラ110で現在撮像している画像から切り出して表示しているサムネイル画像である。画像205はPTZカメラ120が現在の2つ前の姿勢で撮像した撮像領域207を広角カメラ110で現在撮像している画像から切り出して表示しているサムネイル画像である。サムネイル画像204には、撮像領域206を撮像した際のPTZカメラ120のパン角度、チルト角度、ズーム位置の情報(撮像情報)が紐づけられて記憶部125に格納されている。サムネイル画像205には、撮像領域207を撮像した際のPTZカメラ120のパン角度、チルト角度、ズーム位置の情報が紐づけられて記憶部125に格納されている。撮像領域(撮像範囲)203、206〜208は画像201から切り出す領域を示しているので、切出領域と称されることもある。また、サムネイル画像204、205は切出画像である。
(PTZカメラの撮像領域の変更)
図3および図4を用いて、過去の撮像領域を撮像するようにPTZカメラ120のパン角度、チルト角度、ズーム位置を変更する場合のフローについて説明する。
図4(a)に示されるように、システム制御部124(図1)は、まず、ユーザがポインタ401でサムネイル画像205を選択したことを検知する(S301)。その後、システム制御部124は、サムネイル画像205に紐づけられて格納されているPTZカメラ120のパン角度、チルト角度、ズーム位置の情報を記憶部125から読み出す(S302)。システム制御部124は、読み出されたパン角度、チルト角度およびズーム位置の情報に基づいて、PTZカメラ120の駆動制御部126にズームモータ127、パンモータ128およびチルトモータ129を駆動させるように命令を送信する(S303)。つまり、システム制御部124は、領域207をPTZカメラ120が撮像するように、駆動制御部126に各モータ127〜129の駆動命令を送信する。
次に、システム制御部124は、広角カメラ110の画像201上で、選択されたサムネイル画像205の切出領域207を画像選択前にPTZカメラ120が撮像していた領域208に変更する(S304)。続いて、システム制御部124は、撮像領域変更前のPTZカメラ120のパン角度、チルト角度およびズーム位置の情報を画像(図2の画像202)に紐づけて記憶部125に記憶する(S305)。最後に、システム制御部124は、表示しているサムネイル画像の更新を行う(S306)。具体的には、図4(a)の画像202が「1つ前の姿勢で撮像された画像(直近の画像)」になるので、画像202が画像204に更新され、図4(a)の画像204が「2つ前の姿勢で撮像された画像」になるので、画像205に更新される。図4(a)のサムネイル画像205は削除されることになる。この状態が図4(b)に示されている。
このようにして、ユーザは広角カメラ110が撮像しているリアルタイムの画像201(図4(a))で現在の状況を確認した上で、PTZカメラ120の撮像領域を過去に設定したことがある撮像領域207に変更することが可能となる。(図4(a)の画像202は、図4(b)では領域207の画像になっている。)
なお、上記の説明では、過去に撮像していた撮像領域のサムネイル画像を表示面200内に2つ表示しているが(サムネイル画像204と205)、本実施形態はこのような表示態様に限定されない。例えば、表示面200には、過去に撮像していた撮像領域のサムネイル画像を1つだけ表示してもよいし、3つ以上表示してもよい。
また、図4(a)ではサムネイル画像204と205を表示面200に表示する場合、サムネイル画像204がサムネイル画像205より前面に来るように表示している。つまり、図4(a)では、サムネイル画像が複数ある場合、時間的に現在に近いものが前面に来るように表示している。本実施形態はこのような表示形態(表示順序)に限定されない。例えば、複数のサムネイル画像を表示面200に表示する場合の表示順序は、撮像領域として長時間設定していたものを前面に来るように表示してもよい。
(切出画像位置の表示)
1つのサムネイル画像を選択した場合、どの領域を撮像することになるのかを示すために、広角カメラ110の撮像画像201に当該領域の外縁を示す枠線を重畳表示してもよいし、当該サムネイル画像と撮像領域を繋ぐ線を重畳表示してもよい。また、ユーザ操作のポインタ401がサムネイル画像上に合わされた(つまり、1つのサムネイル画像を選択した)際に、撮像画像201に上記枠線や上記繋ぐ線を重畳表示してもよい。枠線や繋ぐ線などの図形・指標を撮像画像201に表示することで、サムネイル画像と撮像領域とが関連づけられ、サムネイル画像と撮像領域との対応の確認が容易になる。
(サムネイル画像の更新タイミング)
サムネイル画像の更新はPTZカメラ120に対して所定値以上のパン角度、チルト角度またはズーム位置の変更があった際に行うようにしてもよい。また、連続的なサムネイル画像の更新を許可しない場合は、撮像領域の変更後、所定時間以上ポインタ401によるサムネイル画像選択がされなかった時点で、サムネイル画像の更新するようにしてもよい。あるいは、撮像領域の変更後、所定時間が経過した後に、サムネイル画像の更新を許可するようにしてもよい。これにより、例えば、サムネイル画像が多数ある場合に、撮像領域の微調整による連続的なサムネイル画像の更新を回避することができる。
(画像配信の優先度)
広角カメラ110の画像のIPネットワーク130への配信は切出画像を表示している領域(例えば、図4(a)の領域207)の画像を他の領域の画像よりも優先度を上げて配信するようにしてよい。特に広角カメラ110を複数のカメラで構成する場合には切出画像を表示している領域の画像を優先して配信することで、広角カメラ110の切出画像とPTZカメラ120で撮像される画像とのタイムラグを小さくすることが可能となる。
(第1実施形態の効果)
以上、説明したように、本実施形態によれば、過去に撮像した領域207の現在の状態をリアルタイムの画像201、205によりユーザに表示しつつ、PTZカメラ120の撮像領域を領域208から領域207へ変更できる。
第2実施形態
次に、本発明の第2実施形態について、図5〜図7を用いて説明する。第1実施形態では、PTZカメラ120の撮像領域は、ユーザがポインタ401で選択したサムネイル画像の撮像領域に変更された。第2実施形態では、PTZカメラ120の撮像領域をあらかじめ設定された複数の撮像領域に順次変更する場合を説明する。第2実施形態では、PTZカメラ120の撮像領域が、所定の順序(巡回順序)で変化して行く。このような撮像は、巡回設定撮影と称されることもある。あらかじめ設定された複数の撮像領域は、以下の記載において、プリセット位置と称されることもある。
以下に、第2実施形態における撮像装置101の撮像領域、切り出し範囲の変更方法、ならびにサムネイル画像の表示方法について説明する。なお、第1実施形態と同じ構成については、同じ参照符号を使用し、詳細な説明は省略する。第2実施形態の撮像システム10の構成は、第1実施形態と同一である。以下の記載では、第1実施形態と異なるUI表示部140における表示と、PTZカメラ120の撮像方向および画角の変更(パン角度、チルト角度およびズーム位置の変更)とについて説明する。
(UI表示部)
図5を用いてUI表示部140の画像の表示について説明する。画像501、502、503および504は、PTZカメラ120の巡回設定撮影で撮像できる領域(すなわちプリセット位置)を広角カメラ110で現在撮像している画像201から切り出して表示しているサムネイル画像である。つまり、本実施形態の巡回設定撮影では、4つのサムネイル画像501〜504を使用する。どのサムネイル画像で巡回をスタートするかは、ユーザが選択(指定)することができる。例えば、ユーザがサムネイル画像504を選択すると、サムネイル画像504→501→502→503→504という順序で、PTZカメラ120の撮像領域が変化して行く。この巡回順序は、例えば、ユーザの指示に基づいてUI表示部140が設定してもよいし、撮像装置100のシステム制御部124が設定してもよい。本実施形態では、サムネイル画像501〜504は、予め用意されているとする。サムネイル画像501は領域505に対応し、サムネイル画像502は領域506に対応し、サムネイル画像503は領域507に対応し、サムネイル画像504は領域508に対応している。
サムネイル画像501、502、503および504には、それぞれPTZカメラ120のパン角度、チルト角度、ズーム位置が紐づけられて記憶部125に格納されている。この紐づけにより、PTZカメラ120は、サムネイル画像501〜504に基づいて、領域505〜508を撮像することができる。
(PTZカメラの撮像領域の変更)
図6および図7を用いて、プリセット位置に紐づけられたパン角度、チルト角度およびズーム位置に、PTZカメラ120のパン角度、チルト角度およびズーム位置を変更するフローについて説明する。以下の記載では、サムネイル画像504から巡回設定撮影がスタートする場合について説明する。巡回設定撮影では、1つの撮像領域で所定時間撮像を行ったならば、自動的に次の撮像領域に移るように設定されている。
図7(a)に示されるように、システム制御部124(図1)は、まず、ユーザがポインタ701でサムネイル画像504を選択したことを検知する(S601)。その後、システム制御部124は、サムネイル画像504に紐づけられたパン角度、チルト角度およびズーム位置の情報を記憶部125から読み出す(S602)。システム制御部124は、読み出されたパン角度、チルト角度およびズーム位置の情報に基づいて、PTZカメラ120の駆動制御部126にズームモータ127、パンモータ128およびチルトモータ129を駆動させるように命令を送信する(S603)。つまり、システム制御部124は、領域508をPTZカメラ120が撮像するように、駆動制御部126に各モータ127〜129の駆動命令を送信する。PTZカメラ120の撮像領域が変更された状態が図7(b)に示されている。
画像201には広角カメラ110が現在撮像している画像が表示されている。よって、ユーザがプリセット位置(領域508)にPTZカメラ120のパン角度、チルト角度、ズーム位置を変更する際にプリセット位置の状況を画像201で確認した上で、PTZカメラ120をパン角度、チルト角度、ズーム位置を変更することができる。
PTZカメラ120が領域508の撮像を所定時間行うと、システム制御部124は、サムネイル画像501に紐づけられたパン角度、チルト角度およびズーム位置の情報を記憶部125から読み出す(S604)。つまり、システム制御部124は、サムネイル画像501を順次自動選択する。そして、システム制御部124は、読み出されたパン角度、チルト角度およびズーム位置の情報に基づいて、PTZカメラ120の駆動制御部126に各モータ127〜129を駆動させるように命令を送信する(S603)。このように、巡回設定撮影では、S603の後、サムネイル画像の更新は行わず、S604に進む。そして、S603とS604が繰り返し実行される。巡回設定撮影を停止する場合、例えば、ユーザがUI表示部140からシステム制御部124に停止信号を送信する。
なお、上記の説明では、どのサムネイル画像から巡回設定撮影をスタートするかは、ユーザがサムネイル画像を選択することにより決めているが、巡回設定撮影をスタートするサムネイル画像は、あらかじめ設定してもよい。例えば、サムネイル画像501から巡回設定撮影をスタートするように設定してもよい。また、図6のフローチャートでは、ユーザがサムネイル画像504を選択することにより巡回設定撮影が開始したが、巡回設定撮影は、例えば、UI表示部140の電源がオンにされると開始するようにしてもよい。さらに、4つのプリセット位置505〜508で撮像を行う時間は、異なっていてもよい。例えば、プリセット位置505で撮像を行う時間は、プリセット位置507で撮像を行う時間より短くてもよい。図7の例では、4つのサムネイル画像501〜504を使って巡回設定撮影を行ったが、巡回設定撮影で使用するサムネイル画像の数は4に限定されない。
(第2実施形態の効果)
第2実施形態によれば、ユーザがプリセット位置508にPTZカメラ120のパン角度、チルト角度、ズーム位置を変更する際にプリセット位置の現在の状況を確認した上で、PTZカメラ120をパン角度、チルト角度、ズーム位置を変更することができる。また、プリセット位置508の後に自動的に撮像されるプリセット位置505、506および507についても、当該プリセット位置(領域)の現在の状況を確認することができる。さらに、第2実施形態によれば、所定の時間間隔で、複数のプリセット位置(撮像領域)を自動的に巡回して撮像することができる。
(変形例)
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、第1実施形態および第2実施形態において、広角カメラ110は、撮像方向およびズーム位置の変更手段を持たない単一のカメラで構成したが、広角カメラ110はこのような構成に限定されない。広角カメラ110は、複数のカメラで構成してもよいし、撮像方向およびズーム位置を変更可能なカメラ(例えば、PTZカメラ)で構成してもよい。
UI表示部140は、例えば、パーソナルコンピュータであるとしたが、サーバにより構成されてもよい。また、広角カメラ110とPTZカメラ120は1つの筐体に収容されるとしたが、別々の筐体に収容されてもよい。つまり、撮像装置100は2つのカメラ(広角カメラ110)が一体化された構造でなくてもよい。
(ユーザによる設定変更)
ユーザはサムネイル画像にPTZカメラ120の過去の撮像領域と巡回設定されている撮像領域のどちらを切出して表示させるかをUI表示部140から広角カメラ110に設定変更命令を送信することで切り替えるが可能である。同様にユーザはUI表示部140を介して駆動制御部126に駆動制御命令を送信することで各種モータ(127,128、129)を駆動させ、PTZカメラ120の撮像領域を変更することも可能である。また、サムネイル画像の大きさ、画像の表示位置(レイアウト)もUI表示部140を介して変更可能である。
また、上述の説明では撮像装置100で発明を実施する例について説明したが、本発明をクライアント装置側で実現する様にしてもよい。クライアント装置で実現する場合は、広角カメラ110の画像のどの部分をサムネイルとしてビューワーに表示させるかを示す情報と、各サムネイルが選択された場合にPTZカメラ120をどの位置にPTZ制御させるのかを示す情報をクライアント装置に保持するようにする。また、サムネイルの1つが選択された場合に、対応するPTZ位置にPTZカメラ120を駆動させる命令を発行するようにすればよい。
(その他の実施形態)
上記した実施形態では、撮像装置100を説明したが、本発明はその他の形態でも具現化(実現)することができる。例えば、本発明は、上述した実施形態の1以上の機能を実現するプログラム(コンピュータプログラム)を、ネットワークまたは記録媒体(記憶媒体)を介して、システムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行することによっても実現可能である。この場合、記録媒体から読み出されたプログラム(プログラムコード)自体が実施形態の機能を実現することになる。また、当該プログラムを記録した記録媒体は本発明を構成することができる。
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
100…撮像装置、110…広角カメラ、120…PTZカメラ、124…システム制御部、140…UI表示部

Claims (19)

  1. 第一の撮像領域を撮像する第一の撮像手段と、
    前記第一の撮像領域内の第二の撮像領域を撮像する第二の撮像手段と、
    前記第一の撮像領域の撮像画像から、前記第二の撮像領域の画像を切り出して切出画像として出力する出力手段と、
    前記第一の撮像領域の撮像画像をクライアント装置に表示させると共に、前記切出画像を前記クライアント装置に表示させる表示制御手段と、
    前記出力手段が出力した複数の切出画像のうちの1つが選択されると、前記第二の撮像領域を、前記選択された切出画像に対応した撮像領域に変更する変更手段と、
    を備えることを特徴とする撮像装置。
  2. 前記複数の切出画像に巡回順序を設定する設定手段をさらに備え、
    前記変更手段は、前記巡回順序に従って、前記第二の撮像領域を順次変更することを特徴とした請求項1に記載の撮像装置。
  3. 前記クライアント装置に表示された前記第一の撮像領域の撮像画像と、前記切出画像とを図形または指標により関連づける関連手段をさらに備えることを特徴とした請求項1または2に記載の撮像装置。
  4. 前記関連手段は、前記クライアント装置に表示された前記第一の撮像領域の撮像画像に、前記切出画像の外縁に対応する枠線を重畳表示することを特徴とした請求項3に記載の撮像装置。
  5. 前記複数の切出画像のうちの1つが選択されると、当該選択された切出画像の領域を前記第一の撮像領域の撮像画像に重畳表示する重畳手段をさらに備えることを特徴した請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記表示制御手段は、前記第一の撮像領域の撮像画像を前記クライアント装置に送信する送信手段を有し、
    前記送信手段は、前記第一の撮像領域の撮像画像の中の前記切出画像に対応する画像を、他の画像に優先して前記クライアント装置に送信することを特徴とした請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記変更手段により前記第二の撮像領域が変更されると、前記選択された切出画像を前記複数の切出画像から削除し、前記第二の撮像手段が撮像していた直近の第二の撮像領域の画像を切出画像として前記クライアント装置に表示させる更新手段をさらに備えることを特徴とした請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記更新手段は、前記第二の撮像手段のパン角度、チルト角度またはズーム位置に所定値以上の変更があった場合に、前記選択された切出画像を前記複数の切出画像から削除し、前記第二の撮像手段が撮像していた直近の第二の撮像領域の画像を切出画像として前記クライアント装置に表示させることを特徴とした請求項7に記載の撮像装置。
  9. 前記更新手段は、前記第二の撮像手段のパン角度、チルト角度またはズーム位置の変更後、所定時間が経過した後に、前記選択された切出画像を前記複数の切出画像から削除し、前記第二の撮像手段が撮像していた直近の第二の撮像領域の画像を切出画像として前記クライアント装置に表示させることを特徴した請求項7に記載の撮像装置。
  10. 前記第一の撮像手段は広角カメラまたはパンチルトズームカメラであり、前記第二の撮像手段はパンチルトズームカメラであることを特徴した請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記切出画像は、サムネイル画像であることを特徴した請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 前記変更手段は、前記巡回順序に従って、所定の時間間隔で、前記第二の撮像領域を順次変更することを特徴とした請求項2に記載の撮像装置。
  13. 第一の撮像手段で撮像している第一の撮像領域の撮像画像を表示部にリアルタイムで表示する第一の表示手段と、
    第二の撮像手段で撮像している、前記第一の撮像領域内の第二の撮像領域の撮像画像を前記表示部にリアルタイムで表示する第二の表示手段と、
    前記第二の撮像手段で過去に撮像した第三の撮像領域の現在の撮像画像を、前記第一の撮像領域の撮像画像から切り出して切出画像として前記表示部に表示する第三の表示手段と、を備え、
    前記切出画像が、前記第三の撮像領域を撮像した際の前記第二の撮像手段の撮像情報に関連づけられていることを特徴とする表示装置。
  14. 前記切出画像が複数ある場合、当該複数の切出画像から1つの切出画像を選択する選択手段をさらに備えることを特徴とする請求項13に記載の表示装置。
  15. 前記切出画像が複数ある場合、当該複数の切出画像を順次自動選択する自動選択手段をさらに備えることを特徴とする請求項13または14に記載の表示装置。
  16. 前記切出画像は、サムネイル画像であることを特徴とする請求項13乃至15のいずれか1項に記載の表示装置。
  17. 第一の撮像手段で、第一の撮像領域を撮像するステップと、
    第二の撮像手段で、前記第一の撮像領域内の第二の撮像領域を撮像するステップと、
    前記第一の撮像領域の撮像画像から、前記第二の撮像領域の画像を切り出して切出画像として出力するステップと、
    前記第一の撮像領域の撮像画像をクライアント装置に表示させるステップと、
    前記切出画像を前記クライアント装置に表示させるステップと、
    複数の前記切出画像のうちの1つが選択されると、前記第二の撮像領域を、前記選択された切出画像に対応した撮像領域に変更するステップと、
    を有することを特徴とする撮像方法。
  18. 第一の撮像手段で撮像している第一の撮像領域の撮像画像を表示部にリアルタイムで表示するステップと、
    第二の撮像手段で撮像している、前記第一の撮像領域内の第二の撮像領域の撮像画像を前記表示部にリアルタイムで表示するステップと、
    前記第二の撮像手段で過去に撮像した第三の撮像領域の現在の撮像画像を、前記第一の撮像領域の撮像画像から切り出して切出画像として前記表示部に表示するステップと、を有し、
    前記切出画像が、前記第三の撮像領域を撮像した際の前記第二の撮像手段の撮像情報に関連づけられていることを特徴とする表示方法。
  19. コンピュータが読み取り実行することで、前記コンピュータを、請求項1乃至12のいずれか1項に記載の撮像装置の各手段、あるいは、請求項13乃至16のいずれか1項に記載の表示装置の各手段として機能させるためのコンピュータプログラム。
JP2017217225A 2017-11-10 2017-11-10 撮像装置、撮像方法、表示装置および表示方法 Active JP7013210B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017217225A JP7013210B2 (ja) 2017-11-10 2017-11-10 撮像装置、撮像方法、表示装置および表示方法
US16/182,894 US11463624B2 (en) 2017-11-10 2018-11-07 Imaging device, imaging method, display device, and display method that capture a particular capturing region corresponding to a selected cutout image
CN201811331758.8A CN110022431B (zh) 2017-11-10 2018-11-09 摄像装置、摄像方法、显示装置和显示方法
CN202111211655.XA CN113923360A (zh) 2017-11-10 2018-11-09 摄像装置、摄像方法、显示装置和显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017217225A JP7013210B2 (ja) 2017-11-10 2017-11-10 撮像装置、撮像方法、表示装置および表示方法

Publications (3)

Publication Number Publication Date
JP2019087974A true JP2019087974A (ja) 2019-06-06
JP2019087974A5 JP2019087974A5 (ja) 2020-12-17
JP7013210B2 JP7013210B2 (ja) 2022-01-31

Family

ID=66432607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017217225A Active JP7013210B2 (ja) 2017-11-10 2017-11-10 撮像装置、撮像方法、表示装置および表示方法

Country Status (3)

Country Link
US (1) US11463624B2 (ja)
JP (1) JP7013210B2 (ja)
CN (2) CN113923360A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027395A (ja) * 2019-07-31 2021-02-22 株式会社リコー 出力制御装置、表示端末、移動体、遠隔制御システム、出力制御方法およびプログラム
US11991477B2 (en) 2019-07-31 2024-05-21 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336831B2 (en) * 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
CN114615399A (zh) * 2019-01-03 2022-06-10 核心光电有限公司 双重相机
CN112399033B (zh) 2019-08-14 2022-04-15 杭州海康威视数字技术股份有限公司 摄像机组件和监控摄像机
JP7328849B2 (ja) * 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP2021052325A (ja) 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
EP3869788A1 (en) 2020-02-19 2021-08-25 Ricoh Company, Ltd. Image capturing device, image communication system, method for display control, and carrier means

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032319A (ja) * 1998-07-08 2000-01-28 Canon Inc カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体
WO2009141951A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 映像撮影装置および映像符号化装置
JP2011188258A (ja) * 2010-03-09 2011-09-22 Canon Inc カメラシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778163B2 (ja) 2002-12-05 2006-05-24 コニカミノルタフォトイメージング株式会社 撮像装置
JP4244973B2 (ja) 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
CN101707671A (zh) 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
JP2011188210A (ja) * 2010-03-08 2011-09-22 Olympus Imaging Corp 撮影機器及び撮影システム
JP2013219556A (ja) 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
JP2013251783A (ja) 2012-06-01 2013-12-12 Canon Inc 撮像装置及び撮像制御方法
JP6231768B2 (ja) 2013-04-26 2017-11-15 キヤノン株式会社 撮像装置及びその制御方法
JP6261191B2 (ja) 2013-05-31 2018-01-17 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
KR20150021353A (ko) 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
CN104052931A (zh) 2014-06-27 2014-09-17 宇龙计算机通信科技(深圳)有限公司 一种图像拍摄装置、方法及终端
JP6469977B2 (ja) 2014-07-09 2019-02-13 オリンパス株式会社 標本観察装置および標本観察方法
CN106455943B (zh) 2014-11-21 2018-12-04 奥林巴斯株式会社 摄像装置、图像处理装置、摄像装置的工作方法
CN105933660A (zh) 2016-05-20 2016-09-07 北京格灵深瞳信息技术有限公司 一种监控摄像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032319A (ja) * 1998-07-08 2000-01-28 Canon Inc カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体
WO2009141951A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 映像撮影装置および映像符号化装置
JP2011188258A (ja) * 2010-03-09 2011-09-22 Canon Inc カメラシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027395A (ja) * 2019-07-31 2021-02-22 株式会社リコー 出力制御装置、表示端末、移動体、遠隔制御システム、出力制御方法およびプログラム
JP7400248B2 (ja) 2019-07-31 2023-12-19 株式会社リコー 移動体
US11991477B2 (en) 2019-07-31 2024-05-21 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
JP7013210B2 (ja) 2022-01-31
US20190149744A1 (en) 2019-05-16
US11463624B2 (en) 2022-10-04
CN113923360A (zh) 2022-01-11
CN110022431B (zh) 2021-10-22
CN110022431A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP7013210B2 (ja) 撮像装置、撮像方法、表示装置および表示方法
KR101655056B1 (ko) 무선 비디오 카메라
EP1750431B1 (en) Imaging system, camera control apparatus, panorama image generation method and program therefor
TWI422218B (zh) Control devices, camera systems and programs for monitoring camera systems
JP2007189503A (ja) 端末装置及びプログラム
JP2007159047A (ja) カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
KR20120012397A (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 프로그램
JP2005333552A (ja) パノラマ映像配信システム
JP2018117312A (ja) 映像配信システム、ユーザ端末装置および映像配信方法
JP7150456B2 (ja) 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
JP4583717B2 (ja) 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
US9300878B2 (en) Imaging apparatus and method for controlling imaging apparatus
JP2011035752A (ja) 撮像装置
US20190045136A1 (en) Display control device, display control method, and program
JP6261191B2 (ja) 表示制御装置、表示制御方法、プログラム
JP2014192745A (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
CN112073630B (zh) 摄像装置、摄像装置的控制方法及记录介质
JP5939902B2 (ja) 制御装置及び制御装置の制御方法
JP5917175B2 (ja) 撮像装置、撮像装置の配信方法、撮像システムおよびプログラム
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP2005348448A (ja) パノラマ撮像装置
JP2015035686A (ja) カメラ装置、監視システム、制御装置、及び制御プログラム
JP6335668B2 (ja) 撮影装置、その制御方法、撮影システム、及びプログラム
JP2017216599A (ja) 撮像装置及びその制御方法
JPH11261874A (ja) リモートコントロールビデオ撮影方法およびシステム並びに該方法を記録した記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220119

R151 Written notification of patent or utility model registration

Ref document number: 7013210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03