JP2011217202A - 画像取得装置 - Google Patents
画像取得装置 Download PDFInfo
- Publication number
- JP2011217202A JP2011217202A JP2010084592A JP2010084592A JP2011217202A JP 2011217202 A JP2011217202 A JP 2011217202A JP 2010084592 A JP2010084592 A JP 2010084592A JP 2010084592 A JP2010084592 A JP 2010084592A JP 2011217202 A JP2011217202 A JP 2011217202A
- Authority
- JP
- Japan
- Prior art keywords
- image acquisition
- image
- person
- photographing
- attention point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】人を撮影する固定カメラ1と、人の注目点を撮影するためのPTZカメラ2と、固定カメラ1の画像から人の視線方向を検出するための視線方向検出手段122と、視線方向から注目点の位置を算出する注目点位置算出手段123と、算出した注目点位置にPTZカメラ2を向けるための注目点画像取得手段124とを有している。
【選択図】 図2
Description
請求項2に記載された発明は、請求項1に記載された画像取得装置において、前記注目点位置算出手段は、前記視線方向検出手段が検出した視線方向の仰角及び方位角に基づいて、射影変換行列を用いて注目点位置を算出することを特徴とする。
請求項3に記載された発明は、請求項1又は2に記載された画像取得装置において、第2の撮影手段は、撮影方向の仰角、方位角、画角を遠隔操作で変更することのできるPTZカメラであって、前記注目点位置算出手段が算出する注目点位置は、前記PTZカメラに設定すべき仰角及び方位角で与えられることを特徴とする。
請求項4に記載された発明は、請求項1又は2に記載された画像取得装置において、前記注目点位置算出手段が算出する注目点位置は、前記第2の撮影手段が撮影した注目点の、前記第2の撮影手段の画像における座標で与えられることを特徴とする。
請求項5に記載された発明は、請求項1又は2に記載された画像取得装置において、前記第1の撮影手段は、撮影方向の仰角、方位角、画角を変更することのできるPTZカメラであることを特徴とする。
請求項6に記載された発明は、請求項1ないし5のいずれかに記載された画像取得装置において、前記第1の撮影手段の撮影方向における音を取得するための集音手段を有し、前記集音手段が一定レベル以上の音声や音を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項7に記載された発明は、請求項1ないし5のいずれかに記載された画像取得装置において、前記第1の撮影手段が人を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項8に記載された発明は、請求項1ないし5のいずれかに記載された画像取得装置において、前記第1の撮影手段が捉えた人の表情を認識するための表情認識手段を有し、前記表情認識手段が、前記人の表情の変化を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項9に記載された発明は、複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置により行う画像取得方法であって、前記複数の撮影手段により撮影された人の画像から、前記人の視線方向を検出する工程と、前記人の視線方向から、前記人の注目点の位置を算出する工程と、前記複数の撮影手段により、前記注目点の位置の画像を取得する工程と、を有することを特徴とする。
図1は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。
本画像取得装置は、人を撮影する第1の撮影手段、例えば、人物の方向に撮影方向が固定された固定カメラ1と、その人物の視線方向にある注目点を撮影するための第2の撮影手段、例えば、撮影視野の仰角、方位角、及び画角を変更することのできるPTZ(Pan-Tilt-Zoom)カメラ2と、人物周辺の歓声や拍手を集音するための音声マイク3と、固定カメラ1及びPTZカメラ2で得られた画像を処理すると共にPTZカメラ2の制御を行う画像処理装置4と、固定カメラ1及びPTZカメラ2で得られた画像情報を表示する表示装置5と、ユーザが画像処理装置4の設定等を行うための入力装置6とを有している。
本画像処理装置4は、固定カメラ1等との通信を行うための入出力インタフェース11と、CPU(Central Processing Unit)、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等を有する処理部12とを有している。また、処理部12は、音声マイク3で捉えた音声に基づいて処理部12に画像処理動作を開始させるための動作開始情報取得手段121と、固定カメラ1で撮影された人の視線方向を検出するための視線方向検出手段122と、その人の視線方向にある注目点の位置を算出するための注目点位置算出手段123と、PTZカメラ2に指示を与えて注目点の画像を取得するための注目点画像取得手段124と、注目点算出手段123が注目点の位置を算出する際に使用する射影行列を予め算出しておくための射影行列算出手段125とを有しており、これらの手段は、CPUを含む処理部12がプログラムを実行することにより実現される。
上記において、固定カメラ1により取得した視線方向の情報からPTZカメラ2に設定すべき仰角及び方位角を算出する方法として、視線方向の角度情報をPTZカメラ2の仰角及び方位角に変換するための射影行列を、射影行列算出手段125により予め準備しておくことができる。
まず、固定カメラ1及びPTZカメラ2の設置場所及び設置方向(基準方向)を決定し(S101)、PTZカメラ2の撮影範囲内に基準点を設ける(S102)。
次に、固定カメラ1の画像の中心に人を立たせ、視線を一の基準点に向けさせる(S103)。続いて、その画像から、視線方向検出手段122が、視線方向の仰角及び方位角を取得する(S104)。このとき取得する仰角及び方位角は、固定カメラの光軸方向、すなわち、人が固定カメラ1の正面に視線を向けたときの視線方向を基準とする角度とする。
なお、後述の図5の説明において、上記手順の具体例を示す。
まず、ユーザは、音声マイク3を固定カメラ1の撮影範囲に向けて設置する(S201)。次に、動作開始情報取得手段121は、音声マイク3が歓声や拍手などの大きな音を捉えるのを待機する(S202)。音声マイク3が歓声や拍手を捉えたら(S202、Yes)、処理部12は固定カメラ1の撮影画像を取得し(S203)、視線方向検出手段122は、固定カメラ1に撮影されている人の、視線方向の仰角及び方位角を検出する(S204)。
なお、上記の構成では、音声マイク3が歓声や拍手を捉えたことをトリガとして、視線検出等の動作を行うものとしているが、固定カメラ1の撮影範囲に人が入ったことを検出してトリガとしてもよいし、固定カメラ1に撮影される人の動きや表情を検出してトリガとしてもよい。
また、固定カメラ1及びPTZカメラ2の映像を録画しておき、上記のトリガの発生前後の数秒間の映像を残すことで、映像録画の記録時間を短縮しつつ、この映像から適切なシャッターチャンスの写真を取得することができる。
本画像取得装置の第1の変形例は、人の視線検出に使用するカメラも、人の注目点を撮影するカメラも、共にPTZカメラとするものである。この第1の変形例では、より広範囲の観客を対象として視線検出を行うことができ、本画像取得装置の動作範囲を拡大することができる。ただし、この場合には、人の視線方向は、PTZカメラの画像から得られた視線方向を、そのPTZカメラの仰角及び方位角により補正して取得する必要がある。
図5は、射影行列を算出する場合の、固定カメラ1、PTZカメラ2、及び基準点の関係を示した図である。
図5(1)のように、PTZカメラ2の撮影範囲内に複数の基準点を設け、固定カメラ1の前に人を立たせて、視線を一の基準点の方向に向けさせる。このとき、固定カメラ1からは図5(2)のような画像を得られ、この画像から、観客の視線方向の仰角及び方位角を検出する。そして、PTZカメラ2をその基準点の方向へ向けて、図5(3)のように基準点を撮影したときの、PTZカメラ2の仰角及び方位角を取得する。上記の作業を全ての基準点について行って、射影行列を算出する。
ここで、算出する射影行列は、視線方向の仰角及び方位角で構成される2次元ベクトルをPTZカメラ2の仰角及び方位角で構成される2次元ベクトルに変換する行列であるので、図3のS102で設定する基準点は4つあれば足りる。
まず、図6(1)のように、固定カメラ1により観客を撮影して、その視線方向の仰角及び方位角を検出し、上記により算出した射影行列を使って、PTZカメラ2の仰角及び方位角を算出して設定する。これにより、PTZカメラ2は、観客の視線方向にある注目点に向き(図6(2))、PTZカメラ2からは注目点の画像が得られる(図6(3))。
上記の動作の結果、固定カメラ1及びPTZカメラ2から得られた画像は、例えば図7(1)又は(2)のように合成して表示装置に表示することができる。
Claims (9)
- 複数のカメラにより撮影された画像を一つの画像にまとめて表示するための画像取得装置であって、
人を撮影する第1の撮影手段と、
前記人の視線方向にある注目点を撮影するための第2の撮影手段と、
前記第1の撮影手段の画像から前記人の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段が検出した視線方向から前記注目点の位置を算出する注目点位置算出手段と、
前記注目点位置算出手段が算出した注目点位置の画像を前記第2の撮影手段から取得するための注目点画像取得手段と、
を有することを特徴とする画像取得装置。 - 請求項1に記載された画像取得装置において、
前記注目点位置算出手段は、前記視線方向検出手段が検出した視線方向の仰角及び方位角に基づいて、射影変換行列を用いて注目点位置を算出することを特徴とする画像取得装置。 - 請求項1又は2に記載された画像取得装置において、
第2の撮影手段は、撮影方向の仰角、方位角、画角を遠隔操作で変更することのできるPTZカメラであって、
前記注目点位置算出手段が算出する注目点位置は、前記PTZカメラに設定すべき仰角及び方位角で与えられることを特徴とする画像取得装置。 - 請求項1又は2に記載された画像取得装置において、
前記注目点位置算出手段が算出する注目点位置は、前記第2の撮影手段が撮影した注目点の、前記第2の撮影手段の画像における座標で与えられることを特徴とする画像取得装置。 - 請求項1又は2に記載された画像取得装置において、
前記第1の撮影手段は、撮影方向の仰角、方位角、画角を変更することのできるPTZカメラであることを特徴とする画像取得装置。 - 請求項1ないし5のいずれかに記載された画像取得装置において、
前記第1の撮影手段の撮影方向における音を取得するための集音手段を有し、
前記集音手段が一定レベル以上の音声や音を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。 - 請求項1ないし5のいずれかに記載された画像取得装置において、
前記第1の撮影手段が人を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。 - 請求項1ないし5のいずれかに記載された画像取得装置において、
前記第1の撮影手段が捉えた人の表情を認識するための表情認識手段を有し、
前記表情認識手段が、前記人の表情の変化を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。 - 複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置により行う画像取得方法であって、
前記複数の撮影手段により撮影された人の画像から、前記人の視線方向を検出する工程と、
前記人の視線方向から、前記人の注目点の位置を算出する工程と、
前記複数の撮影手段により、前記注目点の位置の画像を取得する工程と、
を有することを特徴とする画像取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084592A JP5477777B2 (ja) | 2010-03-31 | 2010-03-31 | 画像取得装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084592A JP5477777B2 (ja) | 2010-03-31 | 2010-03-31 | 画像取得装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011217202A true JP2011217202A (ja) | 2011-10-27 |
JP5477777B2 JP5477777B2 (ja) | 2014-04-23 |
Family
ID=44946468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084592A Active JP5477777B2 (ja) | 2010-03-31 | 2010-03-31 | 画像取得装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5477777B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014199786A1 (ja) * | 2013-06-11 | 2014-12-18 | シャープ株式会社 | 撮影システム |
JP2017188715A (ja) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | 映像表示システム及び映像表示方法 |
WO2019058496A1 (ja) * | 2017-09-22 | 2019-03-28 | 株式会社電通 | 表情記録システム |
JP2019169042A (ja) * | 2018-03-26 | 2019-10-03 | 株式会社デンソーテン | 視点切替装置及び視点切替方法 |
CN111328399A (zh) * | 2018-04-27 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 控制装置以及摄影方法 |
JP2020188291A (ja) * | 2019-05-09 | 2020-11-19 | アイシン精機株式会社 | 画像表示装置および画像表示プログラム |
TWI787205B (zh) * | 2017-09-28 | 2022-12-21 | 日商電通股份有限公司 | 表情記錄系統、嬰兒車、及表情記錄程式 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2641188T3 (es) | 2014-05-09 | 2017-11-08 | Reemtsma Cigarettenfabriken Gmbh | Envase para artículos relacionados con fumar y/o con tabaco |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000083228A (ja) * | 1998-09-04 | 2000-03-21 | Sony Corp | 双方向通信システム、端末装置および制御方法 |
JP2002077845A (ja) * | 2000-09-05 | 2002-03-15 | Communication Research Laboratory | 自己表情の確認が可能な遠隔地対面通信装置 |
JP2005094741A (ja) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
JP2007074033A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
-
2010
- 2010-03-31 JP JP2010084592A patent/JP5477777B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000083228A (ja) * | 1998-09-04 | 2000-03-21 | Sony Corp | 双方向通信システム、端末装置および制御方法 |
JP2002077845A (ja) * | 2000-09-05 | 2002-03-15 | Communication Research Laboratory | 自己表情の確認が可能な遠隔地対面通信装置 |
JP2005094741A (ja) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
JP2007074033A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014199786A1 (ja) * | 2013-06-11 | 2014-12-18 | シャープ株式会社 | 撮影システム |
CN105165004A (zh) * | 2013-06-11 | 2015-12-16 | 夏普株式会社 | 摄影系统 |
JP6077655B2 (ja) * | 2013-06-11 | 2017-02-08 | シャープ株式会社 | 撮影システム |
CN105165004B (zh) * | 2013-06-11 | 2019-01-22 | 夏普株式会社 | 摄影系统 |
JP2017188715A (ja) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | 映像表示システム及び映像表示方法 |
WO2019058496A1 (ja) * | 2017-09-22 | 2019-03-28 | 株式会社電通 | 表情記録システム |
TWI787205B (zh) * | 2017-09-28 | 2022-12-21 | 日商電通股份有限公司 | 表情記錄系統、嬰兒車、及表情記錄程式 |
JP2019169042A (ja) * | 2018-03-26 | 2019-10-03 | 株式会社デンソーテン | 視点切替装置及び視点切替方法 |
CN111328399A (zh) * | 2018-04-27 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 控制装置以及摄影方法 |
JP2020188291A (ja) * | 2019-05-09 | 2020-11-19 | アイシン精機株式会社 | 画像表示装置および画像表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5477777B2 (ja) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5477777B2 (ja) | 画像取得装置 | |
RU2715797C1 (ru) | Способ и устройство для синтеза объектов виртуальной реальности | |
US20170213385A1 (en) | Apparatus and method for generating 3d face model using mobile device | |
WO2017088678A1 (zh) | 长曝光全景图像拍摄装置和方法 | |
US9712750B2 (en) | Display control device and associated methodology of identifying a subject in an image | |
CN108605087B (zh) | 终端的拍照方法、拍照装置和终端 | |
JP2013009050A (ja) | 画像処理装置、画像処理方法 | |
JP6091669B2 (ja) | 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 | |
US11258940B2 (en) | Imaging apparatus | |
KR20120012201A (ko) | 파노라마 사진 촬영 방법 | |
KR20180129667A (ko) | 표시 제어 장치, 표시 제어 방법 및 저장 매체 | |
JP2013027021A (ja) | 全方位撮像装置及び全方位撮像方法 | |
JP2019012881A (ja) | 撮像制御装置及びその制御方法 | |
JP2015119277A (ja) | 表示機器、表示方法及び表示プログラム | |
US11716539B2 (en) | Image processing device and electronic device | |
JP2009239347A (ja) | 画像処理装置および画像処理プログラム | |
KR20100121086A (ko) | 음원인식을 이용한 촬영영상 추적 ptz 카메라 운용시스템 및 그 방법 | |
KR20180017591A (ko) | 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법 | |
JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
CN112839165A (zh) | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 | |
JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
US9066010B2 (en) | Photographing apparatus, photographing method and medium recording photographing control program | |
JP2012124767A (ja) | 撮像機器 | |
WO2018168825A1 (ja) | 画像処理装置および電子機器 | |
JP2015019215A (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5477777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140202 |