JP2014150487A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2014150487A JP2014150487A JP2013019362A JP2013019362A JP2014150487A JP 2014150487 A JP2014150487 A JP 2014150487A JP 2013019362 A JP2013019362 A JP 2013019362A JP 2013019362 A JP2013019362 A JP 2013019362A JP 2014150487 A JP2014150487 A JP 2014150487A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- transmission
- resolution
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
動画像撮影機能を有する撮像装置では、録画により動画像の撮影画像データを不揮発性の記録媒体に記録する。一方、通信機能を備えた携帯型電子機器(スマートフォン等)が急速に普及している。また、ウェブサイトへのアップロードを介して撮影画像を複数の人の間で共有する又は閲覧可能とする、といった画像利用形態が盛んに行われている。 In an imaging device having a moving image shooting function, shot image data of a moving image is recorded on a non-volatile recording medium by recording. On the other hand, portable electronic devices (such as smartphones) having a communication function are rapidly spreading. In addition, image utilization forms such as sharing a photographed image among a plurality of people or making it viewable through uploading to a website are actively performed.
尚、ストリーミング配信において、ネットワークの状況に応じ伝送する画像の解像度を変更する技術が提案されている(下記特許文献1参照)。
In streaming delivery, a technique has been proposed for changing the resolution of an image to be transmitted according to network conditions (see
撮像装置による撮影画像を他の電子機器(スマートフォン等)に共有させる場合、まず撮影装置が保持している撮影画像データをパーソナルコンピュータに転送し、当該パーソナルコンピュータを介して他の電子機器に同データをコピーするといった方法が一般的にとられる。しかしながら、この方法は、ユーザにとって手間がかかるし、即時性に劣る。 When sharing an image captured by an imaging device with another electronic device (such as a smartphone), first, the captured image data held by the imaging device is transferred to a personal computer, and the data is transferred to the other electronic device via the personal computer. Generally, a method such as copying is used. However, this method is time consuming and inferior to the user.
そこで、ユーザ負担軽減及び即時性向上を狙い、録画と並行して撮影画像データを他の電子機器にストリーミング配信するといった方法も検討される。但し、撮像装置では高画質の画像データを記録することが求められており、撮像装置で取得及び記録される高画質の画像データを単純にストリーミング配信しようとすると、データの転送負荷が重くなりすぎる場合がある。低い転送負荷で即時に撮影画像データを外部機器と共有できれば利便性が高い。尚、特許文献1に記載の技術は、録画を伴わない単なるストリーミング配信技術であり、高画質の画像データの取得及び記録が求められる撮像装置には当該技術を単純に転用できない。
Therefore, a method of streaming the captured image data to other electronic devices in parallel with the recording is also studied with the aim of reducing the burden on the user and improving immediacy. However, the image pickup apparatus is required to record high-quality image data, and if the high-quality image data acquired and recorded by the image pickup apparatus is simply streamed, the data transfer load becomes too heavy. There is a case. It is convenient if the captured image data can be shared with an external device immediately with a low transfer load. The technique described in
そこで本発明は、低い転送負荷で即時に撮影画像データを外部機器と共有可能にする撮像装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus that can immediately share captured image data with an external device with a low transfer load.
本発明に係る撮像装置は、入射光に応じた入力画像の画像信号を出力する撮像素子と、不揮発性記録媒体と、前記撮像素子の出力画像信号に基づく第1解像度の画像データを前記不揮発性記録媒体に記録することによる録画と並行して、前記撮像素子の出力画像信号から前記第1解像度よりも低い第2解像度の画像データを生成し且つ前記第2解像度の画像データを外部機器に送信する送信処理部を備えたことを特徴とする。 An imaging apparatus according to the present invention includes an imaging element that outputs an image signal of an input image corresponding to incident light, a nonvolatile recording medium, and first resolution image data based on the output image signal of the imaging element. In parallel with recording by recording on a recording medium, image data having a second resolution lower than the first resolution is generated from an output image signal of the image sensor, and the image data having the second resolution is transmitted to an external device. The transmission processing unit is provided.
これにより、低い転送負荷で即時に撮影画像データを外部機器と共有することが可能になる。 This makes it possible to share the captured image data with an external device immediately with a low transfer load.
この際、前記撮像素子の出力画像信号に基づき、前記送信の実行有無を制御する送信制御部を、前記撮像装置に更に設けると良い。 At this time, it is preferable that a transmission control unit for controlling the execution of the transmission based on the output image signal of the imaging element is further provided in the imaging device.
これにより、プライバシ保護等の観点から送信を控えた方が良いと思われるような場合に録画と並行した画像データ送信を停止する、といったことが可能となる。 This makes it possible to stop transmission of image data in parallel with recording when it is considered that transmission should be refrained from the viewpoint of privacy protection.
具体的には例えば、前記送信制御部は、前記入力画像内に人物の顔が存在しているか否かを検出する顔検出部を有し、前記顔検出部の検出結果に応じて、前記送信の実行有無を制御しても良い。 Specifically, for example, the transmission control unit includes a face detection unit that detects whether or not a human face is present in the input image, and the transmission control unit performs the transmission according to a detection result of the face detection unit. Whether to execute or not may be controlled.
この際例えば、記顔検出部は、前記入力画像内に人物の顔が存在している場合、前記入力画像内の顔が所定の登録人物の顔と一致しているか否かを識別し、その識別結果に応じて、前記送信の実行有無を制御しても良い。 At this time, for example, when a face of a person exists in the input image, the face detection unit identifies whether or not the face in the input image matches the face of a predetermined registered person, The execution of the transmission may be controlled according to the identification result.
或いは例えば、録画期間中における所定指示の入力に応答して、前記送信の実行有無を制御する送信制御部を、前記撮像装置に設けておいても良い。 Alternatively, for example, a transmission control unit that controls whether or not the transmission is performed in response to an input of a predetermined instruction during the recording period may be provided in the imaging apparatus.
これにより、操作者の判断で、プライバシ保護等を考慮した送信停止/許可を実現できる。 Thereby, transmission stop / permission considering privacy protection and the like can be realized at the operator's discretion.
また例えば、前記送信の実行有無制御によって、前記送信が実行される際、前記送信処理部は、前記入力画像のリアルタイム変化に応答してリアルタイムに変化する前記第2解像度の画像データを音声データとともに前記外部機器に送信すると良い。一方、前記送信の実行有無制御によって、前記送信が停止される際、前記送信処理部は、前記第2解像度の画像データを送信せずに前記音声データだけを前記外部機器に送信しても良い、又は、一定の画像データを前記外部機器に送信しても良い。 Further, for example, when the transmission is executed by the execution control of the transmission, the transmission processing unit outputs the second resolution image data that changes in real time in response to the real time change of the input image together with the audio data. It may be transmitted to the external device. On the other hand, when the transmission is stopped by the transmission execution control, the transmission processing unit may transmit only the audio data to the external device without transmitting the second resolution image data. Alternatively, certain image data may be transmitted to the external device.
また例えば、前記送信処理部は、前記第2解像度の画像データに含まれる人物の顔の画像データの画像部分に対し所定の加工処理を施してから、前記外部機器に対する前記第2解像度の画像データの送信を行っても良い。 Further, for example, the transmission processing unit performs a predetermined processing process on the image portion of the human face image data included in the second resolution image data, and then the second resolution image data for the external device. May be sent.
これにより、プライバシ保護が図られる。 Thereby, privacy protection is achieved.
また例えば、録画内容を再生する際、前記送信処理部は、前記不揮発性記録媒体に記録された前記第1解像度の画像データから前記第2解像度の画像データを生成して前記外部機器に送信しても良い。 Also, for example, when playing back the recorded content, the transmission processing unit generates the second resolution image data from the first resolution image data recorded on the nonvolatile recording medium and transmits the image data to the external device. May be.
本発明によれば、低い転送負荷で即時に撮影画像データを外部機器と共有可能にする撮像装置を提供することが可能である。 ADVANTAGE OF THE INVENTION According to this invention, it is possible to provide the imaging device which can share a picked-up image data with an external apparatus immediately with a low transfer load.
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。 Hereinafter, an example of an embodiment of the present invention will be specifically described with reference to the drawings. In each of the drawings to be referred to, the same part is denoted by the same reference numeral, and redundant description regarding the same part is omitted in principle. In this specification, for simplification of description, a symbol or reference that refers to information, signal, physical quantity, state quantity, member, or the like is written to indicate information, signal, physical quantity, state quantity or Names of members and the like may be omitted or abbreviated.
図1は、本発明の実施形態に係るデジタルカメラ(撮像装置)1の構成ブロック図である。デジタルカメラ(以下、カメラと略記することがある)1は、符号11〜20によって参照される各部位を備える。
FIG. 1 is a configuration block diagram of a digital camera (imaging apparatus) 1 according to an embodiment of the present invention. A digital camera (hereinafter may be abbreviated as “camera”) 1 includes each part referred to by
撮像部11は、複数枚のレンズから形成される光学系と、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子(固体撮像素子)を備える。当該撮像素子は、光学系を介して入射した、被写体に応じた光を光電変換することで、被写体の画像信号を生成し出力する。即ち、撮像部11は、撮像素子を用いて被写体(撮影対象)を撮影することで被写体の画像信号を生成及び出力する。以下では、撮像素子30の出力画像信号に基づく被写体の撮影画像を入力画像と呼ぶ。
The
画像処理部12は、撮像部11の出力信号に対して所定の画像信号処理を施す。マイク部13は、1以上のマイクロホンから成り、カメラ1の周辺音を音声信号(音響信号)に変換して出力する。音声処理部14は、マイク部13の出力音声信号に対して所定の音声信号処理を施す。表示部15は、液晶ディスプレイパネル等から成る表示画面であり、任意の映像を表示する。記録媒体16は、半導体メモリや磁気ディスク等にて形成された不揮発性記録媒体であり、任意の信号及びデータを記録する。スピーカ部17は、マイク部13の出力音声信号又は記録媒体16に記録された音声信号に基づく任意の音声信号を音として再生、出力する。操作部18は、機械式押しボタンスイッチやダイヤル等の機械式操作部材、及び/又は、表示部15に設けられうるタッチパネルにて形成され、撮影者(ユーザ)からの各種指示及び操作を受け付ける。
The
図2に示す如く、カメラ1は、カメラ1の外部に設けられた電子機器(外部機器)2と、無線にて通信を行うことができる。但し、カメラ1及び電子機器2間の通信は有線通信であっても良い。電子機器2は、任意のデータを再生、加工又は処理することができる任意の電子機器であり、例えば、携帯電話機、携帯情報端末、パーソナルコンピュータ、電子書籍リーダ、電子辞書、デジタルカメラ、ゲーム機器又はナビゲーション装置である。カメラ1及び電子機器2間の通信は任意の通信規格(例えばWi−Fi(登録商標)又はBluetooth(登録商標)の通信規格)に従う。カメラ1及び電子機器2を任意のネットワーク網に接続し、該ネットワーク網を介してカメラ1及び電子機器2間の通信が実現されても良い。電子機器2は、インターネット上で所定のIPアドレスが割り当てられたWWW(World Wide Web)サーバ機器であっても良い。電子機器2としてのサーバ機器は、SNS(ソーシャルネットワーキングサービス)や所謂ブログ等のウェブサイトを運営しても良い。
As shown in FIG. 2, the
カメラ1の通信処理部19は、電子機器2との間で任意のデータ及び信号の通信を行うための通信処理を実行する。主制御部20は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等にて形成され、操作部18に入力された各種指示及び操作に従いつつ、カメラ1内の各部位の動作を統括的に制御する。
The
図3に、録画、再生及び通信の機能に注目した、カメラ1の他のブロック図を示す。図3において、符号30は撮像部11に設けられた上記撮像素子を表す。符号31〜36及び40によって参照される各部位はカメラ1に設けられる。送信処理部40は、符号41〜45によって参照される各部位を備える。例えば、図3の符号31〜33、35、41及び42によって参照される各部位を図1の画像処理部12に含めておくことができ、図3の送信制御部36を図1の主制御部20に含めておくことができ、図3の符号43〜45によって参照される各部位を図1の通信処理部19に含めておくことができる。
FIG. 3 shows another block diagram of the
撮像素子30の出力画像信号は前処理部31に供給される。前処理部31は、撮像素子30の出力画像信号に対して所定の信号処理(A/D変換、信号増幅、ノイズ低減処理、デモザイキング処理など)を施し、サイズ調整部32は、該信号処理後の撮像素子30の出力画像信号に対して第1サイズ調整処理を施すことで入力画像の画像データD1を生成する。第1サイズ調整処理は公知の解像度変換を用いて実現される。
The output image signal of the
記憶媒体16に記録されるべき画像の画像サイズを記録サイズという。録画に先立ち、記録サイズは予め定められる。任意の入力画像の画像サイズは、当該入力画像を形成する水平方向の画素数と垂直方向の画素数との積で表される。サイズ調整部32は、画像データD1による入力画像の画像サイズが記録サイズと一致するように第1サイズ調整処理を施す。今、例として、記録サイズが(1920×1080)画素である場合を考える。この場合、サイズ調整部32は、入力画像の画素数を、(1920×1080)画素とは異なる画素数から(1920×1080)に変換する解像度変換を行うことで、(1920×1080)画素分の画像データから成る画像データD1を生成する。尚、撮像素子30の出力画像信号の画像サイズが記録サイズと一致する場合、第1解像度変換は不要である。画像データD1による入力画像の画素数(本例において(1920×1080))に相当する、画像データD1の解像度を、第1解像度と呼ぶ。
The image size of an image to be recorded on the
エンコーダ33は、画像データD1に対して所定の画像圧縮処理を施すことで圧縮後の画像データD1である圧縮画像データD1’を生成する。エンコーダ33における画像圧縮処理は、任意の動画像圧縮方式(例えば、MPEG(Moving Picture Experts Group)による圧縮方式)に従う(後述のエンコーダ42でも同様)。圧縮画像データD1’ も第1解像度を有する。図3の例では、記録媒体16がSD(Secure Digital)カード等のメモリカードであることが想定されている。カードコントローラ34は圧縮画像データD1’を記録媒体16としてのメモリカードに書き込む。所定のフレームレート(例えば60fps(frame per second))にて順次撮影される複数の入力画像の圧縮画像データD1’が撮影動画像の画像データとして記録媒体16に書き込まれる。尚、圧縮処理を介さず、画像データD1を記録媒体16に書き込むことも可能である。撮像素子30の出力画像信号に基づく第1解像度の画像データ(D1又はD1’)を記録媒体16に記録する処理を録画又は録画処理と呼ぶ。操作部18に対する所定の録画指示の入力に応答して、主制御部20は録画処理を実行する。
The
図3からは明らかではないが、録画処理では、録画期間中の音声データが画像データと同期して記録媒体16に記録される。即ち、録画期間中において、マイク部13の出力に基づく音声データがエンコーダ33にて所定の音声圧縮方式(例えば、AAC (Advanced Audio Coding))にて圧縮され、圧縮音声データと圧縮画像データD1’を含む記録用AVデータが記録媒体16に記録される。録画期間とは、カメラ1において録画処理が実行される期間を指す。
Although not apparent from FIG. 3, in the recording process, the audio data during the recording period is recorded on the
送信処理部40は、録画が実行される際、送信制御部36の制御の下、録画処理と並行してストリーミング配信を実行する。ストリーミング配信において、送信処理部40は、撮像素子30の出力画像信号に基づく第2解像度の画像データを生成して、生成した第2解像度の画像データを電子機器2に送信する。ここで、第2解像度は第1解像度よりも低い。
When recording is performed, the
送信処理部40の具体的構成を説明する。サイズ調整部41は、サイズ調整部32から供給される画像データD1に対して第2サイズ調整処理を施すことで入力画像の画像データD2を生成する。ストリーミング配信において電子機器2に送信されるべき入力画像の画像サイズを配信サイズと呼ぶ。配信サイズを予め定めておくことができるが、配信サイズは記録サイズよりも小さいものとする。サイズ調整部41は、画像データD2による入力画像の画像サイズが配信サイズと一致するように第2サイズ調整処理を施す。今、例として、記録サイズが(1920×1080)画素であって且つ配信サイズが(320×180)である場合を考える。この場合、サイズ調整部41は、入力画像の画素数を、(1920×1080)画素から(320×180)画素に変換する解像度変換を行うことで、(320×180)画素分の画像データから成る画像データD2を生成する。画像データD2による入力画像の画素数(本例において(320×180))に相当する、画像データD2の解像度が、上述の第2解像度である。
A specific configuration of the
エンコーダ42は、画像データD2に対して所定の画像圧縮処理を施すことで圧縮後の画像データD2である圧縮画像データD2’を生成する。圧縮画像データD2’ も第2解像度を有する。図3からは明らかでないが、録画期間中において、マイク部13の出力に基づく音声データがエンコーダ42にて所定の音声圧縮方式(例えば、AAC (Advanced Audio Coding))により圧縮され、エンコーダ42からは、当該圧縮が成された音声データと圧縮画像データD2’を含む配信用AVデータが出力される。
The
上述の記録用AVデータ及び配信用AVデータは、記録媒体16への格納に適したPS(プログラムストリーム)形式で表現されている。 PS/TS変換部43は、PS形式で表現された配信用AVデータを、送信に適したTS(トランスポートストリーム)形式の配信用AVデータであるTSデータに変換する。TSデータは、必要分だけバッファメモリ44に一時保存され、送信部45は、バッファメモリ44に保存されたTSデータを電子機器2に送信する。ストリーミング配信は、画像データD1及び音声データからTSデータを生成してTSデータを電子機器2に送信するまでの処理を含む。
The recording AV data and the distribution AV data described above are expressed in a PS (program stream) format suitable for storage in the
TSデータを受信した電子機器2は、TSデータを伸長して画像データD2及び画像データD2に同期した音声データを復元し、復元した画像データD2及び音声データを、電子機器2内の表示装置及び音声出力装置(双方不図示)又は電子機器2に接続された表示装置及び音声出力装置(双方不図示)にて再生することができる。電子機器2は、TSデータに基づく画像データD2及び音声データを、自身の有する記録媒体(不図示)に保存することもできるしウェブサイト上に掲載することもできる。カメラ1がTSデータを送信する電子機器2の個数は2以上であっても良い。
The
本実施形態によれば、カメラ1による撮影動画像をカメラ1を含む複数の機器間でリアムタイムに共有でき、例えば、録画と同時にカメラ1以外の機器上で撮影動画像をリアルタイムに視聴することが可能になる。より具体的には例えば、カメラ1にて撮影動画像の記録を行いつつ、撮影者の家族や友人が所有する携帯情報端末(電子機器2の一種)上でリアルタイムに撮影動画像を視聴することが可能になる。当該携帯情報端末から配信用AVデータに基づく画像データD2及び音声データをサーバ機器に送信することで、画像データD2及び音声データをウェブサイト上に掲載する、といった利用形態も有益である。
According to the present embodiment, a moving image captured by the
カメラ1においては、撮影動画像をフルハイビジョン画質などの高画質で記録することが望まれる。一方で、電子機器2の一種としての携帯情報端末(スマートフォン等)にて撮影動画像を共有する場合やウェブサイトでの掲載を考えた場合、それほど高い画質は望まれないことも多い。また、高画質の画像データ送信は転送負荷が重い。更に、電子機器2にて画像保存を行う場合、高すぎる画質は必要記録容量が増大するため忌避されることも多い。これらを考慮し、カメラ1においては、ストリーミング配信によって送信される画像データの解像度(第2解像度)を、記録される画像データの解像度(第1解像度)よりも下げる。これにより、必要以上に転送負荷を重くすることなく、撮影動画像を共有することが可能となる。
In the
尚、記録用AVデータにおける動画像のフレームレートと、配信用AVデータにおける動画像のフレームレートは、一致していても良いし一致していなくても良い。転送負荷の更なる軽減を狙って、配信用AVデータにおける動画像のフレームレート(例えば30fps)を記録用AVデータにおける動画像のフレームレート(例えば60fps)よりも低くしても良い。 Note that the frame rate of the moving image in the recording AV data and the frame rate of the moving image in the distribution AV data may or may not match. In order to further reduce the transfer load, the moving image frame rate (for example, 30 fps) in the distribution AV data may be set lower than the moving image frame rate (for example, 60 fps) in the recording AV data.
カメラ1では、記録用AVデータを記録媒体16に記録した後、任意のタイミングで記録用AVデータを再生することができる。撮影動画像の再生を行う際、カードコントローラ34を介して記録媒体16から読み出された記録用AVデータがデコーダ35にてデコードされ(データの圧縮が伸長され)、画像データD1及び音声データが復元される。デコーダ35にて復元された画像データD1の解像度が表示部15の表示サイズに応じた表示解像度に変換され、表示解像度を持った画像データが表示部15に供給されることにより表示部15上で撮影動画像が再生される。図3の例では、表示解像度への変換もサイズ調整部41にて実現されている。また、表示部15上での撮影動画像の再生と同期して、デコーダ35にて復元された音声データがスピーカ部17にて再生される。
In the
カメラ1にて録画内容を再生する際(即ち、記録媒体16に記録された記録用AVデータを表示部15及びスピーカ部17にて再生する際)、送信処理部40は、送信制御部36の制御の下、上記ストリーミング配信を実行しても良い。つまり、カメラ1にて録画内容を再生する際、送信処理部40は、当該再生と並行して、記録媒体16に記録された第1解像度の画像データを含む記録用AVデータから第2解像度の画像データを含む配信用AVデータを生成して電子機器2に送信しても良い。再生期間中においては、デコーダ35から画像データD1及び音声データが送信処理部40に供給される。再生期間とは、カメラ1において録画内容の再生が行われる期間を指す。
When the recorded content is reproduced by the camera 1 (that is, when the recording AV data recorded on the
送信制御部36は、送信処理部40を制御することで、ストリーミング配信の実行タイミング制御を行うと共に、録画期間中においてストリーミング配信の実行有無制御を行うことができる。以下、送信制御部36に関する詳細な動作例若しくは構成例、又は、他の関連技術を、複数の実施例の中で説明する。矛盾無き限り、以下に述べる複数の実施例の内、或る実施例を、他の任意の実施例に組み合わせることができる。
The
<<第1実施例>>
第1実施例を説明する。第1実施例に係る送信制御部36は、録画期間中の撮像素子30の出力画像信号に基づき、ストリーミング配信の実行有無を制御する。
<< First Example >>
A first embodiment will be described. The
具体的には例えば、図4に示す如く、送信制御部36に顔検出部51を設けておく。顔検出部51は、撮像素子30の出力画像信号に基づく入力画像内に人物の顔(以下単に顔という)が存在しているか否を検出する顔検出処理を実行する。顔検出部51は、撮影動画像を形成する各入力画像に対して顔検出処理を実行可能である。顔検出部51は、任意の解像度を持った入力画像の画像データに基づき(例えば画像データD1又はD2に基づき)、顔検出処理を行うことができる。
Specifically, for example, as shown in FIG. 4, a
そして、送信制御部36は、顔検出部51による顔検出処理の結果に応じて、ストリーミング配信の実行有無を制御することができる。図5に示す如く、撮影動画像は時系列で並ぶ複数の入力画像F[1]〜F[n]にて形成される(nは2以上の整数)。録画期間では、入力画像F[1]〜F[n]の画像データD1が画像圧縮処理を介して記録媒体16に順次記録され、再生期間では、記録媒体16の記録データに基づく入力画像F[1]〜F[n]が動画像形式で順次表示部15上で再生される。撮影動画像を形成する各入力画像をフレームと呼んでも良い。
Then, the
送信制御部36は、顔検出処理の結果を用い、録画期間の全体又は再生期間の全体を、入力画像に顔が存在している顔検出期間と、入力画像に顔が存在していない顔非検出期間と、に分類することができる。録画期間の全体又は再生期間の全体は、顔検出期間と顔非検出期間の合成期間である。例えば、図6に示す如く、入力画像F[1]〜F[n]の内、入力画像F[i]〜F[n]にのみ顔が存在している場合、録画期間の全体又は再生期間の全体の内、入力画像F[i]〜F[n]の録画期間又は再生期間は顔検出期間であり、入力画像F[1]〜F[i−1]の録画期間又は再生期間は顔非検出期間である(iは整数)。
The
そして例えば、送信制御部36は、顔検出期間においてストリーミング配信を停止し且つ顔非検出期間においてストリーミング配信を実行する。配信に関して人物のプライバシ保護が必要な場合があり、このような場合に、顔検出期間中のストリーミング配信停止は有益である。
For example, the
逆に、送信制御部36は、顔非検出期間においてストリーミング配信を停止し且つ顔検出期間においてストリーミング配信を実行しても良い。例えば、子供の発表会の様子を録画する際に、家族に子供の様子を配信したいことがある。このようなケースにおいて、子供の様子が写っていない映像(単なる風景の映像など)の配信は不要とも言える。当該ケースにおいて、顔非検出期間中のストリーミング配信停止は有益である。
Conversely, the
顔検出部51は、入力画像内に顔が存在している場合、入力画像内の顔が所定の登録人物の顔(以下、登録顔という)と一致しているか否かを識別する顔識別処理を実行しても良い。顔検出部51は、撮影動画像を形成する各入力画像に対して顔識別処理を実行可能である。顔検出部51は、任意の解像度を持った入力画像の画像データに基づき(例えば画像データD1又はD2に基づき)、顔識別処理を行うことができる。顔識別処理のために、登録顔の画像データ又は特徴量を登録顔データとして予め顔検出部51に保持させておく。顔検出部51は、入力画像の画像データと登録顔データとの対比から顔識別処理を実現できる。
The
送信制御部36は、入力画像内に顔が存在している場合、顔検出部51による顔識別処理の結果に応じて、ストリーミング配信の実行有無を制御しても良い。 送信制御部36は、顔検出処理及び顔識別処理の結果を用い、録画期間の全体又は再生期間の全体を、入力画像に登録顔が存在している登録顔検出期間と、入力画像に登録顔が存在していない登録顔非検出期間と、に分類することができる。録画期間の全体又は再生期間の全体は、登録顔検出期間と登録顔非検出期間の合成期間である。例えば、入力画像F[1]〜F[n]の内、入力画像F[i]〜F[n]にのみ登録顔が存在している場合、録画期間の全体又は再生期間の全体の内、入力画像F[i]〜F[n]の録画期間又は再生期間は登録顔検出期間であり、入力画像F[1]〜F[i−1]の録画期間又は再生期間は登録顔非検出期間である(iは整数)。
When a face is present in the input image, the
そして例えば、送信制御部36は、登録顔検出期間においてストリーミング配信を停止し且つ登録顔非検出期間においてストリーミング配信を実行する。配信に関して登録人物のプライバシ保護が必要な場合があり、このような場合に、登録顔検出期間中のストリーミング配信停止は有益である。
For example, the
逆に、送信制御部36は、登録顔非検出期間においてストリーミング配信を停止し且つ登録顔検出期間においてストリーミング配信を実行しても良い。例えば、撮影者の子供の発表会の様子を録画する際に、撮影者の家族に撮影者の子供の様子を配信したいことがある。このようなケースにおいて、撮影者の子供(登録人物)の様子が写っていない映像(単なる風景の映像や他の子供の映像)の配信は不要とも言える。当該ケースにおいて、登録顔非検出期間中のストリーミング配信停止は有益である。
Conversely, the
顔検出処理又は顔認識処理を利用する方法に限らず、送信制御部36は、撮像素子30の出力画像信号が所定条件を満たしたときストリーミング配信を停止し、撮像素子30の出力画像信号が所定条件を満たさないときストリーミング配信を実行すると良い。撮影者は、操作部18を介して、ストリーミング配信の停止に関わる所定条件を設定することができる。
Not limited to the method of using the face detection process or the face recognition process, the
<<第2実施例>>
第2実施例を説明する。第2実施例に係る送信制御部36は、録画期間中における所定の送信停止指示又は送信許可指示の入力に応答して、ストリーミング配信の実行有無を制御する。操作部18にて、撮影者からの送信停止指示又は送信許可指示の入力が受け付けられる。送信停止指示又は送信許可指示の入力を受ける専用ボタン等が、機械式ボタンとして又はタッチパネル上のボタンとして設けられていると良い。
<< Second Example >>
A second embodiment will be described. The
録画期間又は再生期間において、送信制御部36は、原則としてストリーミング配信を実行し、送信停止指示が入力されたときのみストリーミング配信を停止する。或いは、録画期間又は再生期間において、送信制御部36は、原則としてストリーミング配信を停止しており、送信許可指示が入力されたときのみストリーミング配信を実行する。このように構成しておくことで、撮影者の判断で、プライバシ保護等を考慮した配信停止/許可を実現できる。
In the recording period or the playback period, the
<<第3実施例>>
第3実施例を説明する。ストリーミング配信の対象は動画像である。故に当然、ストリーミング配信が実行される際、送信処理部40は、録画又は再生されるべき入力画像のリアルタイム変化(撮影動画像の画像データのリアルタイム変化)に応答してリアルタイムに変化する第2解像度の画像データ(D2’)を音声データと共に電子機器2に送信する。
<< Third Example >>
A third embodiment will be described. The target of streaming distribution is a moving image. Therefore, as a matter of course, when streaming delivery is executed, the
第1又は第2実施例の方法を利用してストリーミング配信が停止される際、送信処理部40は、電子機器2に対する一切のデータ送信を停止しても良いが、以下の第1又は第2送信処理を実行しても良い。
When streaming delivery is stopped using the method of the first or second embodiment, the
第1送信処理において、送信処理部40は、第2解像度の画像データを送信せずに、マイク部13の出力に基づく音声データ(撮影動動画像に付随する音声データ)のみを電子機器2に対して出力する。これにより、映像の配信停止によるプライバシ保護等を実現しつつ、録画環境の音だけを配信することができる。
In the first transmission process, the
第2送信処理において、送信処理部40は、一定の画像データJを電子機器2に対して送信する。一定の画像データJの送信は、ストリーミング配信の実行が再開されるまで継続される。画像データJは静止画像(フリーズ画)の画像データである。従って第2送信処理が利用される場合、一定の静止画像の画像データが電子機器2に送信され続けることになる。例えば、入力画像F[1]〜F[n]の何れか1つの画像データを画像データJに設定することができる。より具体的には例えば、ストリーミング配信が実行されている期間からストリーミング配信が停止されている期間に遷移したとき、前者の期間の終了直前のフレームについての第2解像度の画像データを画像データJに設定することができる。従って、図6の例において、顔検出期間中にストリーム配信を停止する場合、入力画像F[i−1]や入力画像F[i−2]についての第2解像度の画像データを画像データJに設定すれば良い。或いは例えば、画像データJは、入力画像F[1]〜F[n]とは関係なく予め設定された画像データ(例えば、“配信停止中です。お待ちください。”という文字を表現する画像データ)であっても良い。
In the second transmission process, the
<<第4実施例>>
第4実施例を説明する。顔検出期間中にストリーミング配信を停止する処理を第1実施例で説明したが、第4実施例に係る送信処理部40は、顔検出期間においてストリーミング配信を停止するのではなく、第2解像度の画像データD2に含まれる顔の画像データの画像部分に対して所定の加工処理を施してから、第2解像度の画像データを含む配信用AVデータを電子機器2に送信する。
<< 4th Example >>
A fourth embodiment will be described. Although the processing for stopping streaming delivery during the face detection period has been described in the first embodiment, the
加工処理として、例えば、ガラス処理、ネガポジ処理、XOR0x80処理、RGB入れ替え処理、Winマスク処理、Mekoマスク処理、Q0マスク処理、FLマスク処理、CPマスク処理などを採用可能である。それらの処理は、何れもマスク処理の一種であるが、それらの処理の内の一部は、モザイク処理にも分類される。モザイク処理では、例えば、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域をランダムに並べ替える。加工対象領域は、顔検出部51の顔検出処理によって検出された、顔の画像データが存在する画像領域である。加工処理は可逆性であっても良いし不可逆性であっても良い。また、加工対象領域内の画像をぼかすぼかし処理(平滑化処理等)を加工処理に含めても良い。
As processing, for example, glass processing, negative-positive processing, XOR0x80 processing, RGB switching processing, Win mask processing, Meko mask processing, Q0 mask processing, FL mask processing, CP mask processing, and the like can be adopted. These processes are all a kind of mask process, but a part of those processes is also classified as a mosaic process. In the mosaic processing, for example, the region to be processed is divided at predetermined pixel intervals in the vertical and horizontal directions, and the regions obtained by the division are rearranged at random. The processing target area is an image area in which face image data detected by the face detection process of the
図6の例の如く、入力画像F[i]に顔の画像データが存在している場合、送信処理部40内の加工処理部(不図示)は、入力画像F[i]内における顔の画像データが存在する画像領域に加工処理を施す。そして、送信処理部40は、該加工処理を経た入力画像F[i]の第2解像度の画像データを配信用AVデータに含めて電子機器2に送信する。顔の画像データが存在する他の入力画像(F[i+1]等)についても同様である。第4実施例によれば、ストリーミング配信を停止することなくプライバシ保護を図ることができる。第4実施例に述べる“顔”は“登録顔”であって良い。
As shown in the example of FIG. 6, when face image data exists in the input image F [i], the processing unit (not shown) in the
<<変形等>>
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
<< Deformation, etc. >>
The embodiment of the present invention can be appropriately modified in various ways within the scope of the technical idea shown in the claims. The above embodiment is merely an example of the embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the above embodiment. The specific numerical values shown in the above description are merely examples, and as a matter of course, they can be changed to various numerical values.
カメラ1を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。カメラ1にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムをカメラ1に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置(例えば、カメラ1に搭載可能なマイクロコンピュータ)上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体はカメラ1と異なる機器(サーバ機器等)に搭載又は接続されても良い。
The
1 デジタルカメラ
2 電子機器(外部機器)
16 記録媒体(不揮発性記録媒体)
30 撮像素子
36 送信制御部
40 送信処理部
51 顔検出部
1
16 Recording medium (nonvolatile recording medium)
30
Claims (8)
不揮発性記録媒体と、
前記撮像素子の出力画像信号に基づく第1解像度の画像データを前記不揮発性記録媒体に記録することによる録画と並行して、前記撮像素子の出力画像信号から前記第1解像度よりも低い第2解像度の画像データを生成し且つ前記第2解像度の画像データを外部機器に送信する送信処理部を備えた
ことを特徴とする撮像装置。 An image sensor that outputs an image signal of an input image according to incident light;
A non-volatile recording medium;
In parallel with recording by recording image data of the first resolution based on the output image signal of the image sensor on the nonvolatile recording medium, a second resolution lower than the first resolution from the output image signal of the image sensor An image pickup apparatus comprising: a transmission processing unit that generates the image data of the second resolution and transmits the image data of the second resolution to an external device.
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a transmission control unit that controls whether or not the transmission is performed based on an output image signal of the imaging element.
ことを特徴とする請求項2に記載の撮像装置。 The transmission control unit includes a face detection unit that detects whether or not a human face exists in the input image, and controls whether or not the transmission is performed according to a detection result of the face detection unit. The imaging apparatus according to claim 2.
ことを特徴とする請求項3に記載の撮像装置。 When a face of a person is present in the input image, the face detection unit identifies whether the face in the input image matches a face of a predetermined registered person, and according to the identification result The imaging apparatus according to claim 3, wherein execution of the transmission is controlled.
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a transmission control unit that controls whether or not the transmission is performed in response to an input of a predetermined instruction during a recording period.
前記送信処理部は、前記入力画像のリアルタイム変化に応答してリアルタイムに変化する前記第2解像度の画像データを音声データとともに前記外部機器に送信する一方、
前記送信の実行有無制御によって、前記送信が停止される際、
前記送信処理部は、前記第2解像度の画像データを送信せずに前記音声データだけを前記外部機器に送信する、又は、一定の画像データを前記外部機器に送信する
ことを特徴とする請求項1〜5の何れかに記載の撮像装置。 When the transmission is executed by the execution control of the transmission,
The transmission processing unit transmits the image data of the second resolution that changes in real time in response to a change in real time of the input image to the external device together with audio data,
When the transmission is stopped by the execution control of the transmission,
The transmission processing unit transmits only the audio data to the external device without transmitting the image data of the second resolution, or transmits certain image data to the external device. The imaging device according to any one of 1 to 5.
ことを特徴とする請求項1〜6の何れかに記載の撮像装置。 The transmission processing unit performs predetermined processing on the image portion of the human face image data included in the second resolution image data, and then transmits the second resolution image data to the external device. The imaging apparatus according to claim 1, wherein the imaging apparatus is performed.
ことを特徴とする請求項1〜7の何れかに記載の撮像装置。 When reproducing the recorded content, the transmission processing unit generates the second resolution image data from the first resolution image data recorded on the nonvolatile recording medium and transmits the image data to the external device. The imaging apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019362A JP2014150487A (en) | 2013-02-04 | 2013-02-04 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019362A JP2014150487A (en) | 2013-02-04 | 2013-02-04 | Imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014150487A true JP2014150487A (en) | 2014-08-21 |
Family
ID=51573122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013019362A Pending JP2014150487A (en) | 2013-02-04 | 2013-02-04 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014150487A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017010253A1 (en) * | 2015-07-13 | 2017-01-19 | 株式会社ディー・エヌ・エー | System, method, and program for distributing output screen image of terminal device |
JP2017021775A (en) * | 2016-04-20 | 2017-01-26 | 株式会社 ディー・エヌ・エー | System, method and program for distributing output screen of terminal device |
JP2018046877A (en) * | 2016-08-30 | 2018-03-29 | 株式会社コナミデジタルエンタテインメント | Moving image distribution system, server device, terminal device, and program |
-
2013
- 2013-02-04 JP JP2013019362A patent/JP2014150487A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017010253A1 (en) * | 2015-07-13 | 2017-01-19 | 株式会社ディー・エヌ・エー | System, method, and program for distributing output screen image of terminal device |
JP2017021775A (en) * | 2016-04-20 | 2017-01-26 | 株式会社 ディー・エヌ・エー | System, method and program for distributing output screen of terminal device |
JP2018046877A (en) * | 2016-08-30 | 2018-03-29 | 株式会社コナミデジタルエンタテインメント | Moving image distribution system, server device, terminal device, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013132828A1 (en) | Communication system and relay apparatus | |
US9972355B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium | |
US20110102670A1 (en) | Audio video recording device | |
WO2020133465A1 (en) | Systems and methods for multi-video stream transmission | |
JP2018026676A (en) | Multi-camera system, camera, processing method of camera, confirmation device, and processing method of confirmation device | |
US20090033760A1 (en) | Apparatus and method for processing image data | |
JPWO2016152510A1 (en) | Image sensor, processing method, and electronic device | |
JP2014150487A (en) | Imaging device | |
JP2020058014A (en) | Video processing apparatus, video conference system, video processing method, and program | |
CN112788198B (en) | Image capturing apparatus, image transfer system, image capturing apparatus, image transfer method, recording medium, and computer apparatus | |
JP6360300B2 (en) | COMMUNICATION DEVICE, IMAGING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
US20170171492A1 (en) | Display control apparatus, imaging apparatus, and display control method | |
US9456180B2 (en) | Image processing apparatus, communication system, and computer program | |
CN105991881B (en) | Image processing apparatus, image processing method and recording medium | |
JP2012034128A (en) | Image processing apparatus and imaging apparatus using the same | |
WO2022061723A1 (en) | Image processing method, device, terminal, and storage medium | |
JP6341814B2 (en) | Imaging device, control method thereof, and program | |
JP6119447B2 (en) | Imaging system and control method | |
JP7122564B2 (en) | Imaging device, electronic device and imaging system | |
JP2019068187A (en) | Information processing apparatus, control method thereof, and program | |
JP2019009731A (en) | Image processing apparatus and method, imaging apparatus, and imaging system | |
JP2018195923A (en) | Recording device | |
US20240087093A1 (en) | Image processing apparatus, image processing method, and program | |
JP2015159406A (en) | Image pickup device and control method of the same | |
JP6280402B2 (en) | Image recording apparatus, image recording method, program, and storage medium |