JP2020088477A - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】ストリーミング配信を行う場合の操作性を向上させることを目的とする。【解決手段】本発明は、撮像手段により撮影された画像データを外部に送信するための通信手段を有する画像処理装置であって、前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で所定の操作を受け付けた場合には、記録媒体に記録済みの画像データを表示手段に表示するように制御し、前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データと、前記通信手段により送信される画像データとを前記表示手段に表示するように制御する制御手段を有することを特徴とする。【選択図】図３

Description

本発明は、画像処理装置等に関するものである。

近年、個人のユーザがワンマンオペレーションでストリーミング配信を行うことが増えている。従来、ライブで配信している画像データに対して動画または静止画を挿入する場合、スイッチャー等の装置とカメラの両方を一人で操作する必要があった。
特許文献１には、ライブ映像データと再生映像データとを予め決められたプレイリストに従って切替えを行うことができる映像送信装置が開示されている。

特開２００７−２５９３７０号公報

しかしながら、特に個人で行うストリーミング配信の場合には場面に応じた判断や視聴者からのレスポンスに応じてリアルタイムで画像データを挿入して切替える必要がある。また、予め決められたプレイリストに従って動作させている場合、ストリーミング配信中に不測の事態が発生した場合に対応するときの操作が容易ではないという問題がある。
本発明は、上述したような問題点に鑑みてなされたものであり、ストリーミング配信を行う場合の操作性を向上させることを目的とする。

本発明は、撮像手段により撮影された画像データを外部に送信するための通信手段を有する画像処理装置であって、前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で所定の操作を受け付けた場合には、記録媒体に記録済みの画像データを表示手段に表示するように制御し、前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データと、前記通信手段により送信される画像データとを前記表示手段に表示するように制御する制御手段を有することを特徴とする。

本発明によれば、ストリーミング配信を行う場合の操作性を向上させることができる。

本実施形態のデジタルカメラの外観図である。 デジタルカメラの構成を示すブロック図である。 デジタルカメラの処理を示すフローチャートである。 通常再生モードの画面の一例を示す図である。 挿入する画像データの候補を選択する画面の一例を示す図である。 挿入する画像データを候補から選択する画面の一例を示す図である。 画像データを挿入して配信している画面の一例を示す図である。

以下、本発明の好適な実施形態について図面を参照して説明する。以下の実施形態では画像処理装置が、ライブストリーミング配信が可能なデジタルカメラ（以下、カメラという）である場合を例にして説明する。
＜第１の実施形態＞
図１は、カメラ１００の外観図である。図１（ａ）はカメラ１００の前面斜視図であり、図１（ｂ）はカメラ１００の背面斜視図である。
カメラ１００は、上面にシャッターボタン１０１、メイン電子ダイヤル１０２、モード切替スイッチ１０３、ファインダ外表示部１０４等を備える。シャッターボタン１０１は、撮影の準備あるいは撮影を指示するための操作部である。メイン電子ダイヤル１０２は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。モード切替スイッチ１０３は、各種モードを切替えるための操作部である。モード切替スイッチ１０３により静止画撮影モード、動画撮影モード等に切替えられる。ファインダ外表示部１０４は、シャッター速度や絞り等の様々な設定値を表示する。

また、カメラ１００は、背面に表示部１０５、電源スイッチ１０６、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、ライブビューボタン１１０、拡大ボタン１１１、縮小ボタン１１２を備える。また、カメラ１００は、再生ボタン１１３、メニューボタン１１４、ファインダ１１５等を備える。
表示部１０５は、画像や各種情報を表示する。表示部１０５は、カメラ１００でストリーミング配信中である場合には配信中の画角を表示する。表示部１０５は、表示手段の一例に対応する。なお、表示部１０５は、表示面上に対する接触を検出可能なタッチパネルを有していてもよい。電源スイッチ１０６は、カメラ１００の電源のオンおよびオフを切替える操作部である。サブ電子ダイヤル１０７は、選択枠の移動や画像送り等を行うための回転式の操作部である。十字キー１０８は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。十字キー１０８の押下した位置に応じた操作が可能である。ＳＥＴボタン１０９は、主に選択項目を決定するときに押下される操作部である。

ライブビューボタン１１０は、静止画撮影モードにおいてはファインダ撮影モードとライブビュー撮影モードとを切替え、動画撮影モードにおいては動画撮影（記録）の開始、停止を指示するための操作部である。
拡大ボタン１１１は、撮影モードのライブビュー表示において拡大モードのオン、オフを切替えたり、拡大モード中の拡大率を変更したりするための操作部である。また、拡大ボタン１１１は、再生モードにおいて再生画像の拡大率を大きくするときに用いられる。縮小ボタン１１２は拡大された再生画像の拡大率を小さくし、表示された画像を縮小させるための操作部である。

再生ボタン１１３は、撮影モードと再生モードとを切替えるための操作部である。静止画撮影モードあるいは動画撮影モード中に再生ボタン１１３が押下されることで、再生モードに切替えられ、表示部１０５に記録媒体に記録された画像のうち最新の画像が表示される。再生モードでは、十字キー１０８の操作により記録媒体に記録された画像を切り替えて表示することが可能であり、記録媒体に記録済みの画像を確認することができる。ファインダ１１５は、後述するフォーカシングスクリーンを観察することで、被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダである。

また、カメラ１００は、右側にグリップ部１１６、蓋部１１７等を備え、左側に端子カバー１１８等を備える。グリップ部１１６は、ユーザがカメラ１００を構えたときに右手で握り易いように形成された保持部である。蓋部１１７は、記録媒体を格納するスロットを閉塞するための蓋である。端子カバー１１８は、外部装置の接続ケーブル（ＵＳＢ、ＬＡＮ、ＨＤＭＩ（登録商標）等）を接続するコネクタを保護するためのカバーである。
また、カメラ１００の内部には、アクチュエータによってアップダウンされるクイックリターンミラー１１９が配置される。また、カメラ１００には、着脱可能なレンズユニットと通信するための通信端子１２０を備える。

図２は、カメラ１００の構成を示す図である。なお、図１と同一の構成は、同一符号を付してその説明を適宜、省略する。カメラ１００は、着脱可能なレンズユニット２０１が装着される。
まず、レンズユニット２０１について説明する。
レンズユニット２０１は、絞り２０２、レンズ群２０３、絞り駆動回路２０４、ＡＦ（オートフォーカス）駆動回路２０５、レンズ制御回路２０６、通信端子２０７等を有する。
絞り２０２は、開口径が調整可能に構成される。レンズ群２０３は、複数枚のレンズから構成される。絞り駆動回路２０４は、絞り２０２の開口径を制御することで光量を調整する。ＡＦ駆動回路２０５は、レンズ群２０３を駆動させて焦点を合わせる。レンズ制御回路２０６は、後述するシステム制御部の指示に基づいて、絞り駆動回路２０４、ＡＦ駆動回路２０５等を制御する。レンズ制御回路２０６は、絞り駆動回路２０４を介して絞り２０２の制御を行い、ＡＦ駆動回路２０５を介してレンズ群２０３の位置を変位させることで焦点を合わせる。レンズ制御回路２０６は、カメラ１００との間で通信可能である。具体的には、レンズユニット２０１の通信端子２０７と、カメラ１００の通信端子１２０とを介して通信される。レンズユニット２０１は、カメラ１００と通信し、レンズ制御回路２０６によって絞り駆動回路２０４を介して絞り２０２の制御を行い、ＡＦ駆動回路２０５を介して、レンズ群２０３の位置を変位させることで焦点を合わせる。

次に、カメラ１００について説明する。
カメラ１００は、クイックリターンミラー１１９、フォーカシングスクリーン２０８、ペンタプリズム２０９、ＡＥ（自動露出）センサ２１０、焦点検出部２１１、ファインダ１１５、シャッター２１２、撮像部２１３、システム制御部５０を有する。
クイックリターンミラー１１９（以下、ミラー１１９という）は、露光、ライブビュー画像の表示、動画撮影をする場合に、システム制御部５０の指示に基づいてアクチュエータによりアップダウンされる。ミラー１１９は、レンズ群２０３から入射した光束をファインダ１１５側または撮像部２１３側に切替える。通常の場合には、ミラー１１９は光束をファインダ１１５側に導くように配置される。一方、撮影する場合やライブビュー画像を表示する場合には、ミラー１１９は光束を撮像部２１３に導くように上方に跳ね上がり待避する（ミラーアップ）。また、ミラー１１９は、中央部が光の一部を透過するハーフミラーで構成され、光束の一部が焦点検出を行うための焦点検出部２１１に入射するように透過させる。

ＡＥセンサ２１０は、レンズユニット２０１を通した被写体の輝度を測光する。焦点検出部２１１は、ミラー１１９により透過された光束に基づいてデフォーカス量を検出し、システム制御部５０に出力する。システム制御部５０はデフォーカス量に基づいてレンズユニット２０１を制御し、位相差ＡＦを行う。ユーザは、ペンタプリズム２０９とファインダ１１５を介して、フォーカシングスクリーン２０８を観察することで、レンズユニット２０１を通して得た被写体の光学像の焦点や構図を確認することができる。シャッター２１２は、システム制御部５０の指示に基づいて撮像部２１３の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像部２１３は、撮像手段の一例に対応する。

また、カメラ１００は、Ａ／Ｄ変換器２１５、メモリ制御部２１６、画像処理部２１７、メモリ２１８、Ｄ／Ａ変換器２１９、表示部１０５を有する。
Ａ／Ｄ変換器２１５は、撮像部２１３から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１７は、Ａ／Ｄ変換器２１５からのデータまたはメモリ制御部２１６からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２１７では、撮影した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理、ＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理部２１７では、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２１５からの画像データは、画像処理部２１７およびメモリ制御部２１６を介して、または、メモリ制御部２１６を介してメモリ２１８に直接書き込まれる。メモリ２１８は、撮像部２１３によって得られＡ／Ｄ変換器２１５によりデジタルデータに変換された画像データや、表示部１０５に表示するための画像データを格納する。メモリ２１８は、所定枚数の静止画像や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１８は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１９は、メモリ２１８に格納されている表示用の画像データをアナログ信号に変換して表示部１０５に供給する。したがって、メモリ２１８に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１９を介して表示部１０５により表示される。表示部１０５は、ＬＣＤ等の表示器上にＤ／Ａ変換器２１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２１５によって一度Ａ／Ｄ変換されメモリ２１８に蓄積されたデジタル信号をＤ／Ａ変換器２１９でアナログ変換し、表示部１０５に逐次転送して表示することでライブビュー画像を表示（スルー表示）でき、電子ビューファインダとして機能する。

また、カメラ１００は、ファインダ内表示部２２０、ファインダ内表示駆動回路２２１、ファインダ外表示部１０４、ファインダ外表示駆動回路２２２、不揮発性メモリ２２３、システムメモリ２２４、システムタイマ２２５を有する。
ファインダ内表示部２２０は、ファインダ内表示駆動回路２２１を介して現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコン等を表示する。ファインダ外表示部１０４は、ファインダ外表示駆動回路２２２を介してシャッター速度や絞り等の設定値を表示する。不揮発性メモリ２２３は、電気的に消去・記憶可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２２３には、システム制御部５０の動作用の定数、閾値、プログラム等が記憶される。このプログラムは、後述するフローチャートの処理を実行するためのプログラムである。

システムメモリ２２４は、例えばＲＡＭが用いられる。システムメモリ２２４には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２２３から読み出したプログラム等が展開される。システムタイマ２２５は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
システム制御部５０はカメラ１００全体を制御する。システム制御部５０は、上述した不揮発性メモリ２２３に記憶されたプログラムを実行することで、後述する各処理を実現する。また、システム制御部５０は、メモリ２１８、Ｄ／Ａ変換器２１９、表示部１０５等を制御することにより表示制御も行う。システム制御部５０は、制御手段、設定手段の一例に対応する。

また、カメラ１００は、モード切替スイッチ１０３、第１シャッタースイッチ２２６、第２シャッタースイッチ２２７、操作部２２８等のシステム制御部５０に各種の動作指示を入力するための操作手段を有する。操作手段は、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせにより構成される。
モード切替スイッチ１０３は、静止画撮影モード、動画撮影モードおよび再生モード等の何れかに切替えるための操作部である。システム制御部５０は、モード切替スイッチ１０３により切替えられたモードに設定可能である。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１０３により、上述したモードの何れかに直接切替えることができる。また、モード切替スイッチ１０３によりメニューボタンに一旦切替えた後に、メニューボタンに含まれる上述したモードの何れかに、他の操作部を用いて切替えてもよい。同様に、動画撮影モードにも複数のモードが含まれている。

第１シャッタースイッチ２２６は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。
第２シャッタースイッチ２２７は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生させる。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２１３からの信号読み出しから記録媒体２４０、２４１に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部２２８は、操作を受け付ける入力部としての各種操作部材であり、各種ボタンやタッチパネル等からなる。操作部２２８は、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン、ＳＥＴボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切替えボタンがある。また、操作部２２８は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。なお、上述した、シャッターボタン１０１、メイン電子ダイヤル１０２、表示部１０５（タッチパネル）、電源スイッチ１０６、サブ電子ダイヤル１０７は、操作部２２８に含まれる。また、上述した、十字キー１０８、ＳＥＴボタン１０９、ライブビューボタン１１０、拡大ボタン１１１、縮小ボタン１１２、再生ボタン１１３は、操作部２２８に含まれる。

また、カメラ１００は、電源制御部２３１、電源部２３２、記録媒体Ｉ／Ｆ２３３、２３４、通信部２３５、姿勢検知部２３６等を有する。
電源制御部２３１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２３１は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２４０、２４１を含む各部へ供給する。電源部２３２は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ２３３、２３４は、メモリカードやハードディスク等の記録媒体２４０、２４１とのインタフェースである。なお、本実施形態では記録媒体Ｉ／Ｆが２系統であるが、単数であってもよく、異なる規格の組み合わせであってもよい。なお、記録媒体Ｉ／Ｆ２３３、２３４は、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いることができる。
記録媒体２４０、２４１は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。記録媒体２４０、２４１は、着脱可能ではなく内蔵されていてもよい。

通信部２３５は、各種通信手段により、他のコンピュータやプリンタ等の外部装置との間で画像データや画像データに付属した管理情報の転送、ストリーミング配信、カメラ操作を行うことができる。通信部２３５は、画像データを外部に送信するための通信手段の一例に対応する。各種通信手段として、ＲＳ２３２Ｃ、ＵＳＢ、ＨＤＭＩ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等を用いることができる。
姿勢検知部２３６は、重力方向に対するカメラ１００の姿勢を検知する。システム制御部５０は、姿勢検知部２３６により検知された姿勢に基づいてカメラ１００の傾き角度を算出することができる。したがって、システム制御部５０は、傾き角度によって撮像部２１３で撮影された画像がカメラ１００を横姿勢で撮影した画像であるか、縦姿勢で撮影した画像であるかを判別することができる。システム制御部５０は、姿勢検知部２３６により検知された姿勢に応じた向き情報を撮像部２１３で撮影された画像データに付加したり、向き情報に応じて画像を回転して記憶したりすることができる。姿勢検知部２３６は、例えば加速度センサやジャイロセンサ等を用いることができる。

次に、本実施形態において、カメラ１００が外部装置に画像データをライブストリーミング配信する場合に、ユーザの操作性を向上させる処理について説明する。ライブストリーミング配信では、レンズユニット２０１を通った光学像を撮像部２１３で電気信号に変換し、更にＡ／Ｄ変換器２１５でアナログ信号をデジタル信号に変換したものを画像処理部２１７にてエンコード処理を行う。エンコードされた画像データは、システム制御部５０にてライブストリーミング配信用のデータ構造に変換される。変換された画像データは、通信部２３５を介してＨＤＭＩ等のケーブルや有線／無線ＬＡＮのネットワーク上に配信される。

図３は、カメラ１００の処理の一例を示すフローチャートである。図３のフローチャートは、システム制御部５０が不揮発性メモリ２２３に記憶されたプログラムをシステムメモリ２２４に展開して実行することにより実現される。また、図３のフローチャートは、ユーザがモード切替スイッチ１０３やメニューボタン１１４を用いて撮影モードを静止画撮影モードから動画撮影モードに切替えることで開始される。

Ｓ１０１では、ユーザが再生モードの切替え操作を行う。この処理は、所定の操作に一例に対応する。ここでは、ユーザは再生ボタン１１３を操作するものとする。ただし、再生ボタン１１３に限られず、ユーザは例えばメニューボタン１１４から再生ボタン１１３と同様に機能するボタンを操作してもよい。
Ｓ１０２では、システム制御部５０は切替え操作を受け付けたときに内部状態が特定のモードであるか否かを判定する。
ここで、特定のモードはストリーミングに関連するモード（ワンマンモード）であるものとする。ワンマンモードでは、ストリーミングのために画像データを配信するときの操作をユーザ一人で行うことができる。ワンマンモードは第１のモードの一例に対応する。一方、特定のモードではないモードはストリーミングに関連しないモード（通常再生モード）であるものとする。
内部状態が特定のモードではない場合（通常再生モードの場合）にはＳ１０３に進み、記録された画像データを表示部１０５に再生する処理に移行する。

Ｓ１０３では、システム制御部５０は記録された画像データを読み出し、表示部１０５に表示する。ここでは、システム制御部５０は以前に撮影され、記録媒体２４０、２４１に記録された画像データのうち最新の画像データを表示部１０５に表示する。
図４は、表示部１０５に画像データを表示している状態を示す図である。システム制御部５０は画像データを表示している状態においてユーザからメイン電子ダイヤル１０２、サブ電子ダイヤル１０７、タッチパネル等で表示送りや表示戻しの操作を受け付けた場合には、記録媒体２４０、２４１に記録されている他の画像データを表示する。なお、画像データは動画または静止画であるが、再生可能であればカメラ１００で撮影されたものに限られず、例えば、他のカメラで撮影されたり外部装置で作成されたりした画像データ等であってもよい。

システム制御部５０は最新の画像データに限られず、サムネイル画像やファイル名による一覧表示等をすることができる。また、システム制御部５０はユーザが入力した絞込み条件に基づいて絞り込んで画像データを表示する。例えば、ユーザが画像データへのレーティングを行っている場合には、システム制御部５０は特定のレーティング以上のみの画像データを表示することができる。
なお、複数の記録媒体を装着できる場合には、画像データを読み出す対象の記録媒体を全てにするか何れかにするかをユーザが予め、例えばメニューボタン１１４にて表示されるメニュー画面からの操作に応じて指定することができる。なお、記録媒体が１つしか存在しない場合には、ユーザによる記録媒体の指定は行われない。

Ｓ１０４では、ユーザが通常再生モードを終了する場合には再生モードの切替え操作を行う。ここでは、ユーザは再度、再生ボタン１１３を操作するものとする。ただし、再生ボタン１１３に限られず、ユーザは例えばメニューボタン１１４から再生ボタン１１３と同様に機能するボタンを操作してもよい。その後、Ｓ１０１に戻る。

次に、Ｓ１０２においてワンマンモードであった場合にはＳ１０５に進む。
Ｓ１０５では、システム制御部５０はライブストリーミング配信中であるか否か、すなわち撮像部２１３で撮影されている画像データを配信しているか否かを判定する。配信中ではない場合にはＳ１０６に進み、Ｓ１０６〜Ｓ１０８において配信の途中で挿入する画像データの候補を決定する処理に移行する。具体的には、システム制御部５０は配信の途中で挿入する画像データの候補のリストを作成する候補リスト作成モードに移行する。

Ｓ１０６では、システム制御部５０は記録された画像データを読み出し、配信の途中で挿入可能な画像データをユーザにより選択可能に表示部１０５に表示する。ここでは、システム制御部５０は以前に撮影され、記録媒体２４０、２４１に記録された画像データを一時的にメモリ２１８に記憶して、画像データのサムネイル画像を表示部１０５に表示する。
図５（ａ）は、表示部１０５に記録された画像データのサムネイル画像の一覧を表示している状態を示す図である。システム制御部５０は一覧を表示している状態においてユーザからメイン電子ダイヤル１０２、サブ電子ダイヤル１０７、タッチパネル等により表示送りや表示戻しの操作を受け付ける。この場合、システム制御部５０は記録媒体２４０、２４１に記録されている他の画像データのサムネイル画像を表示する。なお、画像データは動画または静止画であるが、配信中に挿入可能であればカメラ１００で撮影されたものに限られず、例えば、他のカメラで撮影されたり外部装置で作成された画像データ等であってもよい。

システム制御部５０はサムネイル画像に限られず、最新の画像データのみを表示したり、ファイル名による一覧表示したりすることができる。また、システム制御部５０はユーザが入力した絞込み条件に基づいて絞り込んで画像データを表示する。このとき、配信中に画像データを挿入することを前提とした、通常再生モードとは異なる絞込み条件を入力可能である。例えば、配信している時間を考慮して、動画の再生時間に基づく絞込み条件を入力可能である。また、突発的に撮影した素材を配信する場合を考慮して、後述する候補リストの最終更新日時（以降）に基づく絞込み条件を入力可能である。
なお、複数の記録媒体を装着できる場合には、画像データを読み出す対象の記録媒体を全てにするか何れかにするかをユーザが予め、例えばメニューボタン１１４にて表示されるメニュー画面からの操作に応じて指定することができる。このときの指定は、通常再生モードでの指定とは異なる方法で行われる。例えば、ユーザはメニューボタン１１４にて表示されるメニュー画面から更に分かれて表示される画面からの操作に応じて指定することができる。

Ｓ１０７では、ユーザはサムネイル画像の一覧表示から配信中に挿入する画像データの候補を選択する。具体的には、ユーザはメイン電子ダイヤル１０２、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、タッチパネル等を用いてサムネイル画像にマーキングすることで行う。
Ｓ１０８では、システム制御部５０はユーザにより選択された画像を配信中に挿入する画像データの候補に決定する。具体的には、システム制御部５０はサムネイル画像にマーキングされた画像データの情報で構成される候補リストを作成して保存するか否かを確認する画面を表示する。
図５（ｂ）は、候補リストを保存するか否かを確認する画面の一例を示す図である。ユーザにより候補リストを作成して保存することが選択された場合には、システム制御部５０は選択された画像データの情報からなる候補リストを作成する。システム制御部５０は作成した候補リストを例えば、システムメモリ２２４、不揮発性メモリ２２３、記録媒体２４０、２４１の何れかに記憶する。この後に、Ｓ１０４に進む。

Ｓ１０４では、ユーザが候補を選択する操作を終了する場合には再生モードの切替え操作を行う。ここでは、ユーザは再度、再生ボタン１１３を操作するものとする。ただし、再生ボタン１１３に限られず、ユーザは例えばメニューボタン１１４から再生ボタン１１３と同様に機能するボタンを操作してもよい。その後、Ｓ１０１に戻る。
ただし、候補リストを保存した後にＳ１０４を経由せずにＳ１０１に戻ってもよい。また、候補リストを保存した後にＳ１０７に戻り、ユーザがサムネイル画像の一覧表示から配信中に挿入する画像データの候補を更に選択できるようにしてもよい。この場合には、システム制御部５０は既に選択された画像データを強調表示したり、チェックマークを表示したりすることで選択されていない画像データと区別ができるようにすることが好ましい。

次に、Ｓ１０５において配信中である場合にはＳ１０９に進み、Ｓ１０９〜Ｓ１１４において、配信の途中で挿入する画像データを候補リストから決定して画像データを配信する処理に移行する。具体的には、システム制御部５０は配信の途中で挿入する画像データを候補リストから選択させるインサート画像選択モードに移行する。
Ｓ１０９では、システム制御部５０は配信中に挿入する画像データの候補を読み出す。具体的には、システム制御部５０はＳ１０８で保存した候補リストを読み出す。
Ｓ１１０では、システム制御部５０は読み出した候補リストに基づいて、候補の画像データをユーザにより選択可能に表示部１０５に表示する。ここでは、システム制御部５０は、配信している画像データと、候補の画像データのサムネイル画像とを同一画面で表示する。

図６は、配信中に挿入する候補を選択可能に表示しているカメラ１００と配信先の外部装置６００との一例を示す図である。図６に示すように、システム制御部５０は現在、撮像部２１３で撮影され外部装置６００に配信している画像データ６０１を表示すると共に、挿入する候補の画像データのサムネイル画像６０２を選択可能に表示する。ここでは、システム制御部５０はサムネイル画像６０２を外部装置６００に配信している画像データ６０１に重畳して表示する。一方、システム制御部５０は表示部１０５に表示しているサムネイル画像６０２を外部装置６００に配信しないようにする。
また、システム制御部５０はサムネイル画像６０２に近接して画像送りボタン６０３、画像戻しボタン６０４を表示し、ユーザにより画像送りボタン６０３、画像戻しボタン６０４が操作されることで、他の候補の画像データのサムネイル画像を表示する。ここでは、システム制御部５０は候補の画像データが複数あったとしても、１つのサムネイル画像６０２を表示することで現在、外部装置６００に配信している画像データ６０１の視認性を向上させることができる。ただし、システム制御部５０は候補の画像データが複数ある場合にサムネイル画像を一括あるいは複数で表示してもよく、サムネイル画像に限られずファイル名で表示してもよい。

Ｓ１１１では、ユーザは候補の中から配信する画像データを選択する。具体的には、ユーザはメイン電子ダイヤル１０２、サブ電子ダイヤル１０７、十字キー１０８、タッチパネル等を用いて画像データのサムネイル画像６０２を入れ替えて表示させ、ＳＥＴボタン１０９を用いて挿入して配信する画像データを確定させる。システム制御部５０はユーザにより選択された画像データを、挿入して配信する画像データとして決定する。

Ｓ１１２では、システム制御部５０は挿入して配信する画像データとして決定した画像データを配信する。具体的には、システム制御部５０は現在、配信している画像データの配信を停止して、挿入して配信する画像データを記録媒体２４０、２４１から読み出す。このとき、システム制御部５０は読み出した画像データをメモリ２１８に展開してもよい。次に、システム制御部５０は読み出した画像データをライブストリーミング配信用のデータ構造に変換して通信部２３５を介して配信する。したがって、現在、配信している画像データに切替えて、ユーザによって選択された画像データが配信される。このように、システム制御部５０はユーザにより指示されたタイミングに応じて画像データを挿入して配信する。
なお、システム制御部５０は現在、配信している画像データに切替えて、選択された画像データを配信する場合に、先に画像データを準備した上でフレーム同期をとる等の処理を行うことで不自然な映像途切れの発生を防止することができる。

図７は、挿入して配信した画像データを表示しているカメラ１００と配信先の外部装置６００との一例を示す図である。図７に示すように、システム制御部５０は現在、撮像部２１３で撮影されている画像データ７０１を表示すると共に、挿入して配信している画像データ７０２を同一画面で表示する。ここでは、システム制御部５０は挿入して配信している画像データ７０２を、撮影されている画像データ７０１に重畳して表示する。一方、システム制御部５０は撮影されている画像データ７０１を配信しないようにする。なお、挿入して配信している画像データ７０２を表示する場合、画像データ７０２のサムネイル画像であってもよい。

また、図７に示すように、システム制御部５０は挿入して配信している画像データ７０２が動画であるか静止画であるかの種別７０３を表示し、動画である場合には残りの再生時間（配信時間）７０４を表示する。すなわち、システム制御部５０は動画全体の再生時間から、再生を開始してからの経過時間を減算した時間を算出して表示する。このように、撮像部２１３で撮影されている画像データ７０１や残りの再生時間７０４を表示することで、挿入して配信している画像データから再び撮影されている画角データへ配信を切替える際に事前の画角調整等が可能となり、スムーズな切替えが可能となる。

Ｓ１１３では、システム制御部５０は挿入している画像データの配信の終了に応じて配信終了処理を行う。具体的には、システム制御部５０は挿入している画像データが動画である場合には動画が終了したときに配信終了処理を行う。また、システム制御部５０は挿入している画像データが動画であるか静止画であるかに関わらず、任意のタイミングで再生ボタン１１３を操作することによる再生モードの切替え操作に応じて配信終了処理を行う。ただし、再生ボタン１１３に限られず、ユーザは例えばメニューボタン１１４から再生ボタン１１３と同様に機能するボタンを操作してもよい。
Ｓ１１４では、システム制御部５０はライブ配信に切替える。具体的には、システム制御部５０は挿入している画像データの配信を終了して、現在、撮像部２１３で撮影されている画像データに切替えて配信する。このとき、システム制御部５０は先に画像データを準備した上でフレーム同期をとる等の処理を行うことで不自然な映像途切れの発生を防止することができる。その後、再びＳ１０１に戻る。

以上のように、本実施形態によれば、画像データが配信されていない状態で所定の操作を受け付けた場合には配信の途中で挿入する画像データの候補を決定する処理に移行する。一方、画像データが配信されている状態で所定の操作を受け付けた場合には、配信の途中で挿入する画像データを候補から決定する処理に移行する。このように同じ操作を受け付けたときに、画像データが配信されている状態と画像データが配信されていない状態とで状態に適した処理に移行することでユーザの操作性を向上させることができる。

また、画像データが配信されていない状態で所定の操作を受け付けた場合には、配信の途中で挿入可能な画像データを選択可能に表示し、ユーザによる選択に応じて候補が決定される。したがって、画像データを挿入して配信する場合には予め選択された候補の中からユーザは実際に配信したい画像データを容易に絞り込むことができることから、ユーザの操作性を向上させることができる。
また、ユーザは指示したタイミングで画像データを挿入して配信できることから、配信中の場面に応じた柔軟な切替えが可能である。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは記録媒体を介してシステムあるいは装置に供給し、システムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよび該プログラムを格納した記録媒体は本発明を構成する。

以上、本発明を上述した実施形態に基づいて説明したが、本発明は特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、システム制御部５０が行うものとして説明した上述した処理は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、上述した実施形態で説明した処理を適宜組み合わせてもよい。例えば、Ｓ１０７では通常再生モードとは異なる絞込み条件を入力可能である場合について説明したが、Ｓ１１１においてユーザが候補の中から配信する画像データを選択する場合でも同様な絞込み条件を入力可能であってもよい。また、Ｓ１１１においてユーザが候補の中から配信する画像データを選択する場合には通常再生モードおよびＳ１０７とは異なる絞込み条件を入力可能であってもよい。ここで、Ｓ１０７とは異なる絞込み条件には、例えばストリーミング配信をまだ行っていない画像データを絞込む条件が含まれる。
また、本実施形態におけるユーザによる各操作は、有線あるいは無線で接続されたリモコン等により割り当てるように構成することができる。

また、上述した実施形態では、本発明をカメラ１００に適用する場合について説明したが、この場合に限られず、外部装置に画像データをストリーミング配信できる画像処理装置であれば適用可能である。すなわち、本発明は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ゲーム機等であってもよい。

５０：システム制御部 １００：デジタルカメラ（画像処理装置） １０５：表示部 １１３：再生ボタン ２１３：撮像部 ２２８：操作部

Claims (21)

1. 撮像手段により撮影された画像データを外部に送信するための通信手段を有する画像処理装置であって、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で所定の操作を受け付けた場合には、記録媒体に記録済みの画像データを表示手段に表示するように制御し、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データと、前記通信手段により送信される画像データとを前記表示手段に表示するように制御する制御手段を有することを特徴とする画像処理装置。
2. 前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合に、前記通信手段により送信される前記撮像手段により撮影された画像データと共に、前記通信手段による画像データの送信の途中で挿入する前記記録媒体に記録済みの画像データを表示するように制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で前記所定の操作を受け付けた場合に、前記通信手段による画像データの送信の途中で挿入する画像データの候補を選択するために、前記記録媒体に記録済みの画像データを表示するように制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記撮像手段により撮影された画像データを送信するための所定のモードに設定する設定手段を有し、
   前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で前記所定の操作を受け付けた場合に、
   前記設定手段により前記所定のモードが設定されていないときは、前記記録媒体に記録済みの画像データを確認するために、前記記録媒体に記録済みの画像データを表示するように制御し、
   前記設定手段により前記所定のモードが設定されているときは、前記通信手段による画像データの送信の途中で挿入する画像データの候補を選択するために、前記記録媒体に記録済みの画像データを表示するように制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で前記所定の操作を受け付けた場合に、
   前記通信手段による画像データの送信の途中で挿入可能な画像データを前記表示手段に選択可能に表示し、ユーザによる選択に応じて前記通信手段による画像データの送信の途中で挿入する画像データの候補を決定するように制御することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
6. 前記制御手段は、
   ユーザによる選択に応じて決定した前記候補のリストを作成するように制御することを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合に、前記通信手段による画像データの送信の途中で挿入する候補の画像データを前記表示手段に選択可能に表示し、ユーザによる選択に応じて、送信の途中で挿入する画像データを決定するように制御し、
   前記通信手段は、
   前記決定された画像データを挿入して外部に送信することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
8. 前記制御手段は、
   前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記通信手段により送信される画像データと前記候補の画像データとを同一画面に表示するように制御することを特徴とする請求項７に記載の画像処理装置。
9. 前記通信手段は、
   ユーザにより指示されたタイミングに応じて、前記決定された画像データを挿入して送信することを特徴とする請求項７または８に記載の画像処理装置。
10. 被写体を撮影する前記撮像手段を有し、
    前記制御手段は、
    前記通信手段により画像データが挿入され送信されている場合には、前記撮像手段により撮影されている画像データを前記表示手段に表示するように制御することを特徴とする請求項７ないし９の何れか１項に記載の画像処理装置。
11. 前記制御手段は、
    前記通信手段により画像データが挿入され送信されている場合には、送信されている画像データを前記表示手段に表示するように制御することを特徴とする請求項７ないし１０の何れか１項に記載の画像処理装置。
12. 被写体を撮影する前記撮像手段を有し、
    前記制御手段は、
    前記通信手段により画像データが挿入され送信されている場合には、前記撮像手段により撮影されている画像データと、送信されている画像データとを同一画面に表示するように制御することを特徴とする請求項７ないし９の何れか１項に記載の画像処理装置。
13. 前記制御手段は、
    前記通信手段により挿入され送信されている画像データが動画である場合には、残りの再生時間を前記表示手段に表示するように制御することを特徴とする請求項１ないし１２の何れか１項に記載の画像処理装置。
14. 前記所定の操作は、
    画像データを再生するための操作であることを特徴とする請求項１ないし１３の何れか１項に記載の画像処理装置。
15. ストリーミングに関連する第１のモードと、ストリーミングに関連しない第２のモードとを設定可能な設定手段を有し、
    前記制御手段は、
    前記設定手段により前記第１のモードが設定されている場合において、
    前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データから前記通信手段による送信の途中で挿入する画像データの候補を決定する処理に移行し、
    前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記通信手段による送信の途中で挿入する画像データを前記候補から決定する処理に移行するように制御し、
    前記制御手段は、
    前記設定手段により前記第２のモードが設定されている場合において、
    前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データから前記通信手段により外部に送信することなく前記表示手段に表示する画像データを決定する処理に移行するように制御することを特徴とする請求項１に記載の画像処理装置。
16. 前記制御手段は、
    前記設定手段により前記第１のモードが設定されている場合において、前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で前記所定の操作を受け付けた場合に、前記記録媒体に記録済みの画像データから前記通信手段による送信の途中で挿入可能な画像データをユーザにより入力された絞込み条件に基づいて絞り込んで表示するように制御し、
    前記通信手段により前記第２のモードが設定されている場合において、前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データから前記表示手段に表示する画像データをユーザにより入力された絞込み条件に基づいて絞り込んで表示するように制御し、
    前記第１のモードが設定されている場合のユーザにより入力可能な絞込み条件と、前記第２のモードが設定されている場合のユーザにより入力可能な絞込み条件とが異なることを特徴とする請求項１５に記載の画像処理装置。
17. 前記第１のモードが設定されている場合のユーザにより入力可能な絞込み条件には、動画の再生時間に基づく絞込み条件が含まれ、
    前記第２のモードが設定されている場合のユーザにより入力可能な絞込み条件には、動画の再生時間に基づく絞込み条件が含まれないことを特徴とする請求項１６に記載の画像処理装置。
18. 前記第１のモードが設定されている場合のユーザにより入力可能な絞込み条件には、前記候補を決定した日時に基づく絞込み条件が含まれ、
    前記第２のモードが設定されている場合のユーザにより入力可能な絞込み条件には、前記候補を決定した日時に基づく絞込み条件が含まれないことを特徴とする請求項１６または１７に記載の画像処理装置。
19. 撮像手段により撮影された画像データを外部に送信するための通信手段を有する画像処理装置の制御方法であって、
    前記撮像手段により撮影された画像データが前記通信手段により外部に送信されていない状態で所定の操作を受け付けた場合には、記録媒体に記録済みの画像データを表示手段に表示するように制御し、
    前記撮像手段により撮影された画像データが前記通信手段により外部に送信されている状態で前記所定の操作を受け付けた場合には、前記記録媒体に記録済みの画像データと、前記通信手段により送信される画像データとを前記表示手段に表示するように制御する制御ステップを有することを特徴とする画像処理装置の制御方法。
20. コンピュータを、請求項１ないし１８の何れか１項に記載された画像処理装置の制御手段として機能させるためのプログラム。
21. コンピュータを、請求項１ないし１８の何れか１項に記載された画像処理装置の制御手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images