JP2014135680A5

JP2014135680A5 -

Info

Publication number: JP2014135680A5
Application number: JP2013003570A
Authority: JP
Filing date: 2013-01-11
Publication date: 2016-02-25
Anticipated expiration: 2033-01-11

Description

本発明の一観点によれば、被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、前記ライトフィールドデータを用いて前記被写体空間に含まれる被写体を検出して被写体情報を生成し、前記被写体情報を前記ライトフィールドデータに付加する生成手段と、前記ライトフィールドデータの撮影情報に基づいて前記ライトフィールドデータを再構成するためのフォーカス距離を設定し、前記フォーカス距離を前記ライトフィールドデータに付加する設定手段と、前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得手段と、第２の取得手段によって取得した前記外部装置に対応する前記被写体を、前記ライトフィールドデータに付加された前記被写体情報から検出する検出手段と、前記検出手段による検出の結果に従って、前記設定手段で設定された前記フォーカス距離の更新を行なう制御手段と、を備えることを特徴とする画像処理装置が提供される。

Claims

被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、
前記ライトフィールドデータを用いて前記被写体空間に含まれる被写体を検出して被写体情報を生成し、前記被写体情報を前記ライトフィールドデータに付加する生成手段と、
前記ライトフィールドデータの撮影情報に基づいて前記ライトフィールドデータを再構成するためのフォーカス距離を設定し、前記フォーカス距離を前記ライトフィールドデータに付加する設定手段と、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得手段と、
第２の取得手段によって取得した前記外部装置に対応する前記被写体を、前記ライトフィールドデータに付加された前記被写体情報から検出する検出手段と、
前記検出手段による検出の結果に従って、前記設定手段で設定された前記フォーカス距離の更新を行なう制御手段と、
を備えることを特徴とする画像処理装置。
前記制御手段は、前記設定手段で設定された前記フォーカス距離の更新が行われた前記ライトフィールドデータを前記外部装置に送信することを特徴とする請求項１に記載の画像処理装置。
前記第２の取得手段は、前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式が、ライトフィールドデータ対応であるかどうかを識別する対応情報を取得し、
前記制御手段は、前記対応情報に基づいて前記外部装置、前記外部装置との前記データ通信に用いる前記通信手段あるいは前記外部装置との前記データ通信に用いる前記通信方式が前記ライトフィールドデータ対応であると判定される場合に、前記設定手段で設定された前記フォーカス距離の更新が行われた前記ライトフィールドデータを前記外部装置に送信することを特徴とする請求項１または２に記載の画像処理装置。
前記制御手段は、前記第２の取得手段が取得する前記外部装置、前記外部装置との前記データ通信に用いる前記通信手段あるいは前記外部装置との前記データ通信に用いる前記通信方式が前記ライトフィールドデータ対応であるかどうかを識別する前記対応情報に基づいて、前記外部装置、前記外部装置との前記データ通信に用いる前記通信手段あるいは前記外部装置との前記データ通信に用いる前記通信方式が前記ライトフィールドデータ対応でないと判定される場合に、前記ライトフィールドデータから、前記制御手段で更新が制御された前記フォーカス距離に従って再構成した画像を生成する再構成手段を備え、
前記制御手段は、前記再構成手段で生成された画像を前記外部装置に送信することを特徴とする請求項３に記載の画像処理装置。
前記再構成手段で生成された画像を符号化する符号化手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
前記制御手段は、前記検出手段が、前記ライトフィールドデータに付加された前記被写体情報から、前記外部装置に対応する前記被写体の情報が検出されなかった場合は、前記設定手段で設定された前記フォーカス距離を更新しないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記対応情報は、前記外部装置から受信される情報であることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
前記第２の取得手段は、前記ライトフィールドデータを送信する対象である前記外部装置に対応する前記被写体の情報を、予めメモリに記憶された情報から取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第２の取得手段は、前記ライトフィールドデータを送信する対象である前記外部装置に対応する前記被写体の情報を、前記外部装置から受信することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記ライトフィールドデータは、視点の異なる複数の撮像手段によって取得されたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記ライトフィールドデータは、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の副画素からなる単位画素が複数配列された撮像素子によって取得されたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得ステップと、
前記ライトフィールドデータを用いて前記被写体空間に含まれる被写体を検出して被写体情報を生成し、前記被写体情報を前記ライトフィールドデータに付加する生成ステップと、
前記第１の取得ステップにおいて取得した前記ライトフィールドデータの撮影情報に基づいて前記ライトフィールドデータを再構成するためのフォーカス距離を設定し、前記フォーカス距離を前記ライトフィールドデータに付加する設定ステップと、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得ステップと、
第２の取得手段によって取得した前記外部装置に対応する前記被写体を、前記ライトフィールドデータに付加された前記被写体情報から検出する検出ステップと、
前記検出ステップにおける検出の結果に従って、前記設定ステップで設定された前記フォーカス距離の更新を行なう制御ステップと、
を備えることを特徴とする画像処理方法。
コンピュータを、
被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段、
前記第１の取得手段によって取得した前記ライトフィールドデータを用いて前記被写体空間に含まれる被写体を検出して被写体情報を生成し、前記被写体情報を前記ライトフィールドデータに付加する生成手段、
前記第１の取得手段によって取得した前記ライトフィールドデータの撮影情報に基づいて前記ライトフィールドデータを再構成するためのフォーカス距離を設定し、前記フォーカス距離を前記ライトフィールドデータに付加する設定手段、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得手段、
前記第２の取得手段によって取得した前記外部装置に対応する前記被写体を、前記ライトフィールドデータに付加された前記被写体情報から検出する検出手段、
前記検出手段による検出の結果に従って、前記設定手段で設定された前記フォーカス距離の更新を行なう制御手段、
として機能させるプログラム。
請求項１３のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
請求項１乃至９のいずれか１項に記載の画像処理装置と、
前記ライトフィールドデータを得るための撮像信号を取得する撮像手段と、
指示を入力する操作手段と、
前記操作手段で入力された指示に従って選択された前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式の情報に基づいて、前記画像処理装置で得られた前記ライトフィールドデータおよび再構成画像のいずれかを前記外部装置に送信する通信手段と、
を備えることを特徴とする撮像装置。
前記制御手段は、前記通信手段を制御し、前記操作手段で入力された指示に従って選択された前記外部装置の情報を、前記操作手段で入力された指示に従って選択された前記外部装置から取得することを特徴とする請求項１７に記載の撮像装置。
前記制御手段は、前記操作手段で入力された指示に従って選択された前記外部装置の情報に基づいて、前記第１の取得手段が取得した前記ライトフィールドデータを選択することを特徴とする請求項１８に記載の撮像装置。
請求項４又は５に記載の画像処理装置と、
前記ライトフィールドデータを得るための撮像信号を取得する撮像手段と、
指示を入力する操作手段と、
前記操作手段で入力された指示に従って選択された前記外部装置、前記外部装置との前記データ通信に用いる前記通信手段あるいは前記外部装置との前記データ通信に用いる前記通信方式の情報に基づいて、前記画像処理装置で得られた前記ライトフィールドデータおよび再構成画像のいずれかを前記外部装置に送信する前記通信手段とを備え、
前記操作手段は、前記ライトフィールドデータに付加された前記フォーカス距離を変更する指示を入力し、前記再構成手段は、前記指示に従って変更された前記フォーカス距離に基づいて前記ライトフィールドデータを再構成することを特徴とする撮像装置。
外部装置と通信する通信手段と、
被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、
前記通信手段を介して取得した前記外部装置の情報に基づいて、前記第１の取得手段によって取得した前記ライトフィールドデータの、前記被写体空間に含まれる被写体と前記被写体のフォーカス距離を示す被写体情報から前記外部装置に対応する被写体の情報を検出する検出手段と、
前記検出手段による検出の結果に従って、前記ライトフィールドデータを再構成するための前記フォーカス距離を決定し、決定した前記フォーカス距離に基づいて前記ライトフィールドデータを再構成して再構成画像を生成する再構成手段と、
前記外部装置からの指示に応じて、前記再構成画像を前記外部装置に前記通信手段を介してダウンロードするダウンロード手段と、
を備えることを特徴とするサーバ装置。
前記外部装置は請求項１７乃至１９のいずれか１項に記載の撮像装置であることを特徴とする請求項２１に記載のサーバ装置。
前記被写体情報は、前記第１の取得手段が取得する前記ライトフィールドデータに付加されていることを特徴とする請求項２１又は２２に記載のサーバ装置。
前記第１の取得手段によって取得した前記ライトフィールドデータを用いて、前記被写体空間に含まれる前記被写体を検出して前記被写体情報を生成し、前記被写体情報を前記ライトフィールドデータに付加する生成手段と、
前記第１の取得手段によって取得した前記ライトフィールドデータの撮影情報に基づいて、前記ライトフィールドデータを再構成するための前記フォーカス距離を設定する設定手段を備え、
前記検出手段は、前記生成手段で生成された前記被写体情報から前記外部装置に対応する前記被写体の情報を検出することを特徴とする請求項２１に記載のサーバ装置。
前記通信手段は、前記外部装置から前記フォーカス距離の変更の指示を受信し、
前記再構成手段は、前記通信手段によって受信された指示により変更された前記フォーカス距離に基づいて、前記第１の取得手段によって取得された前記ライトフィールドデータを再構成して画像を生成することを特徴とする請求項２１又は２４に記載のサーバ装置。