JP2015195439A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2015195439A
JP2015195439A JP2014071215A JP2014071215A JP2015195439A JP 2015195439 A JP2015195439 A JP 2015195439A JP 2014071215 A JP2014071215 A JP 2014071215A JP 2014071215 A JP2014071215 A JP 2014071215A JP 2015195439 A JP2015195439 A JP 2015195439A
Authority
JP
Japan
Prior art keywords
image
unit
imaging
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014071215A
Other languages
English (en)
Inventor
潤一郎 榎
Junichiro Enoki
潤一郎 榎
尚子 菅野
Naoko Sugano
尚子 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014071215A priority Critical patent/JP2015195439A/ja
Priority to US14/665,624 priority patent/US20150279009A1/en
Publication of JP2015195439A publication Critical patent/JP2015195439A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

【課題】撮像状況に応じて画像データの画質を調整することが可能な画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】本技術の一形態に係る画像処理装置は、情報取得部と、解析部と、画質調整部とを具備する。上記情報取得部は、画像の撮像に伴って行われた活動に基づいて検出された情報を取得する。上記解析部は、上記情報に基づいて上記画像の撮像状況を解析する。上記画質調整部は、上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する。【選択図】図2

Description

本技術は、画像データの画像処理が可能な画像処理装置、画像処理方法及びプログラムに関する。
撮像が可能な撮像端末が小型化しており、かつスマートフォン等の携帯情報端末においても動画等の撮像が容易である。近年、このような小型の撮像端末を用いて、撮像者自身や被写体がスポーツ等をしながら動画等の撮像をするケースが見られる。
一方、撮像者自身や被写体の活動によっては、撮像状況に合わせた画像処理が困難な場合がある。そこで、特許文献1には、車載の動画データ撮影時に、動画データに対して発進状態、ロードノイズ等のタグ付けをし、後にこのタグを活用して画像の編集を行うことが可能な画像処理装置が記載されている。
特開2013−197995号公報
しかしながら、特許文献1には、撮像状況に応じて種々の画質調整を行うことについては記載されていなかった。
以上のような事情に鑑み、本技術の目的は、撮像状況に応じて画像データの画質を調整することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る画像処理装置は、情報取得部と、解析部と、画質調整部とを具備する。
上記情報取得部は、画像の撮像に伴って行われた活動に基づいて検出された情報を取得する。
上記解析部は、上記情報に基づいて上記画像の撮像状況を解析する。
上記画質調整部は、上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する。
上記構成によれば、撮像に伴って行われる活動に基づいて検出された情報から撮像状況を解析し、撮像状況に応じた画質調整処理が可能となり、ユーザがマニュアルで画質調整処理を選択する負担が軽減される。
上記画質調整処理は、上記解析された撮像状況から推定される画質の乱れを改善する処理であってもよい。
これにより、画質の乱れが推定される撮像状況であっても、適切な画質調整処理が可能となる。
また、上記情報取得部は、画像の撮像時における撮像者の活動に基づいて検出された情報を取得してもよい。
これにより、撮像者自身がスポーツ等の活動をしながら撮像しており、撮像時の画質調整操作が難しい場合であっても、適切な画質調整処理が可能となる。
また、上記情報取得部は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得してもよい。
これにより、撮像状況を絞り込むことができる。
例えば、上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の撮像時に受けた圧力値を取得する圧力情報取得部を有し、
上記解析部は、上記圧力値に基づいて、水中での撮像か否かを判定してもよい。
あるいは、上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の動作情報を取得する動作情報取得部を有し、
上記解析部は、上記動作情報に基づいて、上記画像の撮像に伴って行われる活動を解析してもよい。
この場合、上記動作情報取得部は、振動の周波数を動作情報として取得し、
上記解析部は、上記振動の周波数が所定の周波数以上の場合、振動を伴う撮像状況であると解析し、
上記画質調整部は、振動を伴う撮像状況と解析された場合、上記振動の周波数に基づいて画像データの振動を補正する処理を実行してもよい。
これにより、撮像時の振動の周波数に応じてより適切な画質調整処理を実行することができる。
あるいは、上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の撮像時の位置情報を取得する位置情報取得部を有し、
上記解析部は、上記位置情報に基づいて、上記画像の撮像に伴って行われる活動を解析してもよい。
また、上記解析部は、上記情報取得部により取得された情報及び上記画像内の被写体の特徴を解析して抽出された情報に基づいて上記画像の撮像状況を解析してもよい。
これにより、より精度よく撮像状況を解析することができる。
また、上記画像処理装置は、上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて演出処理を実行する演出処理部をさらに具備してもよい。
これにより、撮像状況に適した演出処理が自動的に選択されるため、ユーザが演出処理を選択する負担を軽減することができる。
また、上記画像処理装置は、上記画像の撮像に伴って記録された音声データに対して、上記解析された撮像状況に基づいて音声調整処理を実行する音声調整部をさらに具備してもよい。
これにより、撮像状況に適した音声調整処理が自動的に選択されるため、ユーザが音声調整処理を選択する負担を軽減することができる。
また、上記画像処理装置は、画像を撮像し、画像データとして記録する画像データ記録部をさらに具備してもよい。
これにより、記録された画像データを用いて画質調整処理を実行することができる。
また、上記画像処理装置は、上記画像データを再生する再生部をさらに具備してもよい。
これにより、画質調整された画像データを再生し、確認することができる。
また、上記画像処理装置は、上記撮像状況に対応する画像データを取得する画像データ取得部をさらに具備してもよい。
これにより、他の装置に記録された画像データや、ネットワーク上の画像データベースに格納された画像データ等を用いて、画質調整処理を実行することができる。
上記目的を達成するため、本技術の一形態に係る画像処理方法は、画像の撮像に伴って行われた活動に基づいて検出された情報を取得する工程を含む。
上記情報に基づいて上記画像の撮像状況が解析される。
上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理が実行される。
上記目的を達成するため、本技術の一形態に係るプログラムは、情報取得部と、解析部と、画質調整部と、として情報処理装置を機能させる。
上記情報取得部は、画像の撮像に伴って行われた活動に基づいて検出された情報を取得する。
上記解析部は、上記情報に基づいて上記画像の撮像状況を解析する。
上記画質調整部は、上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する。
以上のように、本技術によれば、撮像状況に応じて画像データの画質を調整することが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 ダイビング中の画像データの一例を示す模式的な図であり、Aは画質調整前の画像データ、Bは画質調整後の画像データを示す。 スノーボード中の画像データの一例を示す模式的な図であり、Aは画質調整前の画像データ、Bは画質調整後の画像データを示す。 海上で撮像された画像データの一例を示す模式的な図であり、Aは画質調整前の画像データ、Bは画質調整後の画像データを示す。 本技術の第2の実施形態に係る画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 サイクリング中の画像データに演出処理を実行した画像データの一例を示す模式的な図である。 スカイダイビング中の画像データに演出を施した画像データの一例を示す模式的な図である。 本技術の第3の実施形態に係る画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 本技術の第4の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 上記画像処理装置の変形例の機能的構成を示すブロック図である。 上記画像処理装置の変形例の機能的構成を示すブロック図である。 本技術の第5の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 上記画像処理装置の変形例の機能的構成を示すブロック図である。 上記画像処理装置の変形例の機能的構成を示すブロック図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[画像処理装置のハードウェア構成]
図1は、本技術の第1の実施形態に係る画像処理装置100のハードウェア構成を示すブロック図である。画像処理装置100は、コントローラ11、撮像部12、操作部13、記憶部14、通信部15、表示部16、オーディオデバイス部17、センサ部18、及びを備える。これらの各部は、バスを介して相互に接続され、データの転送や制御信号の送受信が可能に構成される。なお、本実施形態において、画像データは動画データであるとする。
画像処理装置100は、本実施形態において、情報処理装置として構成され得る。画像処理装置100は、具体的には、動画の撮像が可能なスマートフォン、タブレット端末等の携帯情報端末、ヘッドマウントディスプレイ等のウェアラブル機器であってもよい。あるいは、画像処理装置100は、動画データ再生や画像処理等が可能な動画撮像装置であってもよい。
画像処理装置100は、撮像者により把持される他、多様な撮像形態が可能であってもよい。例えば、画像処理装置100は、撮像者に装着されて撮像可能であってもよく、あるいは、撮像者が乗車している自転車若しくは自動車等に取り付けられる、いわゆる車載撮像が可能であってもよい。また画像処理装置100は、水中における撮像が可能であってもよい。この場合、画像処理装置100の筐体が防水構造を有していてもよいし、画像処理装置100が防水ケース等に収容されることで、水中における撮像が可能となってもよい。
コントローラ11は、CPU(Central Processing Unit)を有し、画像処理装置100の各部を統括的に制御する。コントローラ11は、図示しないROM(Read Only Memory)や記憶部14に格納された制御プログラムに従い、所定の処理を実行する。なおコントローラ11は、各部からの情報が入力される入力I/F11aを有する。
撮像部12は、被写体の光画像から画像データを得る。撮像部12は、具体的には、図示しない撮像光学系、イメージセンサを有してもよい。撮像光学系は、被写体の光画像をイメージセンサの撮像面上に結像させる。撮像光学系は、コントローラ11からの指示に従い、適切な画像が得られるように、焦点距離、被写体距離、絞り等を調整可能に構成される。イメージセンサは、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Semiconductor)センサ等により実現され、結像された光画像を電気信号に変換し、画像データを得る。
操作部13は、例えばタッチパネル、電源ボタンなどのハードウェアキー、操作ダイアルなどの入力デバイスを備え、撮像者(ユーザ)の入力操作を検出し、コントローラ11に伝達する。操作部13は、例えば、動画データ撮像の開始及び終了、撮像状況に応じた画質調整を行うモード等のモード選択、並びに動画データの再生等が可能に構成されてもよい。
記憶部14は、フラッシュメモリ(Flash Memory)などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生機構等により構成され得る。記憶部14には、画像データが圧縮画像データとして記憶され、また、後述する画質調整処理等が記憶されている。
通信部15は、ネットワーク通信部151、近距離通信部152及びGPS(Global Positioning System)受信部153を有する。ネットワーク通信部151は、3G(Third Generation)やLTE(Long Term Evolution)等の広域通信システム、Wi Fi(登録商標)等の無線LAN(Local Area Network)通信システム、あるいは有線LAN通信システム等によりネットワークに通信可能に構成される。近距離通信部152は、例えばBluetooth(登録商標)、赤外線等の近距離無線通信システムにより通信可能に構成される。GPS受信部153は、画像処理装置100の緯度・経度情報を取得する。
表示部16は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等の表示素子により実現され、ファインダとしての機能を有してもよい。表示部16は、表示素子の他、D/A変換回路等を有していてもよい。
オーディオデバイス部17は、マイクロフォン及びスピーカを有する。
センサ部18は、圧力センサ、加速度センサ、角速度センサを有する。圧力センサは、例えばダイアフラム型圧力センサ等を用いることができる。加速度センサは、例えば、直交する3軸方向の加速度を検出することが可能に構成される。角速度センサは、直交する3軸まわりの角速度を検出することが可能なジャイロセンサとして構成され得る。センサ部18は、上記の他、例えば地磁気センサを有していてもよい。センサ部18は、図示はしないが、上記各センサが取得した信号等をコントローラ11の処理に用いられ得る電気信号に変換する回路を有していてもよい。
以上のようなハードウェア構成の画像処理装置100において、図1の一点鎖線で示すコントローラ11、撮像部12、記憶部14、通信部15、表示部16、オーディオデバイス部17、及びセンサ部18は、以下のような機能的構成を有する。
[画像処理装置の機能的構成]
図2は、画像処理装置100の機能的構成を示すブロック図である。同図に示すように、画像処理装置100は、画像データ記録部101、検出部102、情報取得部103、解析部104、画質調整部105及び再生部106を備える。画像処理装置100は、以下に説明するように、画像の撮像状況を、情報取得部103が取得した情報に基づいて解析し、撮像状況に応じた画質の調整が可能に構成される。
画像データ記録部101は、画像を撮像し、画像データとして記録する。画像データは、エンコーダにより圧縮された圧縮データであってもよい。画像データ記録部101は、例えば、撮像部12及び記憶部14により実現される。
検出部102は、画像の撮像時における撮像者の活動に基づく情報を検出する。検出部102は、例えばセンサ部18及び通信部15により実現される。検出部102は、具体的には、センサ部18により、圧力値(気圧及び水圧)、加速度、角速度等に関する信号を検出することができ、GPS受信部153により、緯度・経度情報等の位置情報を検出することができる。あるいは、検出部102は、近距離通信部152が複数の無線LANアクセスポイントからの電波強度を取得することで、当該電波強度のバランスに基づき、位置情報を検出することも可能である。
撮像者の活動は、特に限定されないが、例えば、ダイビング、サイクリング、ランニング、ウィンタースポーツ、マリンスポーツ及びスカイダイビング等のスポーツ、並びに結婚式(ウェディング)及びコンサート等のイベントが挙げられる。
情報取得部103は、画像の撮像時における撮像者の活動に基づいて検出された情報を取得する。情報取得部103は、例えばコントローラ11の入力I/F11aにより実現される。
情報取得部103は、検出部102により検出された情報を取得する。情報取得部103は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得することができる。すなわち、情報取得部103は、圧力情報取得部103a、動作情報取得部103b、位置情報取得部103cを有する。
圧力情報取得部103aは、撮像者の撮像時に受けた圧力値を取得する。圧力情報取得部103aは、具体的には、検出部102により検出された圧力値を取得することができる。
動作情報取得部103bは、撮像者の動作情報を取得する。動作情報取得部103bは、具体的には、検出部102により検出された加速度、角速度に関する信号を取得することができる。動作情報取得部103bは、また、角速度に関する信号により、振動(以下、ブレとも称する)の周波数を動作情報として取得することが可能である。
位置情報取得部103cは、撮像者の位置情報を取得する。位置情報取得部103cは、具体的には、検出部102により検出された位置情報を取得することができる。
解析部104は、情報取得部103が取得した情報に基づいて画像の撮像状況を解析する。解析部104は、例えばコントローラ11により実現される。解析部104は、例えば、情報取得部103が取得した情報と、画像データ記録部101に記録された動画データとを照合し、動画の撮像状況を解析する。解析部104の動作の詳細については、後述する。
解析部104は、動画の撮像状況として、例えば、水中での活動、雪上での活動、水上での活動、及び空中での活動、並びに室内でのイベント等の大まかな撮像状況を解析してもよい。さらに解析部104は、より詳細に撮像状況を解析してもよい。詳細な撮像状況としては、例えば、水中での活動に分類されるダイビング、雪上での活動に分類されるスキー、水上での活動に分類されるウィンドサーフィン、イベントに分類されるウェディングシーン等が挙げられる。
画質調整部105は、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて画質調整処理を実行する。画質調整部105は、例えば、コントローラ11により実現される。画質調整部105は、例えば、解析された撮像状況に関連付けて記憶された画質調整処理を実行してもよい。この場合、画質調整処理と撮像状況との対応関係は、記憶部14に格納される。あるいは、画質調整部105は、記憶された所定のアルゴリズムに基づいて撮像状況から画質調整処理を選択し、これを実行してもよい。画像調整部105により画質調整処理が実行された画像データは、再生部106に出力される。
画質調整処理は、解析された撮像状況から推定される画質の乱れを改善する処理であってもよい。ここでいう「画質が乱れる」とは、画像が実際の被写体を認識し難い状態であることをいい、例えば、画像のブレや、画像の色調が本来の色調とは異なる状態であること、及び画像の輝度が高すぎる又は低すぎる状態であること等をいう。具体的な画質調整処理の例としては、色調補正処理、ブレ補正処理、輝度補正処理、ガンマ補正処理、エッジ強調処理等が挙げられる。
色調補正処理は、画像の色調を補正する処理であり、例えば、RGB(Red Green Blue)のゲインを調整する処理である。ブレ補正処理は、いわゆる電子式のブレ補正処理であって、動作情報取得部103bが取得したブレの方向及び周波数に応じて、画像中の画素をずらす等のブレ補正を行う処理である。輝度補正処理は、例えば、入力輝度レベルに対して所定の演算を行い出力輝度レベルを調整する処理である。ガンマ補正処理は、例えば、RGBの信号を非線形変換し、視覚的なリニアリティ(linearity)を確保する処理である。エッジ強調処理は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する処理である。
再生部106は、画質が調整された画像データを再生する。再生部106は、表示部16により実現され得る。再生部106は、画像データの再生のみならず、動画等の撮像時に取得された音声も再生可能であってもよい。この場合、再生部106は、表示部16及びオーディオデバイス部17により実現され得る。
以下、上記構成の画像処理装置100の動作例について説明する。
[画像処理装置の動作]
図3は、画像処理装置100の動作を示すフローチャートである。
まず、画像データ記録部101により動画(画像)を撮像・記録すると同時に、検出部102が、動画の撮像時における撮像者の活動に基づく情報を検出する(ST101)。そして情報取得部103が、検出された情報を取得する(ST102)。具体的には、圧力情報取得部103aは、撮像者の撮像時に受けた圧力値を取得する。動作情報取得部103bは、撮像者の動作情報を取得する。位置情報取得部103cは、撮像者の位置情報を取得する。
次に、情報取得部103が取得した情報に基づいて、解析部104が、動画の撮像状況を解析する(ST103)。このステップは、動画の撮像と並行して行われてもよいし、動画の撮像後に行われてもよい。動画の撮像後に行われる場合には、ユーザにより、撮像状況に応じた画質調整を行うモードが選択された後、行われるように設定されてもよい。当該モードは、例えば操作部13への所定の入力操作により選択されることが可能であってもよい。
解析部104は、具体的には、以下のように撮像状況を解析できる。
例えば解析部104は、圧力情報取得部103aの取得した圧力値に基づいて、水中での撮像であるか否かを判定することができる(ST103−1)。水中での撮像と判定された場合、解析部104は、撮像者の撮像時の活動が水中での活動であると解析できる。また、圧力値が大気圧よりも低い場合、解析部104は、撮像者の撮像時の活動が空中を含む高地での活動であると解析できる。
解析部104は、また、動作情報取得部103bの取得した動作情報に基づいて、動画の撮像に伴って行われる活動を解析することができる(ST103−2)。例えば、解析部104は、動作情報取得部103bにより取得された振動の周波数が所定の周波数以上の場合、ブレを伴う撮像状況と解析することが可能である。さらに解析部104は、実際に取得された加速度及び/又は角速度の値と、例えば、サイクリング、自動車の運転、ランニング等の所定の活動が典型的に示す加速度及び/又は角速度の値のパターンとを照合し、詳細な活動についても解析できる。
解析部104は、また、位置情報に基づいて、動画の撮像に伴って行われる活動を解析する(ST103−3)。解析部104は、例えば、撮像者の位置(海、陸、湖、川等)を判定することができる。これにより解析部104は、例えば撮像者の位置が海、湖、川と判定された場合、水中及び水上での活動のいずれかであると解析できる。さらに解析部104は、撮像者の位置と、記憶部14等に格納された地図情報等を照合し、撮像された地名、建物名等を判定することも可能である。これにより、例えば、撮像者の位置が結婚式場と判定された場合、結婚式での撮像と解析することができる。
解析部104は、これらの解析又は判定を、所定の順序で行ってもよい。この場合は、徐々に撮像状況を絞り込むことができる。あるいは、予め圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々の取得した情報に基づいて総合的に解析される撮像状況例を示したテーブルを作成して記憶部14等に格納し、当該テーブルを参照して解析を行ってもよい。この場合は、情報取得部103が取得した情報と当該テーブルとを参照することで、撮像状況を決定することができる。
次に、画質調整部105は、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて画質調整処理を実行する(ST104)。このステップも、動画の撮像と並行して行われてもよいし、動画の撮像後に行われてもよい。画質調整部は、例えば、振動を伴う撮像状況と解析された場合、振動の周波数に基づいて動画データの振動を補正する処理を実行してもよい。
最後に、再生部106が、画質が調整された動画(画像)データを再生する(ST105)。
以下、具体的な撮像状況における動作例を記載する。
(動作例1−1 ダイビング)
動作例1−1として、動画データがダイビング中に撮像された例を挙げる。この場合、撮像者自身がダイビングしており、水中を撮像している状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST101参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が取得する(ST102参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST103参照)。例えば、解析部104は、位置情報取得部103cにより取得された位置情報から、撮像者の位置が海であったことにより、撮像状況が水中又は水上での活動であると解析できる(ST103−3参照)。また、解析部104は、圧力情報取得部103aにより取得された圧力値に基づいて水中での撮像であると判定した場合、水中での活動であると解析できる(ST103−1参照)。さらに、圧力値から所定の水深以上であると検出された場合には、ダイビングと解析することが可能である。加えて、解析部104は、動作情報取得部103bにより取得された動作情報及び水中での活動という解析結果から、撮像者の活動がダイビングであると解析できる(ST103−2参照)。
図4は、ダイビング中の動画データの一例を示す模式的な図であり、Aは画質調整前の動画データ、Bは画質調整後の動画データを示す。水中で撮像された画像は、図4Aに示すように、一般的に青みが強く、本来の自然な色調が得られない。そこで、画質調整部105は、水中での撮像状況から推定される画質の乱れを改善する画質調整処理として、B(Blue)のゲインを減ずる色調補正処理を実行する(ST104参照)。なお、ダイビング中の撮像に関連付けられた画質調整処理として、ブレ補正等が選択されてもよい。
これにより、再生部106は、図4Bに示すように、本来の色調に近い動画データを再生する(ST105参照)。
(動作例1−2 サイクリング)
動作例1−2として、動画データがサイクリング中に撮像された例を挙げる。この場合、撮像者自身が乗っている自転車に画像処理装置100が取り付けられており、走行しながら風景を撮像している状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST101参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が取得する(ST102参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST103参照)。例えば、解析部104は、圧力情報取得部103aからの圧力値に基づいて、水中での撮像でないと判定できる(ST103−1参照)。また、解析部104は、位置情報取得部103cにより取得された位置情報から、撮像者の位置が陸地であったことにより、撮像状況が水中又は水上での活動ではないと解析できる(ST103−3参照)。解析部104は、動作情報取得部103bからの角速度情報等に基づいて、取得されたブレの周波数が所定の周波数以上であると判定し、ブレを伴う撮像状況と解析する(ST103−2参照)。さらに解析部104は、動作情報取得部103bからの加速度情報等に基づいて、所定範囲の速度で移動していると判定された場合、撮像者の活動がサイクリングと解析することもできる。
画質調整部105は、ブレを伴う撮像状況から推定される画質の乱れを改善する画質調整処理として、ブレ補正処理を実行する(ST104参照)。より具体的に、画質調整部105は、検出されたブレの周波数に基づいて動画データの振動を補正する処理を実行してもよい。当該処理は、検出されたブレの方向も考慮されたものであってもよい。
これにより、再生部106が、適切にブレ補正された動画データを再生する(ST105参照)。
サイクリング等の車載撮像の場合、通常の手ブレ以上の大きなブレが生じ、手持ち撮像を想定した光学式等の手ブレ補正では対応が難しいことがある。本実施形態によれば、動作情報取得部103bからブレの方向及び周波数が検出できるため、大きなブレであっても適切なブレ補正を行うことができる。
また、電子式のブレ補正は、一般に、画素を所定方向に移動させることでブレを打ち消すため、周縁の一部の画素が失われ、ブレ量が大きいほど再生される範囲が小さくなることとなる。特に、ユーザ自身がブレ量を指定して補正量を決定する場合には、ブレ量の評価が難しいため、再生範囲が狭くなる、あるいはブレが十分に解消されないという問題があった。本実施形態によれば、動作情報取得部103bからの情報に基づいて適切な補正を行うことができるため、再生される範囲も適切な範囲となり、ユーザの満足度を向上させることができる。
(動作例1−3 ウィンタースポーツ)
動作例1−3として、動画データが、スノーボード中に撮像された例を挙げる。この場合、撮像者自身がスノーボードをしており、雪上で撮像している状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST101参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が取得する(ST102参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST103参照)。例えば、解析部104は、圧力情報取得部103aからの圧力値に基づいて、水中での撮像でないと判定でき、圧力値が大気圧よりも低かった場合、高地での撮像であると解析できる(ST103−1参照)。また解析部104は、位置情報取得部103cにより取得された位置情報から、撮像者の位置がスキー場であったと判定した場合、撮像状況が雪上でのスポーツであると解析できる(ST103−3参照)。また解析部104は、動作情報取得部103bにより取得された情報、及び撮像状況が雪上でのスポーツであるとの解析結果に基づき、撮像状況が例えばスノーボードであると解析してもよい(ST103−2参照)。
図5は、スノーボード中の動画データの一例を示す模式的な図であり、Aは画質調整前の動画データ、Bは画質調整後の動画データを示す。雪上で撮像された画像は、図5Aに示すように、全体的に輝度が高く、白みがかっており、本来の色調が得られないことがある。そこで、画質調整部105は、雪上での撮像状況から推定される画質の乱れを改善する画質調整処理として、輝度を減ずる輝度補正処理を実行する(ST104参照)。
なお、画質調整部105は、エッジ強調補正処理等を実行することもでき、スノーボード中の撮像に関連付けられた画質調整処理として、ブレ補正処理等を実行することもできる。
これにより、再生部106が、図5Bに示すように、本来の色調に近い動画データを再生する(ST105参照)。
(動作例1−4 海上でのスポーツ)
動作例1−4として、動画データが、ウィンドサーフィン中に撮像された例を挙げる。この場合、撮像者自身がウィンドサーフィンをしており、海上(水上)で撮像している状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST101参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が情報を取得する(ST102参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST103参照)。例えば、解析部104は、圧力情報取得部103aにより取得された圧力値に基づいて、水中での撮像でないと判定する(ST103−1参照)。また解析部104は、位置情報取得部103cにより取得された位置情報、及び水中での撮像でないという解析に基づき、海上での撮像であると判定できる(ST103−3参照)。さらに解析部104は、動作情報取得部103bからの動作情報、及び海上での撮像であるとの解析に基づき、撮像者の活動が海上でのスポーツであると解析できる(ST103−2参照)。なお、解析部104は、動作情報に基づき、ウィンドサーフィンであると解析してもよい。
図6は、海上で撮像された動画データの一例を示す模式的な図であり、Aは画質調整前の動画データ、Bは画質調整後の動画データを示す。この場合ユーザは、再生された画像に対し、イメージよりも青色が薄く、暗い印象を受け、不満に感じることがある(図6A参照)。これは、ユーザにより記憶された色、すなわち「記憶色」と、実際に記録された「記録色」との差異による。そこで、画質調整部105は、記憶色に近づけるための画質調整処理として、B(Blue)のゲインを増加する色調補正処理を実行する(ST104参照)。なお、ウィンドサーフィン中の撮像に関連付けられた画質調整処理として、ブレ補正等が実行されてもよい。
これにより、再生部106は、図6Bに示すように、ユーザの記憶色に近い、より鮮やかな青色の動画データを再生する(ST105参照)。
(動作例1−5 ウェディング)
動作例1−5として、動画データが結婚式中に撮像された例を挙げる。この場合、結婚式場内で撮像されている状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST101参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が情報を取得する(ST102参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST103参照)。例えば、解析部104は、圧力情報取得部103aの取得した圧力値に基づいて、水中での撮像でないと解析することができる(ST103−1参照)。また、解析部104は、動作情報取得部103bにより取得された動作情報から、ほぼ同じ姿勢であって、時折ゆっくりと向きを変える動作を検出した場合に、イベントでの撮像であると解析することができる(ST103−2参照)。また解析部104は、位置情報取得部103cにより取得された位置情報、及びイベントでの撮像であるとの解析に基づいて、撮像者の位置が結婚式場やホテルであった場合に、結婚式中の撮像であると解析することができる(ST103−3参照)。
一般に、結婚式中に撮像された画像は、室内であるため暗めであることが多い。そこで、画質調整部105は、結婚式という撮像状況から推定される画質の乱れを改善する画質調整処理として、輝度を高める補正処理を実行する(ST104参照)。なお、撮像状況のテーマ性に即した画質調整処理として、わずかにR(red)のゲインを高める補正処理を実行してもよい。これにより、結婚式の温かい雰囲気を出すことが可能となる。
これにより、再生部106は、結婚式に適した動画データを再生することができる(ST105参照)。
以上、本実施形態によれば、動画の撮像に伴って行われる活動に基づいて検出された動作情報、位置情報等に基づいて撮像状況が解析され、動画データに対し、この撮像状況から自動的に画質調整処理を実行することが可能となる。これにより、撮像者が撮像中に画質調整操作を行わずとも、撮像後に適切な画質調整処理が実行された動画データを再生することが可能となる。また、撮像後にユーザがマニュアルで画質調整処理を選択する手間を省くことが可能となる。
また、特に撮像者自身がスポーツをしながら撮像している場合は、画質が乱れることが多いにもかかわらず、撮像中の画質調整操作が難しい。本実施形態によれば、撮像中の画質調整操作を不要とし、画質が乱れやすいスポーツシーンの動画データであっても所望の画質の動画データを再生することが可能となる。
また、水中や雪上、水上など、特殊な環境中での撮像の場合は、撮像時に設定が可能なオートホワイトバランス、オート露出調整等の画像処理では調整が不十分なことも多い。本実施形態によれば、画像処理装置100により適切な画質調整処理を実行ことが可能となるため、特殊な環境下で撮像した動画データであっても、十分な画質調整が可能となる。
[変形例1−1]
上述の実施形態では、解析部104が、情報取得部103からの情報に基づいて画像の撮像状況を解析すると説明したが、これに限定されない。例えば解析部104は、情報取得部103からの情報に加え、撮像された画像データ内の被写体の特徴を解析して抽出された情報に基づいて画像の撮像状況を解析してもよい。
解析部104は、具体的には、画像解析・認識技術により被写体の特徴を解析し、撮像状況を解析できる。
本変形例によれば、例えば、動作の少ないイベントシーン等においても、撮像状況の解析の精度を高めることができる。したがって、画像データに対し、より適切な画質調整を行うことができる。
[変形例1−2]
上述の実施形態では、解析部104が、情報取得部103からの情報に基づいて画像の撮像状況を解析すると説明したが、これに限定されない。例えば解析部104は、情報取得部103からの情報に加え、画像の撮像とともに録音された音声データから抽出された情報に基づいて画像の撮像状況を解析してもよい。
解析部104は、具体的には、録音された音声データの音量の解析により、盛り上がっている撮像状況か、あるいは静かな状況であるか解析できる。さらに解析部104は、音声認識技術により撮像時に録音された音声の種類(人の声、風の音、波の音等)や会話の内容等を解析し、撮像状況を解析することもできる。
本変形例によれば、例えば、動作の少ないイベントシーン等においても、撮像状況の解析の精度を高めることができる。したがって、画像データに対し、より適切な画質調整を行うことができる。
なお、本変形例において、解析部104は、情報取得部103からの情報、音声データから抽出された情報に加え、変形例1−1で説明した画像データ内の被写体の特徴を解析して抽出された情報を用いてもよい。これにより、撮像状況の解析の精度をさらに高めることができる。
<第2の実施形態>
図7は、第2の実施形態に係る画像処理装置200の機能的構成を示すブロック図である。画像処理装置200は、画像処理装置100と同様の画像データ記録部101、検出部102、情報取得部103、解析部104、画質調整部105及び再生部106に加えて、さらに演出処理部207を備える。本実施形態においても、画像データは動画データであるとする。なお、以下の説明において、上述の実施形態と同様の構成については同一の符号を付して説明を省略する。また、画像処理装置200は、画像処理装置100と同様のハードウェア構成を有するため、その説明を省略する。
演出処理部207は、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて演出処理を実行する。演出処理部207は、例えば、解析された撮像状況に関連付けて記憶された演出処理を実行してもよい。あるいは、演出処理部207は、記憶された所定のアルゴリズムに基づいて撮像状況から演出処理を選択し、これを実行してもよい。演出処理部207は、演出処理が実行された画像データを再生部106へ出力する。演出処理部207は、例えば、コントローラ11により実現される。これら演出処理と撮像状況との対応関係は、記憶部14に格納される。この対応関係の例については、後述する。
ここでいう画像データの演出処理とは、付加的な情報、画像及び音声を併せて再生することや、所定のテンプレート等を用いて再生すること等により、画像データ、及び画像データと併せて録音された音声を演出する処理をいうものとする。演出処理の具体例としては、情報取得部103が取得した情報のうちの所定の情報(以下、付加情報とする)が画像データと併せて表示される処理が挙げられる。上記付加情報の表示態様は、画像データに重畳的に表示されてもよいし、画像データを縮小し表示領域の余白部分に表示されてもよい。付加情報(表示態様も含む)と各撮像状況との対応関係は、記憶部14等に記憶されていてもよい。
[画像処理装置の動作]
図8は、画像処理装置200の動作を示すフローチャートである。
まず、図3のST101と同様に、動画の撮像と同時に、検出部102が、動画(画像)の撮像時における撮像者の活動に基づく情報を検出する(ST201)。そして情報取得部103が、検出された情報を取得する(ST202)。
次に、図3のST102と同様に、解析部104が、情報取得部103が取得した情報に基づいて、動画の撮像状況を解析する(ST203)。解析部104は、例えば、圧力値に基づいて、水中での撮像か否かを判定してもよいし(ST203−1)、動作情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST203−2)。あるいは、位置情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST203−3)。
次に、図3のST103と同様に、画質調整部105が、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて画質調整処理を実行する(ST204)。
さらに、演出処理部207が、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて演出処理を実行する(ST205)。
最後に、再生部106が、画質調整処理及び演出処理が実行された動画(画像)データを再生する(ST206)。
なお、画質調整処理の実行(ST204)の前に、演出処理の実行(ST205)のステップが行われてもよい。
以下、具体的な撮像状況における動作例を記載する。
(動作例2−1 サイクリング)
動作例2−1として、動画データがサイクリング中に撮像された例を挙げる。この場合、ST201〜ST204は、上述のST101〜ST104と同様であるため、ST205に対応するステップから説明する。
演出処理部208は、画質調整処理された動画データに対し、サイクリングという撮像状況に基づいて演出処理を実行する(ST205参照)。ここでは、演出処理として、走行速度及び走行軌跡を付加情報として動画データと併せて表示される演出処理を実行する。走行速度は、主に、動作情報取得部103bからの加速度情報に基づいて決定され得る。また走行軌跡は、主に、位置情報取得部103cからの位置情報に基づいて決定され得る。なお、付加情報は上記に限定されず、走行してからの時間、日時等を表示してもよい。
これにより、再生部106は、画質調整処理が実行され、かつ演出処理が実行された動画データを再生する(ST206参照)。
図9は、サイクリング中の動画データに演出処理を実行した動画データの一例を示す模式的な図である。同図に示すように、図中の符号A1〜A4は付加情報であって、A1は走行速度、A2は走行軌跡、A3は走行してからの時間、A4は日時を示す。図9では、動画データにこれらの付加情報を重畳的に表示する演出処理の例を示す。このような動画データにより、撮像時の状況をより客観的に認識することが可能となる。
(動作例2−2 スカイダイビング)
動作例2−2として、動画データがスカイダイビング中に撮像された例を挙げる。この場合、撮像者自身がスカイダイビングしており、空中で撮像している状況を想定する。
まず、動画の撮像時に、撮像者の活動に基づく情報が検出され(ST201参照)、当該情報を、圧力情報取得部103a、動作情報取得部103b及び位置情報取得部103c各々が情報を取得する(ST202参照)。
次に、解析部104が、取得した情報に基づいて、撮像状況を解析する(ST203参照)。例えば、解析部104は、圧力情報取得部103aにより取得された圧力値に基づいて低い気圧下における撮像であると判定した場合、撮像状況がスカイスポーツ、登山等の高地での活動であると解析できる(ST203−1参照)。また、解析部104は、動作情報取得部103bにより取得された動作情報から、撮像者の活動がスカイダイビングであると判定できる(ST203−2参照)。具体的には、スカイダイビングであれば、航空機等から飛び降りた直後、非常に大きい加速度で落下するため、この大きな加速度を検出することで、スカイダイビングであると解析できる。また、解析部104は、位置情報取得部103cにより取得された位置情報を参照してもよい(ST203−3参照)。
空中で撮像された画像は、水上と同様、記憶色と記録色とが異なり、ユーザのイメージに近い画像が得られないことがある。そこで、画質調整部105は、記憶色に近づくための画質調整処理として、B(Blue)のゲインを増加する色調補正処理を実行してもよい(ST204参照)。また、空中の風圧によるブレが懸念されるため、上述のブレ補正処理を実行してもよい。また、強い太陽光が人物等とともに撮像された場合には、画像データ中の輝度等の差が大きくなる。このため、いわゆる白飛び、黒潰れを防止するようなコントラスト補正処理を実行してもよい。
次に、演出処理部207は、解析された撮像状況に基づいて演出処理を実行する(ST205参照)。ここでは、演出処理として、高度及び落下速度を付加情報として動画データと併せて表示される演出処理を実行する。高度は、主に、圧力情報取得部103aからの圧力値に基づいて決定され得る。落下速度は、主に、動作情報取得部103bからの加速度情報に基づいて決定され得る。
再生部106は、画質調整処理が実行され、かつ演出処理が実行された動画データを再生する(ST206参照)。
図10は、スカイダイビング中の動画データに演出を施した動画データの一例を示す模式的な図である。図中の符号B1,B2は付加情報を示し、B1は高度、B2は落下速度を示す。図10では、動画データを縮小し、表示領域の余白部分に付加情報を表示する演出処理の例を示す。
以上のように、本実施形態によれば、画質調整のみならず、画像の撮像状況から、画像データの演出処理を自動的に実行することが可能となる。これにより、ユーザがマニュアルで演出処理を選択する手間を省くことが可能となる。
なお、画像処理装置200は、種々の演出処理を適用し得る。
[変形例2−1]
上述の実施形態では、演出処理として、付加情報が画像データと併せて表示される処理について説明したが、これに限定されない。演出処理は、例えば、動画データからショートムービーを作成するための処理であってもよい。この場合、演出処理部207は、撮像状況に基づいて、ショートムービーを作成するためのテンプレートを選択し、当該テンプレートを用いて演出処理を実行してもよい。ここでいうテンプレートは、画質調整処理を含んでいてもよく、あるいは音声データを含んでいてもよい。
例えば結婚式中の撮像であると解析された場合、演出処理部207は、例えば、結婚式中の撮像に関連付けて記憶されたテンプレートを選択し、当該テンプレートを用いた演出処理を実行する。これにより、ショートムービーを再生することが可能となる。
このような演出処理部207により、ユーザは、自身の撮像した動画データから、撮像状況に適したテンプレートを用いたショートムービーを容易に作成することが可能となる。したがって、ユーザがテンプレートを選択する手間を省き、より手軽にショートムービーを楽しむことが可能となる。
[変形例2−2]
演出処理は、撮像時に録音された音声データから抽出された会話の内容を画像データと併せて表示する処理であってもよい。会話の内容は、撮像時に録音された音声データから音声認識技術により抽出することができる。また、上記演出処理は、会話の内容を画像データに重畳的に表示する処理であってもよいし、画像データを縮小し表示領域の余白に表示する処理であってもよい。これにより、例えば音声が聞き取り難い状況の動画データであっても、会話の内容を理解することが可能な動画データを提供することが可能となる。
[その他の変形例]
本実施形態においても、解析部104は、情報取得部103からの情報に加え、変形例1−1で説明した画像データ内の被写体の特徴を解析して抽出された情報や、変形例1−2で説明した撮像時の音声データから抽出された情報を用いて解析を行ってもよい。これにより、解析部104の撮像状況の解析精度を高め、かつ、演出処理部207が、より適切な演出方法を選択することが可能となる。
<第3の実施形態>
図11は、第3の実施形態に係る画像処理装置300の機能的構成を示すブロック図である。画像処理装置300は、画像処理装置100と同様の画像データ記録部101、検出部102、情報取得部103、解析部104、画質調整部105及び再生部106に加えて、さらに音声調整部308を有する。本実施形態においても、画像データは動画データであるとする。なお、以下の説明において、上述の実施形態と同様の構成については同一の符号を付して説明を省略する。また、画像処理装置300は、ハードウェア構成について画像処理装置100と同様であるため、説明を省略する。
音声調整部308は、画像の撮像に伴って記録された音声データに対して、解析された撮像状況に基づいて音声調整処理を実行する。音声調整部308は、例えば、コントローラ11により実現される。音声調整部308は、例えば、解析された撮像状況に関連付けて記憶された音声調整処理を実行してもよい。この場合、音声調整処理と撮像状況との対応関係は、記憶部14に格納される。あるいは、音声調整部308は、記憶された所定のアルゴリズムに基づいて撮像状況から音声調整処理を選択し、これを実行してもよい。撮像状況によっては、人物の会話が聞き取り難かったり、屋外で風雨の音が大きかったりする場合がある。このような場合、音量やノイズを調整する処理を実行することができる。この対応関係の例については、後述する。
[画像処理装置の動作]
図12は、画像処理装置300の動作を示すフローチャートである。なお、以下の動作例では、画像データとして動画データを用いるものとして説明する。
まず、図3のST101と同様に、画像データ記録部101が動画(画像)を撮像・記録し、それと同時に、検出部102が、動画の撮像時における撮像者の活動に基づく情報を検出する(ST301)。動画の撮像時には、音声データも録音される。そして情報取得部103が、検出された情報を取得する(ST302)。
次に、図3のST102と同様に、情報取得部103が取得した情報に基づいて、解析部104が、動画の撮像状況を解析する(ST303)。解析部104は、例えば、圧力値に基づいて、水中での撮像か否かを判定してもよいし(ST303−1)、動作情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST303−2)。あるいは、位置情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST303−3)。
次に、図3のST103と同様に、画質調整部105が、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて画質調整処理を実行する(ST304)。
そして、音声調整部308が、動画の撮像に伴って記録された音声データに対して、解析された撮像状況に基づいて音声調整処理を実行する(ST305)。音声調整部308は、スカイダイビングという撮像状況に基づいて音声調整処理として、風と認識される音声レベルを下げ、人物の会話と認識される音声レベルを上げる処理を実行することができる。あるいは、音声調整処理部311は、サイクリングという撮像状況に基づいて音声調整処理として、振動(ブレ)による音声ノイズのレベルを下げる処理を実行することができる。
最後に、再生部106が、画質調整された動画(画像)データを再生するとともに、音声調整部308により出力が調整された音声データを併せて再生する(ST306)。
このように、本実施形態によれば、撮像状況に応じて音声データの出力を調整することができる。したがって、画質が調整された画像データとともに、撮像状況に適した音声データを楽しむことができる。
<第4の実施形態>
上述の各実施形態においては、画像の撮像、画像処理及び再生が一装置で行われると説明したが、以下の実施形態のように、複数の装置を含む画像処理システムにより行われてもよい。
[画像処理システムのハードウェア構成]
図13は、本技術の第4の実施形態に係る画像処理システム4のハードウェア構成を示すブロック図である。画像処理システム4は、画像処理装置400及び撮像装置420を備え、撮像装置420で撮像された画像データが、画像処理装置400において画像処理され、再生されることが可能に構成される。画像処理装置400及び撮像装置420は、相互に通信可能に構成される。なお、本実施形態においても、画像データは動画データであるとする。
撮像装置420は、コントローラ421、撮像部422、記憶部424、通信部425、マイクロフォン427、及びセンサ部428を備える。なお撮像装置420は、上記構成の他、図示しない表示部、スピーカ及び操作部を有していてもよい。撮像装置420は、撮像専用装置であってもよいし、スマートフォン等の携帯情報端末であってもよい。撮像装置420は、画像処理装置100と同様に、動画撮像が可能に構成される。また、撮像者に装着され、あるいは車載撮像が可能であってもよく、水中における撮像が可能であってもよい。
コントローラ421は、CPUを有し、撮像装置420の各部を統括的に制御する。撮像部422は、被写体の光画像から画像データを得る。記憶部424は、記録媒体と、それらの記録媒体に対する記録再生機構等により構成され、撮像部422が撮像した画像データを記憶可能に構成される。マイクロフォン427は、音声データが入力可能に構成される。センサ部428は、加速度センサ、圧力センサ、角速度センサ、地磁気センサ等を有する。通信部425は、画像処理装置400と通信可能に構成され、センサ部428が検出したセンサ値及び記憶された画像データを、画像処理装置400へ送信可能に構成される。
画像処理装置400は、コントローラ41、操作部43、記憶部44、通信部45、表示部46、及びオーディオデバイス部47を備える。コントローラ41、操作部43、記憶部44、通信部45、表示部46、及びオーディオデバイス部47の各部は、バスを介して相互に接続され、データの転送や制御信号の送受信が可能に構成される。画像処理装置400は、例えば、情報処理装置で構成され、具体的には、PC(Personal Computer)、タブレット、スマートフォン等であってもよい。
コントローラ41、操作部43、記憶部44、通信部45、表示部46、及びオーディオデバイス部47の概略構成は、コントローラ11、操作部13、記憶部14、通信部15、表示部16、及びオーディオデバイス部17と同様であるため、簡略化して以下、説明をする。
コントローラ41は、CPUを有し、画像処理装置400の各部を統括的に制御する。コントローラ41は、図示しないROMや記憶部44に格納された制御プログラムに従い、所定の処理を実行する。なおコントローラ41は、後述する撮像装置420から通信部45を介して入力された情報が入力される入力I/F41aを有する。
操作部43は、例えばキーボード、タッチパネル、電源ボタンなどのハードウェアキー、操作ダイアルなどの入力デバイスを備え、ユーザの入力操作を検出し、コントローラ41に伝達する。操作部43は、例えば、動画撮像の開始及び終了、撮像状況に応じた画質調整を行うモード等のモード選択、並びに画像データの再生等が可能に構成されてもよい。
記憶部44は、記録媒体と、それらの記録媒体に対する記録再生機構等により構成され得る。
通信部45は、有線LAN、無線LAN、LTEや3G等の通信システムによりネットワークへ通信可能に構成されるとともに、例えば所定規格の外部バス等により周辺機器と接続され得る。通信部45は、撮像装置420と通信可能に構成される。なお、通信部45は、他の通信システムを有していてもよい。
表示部46は、例えば、LCDや有機ELパネル等の表示素子により実現され、ファインダとしての機能を有してもよい。
オーディオデバイス部47は、マイクロフォン及びスピーカを有する。
以上のようなハードウェア構成の画像処理システム4において、図4の一点鎖線で示す部分、すなわち、撮像装置420の撮像部422、記憶部424、通信部425及びセンサ部428、並びに画像処理装置400のコントローラ41、記憶部44、表示部46、及びオーディオデバイス部47は、以下のような機能的構成を有する。
[画像処理システムの機能的構成]
図14は、画像処理システム4の機能的構成を示すブロック図である。同図に示すように、画像処理システム4は、画像データ記録部401、検出部402、情報取得部403、解析部404、画質調整部405、再生部406、及び画像データ取得部409を備える。このうち画像処理装置400は、情報取得部403、解析部404、画質調整部405、再生部406、及び画像データ取得部409を備え、撮像装置420は、画像データ記録部401及び検出部402を備える。
画像データ記録部401は、画像を撮像し、画像をデータとして記録するとともに、画像データ取得部409の要求に応じて画像データを送信する。画像データ記録部401は、例えば撮像装置420の撮像部421、記憶部424及び通信部425により実現される。
検出部402は、画像の撮像時における撮像者の活動に基づく情報を検出するとともに、情報取得部403の要求に応じてその情報を送信する。検出部402は、例えば、撮像装置420のセンサ部428及び通信部425により実現される。検出部402は、撮像者の撮像時に受けた圧力値、撮像者の撮像時の動作情報、及び撮像者の撮像時の位置情報等を検出可能に構成される。
情報取得部403は、画像の撮像時における撮像者の活動に基づいて検出された情報を取得する。情報取得部403は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得することができる。すなわち情報取得部403は、圧力情報取得部403aと、動作情報取得部403bと、位置情報取得部403cとを有する。圧力情報取得部403aは、撮像者の撮像時に受けた圧力値を取得する。動作情報取得部403bは、撮像者の撮像時の動作情報、すなわち加速度、角速度等に関する情報を取得する。位置情報取得部403cは、撮像者の撮像時の位置情報を取得する。情報取得部403は、例えばコントローラ41の入力I/F41aにより実現される。
解析部404は、解析部104と同様に、情報取得部403が取得した情報に基づいて画像の撮像状況を解析する。解析部404は、例えば、コントローラ41により実現される。
画質調整部405は、画質調整部105と同様に、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて画質調整処理を実行する。画質調整部405は、例えば、コントローラ41により実現される。これらの画質調整処理と撮像状況との対応関係は、記憶部44に格納される。
再生部406は、画質を調整された画像データを再生し、かつ、画像の撮像時に取得された音声データも再生する。再生部406は、例えば、表示部46及びオーディオデバイス部47により実現される。
画像データ取得部409は、撮像状況に対応する画像データを取得する。具体的に、画像データ取得部409は、画像データ記録部401が記録した画像データを、通信部45を介して取得する。画像データ取得部409は、例えばコントローラ41の入力I/F41aにより実現される。画像データ取得部409は、また、画像の撮像時に記録された音声データも取得可能に構成されてもよい。
[画像処理システムの動作例]
図15は、画像処理システム4の動作を示すフローチャートである。
まず、撮像装置420による動画の撮像・記録と同時に、検出部402が、動画(画像)の撮像時における撮像者の活動に基づく情報を検出する(ST401)。そして画像処理装置400の情報取得部403が、検出部402に対して検出された情報の送信を要求することで、当該情報を取得する(ST402)。当該送信の要求は、画像処理装置400に対するユーザの入力操作に基づき行われてもよい。情報取得部403は、例えば、圧力値、動作情報、及び位置情報等を取得し得る。
そして、画像処理装置400の画像データ取得部409は、画像データ記録部401に対して動画データの送信を要求することで、撮像された動画データを取得する(ST403)。当該送信の要求は、画像処理装置400に対するユーザの入力操作に基づき行われてもよい。
次に、情報取得部403が取得した情報に基づいて、画像処理装置400の解析部404が、動画データの撮像状況を解析する(ST404)。解析部404は、例えば、圧力値に基づいて、水中での撮像か否かを判定してもよいし(ST404−1)、動作情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST404−2)。あるいは、位置情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST404−3)。
次に、画質調整部405が、図3のST104と同様に、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて画質調整処理を実行する(ST405)。
最後に、画像処理装置500の再生部506が、画質調整処理が実行された動画(画像)データを再生する(ST406)。
以上のような構成の画像処理装置400であっても、画像処理装置100と同様に画質調整処理を実行することができる。すなわち、本実施形態によっても、画像の撮像に伴って行われる活動に基づいて検出された動作情報、位置情報等に基づいて撮像状況が解析され、画像データに対し、この撮像状況から自動的に画質調整処理を実行することが可能となる。
また、スポーツシーンの撮像では、水中や雪上、水上など、特殊な環境中での撮像となり得るため、撮像装置420に搭載されたオートホワイトバランス、オート露出調整等の画像処理では調整が不十分なことも多い。本実施形態によれば、画像処理装置400により適切な画質調整処理を実行することが可能となり、特殊な環境下で撮像した画像データであっても、十分な画質調整が可能となる。
さらに本実施形態によれば、画像処理装置400として、PC等の比較的メモリ容量の大きい情報処理装置を選択することができる。したがって、画像処理スピードを速めることが可能であり、所望の画像処理を実現することが容易になる。
[変形例4−1]
図16のブロック図に示すように、画像処理装置400は、情報取得部403、解析部404、画質調整部405、再生部406、及び画像データ取得部409に加えて、演出処理部407を有してもよい。演出処理部407は、演出処理部207と同様に、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて演出処理を実行する。これにより、画像の撮像状況から、画質調整のみならず、画像データの演出処理を実行することが可能となる。したがって、本実施形態においても、演出された画像データを容易に生成し、再生することが可能となる。
[変形例4−2]
図17のブロック図に示すように、画像処理装置400は、画像データ取得部409、情報取得部403、解析部404、画質調整部405及び再生部406に加えて、音声調整部408を有していてもよい。音声調整部408は、音声調整部308と同様に、画像の撮像に伴って記録された音声データに対して、解析された撮像状況に基づいて音声調整処理を実行する。これにより、撮像状況に応じて音声の出力を調整することができ、画質が調整された画像データとともに、撮像状況に適した音声を楽しむことができる。
[その他の変形例]
本実施形態においても、解析部404は、情報取得部403からの情報に加え、変形例1−1で説明した画像データ内の被写体の特徴を解析して抽出された情報や、変形例1−2で説明した撮像時の音声データから抽出された情報を用いて解析を行ってもよい。これにより、解析部404の撮像状況の解析の精度を高めることが可能となる。
<第5の実施形態>
以下の実施形態のように、画像処理システムがクラウドシステムとして構成されてもよい。
[画像処理システムのハードウェア構成]
図18は、本技術の第5の実施形態に係る画像処理システム5のハードウェア構成を示すブロック図である。画像処理システム5は、画像処理装置500、撮像装置520、センサ装置580、及び再生装置560を備える。画像処理システム5の画像処理装置500と各装置とは、ネットワークNを介して相互に接続されている。なお、本実施形態においても、画像データは動画データであるとする。
画像処理システム5は、撮像時に検出された情報を用いて撮像装置520により撮像した画像データに対して画像処理装置500が画像処理し、当該画像データを再生装置560で再生可能に構成される。画像処理システム5における一部の処理は、再生装置560に対するユーザの操作に基づき実行されてもよい。なお、画像処理システム5は、複数の撮像装置520、複数のセンサ装置580、及び複数の再生装置560を備えていてもよい。これにより、複数のユーザが画像処理装置500を共有することが可能となる。
撮像装置520は、画像データ撮像が可能に構成される。撮像装置520は、コントローラ521、撮像部522、記憶部524、通信部525、及びマイクロフォン527を備える。コントローラ521、撮像部522、記憶部524、通信部525、及びマイクロフォン527の各部は、バスを介して相互に接続され、データの転送や制御信号の送受信が可能に構成される。なお撮像装置520は、上記構成の他、図示しない表示部、スピーカ、センサ部及び操作部を有していてもよい。撮像装置520は、動画の撮像が可能な撮像装置であってもよいし、スマートフォン、タブレット端末等の携帯情報端末であってもよい。撮像装置520は、画像処理装置100と同様に、撮像者に装着され、あるいは車載撮像が可能であってもよく、水中における撮像が可能であってもよい。
コントローラ521は、CPUを有し、撮像装置520の各部を統括的に制御する。撮像部522は、被写体の光画像から画像データを得る。記憶部524は、半導体メモリ、記録媒体と、それらの記録媒体に対する記録再生機構等により構成され、撮像部522が撮像した画像データを記憶可能に構成される。通信部525は、ネットワークNへ通信可能に構成され、記憶部524が記憶した画像データを画像処理装置500へネットワークNを介して送信可能に構成される。マイクロフォン527は、音声データが入力可能に構成される。
センサ装置580は、それぞれ、画像の撮像に伴って行われた活動に基づく情報を検出することが可能に構成される。センサ装置580は、画像の撮像者又は被写体に装着可能に構成されてもよい。あるいは、撮像装置520、撮像者又は被写体が運転する自転車又は自動車等に取り付け可能に構成されてもよい。これにより、センサ装置580は、画像の撮像時における撮像者及び被写体のうちの少なくとも一方の活動に基づくセンサ値を検出することができる。また画像処理システム5が複数のセンサ装置580を有することにより、画像処理装置500が撮像者及び被写体双方の活動に基づく情報を検出することが可能となる。
センサ装置580は、通信部585及びセンサ部588を備える。なおセンサ装置580は、上記構成の他、図示しない表示部、スピーカ、記憶部、操作部、及びコントローラを有していてもよい。
センサ部588は、加速度センサ、圧力センサ、角速度センサ、地磁気センサ等を有する。通信部585は、GPSからの信号を受信することで、緯度・経度情報を取得可能に構成されるとともに、センサ部588が検出した情報を、ネットワークを介して画像処理装置500へ送信可能に構成される。なお通信部585は、有線又は無線により、撮像装置520と接続可能に構成されてもよい。
画像処理装置500は、コントローラ51、記憶部54、及び通信部55を備える。コントローラ51、記憶部54、及び通信部55の各部は、バスを介して相互に接続され、データの転送や制御信号の送受信が可能に構成される。画像処理装置500は、例えば、ネットワークN上のサーバ装置(情報処理装置)で構成され得る。
コントローラ51、記憶部54、及び通信部55の概略構成は、コントローラ11、記憶部14、及び通信部15と同様であるため、簡略化して以下、説明をする。なお、画像処理装置500は、図示しない表示部、オーディオデバイス部、操作部を有していてもよい。
コントローラ51は、CPUを有し、画像処理装置500の各部を統括的に制御する。コントローラ51は、図示しないROMや記憶部54に格納された制御プログラムに従い、所定の処理を実行する。なおコントローラ51は、後述する撮像装置520及びセンサ装置580から通信部55を介して入力された情報が入力される入力I/F51aを有する。
記憶部54は、フラッシュメモリ(Flash Memory)メモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生機構等により構成され得る。
通信部55は、有線LAN、無線LAN、LTEや3G等の通信システムによりネットワークNへ通信可能に構成される。これにより通信部55は、撮像装置520、センサ装置580、及び再生装置560に接続され得る。なお、通信部45は、所定規格の外部バス等により周辺機器と接続可能に構成されてもよく、他の通信システムを有していてもよい。
再生装置560は、画像データの再生が可能に構成される。再生装置560は、コントローラ561、操作部563、通信部565、表示部566、及びスピーカ567を備える。コントローラ561、操作部563、通信部565、表示部566、及びスピーカ567の各部は、バスを介して相互に接続され、データの転送や制御信号の送受信が可能に構成される。なお再生装置560は、上記構成の他、図示しない記憶部、マイクロフォン、及びセンサ部を有していてもよい。
再生装置560は、PC、スマートフォン、タブレット端末等の情報処理装置であってもよい。
以上のような構成の画像処理システム5において、図18の一点鎖線で示した、撮像装置520の撮像部522、記憶部524及び通信部525、センサ装置580のセンサ部588及び通信部585、画像処理装置500のコントローラ51、記憶部54、及び通信部55、並びに再生装置560の通信部565、表示部566及びスピーカ567は、以下のような機能的構成を有する。
[画像処理システムの機能的構成]
図19は、画像処理システム5の機能的構成を示すブロック図である。同図に示すように、画像処理システム5は、画像データ記録部501、検出部502、情報取得部503、解析部504、画質調整部505、再生部506及び画像データ取得部509を備える。このうち画像処理装置500は、情報取得部503、解析部504、画質調整部505、及び画像データ取得部509を備える。撮像装置520は、画像データ記録部501を備える。センサ装置580は、検出部502を備える。再生装置560は、再生部506を備える。
画像データ記録部501は、画像を撮像し、画像データとして記録するとともに、画像データ取得部509の要求に応じて画像データを送信する。画像データ記録部501は、例えば撮像装置520の記憶部524及び通信部525により実現される。
検出部502は、画像の撮像時における撮像者の活動に基づく情報を検出とともに、情報取得部503の要求に応じてその情報を送信する。検出部502は、例えば、センサ装置580のセンサ部588及び通信部585により実現される。検出部502は、撮像者の撮像時に受けた圧力値、撮像者の撮像時の動作情報、及び撮像者の撮像時の位置情報を検出可能に構成される。
情報取得部503は、画像の撮像時における撮像者及び被写体の少なくとも一方の活動に基づいて検出された情報を取得する。情報取得部503は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得することができる。すなわち情報取得部503は、圧力情報取得部503aと、動作情報取得部503bと、位置情報取得部503cとを有する。圧力情報取得部503aは、撮像者及び被写体のうちの少なくとも一方の撮像時に受けた圧力値を取得する。動作情報取得部503bは、撮像者及び被写体のうちの少なくとも一方の撮像時の動作情報、すなわち加速度、角速度等に関する情報を取得する。位置情報取得部503cは、撮像者及び被写体のうちの少なくとも一方の撮像時の位置情報を取得する。情報取得部503は、例えば画像処理装置500のコントローラ51の入力I/F51aにより実現される。
解析部504は、解析部104と同様に、情報取得部503が取得した情報に基づいて画像の撮像状況を解析する。解析部504は、例えば、画像処理装置500のコントローラ51により実現される。
画質調整部505は、画質調整部105と同様に、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて画質調整処理を実行する。画質調整部505は、例えば、コントローラ51により実現される。これらの画質調整処理と撮像状況との対応関係は、記憶部54に格納される。
再生部506は、再生部106と同様に、画質を調整された画像データを再生する。また、画像の撮像時に取得された音声データも再生してもよい。再生部506は、例えば、再生装置560の表示部566及びスピーカ567により実現される。
画像データ取得部509は、撮像状況に対応する画像データを取得する。画像データ取得部509は、例えば画像処理装置500のコントローラ51及び通信部55により実現される。画像データ取得部509は、また、画像の撮像時に記録された音声データも取得可能に構成されてもよい。
画像データ取得部509は、情報取得部503が取得した情報と、ネットワークNを介して取得された画像データとを照合可能であってもよい。例えば、画像データ取得部509は、画像データ及び情報取得部503が取得した情報の各々のメタデータから時刻を抽出し、これらを照合してもよい。あるいは画像データ取得部509は、情報取得部503が取得した情報に画像データとの対応を示すタグ付け等がされている場合、当該タグにより照合してもよく、他の方法により照合してもよい。
[画像処理システムの動作例]
図20は、画像処理システム5の動作を示すフローチャートである。
まず、撮像装置420による動画の撮像と同時に、センサ装置580の検出部502が、動画(画像)の撮像時における撮像者及び被写体のうちの少なくとも一方の活動に基づく情報を検出する(ST501)。そして画像処理装置500の情報取得部503が、検出部502に対して検出された情報の送信を要求することで、当該情報を取得する(ST502)。当該送信の要求は、再生装置560に対するユーザの入力操作に基づき行われてもよい。情報取得部503は、例えば、圧力値、動作情報、及び位置情報等を取得し得る。
そして画像処理装置500の画像データ取得部509は、画像データ記録部501に対して動画データの送信を要求することで、撮像された動画データを取得する(ST503)。あるいは、画像データ取得部509は、ネットワークN上の動画データベース等に格納された動画データを取得してもよい。当該送信の要求は、再生装置560に対するユーザの入力操作に基づき行われてもよい。画像データ取得部509は、取得した動画データと検出された情報とを照合し得る。
次に、画像処理装置500の情報取得部503が取得した情報に基づいて、解析部504が、動画の撮像状況を解析する(ST504)。解析部504は、例えば、圧力値に基づいて、水中での撮像か否かを判定してもよいし(ST504−1)、動作情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST504−2)。あるいは、位置情報に基づいて動画の撮像に伴って行われる活動を解析してもよい(ST504−3)。
次に、画質調整部505が、図3のST104と同様に、撮像状況に対応する動画データに対して、解析された撮像状況に基づいて画質調整処理を実行する(ST505)。
最後に、再生装置560の再生部506が、画質を調整された動画(画像)データを再生する(ST506)。
以上のような構成の画像処理装置500であっても、画像処理装置100と同様に処理することができる。すなわち、本実施形態によっても、動画の撮像に伴って行われる活動に基づいて検出された動作情報、位置情報等に基づいて撮像状況が解析され、動画データに対し、この撮像状況から自動的に画質調整を行うことが可能となる。
さらに本実施形態によれば、クラウドシステムを利用して、撮像状況に基づく画質の調整を行うことが可能となる。これにより、再生装置560等のユーザ端末により画像処理装置500を利用したサービスを享受することが可能となる。
[変形例5−1]
図21のブロック図に示すように、画像処理装置500は、画像データ取得部509、情報取得部503、解析部504、画質調整部505及び再生部506に加えて、演出処理部507を有してもよい。演出処理部507は、演出処理部207と同様に、撮像状況に対応する画像データに対して、解析された撮像状況に基づいて演出処理を実行する。これにより、画像の撮像状況から、画質調整のみならず、画像データの演出処理を実行することが可能となる。したがって、撮像状況が理解しやすく、かつ撮像時の臨場感を高めることが可能な画像データを、容易に再生することが可能となる。
[変形例5−2]
図22のブロック図に示すように、画像処理装置500は、画像データ取得部509、情報取得部503、解析部504、画質調整部505及び再生部506に加えて、音声調整部508を有していてもよい。音声調整部508は、音声調整部508と同様に、画像の撮像に伴って記録された音声データに対して、解析された撮像状況に基づいて音声調整処理を実行する。これにより、撮像状況に応じて音声の出力を調整することができ、画質が調整された画像データとともに、撮像状況に適した音声を楽しむことができる。
[その他の変形例]
本実施形態においても、解析部504は、情報取得部503からの情報に加え、変形例1−1で説明した画像データ内の被写体の特徴を解析して抽出された情報や、変形例1−2で説明した撮像時の音声データから抽出された情報を用いて解析を行ってもよい。これにより、解析部504の撮像状況の解析の精度を高めることが可能となる。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば、上述の実施形態では、画像データが動画データであるとして説明したが、静止画像データであってもよい。この場合、情報取得部は、静止画像の撮像に伴って行われた活動に基づいて検出された情報を取得する。例えば、情報取得部は、静止画像の撮像時を含む所定時間内に検出された圧力値、動作情報、及び位置情報等を取得し得る。また、解析部は、この情報に基づいて静止画像データの撮像状況を解析する。そして、画質調整部が、撮像状況に対応する静止画像データに対して、解析された撮像状況に基づいて画質調整処理を実行する。
これにより、静止画像であっても、その撮像状況に基づいて画質を調整することができ、撮像状況から推定される画質の乱れを改善した静止画像データや、より撮像状況に適した静止画像データを再生することが可能となる。
また、音声調整処理部は、静止画像の撮像時を含む所定時間内に記録された音声データに対して、解析された撮像状況に基づいて音声調整処理を実行することが可能である。これにより、静止画像とともに再生され得る音声データに対して、撮像状況に適した音声調整処理を実行することができる。
例えば、上述の実施形態では、情報取得部が取得する情報として、圧力値、動作情報、及び位置情報を挙げたが、これらに限定されない。
画像処理装置は、一装置で構成される例に限定されず、ネットワーク上のサーバ装置(情報処理装置)、及びユーザ端末としての情報処理装置等の複数の装置で構成されてもよい。この場合は、情報取得部、及び解析部がサーバ装置のコントローラにより実現され、画質調整部がユーザ端末のコントローラにより実現されてもよい。これによっても、上述の作用効果を有する画像処理装置を実現することができる。
なお、本技術は以下のような構成もとることができる。
(1)画像の撮像に伴って行われた活動に基づいて検出された情報を取得する情報取得部と、
上記情報に基づいて上記画像の撮像状況を解析する解析部と、
上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する画質調整部と
を具備する画像処理装置。
(2)上記(1)に記載の画像処理装置であって、
上記画質調整処理は、上記解析された撮像状況から推定される画質の乱れを改善する処理である
画像処理装置。
(3)上記(1)又は(2)に記載の画像処理装置であって、
上記情報取得部は、画像の撮像時における撮像者の活動に基づいて検出された情報を取得する
画像処理装置。
(4)上記(1)から(3)のうちいずれか1つに記載の画像処理装置であって、
上記情報取得部は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得する
画像処理装置。
(5)上記(4)に記載の画像処理装置であって、
上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の撮像時に受けた圧力値を取得する圧力情報取得部を有し、
上記解析部は、上記圧力値に基づいて、水中での撮像か否かを判定する
画像処理装置。
(6)上記(4)又は(5)に記載の画像処理装置であって、
上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の動作情報を取得する動作情報取得部を有し、
上記解析部は、上記動作情報に基づいて、上記画像の撮像に伴って行われる活動を解析する
画像処理装置。
(7)上記(6)に記載の画像処理装置であって、
上記動作情報取得部は、振動の周波数を動作情報として取得し、
上記解析部は、上記振動の周波数が所定の周波数以上の場合、振動を伴う撮像状況であると解析し、
上記画質調整部は、振動を伴う撮像状況と解析された場合、上記振動の周波数に基づいて画像データの振動を補正する処理を実行する
画像処理装置。
(8)上記(4)から(7)のうちいずれか1つに記載の画像処理装置であって、
上記情報取得部は、上記撮像者及び被写体のうちの少なくとも一方の撮像時の位置情報を取得する位置情報取得部を有し、
上記解析部は、上記位置情報に基づいて、上記画像の撮像に伴って行われる活動を解析する
画像処理装置。
(9)上記(1)から(8)のうちいずれか1つに記載の画像処理装置であって、
上記解析部は、上記情報取得部により取得された情報及び上記画像内の被写体の特徴を解析して抽出された情報に基づいて上記画像の撮像状況を解析する
画像処理装置。
(10)上記(1)から(9)のうちいずれか1つに記載の画像処理装置であって、
上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて演出処理を実行する演出処理部をさらに具備する
画像処理装置。
(11)上記(1)から(10)のうちいずれか1つに記載の画像処理装置であって、
上記画像の撮像に伴って記録された音声データに対して、上記解析された撮像状況に基づいて上記音声調整処理を実行する音声調整部をさらに具備する
画像処理装置。
(12)上記(1)から(11)のうちいずれか1つに記載の画像処理装置であって、
画像を撮像し、画像データとして記録する画像データ記録部をさらに具備する
画像処理装置。
(13)上記(1)から(12)のうちいずれか1つに記載の画像処理装置であって、
上記画像データを再生する再生部をさらに具備する
画像処理装置。
(14)上記(1)から(13)のうちいずれか1つに記載の画像処理装置であって、
上記撮像状況に対応する画像データを取得する画像データ取得部をさらに具備する
画像処理装置。
(15)画像の撮像に伴って行われた活動に基づいて検出された情報を取得し、
上記情報に基づいて上記画像の撮像状況を解析し、
上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する
画像処理方法。
(16)画像の撮像に伴って行われた活動に基づいて検出された情報を取得する情報取得部と、
上記情報に基づいて上記画像の撮像状況を解析する解析部と、
上記撮像状況に対応する画像データに対して、上記解析された撮像状況に基づいて画質調整処理を実行する画質調整部と
として情報処理装置を機能させるプログラム。
100,200,300,400,500…画像処理装置
101,401,501…画像データ記録部
103,403,503…情報取得部
103a,403a,503a…圧力情報取得部
103b,403b,503b…動作情報取得部
103c,403c,503c…位置情報取得部
104,404,504…解析部
105,405,505…画質調整部
106,406,506…再生部
207,407,507…演出処理部
308,408,508…音声調整部
409,509…画像データ取得部

Claims (16)

  1. 画像の撮像に伴って行われた活動に基づいて検出された情報を取得する情報取得部と、
    前記情報に基づいて前記画像の撮像状況を解析する解析部と、
    前記撮像状況に対応する画像データに対して、前記解析された撮像状況に基づいて画質調整処理を実行する画質調整部と、
    を具備する画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記画質調整処理は、前記解析された撮像状況から推定される画質の乱れを改善する処理である
    画像処理装置。
  3. 請求項1に記載の画像処理装置であって、
    前記情報取得部は、画像の撮像時における撮像者の活動に基づいて検出された情報を取得する
    画像処理装置。
  4. 請求項1に記載の画像処理装置であって、
    前記情報取得部は、画像の撮像に伴って行われた活動に基づく圧力値、動作情報、及び位置情報のうちの少なくともいずれかを取得する
    画像処理装置。
  5. 請求項4に記載の画像処理装置であって、
    前記情報取得部は、前記撮像者及び被写体のうちの少なくとも一方の撮像時に受けた圧力値を取得する圧力情報取得部を有し、
    前記解析部は、前記圧力値に基づいて、水中での撮像か否かを判定する
    画像処理装置。
  6. 請求項4に記載の画像処理装置であって、
    前記情報取得部は、前記撮像者及び被写体のうちの少なくとも一方の動作情報を取得する動作情報取得部を有し、
    前記解析部は、前記動作情報に基づいて、前記画像の撮像に伴って行われる活動を解析する
    画像処理装置。
  7. 請求項6に記載の画像処理装置であって、
    前記動作情報取得部は、振動の周波数を動作情報として取得し、
    前記解析部は、前記振動の周波数が所定の周波数以上の場合、振動を伴う撮像状況であると解析し、
    前記画質調整部は、振動を伴う撮像状況と解析された場合、前記振動の周波数に基づいて画像データの振動を補正する処理を実行する
    画像処理装置。
  8. 請求項4に記載の画像処理装置であって、
    前記情報取得部は、前記撮像者及び被写体のうちの少なくとも一方の撮像時の位置情報を取得する位置情報取得部を有し、
    前記解析部は、前記位置情報に基づいて、前記画像の撮像に伴って行われる活動を解析する
    画像処理装置。
  9. 請求項1に記載の画像処理装置であって、
    前記解析部は、前記情報取得部により取得された情報及び前記画像内の被写体の特徴を解析して抽出された情報に基づいて前記画像の撮像状況を解析する
    画像処理装置。
  10. 請求項1に記載の画像処理装置であって、
    前記撮像状況に対応する画像データに対して、前記解析された撮像状況に基づいて演出処理を実行する演出処理部をさらに具備する
    画像処理装置。
  11. 請求項1に記載の画像処理装置であって、
    前記画像の撮像に伴って記録された音声データに対して、前記解析された撮像状況に基づいて音声調整処理を実行する音声調整部をさらに具備する
    画像処理装置。
  12. 請求項1に記載の画像処理装置であって、
    画像を撮像し、画像データとして記録する画像データ記録部をさらに具備する
    画像処理装置。
  13. 請求項1に記載の画像処理装置であって、
    前記画像データを再生する再生部をさらに具備する
    画像処理装置。
  14. 請求項1に記載の画像処理装置であって、
    前記撮像状況に対応する画像データを取得する画像データ取得部をさらに具備する
    画像処理装置。
  15. 画像の撮像に伴って行われた活動に基づいて検出された情報を取得し、
    前記情報に基づいて前記画像の撮像状況を解析し、
    前記撮像状況に対応する画像データに対して、前記解析された撮像状況に基づいて画質調整処理を実行する
    画像処理方法。
  16. 画像の撮像に伴って行われた活動に基づいて検出された情報を取得する情報取得部と、
    前記情報に基づいて前記画像の撮像状況を解析する解析部と、
    前記撮像状況に対応する画像データに対して、前記解析された撮像状況に基づいて画質調整処理を実行する画質調整部と
    として情報処理装置を機能させるプログラム。
JP2014071215A 2014-03-31 2014-03-31 画像処理装置、画像処理方法及びプログラム Pending JP2015195439A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014071215A JP2015195439A (ja) 2014-03-31 2014-03-31 画像処理装置、画像処理方法及びプログラム
US14/665,624 US20150279009A1 (en) 2014-03-31 2015-03-23 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014071215A JP2015195439A (ja) 2014-03-31 2014-03-31 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015195439A true JP2015195439A (ja) 2015-11-05

Family

ID=54191097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014071215A Pending JP2015195439A (ja) 2014-03-31 2014-03-31 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20150279009A1 (ja)
JP (1) JP2015195439A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9997081B2 (en) * 2013-09-20 2018-06-12 Bose Corporation Audio demonstration kit
US9521365B2 (en) * 2015-04-02 2016-12-13 At&T Intellectual Property I, L.P. Image-based techniques for audio content
US10976278B2 (en) 2017-08-31 2021-04-13 Apple Inc. Modifying functionality of an electronic device during a moisture exposure event

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
JP4086605B2 (ja) * 2002-09-24 2008-05-14 キヤノン株式会社 撮像装置
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
JP4862411B2 (ja) * 2006-01-30 2012-01-25 ソニー株式会社 像ぶれ補正装置、レンズ装置及び撮像装置
WO2009001512A1 (ja) * 2007-06-27 2008-12-31 Panasonic Corporation 撮像装置、方法、システム集積回路、及びプログラム
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
TWI376645B (en) * 2008-07-29 2012-11-11 Sonix Technology Co Ltd Image processing methof of noise reduction and apparatus thereof
JP2011114662A (ja) * 2009-11-27 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム、及び、記録媒体
JP5204165B2 (ja) * 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
US20120236173A1 (en) * 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
JP5709734B2 (ja) * 2011-12-06 2015-04-30 キヤノン株式会社 光学防振装置、光学機器および光学防振装置の制御方法
US9385324B2 (en) * 2012-05-07 2016-07-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
JP6089872B2 (ja) * 2013-03-28 2017-03-08 富士通株式会社 画像補正装置、画像補正方法及び生体認証装置
KR102089596B1 (ko) * 2013-08-30 2020-03-16 삼성전자주식회사 알고리즘을 변경하기 위한 방법 및 그 전자 장치
CN203522888U (zh) * 2013-08-30 2014-04-02 天彩电子(深圳)有限公司 运动型摄像机
US20150077582A1 (en) * 2013-09-13 2015-03-19 Texas Instruments Incorporated Method and system for adapting a device for enhancement of images
US20170011529A1 (en) * 2014-02-14 2017-01-12 Nec Corporation Video analysis system
US10459254B2 (en) * 2014-02-19 2019-10-29 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
KR102327779B1 (ko) * 2014-02-21 2021-11-18 삼성전자주식회사 이미지 처리 방법 및 장치
CN111246050B (zh) * 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的系统、装置和方法

Also Published As

Publication number Publication date
US20150279009A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
EP1956600B1 (en) Image display system, display apparatus, and display method
JP4895020B2 (ja) 画像処理システム及びその方法と、それに用いられる端末及びサーバ
JP5683745B2 (ja) 画像表示装置及び方法
JP5493456B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5493455B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4984044B2 (ja) 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ
WO2017114048A1 (zh) 移动终端及联系人标识方法
JP6514125B2 (ja) 電子機器、電子機器の制御方法、制御プログラム並びに制御装置
US7643060B2 (en) User guiding apparatus and an image capturing system, method and program for using same
US8902334B2 (en) Terminal apparatus and method for adding an effect to an image
JP2024071543A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015195439A (ja) 画像処理装置、画像処理方法及びプログラム
JP6056664B2 (ja) 画像処理装置および撮像システム
WO2018168222A1 (ja) 情報処理装置、撮像装置および電子機器
JP2008005297A (ja) 画像撮影再生システム
JP2006203860A (ja) 撮像装置、撮像方法、再生装置、再生方法、及びプログラム
US20190075249A1 (en) Image processing device, imaging processing method, and program
JP2013034237A (ja) 画像処理装置、画像処理方法、画像処理システム
JP6532370B2 (ja) 撮像システム、構図設定装置、及び構図設定プログラム
US20220264008A1 (en) Image processing device, image processing method, and program
JP2014187518A (ja) 撮影装置、撮影方法及びプログラム
JP7192259B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006203867A (ja) 撮像装置、撮像方法、及びプログラム
CN116723416B (zh) 图像处理方法及电子设备
WO2021181965A1 (ja) 画像処理装置、画像処理方法、プログラム