JP2017050830A - 照明装置、照明システム、及びプログラム - Google Patents

照明装置、照明システム、及びプログラム Download PDF

Info

Publication number
JP2017050830A
JP2017050830A JP2015175061A JP2015175061A JP2017050830A JP 2017050830 A JP2017050830 A JP 2017050830A JP 2015175061 A JP2015175061 A JP 2015175061A JP 2015175061 A JP2015175061 A JP 2015175061A JP 2017050830 A JP2017050830 A JP 2017050830A
Authority
JP
Japan
Prior art keywords
image
subject
unit
depth
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015175061A
Other languages
English (en)
Inventor
龍海 瀬戸本
Tatsumi Setomoto
龍海 瀬戸本
山内 健太郎
Kentaro Yamauchi
健太郎 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015175061A priority Critical patent/JP2017050830A/ja
Priority to US15/248,433 priority patent/US10110865B2/en
Priority to DE102016116215.9A priority patent/DE102016116215A1/de
Publication of JP2017050830A publication Critical patent/JP2017050830A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

【課題】画像を用いて照明に適した光を生成することができる照明装置を提供する。
【解決手段】照明装置20は、撮像装置10による被写体40の撮像により生成された第一画像を取得する第一取得部21と、第一画像内の被写体40の奥行きを示す奥行き情報を取得する第二取得部26bとを備える。照明装置20は、取得された第一画像を、当該第一画像内の被写体40が単色の濃淡で表現された第二画像であって、当該濃淡が前記奥行き情報が示す奥行きに応じて異なる第二画像に変換する画像処理部26aを備える。照明装置20は、光源22と、第二画像に応じて光源22からの光を変調する光変調部24と、変調された光を照射する照射部25とを備える。
【選択図】図3

Description

本発明は、画像に応じて変調した光を照射する照明装置、照明システム、及びプログラムに関する。
従来、プロジェクタのように、画像または動画像に応じて光を変調して照射することができる照明装置が知られている。このような照明装置は、例えば、光源から出射された光を、透過型の映像素子を透過させることにより変調する。
特開2010−134363号公報
ところで、画像を用いて変調された光を照明光として使用する場合には、元の画像の特徴を残しつつ、照明に適した光を生成することが課題となる。
本発明は、画像を用いて照明に適した光を生成することができる照明装置、照明システム、及びプログラムを提供する。
本発明の一態様に係る照明装置は、撮像装置による被写体の撮像により生成された第一画像を取得する第一取得部と、前記第一画像内の前記被写体の奥行きを示す奥行き情報を取得する第二取得部と、取得された前記第一画像を、当該第一画像内の前記被写体が単色の濃淡で表現された第二画像であって、当該濃淡が前記奥行き情報が示す奥行きに応じて異なる第二画像に変換する画像処理部と、光源と、前記第二画像に応じて前記光源からの光を変調する光変調部と、変調された光を照射する照射部とを備える。
本発明の一態様に係る照明システムは、前記照明装置と、前記撮像装置とを備える。
本発明の一態様に係るプログラムは、前記照明装置が備える画像処理部が行う処理をコンピュータに実行させるためのプログラムである。
本発明の一態様に係る照明装置、照明システム、及びプログラムは、動画像を用いて照明に適した光を生成することができる。
図1は、実施の形態1に係る照明システムの全体構成を示す図である。 図2は、実施の形態1に係る照明装置が生成する画像(実施の形態1に係る照明装置が照射する照明光)を説明するための模式図である。 図3は、実施の形態1に係る照明システムの機能構成を示すブロック図である。 図4は、実施の形態1に係る照明装置の動作のフローチャートである。 図5は、画像処理部の画像処理のフローチャートである。 図6は、被写体の階層化を説明するための模式図である。 図7は、第一画像を第二画像に変換する処理を説明するための図である。 図8は、ぼかし処理を説明するための図である。 図9は、ぼかし処理がされた第二画像を階層ごとに分けて示す図である。 図10は、第二画像の別の例を示す図である。 図11は、画像処理部の時刻に応じた画像処理を説明するための図である。
以下、実施の形態に係る照明装置及び照明システムについて、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。
(実施の形態1)
[概要]
まず、実施の形態1に係る照明システムの概要について説明する。図1は、実施の形態1に係る照明システムの全体構成を示す図である。
図1に示されるように、照明システム100は、撮像装置10と、照明装置20とを備える。撮像装置10は、例えば、屋外に設けられ、照明装置20は、例えば、屋内に設けられる。撮像装置10と照明装置20とは通信ネットワーク(後述する通信ネットワーク30)で接続され、通信が可能である。
撮像装置10は、例えば、樹木などの被写体40を撮像する。撮像装置10は、被写体40が含まれる動画像(映像)を照明装置20に送信する。動画像は、時間的に連続する複数の画像(静止画)からなる。
照明装置20は、動画像を構成する画像を受信すると、当該画像に画像処理を行い、画像処理後の画像に応じて変調された照明光50を照射する。照明装置20による照明光50の照射は、照明装置20が画像(フレーム)を受信するごとにリアルタイムで行われる。これにより、照明装置20のユーザは、撮像装置10が撮影している被写体40と同様の特徴を有する照明光50(照射パターン)をリアルタイムで得ることができる。このような照明光50は、間接照明として用いられてもよいし、直接照明として用いられてもよい。
照明システム100は、例えば、図1に示されるような屋内(例えば、地下)の空間に、屋外の被写体40の特徴を有する照明光50を提供することができる。照明システム100は、具体的には、外出できない入院中の患者のために、屋外の被写体40の特徴を有する照明光50を病室に提供することができる。その他、照明システム100は、美術館またはセレモニーなどにも利用できる。
なお、以下の実施の形態では、被写体40として樹木が撮影され、照明装置20は、樹木が撮影された画像に画像処理を行うことによって、図2に示されるような木漏れ日を模した画像70を生成し、画像70に応じて変調した照明光50(画像70と同様の照明光50)を照射する。図2は、照明装置20が生成する画像(照明装置20が照射する照明光50)を説明するための模式図である。なお、画像70は、当該画像70内の被写体40と、背景部42とからなる。
[構成]
次に、照明システム100の詳細な構成について説明する。図3は、実施の形態1に係る照明システムの機能構成を示すブロック図である。
図3に示されるように、照明システム100は、撮像装置10と、照明装置20とを備える。撮像装置10と照明装置20とは、通信ネットワーク30を介して接続されている。通信ネットワーク30は、有線または無線のどのような通信ネットワークであってもよい。通信ネットワーク30は、具体的には、無線LAN(Local Area Network)、または、有線LANなどである。
まず、撮像装置10について説明する。撮像装置10は、撮像部11と、送信部12とを備える。
撮像部11は、動画像を撮像する装置である。実施の形態1では、撮像部11によって撮像される被写体40は、樹木であるが、特に限定されない。このような樹木の動画像が送信されることにより、照明装置20は、木漏れ日のような照明を行うことができる。撮像部11は、具体的には、CCD(Charge Coupled Device)イメージセンサが用いられたCCDカメラであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられたCMOSカメラであってもよく、どのようなカメラであってもよい。なお、図3では正確に図示されていないが、実施の形態1では、撮像部11は、ステレオ画像を撮像するために2つ設けられる。
送信部12は、撮像部11が撮像した動画像を送信する。送信部12は、より詳細には、撮像部11が撮像した動画像を構成する画像(フレーム)を順次送信する。送信部12は、具体的には、有線通信用の通信モジュール(通信回路)、または、無線通信用の通信モジュール(通信回路)である。なお、送信部12と第一取得部21との間で行われる通信の規格は、特に限定されない。送信部12と第一取得部21との間で無線通信が行われる場合は、国の電波利用の割り当てに沿った周波数を利用した特定小電力無線、ZigBee(登録商標)、Bluetooth(登録商標)、または、Wi−Fi(登録商標)などの通信規格が用いられる。
次に、照明装置20について説明する。照明装置20は、例えば、室内を照明する装置であって、第一取得部21と、光源22と、光学系23と、光変調部24と、照射部25と、制御部26と、記憶部27と、奥行き算出部28と、計時部29とを備える。制御部26は、画像処理部26aと、第二取得部26bとを有する。
なお、以下の説明では、画像処理部26aによって画像処理が行われる前の画像は、第一画像と記載される。第一画像は、言い換えれば、撮像部11によって撮像される動画像に含まれる1つの画像である。また、画像処理部26aによって画像処理が行われた後の画像は、第二画像と記載される。
第一取得部21は、撮像装置10による被写体40の撮像により生成された第一画像を取得する。第一取得部21は、具体的には、送信部12に対応する通信モジュール(通信回路)であり、送信部12から第一画像を順次受信する。なお、実施の形態1では、第一取得部21は、被写体40を第一画像の撮像位置とは別の位置(別の角度)から撮影した第三画像も取得する。第一画像及び第三画像は、いわゆるステレオ画像を構成し、奥行き情報の算出に用いられる。なお、第三画像の取得は必須ではない。
光源22は、白色光を発する光源である。光源22は、具体的には、放電ランプ、または、発光ダイオード(LED)、半導体レーザー、有機EL(Electro Luminescence)、もしくは無機EL等の固体発光素子を用いた光源である。
光学系23は、光源22が発する光を光変調部24に導くための光学系である。実施の形態1では、光学系23は、具体的には、プロジェクタ等に使用される単板式の光学系であるが、プロジェクタ等に使用される3板式の光学系であってもよい。なお、光学系23には、具体的には、各種レンズ(コリメートレンズ、インテグレータレンズ、及び集光レンズなど)、各種ミラー(反射ミラー、及び、ダイクロイックミラー)、及び、偏光ビームスプリッタなどの光学部材が含まれる。
光変調部24は、後述する画像処理部26aによって画像処理された後の第一画像である第二画像に応じて光源22からの光を変調する。言い換えれば、光変調部24は、光学系23によって当該光変調部24に導かれた光を第二画像に応じた光に変換して出力する。光変調部24は、具体的には、透過型液晶パネルであるが、マイクロミラーアレイまたは反射型液晶パネルであってもよい。なお、光学系23として3板式の光学系が用いられる場合は、光変調部24は、3つの透過型液晶パネルからなる。
照射部25は、変調された光を照射する。照射部25は、具体的には、光を対象物に投射する投射レンズである。
制御部26は、光源22のオン及びオフ、並びに、光変調部24の制御を行う制御装置である。また、制御部26は、第一画像の記憶部27への記憶を行う。制御部26は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路などにより実現される。
また、制御部26は、画像処理部26aと、第二取得部26bとを有する。
画像処理部26aは、第一取得部21によって取得された画像を画像処理する。画像処理部26aが行う画像処理の具体的な内容については後述する。
第二取得部26bは、第一画像内の被写体40の奥行きを示す奥行き情報を取得する。実施の形態1では、第二取得部26bは、奥行き算出部28によって算出された奥行き情報を取得する。なお、後述するように、奥行き算出部28が照明装置20の外部に設けられる場合であって、奥行き情報が通信ネットワーク30を通じて送信される場合には、第一取得部21が第二取得部26bの機能を兼ね備え、制御部26は、第二取得部26bを備えなくてもよい。
記憶部27は、第一取得部21によって取得された画像(第一画像及び第二画像)が一時的に記憶(バッファ)される記憶装置である。画像の記憶は、制御部26によって行われる。また、記憶部27には、制御部26及び画像処理部26aが実行するプログラムも記憶される。記憶部27は、具体的には、半導体メモリなどにより実現される。
奥行き算出部28は、第一取得部21によって取得された第一画像及び第三画像に基づいて第一画像内の被写体40の奥行き情報を算出する。奥行き算出部28は、具体的には、第一画像の撮像位置と第二画像の撮像位置との間隔、第一画像の撮像部11の焦点距離、第一画像及び第三画像の対応する特徴点の左右方向の位置ずれ量を用いた三角測量により被写体40の奥行きを算出する。奥行き情報は、具体的には、第一画像に対応する奥行き画像(デプスマップ)などであるが、被写体40の奥行きを示す情報であればどのような情報であってもよい。なお、奥行き画像を構成する画素は、奥行き値を示す。
この場合の奥行き算出部28は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路などにより実現される。第一画像の撮像位置と第二画像の撮像位置との間隔、及び、第一画像の撮像部11の焦点距離は、あらかじめ記憶部27に記憶される。
なお、奥行き情報の算出方法は特に限定されない。例えば、奥行き算出部28は、DFD(Depth From Defocus)法を用いて奥行き情報を算出してもよい。
また、奥行き算出部28は、必須の構成要素ではなく、照明装置20とは異なる外部装置が奥行き算出部28を有してもよい。ここでの外部装置は、例えば、撮像装置10である。
撮像装置10が有する奥行き算出部28は、上記三角測量またはDFD法により奥行き情報を算出してもよいし、TOF(Time Of Flight)法を用いて奥行き情報を算出してもよい。TOF法が用いられる場合の奥行き算出部28は、具体的には、TOFセンサである。
計時部29は、計時部29は、現在の時刻(年月日を含む)を計測する計時装置である。計時部29は、具体的には、リアルタイムクロックICなどであるが、どのような態様であってもよい。
[照明装置の動作]
次に、照明装置20の動作について説明する。図4は、照明装置20の動作のフローチャートである。
まず、照明装置20の第一取得部21は、撮像装置10による被写体40の撮像により生成された第一画像を取得する(S11)。なお、実施の形態1では、第一画像に加えて第三画像も取得される。
次に、画像処理部26aは、第一画像における画像処理の対象領域を選択する(S12)。照明装置20が有するリモートコントローラなどのユーザインターフェース(図3で図示せず)を通じてユーザによって指定される。なお、対象領域の選択は必須ではなく、第一画像の全体が対象領域とされてもよい。以下の説明では、画像処理部26aによって選択された第一画像の対象領域のことも第一画像と記載する。
次に、奥行き算出部28は、第一取得部21によって取得された第一画像及び第三画像を用いて、第一画像内の被写体40の奥行きを示す奥行き情報を算出する(S13)。第二取得部26bは、奥行き算出部28によって算出された奥行き情報を取得する。
次に、画像処理部26aは、取得された第一画像及び取得された奥行き情報に基づく画像処理を第一画像に行うことによって第二画像を生成する。つまり、第一画像を第二画像に変換する(S14)。
最後に、光変調部24は、第二画像に応じて光源からの光を変調し、照射部25は、変調された光を照射する(S15)。
[画像処理部の画像処理]
次に、画像処理部26aの画像処理について説明する。図5は、画像処理部26aの画像処理のフローチャートである。
まず、画像処理部26aは、第二取得部26bによって取得された奥行き情報に基づいて、第一画像内の被写体40を所定の奥行きごとに階層化する(S21)。図6は、被写体40の階層化を説明するための模式図である。
図6の例に示されるように、撮像装置10によって被写体40を撮像することにより第一画像が生成されているとすると、画像処理部26aは、奥行き情報に基づいて、第一画像内の被写体40の最近部ndと、最遠部fdとを特定する。そして、最遠部fdから最近部ndまでの距離を所定の奥行きdごとに階層化する。所定の奥行きdは、最遠部fdから最近部ndまでの距離を階層数(図6の例では、4)で割ることにより定められる。この結果、最近部ndから最遠部fdに向かって階層d1、階層d2、階層d3、及び、階層d4の4つの階層が生成される。なお、階層数及び所定の奥行きdは特に限定されない。
なお、画像処理部26aは、第一画像のうち、最近部ndよりも近いと判定される領域、及び、最遠部fdよりも遠いと判定される領域については、背景部42とする。
次に、画像処理部26aは、被写体40の濃淡が階層ごとに異なる単色の画像である第二画像を生成する(S22)。画像処理部26aは、取得された第一画像を、当該第一画像内の被写体40の単色の濃淡が階層ごとに異なる第二画像に変換する。言い換えれば、画像処理部26aは、取得された第一画像を、当該第一画像内の被写体40が単色の濃淡で表現された第二画像であって、当該濃淡が奥行き情報が示す奥行きに応じて異なる第二画像に変換する。図7は、第一画像を第二画像に変換する処理を説明するための図である。なお、図7では、被写体40の一部である樹木の葉が例示されている。
図7に示されるように、画像処理部26aは、第一画像内の被写体40のうち、奥側の階層に属する部分(画素)ほど、濃いグレーとなるように色を付与する。例えば、第一画像内の被写体40のうち、最も手前に位置する階層d1に属する部分は、黒または黒に近いグレーが付与される。第一画像内の被写体40のうち、最も奥に位置する階層d4に属する部分は、白に近いグレーが付与される。背景部42には、白色が付与される。
なお、各階層に付与される色は、記憶部27に記憶された制御プログラムに基づいて決定されてもよい。また、各階層と、各階層に属する部分に付与される色との対応関係が記憶部27に記憶され、このような対応関係に基づいて各階層に付与される色が決定されてもよい。
また、第二画像は、単色の濃淡で表現された画像であればよく、例えば、青色(青系の色)の濃淡で表現された画像であってもよい。
次に、画像処理部26aは、さらに、第二画像内の被写体40に、奥行き情報が示す奥行きに応じてぼかし処理を行う(S23)。図8は、ぼかし処理を説明するための図である。なお、図8では、被写体40の一部である樹木の葉が例示されている。
図8に示されるように、画像処理部26aは、画像処理部26aは、第一画像内の被写体40のうち奥側の階層に属する部分(画素)ほど強いぼかし処理を行う。例えば、第一画像内の被写体40のうち、最も手前に位置する階層d1に属する部分は、ぼかし処理が行われないか、または、微弱なぼかし処理が行われる。第一画像内の被写体40のうち、最も奥に位置する階層d4に属する部分には、強いぼかし処理が行われる。
なお、ぼかし処理は、例えば、背景部42を白色として、処理対象の画素の色を、当該画素の色及び当該画素を囲む画素の色の平均とする処理である。この場合、ぼかしの強度は、周囲の画素の数を増やして色の平均を算出することで強くなる。なお、このようなぼかし処理は、一例であり、ステップS23においては、既存のどのようなぼかし処理が行われてもよい。
図9は、以上のようなステップS22及びステップS23により得られる第二画像を、階層ごとに分けて示す図である。図9に示されるような階層ごとの画像が合成(重畳)された第二画像が、上述の図2に示される画像70である。
ところで、図10に示される第二画像80のように、黒または黒に近いグレーの領域が多いと、照明装置20から照射される光に暗い部分が多くなる。図10は、第二画像の別の例を示す図である。暗い部分が多い光は照明としては好ましくない場合がある。
そこで、画像処理部26aは、第二画像の全体に占める被写体40の割合を算出し(S24)、算出した割合が所定値よりも大きいか否かを判定する(S25)。所定値は、実施の形態1では50%であるが、特に限定されない。上記所定値は、例えば、10%以上90%以下の任意の値とされる。なお、この所定値は、照明装置20が有するユーザインターフェースを通じてユーザによって変更されてもよい。
そして、画像処理部26aは、算出した割合が所定値よりも大きい場合(S25でYes)、第二画像における被写体40の一部を、背景部42と同じ色にすることにより間引く(S26)。画像処理部26aは、より具体的には、第二画像内の被写体40の階層d1に属する葉の輪郭を、第二画像内の輝度変化に基づくエッジ検出によって特定し、特定された輪郭によって囲まれた領域をランダムに背景部42と同じ色にする。これにより、階層d1に属する葉が間引かれる。これにより、照明装置20から照射される光の明るい部分を増やすことができる。
一方、画像処理部26aは、算出した割合が所定値以下である場合(S25でNo)、画像処理を終了する。
以上、画像処理部26aが行う画像処理について説明した。なお、図5のフローチャートに示されるステップ及びステップの順序は、一例である。例えば、ステップS23以降は省略されてもよい。また、例えば、ステップS24〜ステップS26は、ステップS22とステップS23との間に行われてもよい。
また、上記ステップS22においては、画像処理部26aは、第一画像内の被写体40のうち、奥側の階層に属する部分ほど、濃いグレーとなるように色を付与したが、第一画像内の被写体40のうち奥側の階層に属する部分ほど薄いグレーとなるように色を付与してもよい。また、上記ステップS23においては、画像処理部26aは、第一画像内の被写体40のうち奥側の階層に属する部分ほど、強いぼかし処理を行ったが、第一画像内の被写体40のうち奥側の階層に属する部分ほど、弱いぼかし処理を行ってもよい。
[変形例1]
上記実施の形態1では、画像処理部26aは、第二画像における被写体40以外の部分である背景部42を白色としたが、色度座標における黒体軌跡上の単色(白色)としてもよい。
また、画像処理部26aは、例えば、計時部29が計測した時刻に応じて背景部42の単色を色度座標における黒体軌跡上で変化させてもよい。つまり、画像処理部26aは、時刻に応じて背景部42の色温度を変化させてもよい。図11は、画像処理部26aの時刻に応じた画像処理を説明するための図である。
図11に示されるように太陽光の色温度は、一日の時刻に応じて変化する。具体的には、太陽光の色温度は、朝及び夕方には低く、正午付近には高い。ここで、照明装置20が照射する光は、木漏れ日を模した光であるため、画像処理部26aは、背景部42の色温度を時刻に応じて変化させてもよい。画像処理部26aは、例えば、朝及び夕方の時間帯には、背景部42の色温度を2700K程度まで下げ、昼間は背景部42の色温度を6500K程度まで上げてもよい。これにより、照明装置20が照射する光に、より太陽光に近い雰囲気を与えることができる。
なお、色温度の変化は、例えば、光源22が色温度が異なる複数種類の発光素子から構成されることにより、複数種類の発光素子の光出力を制御部26が制御することによって実現される。色温度の変化は、制御部26が光変調部24の制御(光変調部24から照射部25へ出射されるRGB出力の制御)を行うことにより実現されてもよい。
また、時刻に応じた色温度の変化は、例えば、時刻と色温度との対応関係が記憶部27に記憶されていれば実現可能である。画像処理部26aは、計時部29が測定した時刻と、上記対応関係とを照合することにより、背景部42の色温度を変化させることができる。
[変形例2]
また、被写体40が樹木である場合、図10に示される被写体40(樹木)の影43は、一日の時間帯(時刻)によってその方向が異なる。上述のように、照明装置20が照射する光は、このような樹木の影の間から覗く木漏れ日を模した光である。そこで、図10に示されるように、画像処理部26aは、例えば、計時部29が計測した時間に応じて第二画像内の被写体40の少なくとも一部を変形させてもよい。なお、被写体40の一部は、例えば、樹木の葉44であり、ここでの変形は、回転及び伸縮である。第二画像内の葉44は、第二画像内の輝度変化に基づくエッジ検出、または、パターンマッチングなどの既存の方法を用いて特定される。
これにより、照明装置20が照射する光に、より実際の木漏れ日に近い雰囲気を与えることができる。
なお、このような第二画像内の被写体40の変形は、例えば、時刻と、回転量、伸縮量、及び伸縮方向引き伸ばし量との対応関係が記憶部27に記憶されていれば実現可能である。画像処理部26aは、計時部29が測定した時刻と、上記対応関係とを照合することにより第二画像内の葉44を変形することができる。
[変形例3]
また、照明システム100は、通信ネットワーク30を通じて通信が可能な風速測定装置を備えてもよい。風速測定装置は、例えば、撮像装置10の近傍、または、撮像装置10が撮像する被写体40の近傍に配置される。
照明装置20の第一取得部21は、上記のように配置された風速測定装置から風速測定装置の近傍の風速を示す風速情報を取得し、画像処理部26aは、取得された風速情報に応じて第二画像内の被写体40の揺れを強調する処理を行ってもよい。
風による被写体40の動きは、第二画像、つまり、照明装置20が発する光に反映されるが、上記被写体40の揺れを強調する処理は、この被写体40の揺れをさらにオーバーに第二画像に反映する処理である。画像処理部26aは、取得された風速情報が強い風速を示すほど、揺れを強調する。
画像処理部26aは、例えば、記憶部27に一時的に記憶された時間的に連続する2つの第二画像間において被写体40の動きベクトルを算出する。画像処理部26aは、2つの第二画像のうち時間的に後の第二画像において、算出された動きベクトルにより定められる被写体40の移動方向に被写体40の位置をさらに移動させることで揺れを強調できる。なお、このような処理は、一例であり、画像処理部26aは、他の方法で、第二画像内の被写体40の揺れを強調してもよい。
このような処理によれば、照明装置20が照射する光に、被写体40の揺れを強調して反映することができる。
[効果等]
以上説明したように、照明装置20は、撮像装置10による被写体40の撮像により生成された第一画像を取得する第一取得部21と、第一画像内の被写体40の奥行きを示す奥行き情報を取得する第二取得部26bとを備える。照明装置20は、取得された第一画像を、当該第一画像内の被写体40が単色の濃淡で表現された第二画像であって、当該濃淡が前記奥行き情報が示す奥行きに応じて異なる第二画像に変換する画像処理部26aを備える。照明装置20は、光源22と、第二画像に応じて光源22からの光を変調する光変調部24と、変調された光を照射する照射部25とを備える。
これにより、照明装置20は、撮像装置10によって撮像された被写体40の特徴を有し、かつ、室内照明に適した光を照射することができる。言い換えれば、照明装置20は、画像を用いて照明に適した光を生成することができる。
また、画像処理部26aは、第一画像内の被写体40のうち奥行き情報が示す奥行きが奥側を示す部分ほど単色を薄くしてもよい。また、画像処理部26aは、第一画像内の被写体40のうち奥行き情報が示す奥行きが奥側を示す部分ほど単色を濃くしてもよい。
これにより、照明装置20は、被写体40の奥側ほど色が薄い光、または、被写体40の奥側ほど色が濃い光を照射することができる。
また、画像処理部26aは、さらに、第二画像内の被写体40に、奥行き情報が示す奥行きに応じてぼかし処理を行ってもよい。
これにより、照明装置20は、奥行きに応じてぼかし処理がされた被写体40を含む光を照射することができる。
また、画像処理部26aは、第一画像内の被写体40のうち奥行き情報が示す奥行きが奥側を示す部分ほど強いぼかし処理を行ってもよい。また、画像処理部26aは、第一画像内の被写体40のうち奥行き情報が示す奥行きが奥側を示す部分ほど弱いぼかし処理を行ってもよい。
これにより、照明装置20は、被写体40の奥側ほど強くぼけた光、または、被写体40の奥側ほど弱くぼけた光を照射することができる。
また、第二画像内の被写体40は、グレースケールで表現された画像であってもよい。
これにより、照明装置20は、被写体40がグレースケールで表現された光を照射することができる。
また、画像処理部26aは、奥行き情報に基づいて、第一画像内の被写体40を所定の奥行きごとに階層化し、第一画像を、第一画像内の被写体40の単色の濃淡が階層ごとに異なる第二画像に変換してもよい。
これにより、照明装置20は、階層ごとに被写体40の濃淡が異なる光を照射することができる。
また、画像処理部26aは、第二画像における被写体40以外の部分である背景部42を色度座標における黒体軌跡上の単色としてもよい。
これにより、照明装置20は、被写体40を含む光であって、当該被写体40の背景部42が色度座標における黒体軌跡上の単色である光を照射することができる。
また、照明装置20は、さらに、時刻を計測する計時部29を備え、画像処理部26aは、計時部29が計測した時刻に応じて背景部42の単色を黒体軌跡上で変化させてもよい。
これにより、照明装置20は、太陽光のように時刻に応じて背景部42の色温度が変化する光を照射することができる。
また、画像処理部26aは、第二画像の全体に占める被写体40の割合を算出し、算出した割合が所定値よりも大きい場合に、第二画像における被写体40の一部を、第二画像における被写体40以外の部分である背景部42と同じ色にすることにより間引いてもよい。
これにより、照明装置20は、被写体40と背景部42との割合が調整された光を照射することができる。
また、さらに、時刻を計測する計時部29を備え、画像処理部26aは、計時部29が計測した時刻に応じて第二画像内の被写体40の少なくとも一部を変形させてもよい。
これにより、照明装置20は、屋外の被写体40の影のように時刻に応じて被写体40の一部が変形する光を照射することができる。
また、照明システム100は、照明装置20と、撮像装置10とを備える。
これにより、照明システム100は、撮像装置10によって撮像された被写体40の特徴を有し、かつ、室内照明に適した光を照射することができる。言い換えれば、照明システム100は、動画像を用いて照明に適した光を生成することができる。
(その他の実施の形態)
以上、実施の形態について説明したが、本発明は上記実施の形態には限定されない。
例えば、上記実施の形態では、被写体として樹木が用いられたが、他の風景などが被写体として用いられてもよい。被写体としては、撮像装置からの距離が異なる部分を有する(撮像装置から見て凸凹がある)ものがよい。
また、上記実施の形態で説明された光学系は、一例であり、照明装置にはどのような光学系が採用されてもよい。例えば、照明装置の光源として青色LEDまたは青色レーザが採用される場合には、蛍光体ホイールを用いた光学系が採用されてもよい。
また、上記実施の形態において、制御部及び画像処理部などの各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。例えば、本発明は、照明装置が備える画像処理部が実行する画像処理方法として実現されてもよい。また、照明装置が備える画像処理部が行う処理をコンピュータに実行させるためのプログラムとして実現されてもよい。
また、上記実施の形態において説明された照明装置の動作における複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
11 撮像部
12 送信部
20 照明装置
21 第一取得部
22 光源
24 光変調部
25 照射部
26a 画像処理部
26b 第二取得部
28 奥行き算出部
29 計時部
40 被写体
42 背景部
80 第二画像
100 照明システム

Claims (12)

  1. 撮像装置による被写体の撮像により生成された第一画像を取得する第一取得部と、
    前記第一画像内の前記被写体の奥行きを示す奥行き情報を取得する第二取得部と、
    取得された前記第一画像を、当該第一画像内の前記被写体が単色の濃淡で表現された第二画像であって、当該濃淡が前記奥行き情報が示す奥行きに応じて異なる第二画像に変換する画像処理部と、
    光源と、
    前記第二画像に応じて前記光源からの光を変調する光変調部と、
    変調された光を照射する照射部とを備える
    照明装置。
  2. 前記画像処理部は、前記第一画像内の前記被写体のうち前記奥行き情報が示す奥行きが奥側を示す部分ほど前記単色を薄くする、または、前記第一画像内の前記被写体のうち前記奥行き情報が示す奥行きが奥側を示す部分ほど前記単色を濃くする
    請求項1に記載の照明装置。
  3. 前記画像処理部は、
    さらに、前記第二画像内の前記被写体に、前記奥行き情報が示す奥行きに応じてぼかし処理を行う
    請求項1または2に記載の照明装置。
  4. 前記画像処理部は、前記第一画像内の前記被写体のうち前記奥行き情報が示す奥行きが奥側を示す部分ほど強いぼかし処理を行う、または、前記第一画像内の前記被写体のうち前記奥行き情報が示す奥行きが奥側を示す部分ほど弱いぼかし処理を行う
    請求項3に記載の照明装置。
  5. 前記第二画像内の前記被写体は、グレースケールで表現される
    請求項1〜4のいずれか1項に記載の照明装置。
  6. 前記画像処理部は、
    前記奥行き情報に基づいて、前記第一画像内の前記被写体を所定の奥行きごとに階層化し、
    前記第一画像を、前記第一画像内の前記被写体の前記単色の濃淡が階層ごとに異なる前記第二画像に変換する
    請求項1〜5のいずれか1項に記載の照明装置。
  7. 前記画像処理部は、前記第二画像における前記被写体以外の部分である背景部を色度座標における黒体軌跡上の単色とする
    請求項1〜6のいずれか1項に記載の照明装置。
  8. さらに、時刻を計測する計時部を備え、
    前記画像処理部は、前記計時部が計測した時刻に応じて前記背景部の単色を前記色度座標における黒体軌跡上で変化させる
    請求項7に記載の照明装置。
  9. 前記画像処理部は、
    前記第二画像の全体に占める前記被写体の割合を算出し、
    算出した割合が所定値よりも大きい場合に、前記第二画像における前記被写体の一部を、前記第二画像における前記被写体以外の部分である背景部と同じ色にすることにより間引く
    請求項1〜8のいずれか1項に記載の照明装置。
  10. さらに、時刻を計測する計時部を備え、
    前記画像処理部は、前記計時部が計測した時刻に応じて前記第二画像内の被写体の少なくとも一部を変形させる
    請求項1〜9のいずれか1項に記載の照明装置。
  11. 請求項1〜10のいずれか1項に記載の照明装置と、
    前記撮像装置とを備える
    照明システム。
  12. 請求項1〜10のいずれか1項に記載の照明装置が備える前記画像処理部が行う処理をコンピュータに実行させるためのプログラム。
JP2015175061A 2015-09-04 2015-09-04 照明装置、照明システム、及びプログラム Pending JP2017050830A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015175061A JP2017050830A (ja) 2015-09-04 2015-09-04 照明装置、照明システム、及びプログラム
US15/248,433 US10110865B2 (en) 2015-09-04 2016-08-26 Lighting device, lighting system, and program
DE102016116215.9A DE102016116215A1 (de) 2015-09-04 2016-08-31 Beleuchtungsvorrichtung, Beleuchtungssystem und Programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015175061A JP2017050830A (ja) 2015-09-04 2015-09-04 照明装置、照明システム、及びプログラム

Publications (1)

Publication Number Publication Date
JP2017050830A true JP2017050830A (ja) 2017-03-09

Family

ID=58054811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015175061A Pending JP2017050830A (ja) 2015-09-04 2015-09-04 照明装置、照明システム、及びプログラム

Country Status (3)

Country Link
US (1) US10110865B2 (ja)
JP (1) JP2017050830A (ja)
DE (1) DE102016116215A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801938B (zh) * 2018-12-27 2022-08-26 杜比实验室特许公司 在支持三维(3d)的显示器上渲染广色域、二维(2d)图像

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07142176A (ja) * 1993-11-15 1995-06-02 Takenaka Komuten Co Ltd 照明装置
JP2006279546A (ja) * 2005-03-29 2006-10-12 Nikon Corp 電子カメラ、画像処理プログラム、および画像処理方法
JP2006308660A (ja) * 2005-04-26 2006-11-09 New Industry Research Organization 無騒音プロジェクタ装置、それを用いた天井投影システム及び寝たきり者のバーチャルアクションシステム
JP2009081822A (ja) * 2007-09-03 2009-04-16 Sharp Corp データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
JP2014102614A (ja) * 2012-11-19 2014-06-05 Sharp Corp 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150493A (ja) 1990-10-12 1992-05-22 Fujitsu Ltd 両眼立体視装置の照明制御方法および装置
US6088470A (en) * 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
JP3017183B1 (ja) 1998-10-15 2000-03-06 株式会社ファンテックス 移動体の自動追尾照明制御システム
JP3918392B2 (ja) 2000-02-03 2007-05-23 シーシーエス株式会社 Ledを用いた製品検査用ライン照明装置
WO2004112401A1 (ja) * 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
US7359545B2 (en) * 2003-12-31 2008-04-15 Tokyo Electron Limited Method and system to compensate for lamp intensity differences in a photolithographic inspection tool
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
JP4672658B2 (ja) * 2006-04-26 2011-04-20 三菱電機株式会社 物体検出装置及びエレベータの物体検出装置
WO2008044732A1 (fr) * 2006-10-11 2008-04-17 Nikon Corporation Dispositif, procédé et programme de traitement d'image
EP2172737B1 (en) * 2007-08-06 2013-04-24 Kabushiki Kaisha Kobe Seiko Sho Tire shape measuring system
JP2009129795A (ja) 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd スポットライト
WO2009139154A1 (ja) * 2008-05-14 2009-11-19 パナソニック株式会社 撮像装置及び撮像方法
JP2010134363A (ja) 2008-12-08 2010-06-17 Canon Inc 照明制御装置および方法
US7991498B2 (en) * 2009-02-03 2011-08-02 Objet Geometries Ltd. Method and system for building painted three-dimensional objects
US8411970B2 (en) * 2010-03-16 2013-04-02 Pixia Corp. Method and system for determining statistical data for image pixels having a higher bit depth per band
JP2013012820A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
JP5702755B2 (ja) * 2012-07-24 2015-04-15 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6107006B2 (ja) * 2012-09-06 2017-04-05 セイコーエプソン株式会社 プロジェクター
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
KR102089624B1 (ko) * 2013-09-02 2020-03-16 삼성전자주식회사 이미지를 합성하기 위한 방법 및 그 전자 장치
JPWO2015136644A1 (ja) * 2014-03-12 2017-04-06 パイオニア株式会社 撮像装置、プログラム、及び撮像システム
EP2928269A1 (en) * 2014-04-04 2015-10-07 LG Electronics Inc. Lighting system and control method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07142176A (ja) * 1993-11-15 1995-06-02 Takenaka Komuten Co Ltd 照明装置
JP2006279546A (ja) * 2005-03-29 2006-10-12 Nikon Corp 電子カメラ、画像処理プログラム、および画像処理方法
JP2006308660A (ja) * 2005-04-26 2006-11-09 New Industry Research Organization 無騒音プロジェクタ装置、それを用いた天井投影システム及び寝たきり者のバーチャルアクションシステム
JP2009081822A (ja) * 2007-09-03 2009-04-16 Sharp Corp データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
JP2014102614A (ja) * 2012-11-19 2014-06-05 Sharp Corp 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US20170070712A1 (en) 2017-03-09
DE102016116215A1 (de) 2017-03-09
US10110865B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
US9906774B2 (en) Method and apparatus for obtaining 3D image
JP5108093B2 (ja) 撮像装置及び撮像方法
TWI477123B (zh) 多功能控制照明裝置
US10194129B2 (en) Method of taking pictures for generating three-dimensional image data
CN104660946B (zh) 投影机及其控制方法
US10477167B2 (en) Image processing apparatus and image processing method
KR20130138225A (ko) 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
CN104160692A (zh) 用于图像和目标增强的方法以及光照系统
JP2019057797A (ja) 暗視撮像装置
US11323673B2 (en) Method for operating control apparatus, and projector
US8902309B2 (en) Apparatus of acquiring 3D information, method for driving light source thereof, and system for acquiring 3D information
JP7090447B2 (ja) 画像処理装置
JP2017050830A (ja) 照明装置、照明システム、及びプログラム
JP6390885B2 (ja) 照明演出システム及びプログラム
JP2018204976A (ja) 距離測定装置、距離測定方法及び撮像装置
JP2009216767A (ja) プロジェクタ
US11582396B2 (en) Information processing device, information processing method, and recording medium
JP6642032B2 (ja) プロジェクター及びプロジェクターの制御方法
US20200288053A1 (en) Information processing apparatus, information processing method, program, and lighting system
US9992459B2 (en) Lighting apparatus and lighting system
CN115314641A (zh) 摄像设备的控制方法和装置、存储介质及电子装置
CN106534721B (zh) 分辨前景的成像装置及其运作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903