JP2020031332A - 電子機器、電子機器の制御装置、制御プログラムおよび制御方法 - Google Patents

電子機器、電子機器の制御装置、制御プログラムおよび制御方法 Download PDF

Info

Publication number
JP2020031332A
JP2020031332A JP2018155720A JP2018155720A JP2020031332A JP 2020031332 A JP2020031332 A JP 2020031332A JP 2018155720 A JP2018155720 A JP 2018155720A JP 2018155720 A JP2018155720 A JP 2018155720A JP 2020031332 A JP2020031332 A JP 2020031332A
Authority
JP
Japan
Prior art keywords
image
angle camera
narrow
wide
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018155720A
Other languages
English (en)
Inventor
傑謙 藤澤
Masakane Fujisawa
傑謙 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018155720A priority Critical patent/JP2020031332A/ja
Priority to CN201910755647.8A priority patent/CN110858875B/zh
Priority to US16/543,046 priority patent/US11012640B2/en
Publication of JP2020031332A publication Critical patent/JP2020031332A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行う。【解決手段】電子機器(100a)の制御装置(6)は、狭角カメラ(1)で撮影した狭角画像から人物画像を抽出する人物領域抽出部(61)と、広角カメラ(2)で撮影した広角画像から背景画像を抽出する背景領域抽出部(62)と、上記背景画像と上記人物画像とを合成する画像合成部(63)とを備え、狭角カメラ(1)の撮影方向と広角カメラ(2)の撮影方向とが筐体に対して同じ側を撮影するように設定されている。【選択図】図1

Description

本発明は、電子機器、電子機器の制御装置、制御プログラムおよび制御方法に関する。
特許文献1には、一人の撮影者が自身と景色とを同時に撮影して各画像を重畳させることにより所望の背景に自身を写し込める画像生成装置が開示されている。この画像生成装置では、スマートフォンの一方側の主面(正面)にはディスプレイと共に第1撮像素子および第1カメラレンズが配置されている。一方、他方側の主面(背面)には第2撮像素子および第2カメラレンズが配置されている。
また、この画像生成装置の制御装置は、人物領域抽出部、人物領域追跡部、重畳画像生成部および表示制御部を備えている。人物領域抽出部は、撮像素子で撮影された正面画像から人物領域の画像を抽出するようになっている。人物領域追跡部は、人物領域の正面画像内での現在位置を追跡するようになっている。重畳画像生成部は、撮像素子で撮影された景色画像に人物領域の画像を重畳して重畳画像を生成するようになっている。表示制御部は、各画像を切り替えてディスプレイに出力するようになっている。
特開2014−39186号公報(2014年2月27日公開)
しかしながら、上記従来技術では、背景が存在する方向と対向する方向に存在する人物を撮影するので、背景の中で人物の位置を合わせにくいという問題点がある。また、光の当たり方が異なり、合成画像が不自然になるという問題点がある。
本発明の一態様は、以上の問題点に鑑みて為されたものであり、その目的は、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができる電子機器などを提供することにある。
上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも1つの狭角カメラと、少なくとも1つの広角カメラと、少なくとも1つの制御装置とを備えた電子機器であって、上記制御装置は、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、上記広角カメラで撮影した画像を背景画像とし、上記背景画像と上記人物画像とを合成する画像合成処理とを行い、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。
上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも1つの狭角カメラと、少なくとも1つの広角カメラと、少なくとも1つの制御装置とを備えた電子機器であって、上記制御装置は、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、上記広角カメラで撮影した広角画像から背景画像を抽出する背景画像抽出処理と、上記背景画像と上記人物画像とを合成する画像合成処理とを行い、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。
上記の課題を解決するために、本発明の一態様に係る電子機器の制御装置は、少なくとも1つの狭角カメラと、少なくとも1つの広角カメラとを備えた電子機器の制御装置であって、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出部と、上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出部と、上記背景画像と上記人物画像とを合成する画像合成部とを備え、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。
上記の課題を解決するために、本発明の一態様に係る電子機器の制御方法は、少なくとも1つの狭角カメラと、少なくとも1つの広角カメラとを備えた電子機器の制御方法であって、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出ステップと、上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出ステップと、上記背景画像と上記人物画像とを合成する画像合成処理ステップとを含み、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている方法である。
本発明の一態様によれば、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができるという効果を奏する。
本発明の実施形態1に係る電子機器の概要構成を示すブロック図である。 上記電子機器の動作の流れを示すフローチャートである。 狭角画像から人物画像を抽出し、広角画像から背景画像を抽出し、人物画像と背景画像とを合成して合成画像を生成するまでの様子を示す図である。 本発明の実施形態2に係る電子機器の概要構成を示すブロック図である。 本発明の実施形態3に係る電子機器の概要構成を示すブロック図である。 本発明の実施形態4に係る電子機器の概要構成を示すブロック図である。 上記電子機器の動作の流れを示すフローチャートである。 狭角画像から人物画像を抽出し、人物画像と広角画像としての背景画像とを合成して合成画像を生成するまでの様子を示す図である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。図1に示すように実施形態1に係る電子機器100aは、狭角カメラ1、広角カメラ2、DSP3、DSP4、記憶装置5、制御装置6および表示装置7を備える。
本実施形態の電子機器100aは、筐体の同一面上に狭角カメラ1および広角カメラ2を設け、狭角カメラ1で撮影した狭角画像から人物画像を抽出し、広角カメラ2で撮影した広角画像から背景画像を抽出し、上記人物画像と上記背景画像とを合成した合成画像を生成する処理を行う装置である。
狭角カメラ1は、カメラのレンズとして狭角レンズを備えるカメラである。狭角レンズは、カメラの画角が標準よりも狭いレンズである。または、カメラの画角が広角レンズの画角よりも狭いレンズである。狭角カメラ1は、近くの人物にピントを合わせて撮影するのに適している。
広角カメラ2は、カメラのレンズとして広角レンズを備えるカメラである。広角レンズは、カメラの画角が標準よりも広いレンズである。または、カメラの画角が狭角レンズの画角よりも広いレンズである。広角カメラ2は、遠くの広い範囲の背景にピントを合わせて撮影するのに適している。
なお、狭角カメラ1の撮影方向と広角カメラ2の撮影方向とが筐体に対して同じ側を撮影するように設定されていることが好ましい。例えば、狭角カメラ1および広角カメラ2は、それぞれ、電子機器100aの筐体の同一面上に設けられていることが好ましい。これにより、背景と同じ方向にいる人物を撮影するので、背景の中で人物の位置を合わせ易くすることができ、光の当たり方も同じで自然な合成を行うことができる。
DSP(Digital Signal Processor)3,4は、デジタル信号処理に特化したマイクロプロセッサであり、一般にリアルタイムコンピューティングで使用される。記憶装置5には、狭角カメラ1で撮影した狭角画像、および広角カメラ2で撮影した広角画像が記憶される。
制御装置6は、電子機器100aの各部を統括的に制御する装置であり、人物領域抽出部61、背景領域抽出部62、画像合成部63および表示制御部64を備える。なお、狭角カメラ1、広角カメラ2および制御装置6のそれぞれは、単一であっても良いし、複数であっても良い。
人物領域抽出部61は、狭角カメラ1で撮影した狭角画像から人物画像を抽出する。より具体的には、人物領域抽出部61は、画像認識により、人物のエッジ部分を抽出し、そのデータから人物画像を抽出する。
また、背景領域抽出部62は、広角カメラ2で撮影した広角画像から背景画像を抽出する。より具体的には、背景領域抽出部62は、画像認識により、背景のエッジ部分を抽出し、そのデータから背景画像を抽出する。あるいは、広角画像から人物のエッジ部分を抽出し、当該画像データから人物画像の領域を抜き取った画像データを背景画像とする処理でもよい。
また、画像合成部63は、上記背景画像と上記人物画像とを合成して合成画像を生成する。表示制御部64は、画像合成部63が生成した合成画像を表示装置7に表示する。表示装置7は、表示制御部64の制御に従って合成画像を表示する。また、表示制御部64は、合成前の上記背景画像と上記人物画像とを表示装置7にプレビュー画像として表示させることもできる。また、画像合成部63は、ユーザが上記プレビュー画像を見ながら、上記背景画像と上記人物画像との位置を調整して合成画像を生成することが可能になっている。
上記構成によれば、狭角カメラ1の撮影方向と広角カメラ2の撮影方向とが筐体に対して同じ側を撮影するように設定されている。このため、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができる。
次に、図2に示すフローチャートに基づき、電子機器100aの動作について説明する。ステップS(以下、「ステップ」は省略する)101では、制御装置6が、狭角カメラ1を起動して、S102に進む。
S102では、狭角カメラ1にて狭角画像を撮影してS103に進む。図3の(a)は、狭角カメラ1にて撮影した狭角画像の一例を示す。
S103では、DSP3が、狭角カメラ1が撮影した狭角画像(静止画または動画)を記憶装置5に保存させて、S105に進む。
S105では、人物領域抽出部61が、狭角画像から人物画像を抽出して(人物領域抽出ステップ、人物画像抽出処理)、S110に進む。図3の(b)は、狭角画像から人物画像を抽出した画像データの一例を示す。
ステップS106では、制御装置6が、広角カメラ2を起動して、S107に進む。S107では、広角カメラ2にて広角画像を撮影してS108に進む。図3の(c)は、広角カメラ2にて撮影した広角画像の一例を示す。
S108では、DSP4が、広角カメラ2が撮影した広角画像(静止画または動画)を記憶装置5に保存させて、S109に進む。
S109では、背景領域抽出部62が、広角画像から背景画像を抽出して(背景領域抽出ステップ、背景画像抽出処理)、S110に進む。図3の(d)は、広角画像から背景画像を抽出した画像データの一例を示す。同図に示すように、広角カメラ2で撮影した背景画像で人物と背景が重なった部分は、実際には空白部分になる(背景画像から人物画像が抜き取られる)。
S110では、画像合成部63が、上記背景画像と上記人物画像とを合成して合成画像を生成して(画像合成ステップ、画像合成処理)、S111に進む。図3の(e)は、図3の(b)に示す人物画像と、図3の(d)に示す背景画像とを合成して生成した合成画像の一例である。背景画像と人物画像とを合成する際、狭角カメラ1で抽出した人物画像を背景画像の空白部分を含めた画像領域に重ね合わせることにより、空白部分を埋める。
S111では、表示制御部64が、表示装置7に合成画像(静止画または動画)を表示する。なお、表示装置7に表示したプレビュー画像でリアルタイムに位置を確認して、人物と背景の位置を合わせても良い。上記の位置合わせは、広角カメラ2で撮影した画像で人物と背景が重なった部分の空白を埋めることができる範囲で、人物画像を重畳する位置を調整する。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図4に示すように、本発明の実施形態2に係る電子機器100bは、電子機器100aの狭角カメラ1および広角カメラ2の代わりに、狭角AFカメラ(狭角カメラ)1aおよび広角AFカメラ(広角カメラ)2aを備えている点で実施形態1の電子機器100aと異なっている。
狭角AFカメラ1aは、カメラのレンズとして狭角レンズを備えるとともに自動焦点調節機能を有するカメラである。狭角AFカメラ1aは、VCM(Voice Coil Motor)等、レンズを動かす機構(アクチュエータ)により自動でピント合わせを行うAF用の駆動機構を備えている。
広角AFカメラ2aは、カメラのレンズとして広角レンズを備えるとともに自動焦点調節機能を有するカメラである。広角AFカメラ2aは、VCM等、レンズを動かす機構(アクチュエータ)により自動でピント合わせを行うAF用の駆動機構を備えている。
広角AFカメラ2aは、レンズの位置を調整することにより被写体(背景)のピントを合わせたり、ぼかしたりすることができる。これにより、背景と人物とにしっかりピントが合った合成画像や、背景を意図的にぼかした臨場感のある合成画像を生成することができる。
本実施形態の電子機器100bの動作は、実施形態1の狭角カメラ1および広角カメラ2のそれぞれが、狭角AFカメラ1aおよび広角AFカメラ2aに置き換わっていること以外は、図2に示すフローチャートに示す動作と同様である。
〔実施形態3〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図5に示すように、本発明の実施形態2に係る電子機器100cは、電子機器100aの狭角カメラ1および広角カメラ2の代わりに、狭角カメラ1bおよび広角カメラ2bを備えている点で実施形態1の電子機器100aと異なっている。
同図に示すように、本実施形態の電子機器100cでは、狭角カメラ1bと広角カメラ2bとの間の距離を調整したり、狭角カメラ1bおよび広角カメラ2bのそれぞれの傾きを調整したりすることが可能となっている。本構成は予め狭角カメラ1bと広角カメラ2bの本体取り付け部にチルト機構やスライド機構を備えることで可能となる。あるいは、狭角カメラ1bと広角カメラ2bのいずれか一方、あるいは両方を外付けカメラの構成とし、当該外付けカメラの本体取り付け部に上記チルト機構やスライド機構を設けても良い。
上記構成によれば、2つのカメラの距離を離すことにより、背景を隠さないように撮影することができる。これにより、背景と人物とが重ならないように映すことができ、臨場感のある合成画像を生成することができる。
また、上記構成によれば、2つのカメラの角度をずらすことにより、背景を隠さないように撮影することができる。これにより、背景と人物とが重ならないように映すことができ、臨場感のある合成画像を生成することができる。
電子機器100cがスマートフォンである場合、2つのカメラの距離は機種によって、様々であるので、2つのカメラの間の距離を離すことが可能である。また、電子機器100cがスマートフォンである場合、2つのカメラの角度をずらした状態で2つのカメラを取り付けることも可能である。
また、スマートフォンに搭載されている狭角カメラ1b(または広角カメラ2b)とスマートフォンに接続できる外付けの広角カメラ2b(または狭角カメラ1b)を用いることにより、2つのカメラの角度をずらしたり、距離を離したりすることが可能である。
本実施形態の電子機器100cの動作は、実施形態1の狭角カメラ1および広角カメラ2のそれぞれが、狭角カメラ1bおよび広角カメラ2bに置き換わっていること以外は、図2に示すフローチャートに示す動作と同様である。
〔実施形態4〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本実施形態の電子機器100dは、筐体の同一面上に狭角カメラ1および広角カメラ2を設け、狭角カメラ1で撮影した狭角画像から人物画像を抽出し、上記人物画像と、広角カメラ2で撮影した広角画像としての背景画像とを合成した合成画像を生成する処理を行う装置である。また、本実施形態の制御装置6aでは、背景領域抽出部62が、背景画像撮影部62aに置換されている点で、実施形態1の制御装置6と異なっている。背景画像撮影部62aは、広角カメラ2を用いて、広角画像としての背景画像を撮影する。
また、本実施形態の電子機器100dでは、背景画像から人物画像を抜くことなく、そのまま、狭角画像から切り出した人物画像と合成する点で、実施形態1の電子機器100aと異なっている。
次に、図7に示すフローチャートに基づき、電子機器100dの動作について説明する。図7に示すフローチャートは、S108とS110との間のS109が省略されている点で、図2に示すフローチャートと異なる。
S110では、画像合成部63が、広角カメラ2で撮影した広角画像としての背景画像と、人物領域抽出部61で狭角画像から抽出した人物画像と、を合成して合成画像を生成して、S111に進む。図8の(d)は、図8の(b)に示す人物画像と、図8の(c)に示す背景画像とを合成して生成した合成画像の一例である。
上記構成によれば、狭角カメラ1の撮影方向と広角カメラ2の撮影方向とが筐体に対して同じ側を撮影するように設定されている。このため、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができる。
〔変形例〕
なお、上述した形態と同様に、本実施形態の電子機器100dにおいて、狭角カメラ1と広角カメラ2とが、電子機器100dの筐体の同一面上に設けられていても良い。また、本実施形態の電子機器100dにおいて、狭角カメラ1および広角カメラ2のそれぞれが、自動焦点調節機能を有していても良い。
また、本実施形態の電子機器100dにおいて、狭角カメラ1と広角カメラ2との間の距離を調整することが可能となっていても良い。また、本実施形態の電子機器100dにおいて、狭角カメラ1および広角カメラ2のそれぞれの傾きを調整することが可能となっていても良い。
〔ソフトウェアによる実現例〕
電子機器100a〜100dの制御装置6の制御ブロック(特に人物領域抽出部61、背景領域抽出部62、背景画像撮影部62a、および画像合成部63)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、制御装置6は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る電子機器(100d)は、少なくとも1つの狭角カメラ(1)と、少なくとも1つの広角カメラ(2)と、少なくとも1つの制御装置(6)とを備えた電子機器であって、上記制御装置は、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、上記広角カメラで撮影した画像を背景画像とし、上記背景画像と上記人物画像とを合成する画像合成処理とを行い、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。
上記構成によれば、狭角カメラの撮影方向と広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている。このため、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができる。
本発明の態様2に係る電子機器(100a〜100c)は、少なくとも1つの狭角カメラ(1,1a,1b)と、少なくとも1つの広角カメラ(2,2a,2b)と、少なくとも1つの制御装置(6)とを備えた電子機器であって、上記制御装置は、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、上記広角カメラで撮影した広角画像から背景画像を抽出する背景画像抽出処理と、上記背景画像と上記人物画像とを合成する画像合成処理とを行い、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。
上記構成によれば、狭角カメラの撮影方向と広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている。このため、背景画像と人物画像とを合成した合成画像を生成する際に、背景の中で人物の位置を合わせ易くし、光の当たり方を同じにして自然な合成を行うことができる。
本発明の態様3に係る電子機器は、上記態様1または2において、上記狭角カメラと上記広角カメラとが、上記電子機器の筐体の同一面上に設けられていることが好ましい。上記構成によれば、背景と同じ方向にいる人物を撮影するので、背景の中で人物の位置を合わせ易くすることができ、光の当たり方も同じで自然な合成を行うことができる。
本発明の態様4に係る電子機器は、上記態様1〜3の何れかにおいて、上記狭角カメラおよび上記広角カメラのそれぞれが、自動焦点調節機能を有していても良い。これにより、背景と人物とにしっかりピントが合った合成画像や、背景を意図的にぼかした臨場感のある合成画像を生成することができる。
本発明の態様5に係る電子機器は、上記態様1〜4の何れかにおいて、上記狭角カメラと上記広角カメラとの間の距離を調整することが可能となっていても良い。上記構成によれば、2つのカメラの距離を離すことにより、背景を隠さないように撮影することができる。これにより、背景と人物とが重ならないように映すことができ、臨場感のある合成画像を生成することができる。
本発明の態様6に係る電子機器は、上記態様1〜5の何れかにおいて、上記狭角カメラおよび上記広角カメラのそれぞれの傾きを調整することが可能となっていても良い。上記構成によれば、2つのカメラの角度をずらすことにより、背景を隠さないように撮影することができる。これにより、背景と人物とが重ならないように映すことができ、臨場感のある合成画像を生成することができる。
本発明の態様7に係る電子機器の制御装置は、少なくとも1つの狭角カメラ(1)と、少なくとも1つの広角カメラ(2)とを備えた電子機器(100a〜100c)の制御装置(6)であって、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出部(61)と、上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出部(62)と、上記背景画像と上記人物画像とを合成する画像合成部(63)とを備え、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている構成である。上記構成によれば、上記態様2と同様の効果を得ることができる。
本発明の態様8に係る電子機器の制御方法は、少なくとも1つの狭角カメラと、少なくとも1つの広角カメラとを備えた電子機器の制御方法であって、上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出ステップと、上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出ステップと、上記背景画像と上記人物画像とを合成する画像合成ステップとを含み、上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されている方法である。上記方法によれば、上記態様2と同様の効果を得ることができる。
本発明の各態様に係る電子機器の制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部(ソフトウェア要素)として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1,1b 狭角カメラ
1a 狭角AFカメラ(狭角カメラ)
2,2b 広角カメラ
2a 広角AFカメラ(広角カメラ)
3,4 DSP
5 記憶装置
6,6a 制御装置
7 表示装置
61 人物領域抽出部
62 背景領域抽出部
62a 背景画像撮影部
63 画像合成部
64 表示制御部
100a〜100d 電子機器

Claims (9)

  1. 少なくとも1つの狭角カメラと、少なくとも1つの広角カメラと、少なくとも1つの制御装置とを備えた電子機器であって、
    上記制御装置は、
    上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、
    上記広角カメラで撮影した画像を背景画像とし、
    上記背景画像と上記人物画像とを合成する画像合成処理とを行い、
    上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されていることを特徴とする電子機器。
  2. 少なくとも1つの狭角カメラと、少なくとも1つの広角カメラと、少なくとも1つの制御装置とを備えた電子機器であって、
    上記制御装置は、
    上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物画像抽出処理と、
    上記広角カメラで撮影した広角画像から背景画像を抽出する背景画像抽出処理と、
    上記背景画像と上記人物画像とを合成する画像合成処理とを行い、
    上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されていることを特徴とする電子機器。
  3. 上記狭角カメラと上記広角カメラとが、上記電子機器の筐体の同一面上に設けられていることを特徴とする請求項1または2に記載の電子機器。
  4. 上記狭角カメラおよび上記広角カメラのそれぞれが、自動焦点調節機能を有していることを特徴とする請求項1から3までの何れか1項に記載の電子機器。
  5. 上記狭角カメラと上記広角カメラとの間の距離を調整することが可能となっていることを特徴とする請求項1から4までの何れか1項に記載の電子機器。
  6. 上記狭角カメラおよび上記広角カメラのそれぞれの傾きを調整することが可能となっていることを特徴とする請求項1から5までの何れか1項に記載の電子機器。
  7. 少なくとも1つの狭角カメラと、少なくとも1つの広角カメラとを備えた電子機器の制御装置であって、
    上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出部と、
    上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出部と、
    上記背景画像と上記人物画像とを合成する画像合成部とを備え、
    上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されていることを特徴とする制御装置。
  8. 請求項7に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記人物領域抽出部、上記背景領域抽出部および上記画像合成部としてコンピュータを機能させるための制御プログラム。
  9. 少なくとも1つの狭角カメラと、少なくとも1つの広角カメラとを備えた電子機器の制御方法であって、
    上記狭角カメラで撮影した狭角画像から人物画像を抽出する人物領域抽出ステップと、
    上記広角カメラで撮影した広角画像から背景画像を抽出する背景領域抽出ステップと、
    上記背景画像と上記人物画像とを合成する画像合成ステップとを含み、
    上記狭角カメラの撮影方向と上記広角カメラの撮影方向とが筐体に対して同じ側を撮影するように設定されていることを特徴とする制御方法。
JP2018155720A 2018-08-22 2018-08-22 電子機器、電子機器の制御装置、制御プログラムおよび制御方法 Pending JP2020031332A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018155720A JP2020031332A (ja) 2018-08-22 2018-08-22 電子機器、電子機器の制御装置、制御プログラムおよび制御方法
CN201910755647.8A CN110858875B (zh) 2018-08-22 2019-08-15 电子设备、电子设备的控制装置及控制方法、记录介质
US16/543,046 US11012640B2 (en) 2018-08-22 2019-08-16 Electronic device, control device for electronic device, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018155720A JP2020031332A (ja) 2018-08-22 2018-08-22 電子機器、電子機器の制御装置、制御プログラムおよび制御方法

Publications (1)

Publication Number Publication Date
JP2020031332A true JP2020031332A (ja) 2020-02-27

Family

ID=69583628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018155720A Pending JP2020031332A (ja) 2018-08-22 2018-08-22 電子機器、電子機器の制御装置、制御プログラムおよび制御方法

Country Status (3)

Country Link
US (1) US11012640B2 (ja)
JP (1) JP2020031332A (ja)
CN (1) CN110858875B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Jvcケンウッド 映像処理装置、及び映像処理システム
JP2023062381A (ja) * 2021-10-21 2023-05-08 キヤノン株式会社 撮像装置及びその制御方法とプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077665A (ja) * 1993-06-14 1995-01-10 Canon Inc 画像抽出装置
JPH11160815A (ja) * 1997-11-28 1999-06-18 Ricoh Co Ltd 2台のカメラによる立体写真撮影装置
US20050128323A1 (en) * 2003-10-31 2005-06-16 Kwang-Cheol Choi Image photographing device and method
JP2007166245A (ja) * 2005-12-14 2007-06-28 Tokyo Institute Of Technology 画像処理装置、画像処理プログラム及び画像処理方法
JP2010154311A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼撮像装置及び立体画像取得方法
JP2014039186A (ja) * 2012-08-17 2014-02-27 Kddi Corp 画像生成装置
JP2014039096A (ja) * 2012-08-13 2014-02-27 Fujifilm Corp 多眼カメラ撮影システム及びその制御方法
US20170085764A1 (en) * 2015-09-22 2017-03-23 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2017200049A1 (ja) * 2016-05-20 2017-11-23 日立マクセル株式会社 撮像装置およびその設定画面

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667730B2 (en) * 2005-06-15 2010-02-23 Mitsubishi Electric Research Laboratories, Inc. Composite surveillance camera system
JP2008167361A (ja) * 2007-01-05 2008-07-17 Acutelogic Corp カメラモジュール及びこれを備えた電子機器並びにカメラモジュールの製造方法及びこれを用いた電子機器の製造方法
JP5275789B2 (ja) * 2008-12-26 2013-08-28 オリンパスイメージング株式会社 カメラ
JP6143096B2 (ja) * 2013-08-07 2017-06-07 ソニー株式会社 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置
JP2016096487A (ja) * 2014-11-17 2016-05-26 株式会社クワンズ 撮影システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077665A (ja) * 1993-06-14 1995-01-10 Canon Inc 画像抽出装置
JPH11160815A (ja) * 1997-11-28 1999-06-18 Ricoh Co Ltd 2台のカメラによる立体写真撮影装置
US20050128323A1 (en) * 2003-10-31 2005-06-16 Kwang-Cheol Choi Image photographing device and method
JP2007166245A (ja) * 2005-12-14 2007-06-28 Tokyo Institute Of Technology 画像処理装置、画像処理プログラム及び画像処理方法
JP2010154311A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼撮像装置及び立体画像取得方法
JP2014039096A (ja) * 2012-08-13 2014-02-27 Fujifilm Corp 多眼カメラ撮影システム及びその制御方法
JP2014039186A (ja) * 2012-08-17 2014-02-27 Kddi Corp 画像生成装置
US20170085764A1 (en) * 2015-09-22 2017-03-23 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2017200049A1 (ja) * 2016-05-20 2017-11-23 日立マクセル株式会社 撮像装置およびその設定画面

Also Published As

Publication number Publication date
US11012640B2 (en) 2021-05-18
CN110858875B (zh) 2021-12-07
US20200068143A1 (en) 2020-02-27
CN110858875A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN103763477B (zh) 一种双摄像头拍后调焦成像装置和方法
JP5999336B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP5547854B2 (ja) 携帯型装置で捕捉される多重画像からの肖像画像合成
CN104539840B (zh) 摄像装置、摄像方法以及记录介质
JP6192940B2 (ja) 撮影機器及び連携撮影方法
JP4957759B2 (ja) 撮像装置及び撮像方法
JP4497211B2 (ja) 撮像装置、撮像方法及びプログラム
JP5127787B2 (ja) 複眼撮影装置及びその制御方法
JP4356621B2 (ja) 撮像装置及び撮像方法
JP5230013B2 (ja) 撮像装置
WO2016184131A1 (zh) 基于双摄像头拍摄图像的方法、装置及计算机存储介质
JPH0380676A (ja) 電子パンフォーカス装置
CN107517345B (zh) 拍摄预览方法及拍摄设备
JP2015001609A (ja) 制御装置、および記憶媒体
CN106713772B (zh) 一种拍照方法及移动终端
WO2018062537A1 (ja) 撮像装置、プログラムおよび電子機器
CN112513933A (zh) 用于合成图像的方法和数据处理系统
KR20190062794A (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
JP2020031332A (ja) 電子機器、電子機器の制御装置、制御プログラムおよび制御方法
JP2007334558A (ja) 画像処理装置および方法、並びにプログラム
CN107392850B (zh) 图像处理方法及其系统
JP2010045587A (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101514346B1 (ko) 합성 사진 촬영 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228