JP2022506989A - 撮影システム及び撮影システム制御方法 - Google Patents

撮影システム及び撮影システム制御方法 Download PDF

Info

Publication number
JP2022506989A
JP2022506989A JP2021525166A JP2021525166A JP2022506989A JP 2022506989 A JP2022506989 A JP 2022506989A JP 2021525166 A JP2021525166 A JP 2021525166A JP 2021525166 A JP2021525166 A JP 2021525166A JP 2022506989 A JP2022506989 A JP 2022506989A
Authority
JP
Japan
Prior art keywords
target area
processing target
value
image sensor
change request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021525166A
Other languages
English (en)
Other versions
JP7181398B2 (ja
Inventor
ソンジュ キム
サンリャン キム
ドンヒョク キョン
サンホ パク
Original Assignee
エイチエヌティ エレクトロニクス カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイチエヌティ エレクトロニクス カンパニー リミテッド filed Critical エイチエヌティ エレクトロニクス カンパニー リミテッド
Publication of JP2022506989A publication Critical patent/JP2022506989A/ja
Application granted granted Critical
Publication of JP7181398B2 publication Critical patent/JP7181398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、前記イメージセンサーのレジスター値が記憶されるメモリー、及び前記レジスター値を設定するセンサーコントローラー、を含み、前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれて、前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することができる。

Description

本発明は、撮影システムに関するものである。
写真撮影時に周辺部の光量低下でイメージの角や外郭部分が暗くなるか、または黒く隠されるビネッティング(vignetting)現象などを防止するために出力解像度よりさらに多いピクセルを配列してイメージセンサーを製作する場合が多かった。
この場合、使わないで遊休されているピクセルがたくさん発生したし、これは不必要な資源の無駄使いをもたらしていた。
これに、本発明の発明者は、遊休されているピクセルの活用方法を探す過程で本発明を着眼するようになった。
本発明の一側面は、資源活用効率を向上できる撮影システムを提供することができる。
本発明の他の側面は、資源活用効率を向上できる撮影システム制御方法を提供することができる。
本発明の一実施例による撮影システムは、光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、前記イメージセンサーのレジスター値が記憶されるメモリー、及び前記レジスター値を設定するセンサーコントローラー、を含み、前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれ、前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することができる。
この時、ユーザーインターフェース部を通じて使用者の入力を受けて前記変更要請を生成する制御部をさらに含むことができる。
また、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析した結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する制御部をさらに含むことができる。
また、前記処理対象領域の位置は、前記処理対象領域の一側下端平面座標値であるスタート値、前記処理対象領域の他側上端の平面座標値である終了値、及び前記処理対象領域の中央地点平面座標値である中央値のうちの少なくとも一つによって定義されることができる。
また、前記処理対象領域の大きさは、前記処理対象領域の一側下端平面座標値であるスタート値、前記処理対象領域の他側上端平面座標値である終了値、及び前記処理対象領域の中央地点平面座標値である中央値のうちから選択される二つの値によって定義されることができる。
また、前記イメージセンサーから出力されるイメージ信号を処理するイメージ信号処理部をさらに含んで、前記イメージ信号処理部が前記制御部から前記変更要請を受信することができる。
また、前記レジスター修正命令が前記メモリーに提供されれば、前記レジスター値は、前記メモリーに記憶された状態で前記イメージセンサーがターンオンされるか、またはリセットされれば前記イメージセンサーにロードされるようにできる。
本発明の一実施例による撮影システム制御方法は、処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサーまたはメモリーに印加される段階、前記レジスター修正命令によって前記イメージセンサーのレジスター値が変更される段階、前記処理対象領域の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサーからイメージ信号が出力される段階、及び前記イメージセンサーから出力されたイメージ信号が処理されて表示または記憶される段階、を含むことができる。
この時、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び前記分析結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する段階、をさらに含むことができる。
また、前記撮影された映像データで関心事物を決める段階、及び前記関心事物の移動方向に沿って前記処理対象領域の位置を変更する変更要請を生成する段階、をさらに含むこともできる。
本発明の一実施例による撮影システムは、資源活用効率を向上できるという有用な効果を提供する。
本発明の一実施例による撮影システムを概略的に示したブロック図であり、 本発明の一実施例による撮影システムの処理対象領域を説明するための概念図であり、 本発明の一実施例による撮影システムのユーザーインターフェース部を概略的に例示した図面であり、 本発明の一実施例による撮影システム制御方法を概略的に例示した図面であり、 本発明の一実施例による撮影システムを説明するための図面であり、 本発明の一実施例による撮影システムを説明するための図面であり、 本発明の一実施例による撮影システムを説明するための図面である。
図１は、本発明の一実施例による撮影システム１０００を概略的に示したブロック図であり、図２は本発明の一実施例による撮影システム１０００の処理対象領域（AP１）を説明するための概念図であり、図３は本発明の一実施例による撮影システム１０００のユーザーインターフェース部４００を概略的に例示した図面であり、図４は本発明の一実施例による撮影システム制御方法を概略的に例示した図面であり、図５乃至図７は本発明の一実施例による撮影システム１０００を説明するための図面であり、図６は本発明の一実施例による撮影システム１０００を説明するための図面である。
本発明の一実施例による撮影システム１０００は、イメージセンサー１１０、メモリー１２０、センサーコントローラー１３０を含むことができるし、さらに延いては、イメージ信号処理部２００、制御部３００、ユーザーインターフェース部４００、表示部５００、通信部６００、メモリー部７００などをさらに含むことができる。
一実施例で、撮影システム１０００は、表示部５００や別途の外部装置との連動を通じてイメージ表示作業を遂行することができる。また、撮影システム１０００はネットワークに連結されることができるし、カメラモジュール１００によって撮像されたイメージをネットワークなどを通じて他の機器に伝達することもできる。
一実施例で、イメージセンサー１１０はピクセルアレイ１１２を含む。このピクセルアレイ１１２は複数のピクセルが行と列で配列されたものであることがあるし、ピクセルは、光に応じて電気的信号を生成する素子であり、画素と称されたりする。このようなピクセル、ピクセルアレイ１１２などを含むカメラ関連技術は特許文献１などを含めて複数の文献に紹介されている。
一実施例で、メモリー１２０は、揮発性メモリー１２２および不揮発性メモリー１２４のうちの少なくとも一つを含むことができる。このようなメモリー１２０のうちの少なくとも一部にはレジスター値が記憶されることができるし、メモリー１２０はレジスターで活用されることができる。
一実施例で、レジスターはＳＲＡＭ(Static Random Access Memory)、フラッシュメモリー１２０タイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー１２０(例えば、SDまたはXDメモリー１２０など)、ラム(Random Access Memory、RAM)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリー１２０、磁気ディスク、光ディスクのうちの少なくとも一つのタイプの記憶媒体を含むことができる。
センサーコントローラー１３０は、イメージセンサー１１０を制御するか、またはイメージセンサー１１０と他の構成要素との間のインターフェースの役割を遂行することができる。一実施例で、センサーコントローラー１３０はイメージセンサー１１０のレジスター値を設定する機能を遂行することができる。その他にも、センサーコントローラー１３０は多様な機能を遂行することができるし、イメージ信号処理器のプロセッサ、システムメインプロセッサ、マイクロコントローラーなど多様なプロセッサのうちの少なくとも一つによって具現されることができる。
一実施例で、イメージセンサー１１０のレジスター値には、ピクセルアレイ１１２のうちの処理対象領域（AP１）を定義する情報が含まれる。
処理対象領域（AP１）は、アクティブピクセル(Active pixel)、クロップ領域(cropped area)などと称することもあるし、処理対象領域（AP１）内のピクセルから出力されるイメージ信号が処理されてメモリー部７００に記憶されるか、または表示部５００を通じて表示されることができる。反面に、イメージセンサー１１０上の処理対象領域（AP１）外部に位置するピクセルから出力されるイメージ信号は、メモリー部７００に記憶されないか、または表示部５００に表示されないこともある。但し、一実施例で、処理対象領域（AP１）外部に位置するピクセルから出力されるイメージ信号は、隣接ピクセルの歪曲補正や、デジタルズームイン(Zoom In)またはズームアウト(Zoom out)のための補間過程などに活用されることができる。
一実施例で、センサーコントローラー１３０はレジスター修正命令をイメージセンサー１１０またはメモリー１２０に提供することができる。このレジスター修正命令には処理対象領域（AP１）の位置または大きさを変更するようにするレジスター値が含まれることができる。
一実施例で、センサーコントローラー１３０は所定の変更要請を受信すれば、前述したレジスター修正命令を発生する方式で作動することができる。この時、変更要請は処理対象領域（AP１）の位置を左側や右側または上側や下側に移動させる要請であることがある。また、変更要請は処理対象領域（AP１）の大きさを拡大するか、または縮小する要請であることがある。
一実施例で、変更要請は制御部３００で生成されることができる。
一実施例で、制御部３００は使用者の命令の入力を受けて変更要請を生成することができるが、この時、使用者の命令の入力を受ける手段としてユーザーインターフェース部４００が活用されることができる。
ここで、ユーザーインターフェースは図３に例示されたようなリモートコントローラー形態で具現されることができる。一実施例で、拡大または縮小ボタンを入力する場合、処理対象領域（AP１）の大きさを変更する変更要請が生成されることができる。一実施例で、上向き、下向き、左向き、右向きのボタンのうちの一つ以上が入力される場合、処理対象領域（AP１）の位置を変更する変更要請が生成されることができる。
他の実施例で、制御部３００で分析プログラムが実行されることができる。この分析プログラムは、カメラモジュール１００が撮影した映像データや写真データを分析することができる。また、分析プログラムは近接センサー、照度センサーなどのセンシングデータを分析することができる。一実施例で、分析プログラムは、所定の距離で近接した物体が感知される状況で表示部５００には対応する物体が表示されない場合などを検出し出すことができる。この場合、近接した物体が感知される方向がカメラの視野基準でどの方向であるかによって処理対象領域（AP１）の位置が該当方向に移動されるようにする変更要請を生成することができる。例えば、カメラ視野を基準で左側に物体が感知される場合、処理対象領域（AP１）の位置が左側方向に移動されるようにする変更要請が生成されることができるということである。このように生成された変更要請は、センターコントローラーに印加され、センターコントローラーはイメージセンサー１１０のレジスター値を調整することで処理対象領域（AP１）の位置が移動されるようにできる。この状態で撮影過程が進行されることで、画面で見えなかった近接物体が画面に表示されることができるようになる。これによって、使用者が意識的に意図しない場合でも、制御部３００の分析結果によって画角を広げるか、または画面を移動させて近接物体を視覚的でも確認できるようにすることで、安全性を向上させることができる。さらに延いては、処理対象領域（AP１）を相対的に狭くしておいた状態で関心事物をトラッキングするようにレジスト値を修正することもできる。
図３、５及び図６を参照すれば、周辺部の光量低下現象、いわゆるビネッティング(vignetting)現象などによって第１、２余裕領域(EAP１、EAP２)は表示部５００などに出力されない場合が多い。それだけでなく、既存には一般的な処理対象領域（AP１）のみを活用しただけで、第１乃至第４追加領域(AAP１、２、３、４)を活用するために処理対象領域（AP１）のレジスト値を修正する方式を適用した例がなかった。しかし、本発明の一実施例によれば、イメージセンサー１１０のレジスト値修正を通じて第１乃至第４追加領域(AAP１、２、３、４)を活用することができるようになるものであり、よって、資源活用効率を向上できるようになる。
一実施例で、処理対象領域（AP１）の位置は、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、前記処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び前記処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちの少なくとも一つによって定義されることができる。また、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、前記処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び前記処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちから選択される一つの値と、処理対象領域（AP１）の高さ(H１)及び幅(W１)とによって定義されることもできる。
一実施例で、処理対象領域（AP１）の大きさは、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちから選択される二つの値によって定義されることができる。また、処理対象領域（AP１）の高さ(H１)及び幅(W１)によって定義されることもできる。
一実施例で、イメージ信号を処理するイメージ信号処理部２００がさらに具備されることができる。イメージ信号処理部２００はインターフェース部２１０及びイメージ処理部２２０を含むことができるし、カメラモジュール１００の撮像イメージを処理して表示部５００に出力されるようにするか、または、通信部６００を通じて他の装置に伝送されるようにするか、または、メモリー部７００に記憶されるようにできる。
一方、イメージ信号処理部２００とイメージセンサー１１０がシステムオンチップ(System on chip、SoC)方式で具現されることもできるが、この場合、イメージ信号処理部２００がセンサーコントローラー１３０の機能を遂行することもできる。
一実施例で、レジスター修正命令(Ord２)がイメージセンサー１１０ではないメモリー１２０に提供されることができる。
この場合、レジスター値は、メモリー１２０に記憶された状態でイメージセンサー１１０がターンオンされるか、またはリセットされればイメージセンサー１１０にロードされるようにすることもできる。
本発明の一実施例によれば、表示部５００に出力される画面の範囲を調整することができる。表示出力オプションにしたがって表示部５００に全画面出力される場合には画面の範囲を調整することで、ズームイン/ズームアウト効果をユーザーに提供することができる。処理対象領域（AP１）に含まれるピクセルの数を増加させると出力対象領域が広くなりながら、表示部５００の全画面上に広い領域に対する被写体が相対的に小さく出力されるので、ズームアウト(Zoom out)のように認識されることができる。反対に、処理対象領域（AP１）に含まれるピクセルの数を減少させれば出力対象領域が狭くなりながら、全画面で被写体が相対的に大きく出力されるので、ズームイン(Zoom in)のように認識されることができる。レンズ１０５を物理的に駆動しないで、ＩＳＰ(イメージ信号処理部)２００のロジックを修正するか、または、拡大縮小のためのイメージ信号処理部２００の別途演算を遂行する必要がないので、リソース(resource)活用を減らしながらも出力対象領域を調整するか、または画面を拡大/縮小することができる。
また、表示部５００に出力される画面の画角を変更することもできる。ここで、本発明の一実施例によれば、別途のモーターを駆動するか、またはイメージ信号処理部２００の複雑な処理過程なしでも、車両用サイドミラーのティルティング調節と類似な結果を具現することができる。
イメージセンサー１１０のピクセルアレイ１１２領域は、実際に出力される領域よりさらに広く形成されることが一般的であるが、これはレンズ１０５の形状のために像の外周辺に歪曲が不可欠に発生するためであり、このような歪曲を減少させるデジタルデータ処理アルゴリズムが広く活用されている。しかし、この過程でピクセルアレイ１１２のうちの外郭部分は実際に活用されない場合が多くて資源の無駄使いと認識されていたが、本発明によればこのような外郭領域も活用することができる道が開かれるようになる。
一方、カメラレンズ１０５が指向する方向を物理的に調整する方式でも、前述した本発明の機能と類似な機能を遂行することができる。しかし、このようにカメラの指向方向を調整するためにはモーターなど別途の部品がさらに必要であり、エネルギーとリソースの消費を伴うようになる。反面に、本発明の一実施例によれば、レジスター値の変更という非常に簡便でありながらもエネルギー消耗が極めて低く、作動に必要となる時間や資源が著しく低い方式によって所期の目的を達成することができるようになり、資源活用の効率性を向上できるものである。
図４を参照すれば、本発明の一実施例による撮影システム制御方法は、処理対象領域（AP１）の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサー１１０またはメモリー１２０に印加される段階、前記レジスター修正命令によって前記イメージセンサー１１０のレジスター値が変更される段階、前記処理対象領域（AP１）の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサー１１０からイメージ信号が出力される段階、及び前記イメージセンサー１１０から出力されたイメージ信号が処理されて表示または記憶される段階、を含むことができる。
この時、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び前記分析結果があらかじめ決まった条件に該当すれば前記変更要請を生成する段階、をさらに含むことができる。
また、前記撮影された映像データで関心事物を決める段階、及び前記関心事物の移動方向によって前記処理対象領域（AP１）の位置を変更する変更要請を生成する段階、をさらに含むこともできる。
図面のうちで未説明符号１１５は、ダミーピクセルであり、Ord１はレジスター修正命令１、Ord２はレジスター修正命令２、Fdata１は撮影データ１、Fdata２は撮影データ２、EC１はイメージサークルを意味する。
本発明の一実施例による撮影システムは、相対的に小さな資源とエネルギーを使って既存に遊休されたピクセルを活用することができるので、カメラの資源効率が著しく改善されることができるし、よって、小型カメラの製造、設置関連産業に活用されることができる。特に、自動車の後方カメラなどで活用される場合、その有利な効果が極大化されることができる。

Claims (10)

  1. 光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、
    前記イメージセンサーのレジスター値が記憶されるメモリー、及び
    前記レジスター値を設定するセンサーコントローラー、を含み、
    前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれて、
    前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することを特徴とする撮影システム。
  2. ユーザーインターフェース部を通じて使用者の入力を受けて前記変更要請を生成する制御部をさらに含むことを特徴とする請求項１に記載の撮影システム。
  3. 撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析した結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する制御部をさらに含むことを特徴とする請求項１に記載の撮影システム。
  4. 前記処理対象領域の位置は、
    前記処理対象領域の一側下端平面座標値であるスタート値、
    前記処理対象領域の他側上端平面座標値である終了値、及び
    前記処理対象領域の中央地点平面座標値である中央値、
    のうちの少なくとも一つによって定義されることを特徴とする請求項１に記載の撮影システム。
  5. 前記処理対象領域の大きさは、
    前記処理対象領域の一側下端平面座標値であるスタート値、
    前記処理対象領域の他側上端平面座標値である終了値、及び
    前記処理対象領域の中央地点平面座標値である中央値、
    のうちから選択される二つの値によって定義されることを特徴とする請求項１に記載の撮影システム。
  6. 前記イメージセンサーから出力されるイメージ信号を処理するイメージ信号処理部をさらに含んで、前記イメージ信号処理部が前記制御部から前記変更要請を受信することを特徴とする請求項２に記載の撮影システム。
  7. 前記レジスター修正命令が前記メモリーに提供されれば、前記レジスター値は、前記メモリーに記憶された状態で前記イメージセンサーがターンオンされるか、またはリセットされれば、前記イメージセンサーにロードされることを特徴とする請求項１に記載の撮影システム。
  8. 処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、
    前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサーまたはメモリーに印加される段階、
    前記レジスター修正命令によって前記イメージセンサーのレジスター値が変更される段階、
    前記処理対象領域の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサーからイメージ信号が出力される段階、及び
    前記イメージセンサーから出力されたイメージ信号が処理されて表示または記憶される段階、を含む撮影システム制御方法。
  9. 撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び
    前記分析の結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する段階、をさらに含む請求項８に記載の撮影システム制御方法。
  10. 前記撮影された映像データで関心事物を決める段階、及び
    前記関心事物の移動方向に沿って前記処理対象領域の位置を変更する変更要請を生成する段階、をさらに含む請求項９に記載の撮影システム制御方法。
JP2021525166A 2018-11-13 2018-11-14 撮影システム及び撮影システム制御方法 Active JP7181398B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180139469A KR102170921B1 (ko) 2018-11-13 2018-11-13 촬영 시스템 및 촬영 시스템 제어방법
KR10-2018-0139469 2018-11-13
PCT/KR2018/013873 WO2020101057A1 (ko) 2018-11-13 2018-11-14 촬영 시스템 및 촬영 시스템 제어방법

Publications (2)

Publication Number Publication Date
JP2022506989A true JP2022506989A (ja) 2022-01-17
JP7181398B2 JP7181398B2 (ja) 2022-11-30

Family

ID=70622364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525166A Active JP7181398B2 (ja) 2018-11-13 2018-11-14 撮影システム及び撮影システム制御方法

Country Status (5)

Country Link
US (1) US11563890B2 (ja)
JP (1) JP7181398B2 (ja)
KR (1) KR102170921B1 (ja)
CN (1) CN111182200B (ja)
WO (1) WO2020101057A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436812B1 (ko) * 2020-11-27 2022-08-26 주식회사 넥스트칩 프로토콜 정보 교환 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064334A (ja) * 2002-07-26 2004-02-26 Mitsubishi Electric Corp 撮像装置
CN1852398A (zh) * 2006-05-19 2006-10-25 北京中星微电子有限公司 一种摄像头和数据处理装置
JP2017162141A (ja) * 2016-03-09 2017-09-14 株式会社デンソーアイティーラボラトリ 画像識別システム及びその制御装置、並びに画像識別方法
JP2017224974A (ja) * 2016-06-15 2017-12-21 キヤノン株式会社 撮像装置および撮像システム並びに外観検査装置および製造方法
JP2018029232A (ja) * 2016-08-15 2018-02-22 キヤノン株式会社 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257396A (ja) * 1997-03-06 1998-09-25 Toshiba Corp エリア分離型固体撮像装置
JP4255345B2 (ja) * 2003-09-12 2009-04-15 株式会社ルネサステクノロジ 撮像装置
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
KR20070112949A (ko) * 2006-05-24 2007-11-28 삼성전자주식회사 멀티 이미지 센서 튜닝 장치 및 방법
JP5266864B2 (ja) 2008-05-13 2013-08-21 ソニー株式会社 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ
JP2013027014A (ja) * 2011-07-26 2013-02-04 Sony Corp 固体撮像装置およびａｄ変換出力ビット数制御方法
JP5921239B2 (ja) * 2012-02-10 2016-05-24 キヤノン株式会社 撮像装置ならびに制御方法およびプログラム
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
JP6115268B2 (ja) * 2013-04-05 2017-04-19 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
US10609273B2 (en) * 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
JP6442231B2 (ja) * 2014-11-04 2018-12-19 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2016092782A (ja) * 2014-11-11 2016-05-23 トヨタ自動車株式会社 車両用視界支援装置
KR20170011817A (ko) * 2015-07-24 2017-02-02 주식회사 아이엠랩 영상 처리 장치 및 그 동작 방법
TWI677855B (zh) * 2017-10-02 2019-11-21 洪瑛翎 可攜式無線充電安全裝置、系統及其應用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064334A (ja) * 2002-07-26 2004-02-26 Mitsubishi Electric Corp 撮像装置
CN1852398A (zh) * 2006-05-19 2006-10-25 北京中星微电子有限公司 一种摄像头和数据处理装置
JP2017162141A (ja) * 2016-03-09 2017-09-14 株式会社デンソーアイティーラボラトリ 画像識別システム及びその制御装置、並びに画像識別方法
JP2017224974A (ja) * 2016-06-15 2017-12-21 キヤノン株式会社 撮像装置および撮像システム並びに外観検査装置および製造方法
JP2018029232A (ja) * 2016-08-15 2018-02-22 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
WO2020101057A1 (ko) 2020-05-22
JP7181398B2 (ja) 2022-11-30
KR20200055627A (ko) 2020-05-21
US11563890B2 (en) 2023-01-24
CN111182200B (zh) 2021-08-31
CN111182200A (zh) 2020-05-19
US20210409595A1 (en) 2021-12-30
KR102170921B1 (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
CN111614898B (zh) 图像处理系统
EP3328055B1 (en) Control method, control device and electronic device
JP4539729B2 (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP6801114B2 (ja) カメラアセンブリ及び携帯電子機器
US7227573B2 (en) Apparatus and method for improved-resolution digital zoom in an electronic imaging device
US20150103200A1 (en) Heterogeneous mix of sensors and calibration thereof
WO2018058934A1 (zh) 拍摄方法、拍摄装置和存储介质
US9549126B2 (en) Digital photographing apparatus and control method thereof
JP2012523783A (ja) 軌跡に基づいて画像センサーを読み出すための方法とシステム
US10827107B2 (en) Photographing method for terminal and terminal
CN112543291A (zh) 基于多个图像数据执行视频hdr处理的电子装置
JP2022506989A (ja) 撮影システム及び撮影システム制御方法
CN105210362B (zh) 图像调整设备、图像调整方法和图像捕获设备
US8953899B2 (en) Method and system for rendering an image from a light-field camera
CN111131714A (zh) 图像采集控制方法、装置及电子设备
KR102462073B1 (ko) 촬영 시스템 및 촬영 시스템 제어방법
KR20210118622A (ko) 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치
US8593528B2 (en) Method and system for mitigating seesawing effect during autofocus
JP7159555B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems
JP2008292715A (ja) 撮像装置、撮像装置の検波領域調整方法および撮像装置の検波領域調整プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221117

R150 Certificate of patent or registration of utility model

Ref document number: 7181398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350