KR20070121717A - 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 - Google Patents

컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 Download PDF

Info

Publication number
KR20070121717A
KR20070121717A KR1020077022875A KR20077022875A KR20070121717A KR 20070121717 A KR20070121717 A KR 20070121717A KR 1020077022875 A KR1020077022875 A KR 1020077022875A KR 20077022875 A KR20077022875 A KR 20077022875A KR 20070121717 A KR20070121717 A KR 20070121717A
Authority
KR
South Korea
Prior art keywords
image
sharpness
color
digital image
capture device
Prior art date
Application number
KR1020077022875A
Other languages
English (en)
Other versions
KR101265358B1 (ko
Inventor
로랑 샤나
이멘느 따르슈나
프레데릭 귀샤르
브뤼노 리에르
제롬 마니에르
Original Assignee
디엑스오 랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0550601A external-priority patent/FR2880958B1/fr
Application filed by 디엑스오 랩스 filed Critical 디엑스오 랩스
Publication of KR20070121717A publication Critical patent/KR20070121717A/ko
Application granted granted Critical
Publication of KR101265358B1 publication Critical patent/KR101265358B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Paper (AREA)

Abstract

발명은 2 이상의 컬러들(195, 106)을 가진 그리고 이미지-캡처 장치로부터 유래하는 하나 이상의 디지털 이미지(10)로부터 취해진 측정을 사용하는 것에 의해 펑크션을 활성화하기 위한 방법에 관한 것이다. 그러한 방법에 따르면, 이미지의 하나 이상의 영역(R)에서의 2 이상의 컬러들 사이에서 상대적 선명도가 측정되고(190), 측정된 상대적 선명도에 따라 하나 이상의 액션이 제어된다(191).

Description

컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을 제어하는 방법{METHOD OF CONTROLLING AN ACTION, SUCH AS A SHARPNESS MODIFICATION, USING A COLOUR DIGITAL IMAGE}
본 발명은 컬러 디지털 이미지를 사용해 펑크션, 즉, 선명도의 변경을 활성화하기 위한 방법에 관한 것이다. 좀더 구체적으로, 발명은 디지털 이미지의 하나 이상의 컬러에 대한 선명도의 향상에 관한 것이지만, 그것으로 제한되는 것은 아니다. 또한, 발명은 그러한 방법을 구현하는 시스템뿐만 아니라 그러한 방법에 의해 발생되는 이미지에 관한 것이다.
본 발명은 부가적으로, 이미지들을 캡처 및/또는 재생하기 위한 광학 시스템, 이미지 센서 및/또는 발생기, 및/또는 서보-제어 시스템을 구비하는 이미지-캡처 및/또는 재생 장치를 위한 실시예에 관한 것이며, 이미지는, 이미지 향상의 관점에서, 디지털 이미지-프로세싱 수단에 의해 프로세싱된다.
또한, 본 발명은 그러한 실시예 방법에 의해 획득되는 장치에 관한 것이다.
이미지의 만족스러운 시각화는, 그러한 이미지가 콤팩트한 치수들로 디테일(detail)을 표현하는 것보다 가장 중요한 것이 선명도(sharpness)일 것을 요구한다.
그것 때문에, 다음에서 설명되는 바와 같은, 방법들에 따라 디지털 이미지에서의 하나 이상의 컬러에 대한 선명도를 향상시키고자 한다는 것이 널리 공지되어 있다.
i) 카메라들의 특정 경우에서:
- 이미지가 선명한 거리들의 가변 범위를 가질 수 있게 하면서, 광학 소자들을 이동시키는 광학 포커싱 디바이스(초점)를 사용할 수 있다. 수동이거나 동력화된 그러한 디바이스는 대부분, 화면(scene)에서의 오브젝트들의 거리들에 의존하여 이동(movement)을 선택할 수 있게 하는 서보-제어 시스템을 구비한다.
그러한 방법의 응용들이 카메라들 및 시네-카메라(cine-camera)이다. 그것은, 특히, 광구경(wide aperture)에서, 제한된 심도(depth of field)를 그리고, 전화기들과 같은, 소형 디바이스들에 쉽게 적응되지 않는 비용 및 전체 사이즈를 가진다는 불편을 가진다.
- 특정 광학 소자를 광학 시스템에 추가하는 파면 코딩형 해결책을 이용함으로써, 좀더 커진 심도로써 선명도를 계산하는 것에 의한 재구성을 가능하게 할 수 있다.
그러한 방법의 응용들은 제한적이고(현미경), 특정 광학 소자뿐만 아니라, 광학 시스템을 포함하는, 하드웨어에 대한 조정을 요구한다는 단점들을 표현한다.
- 광학계(optics)와 관련하여 고정되는 유동적 액체 렌즈로 이루어진 특정 광학 소자를 추가하는 해결책을 구현할 수 있다. 그러한 방법은, 화면에서의 오브젝트들의 거리들에 의존하여 상기 렌즈의 형태를 선택할 수 있는 서보-제어 시스템을 표현한다.
(카메라폰들 또는 카메라들을 위한) 이 해결책의 응용들은 특정 제조 방법이라는, 고비용이고 부피가 큰 광학 소자를 가진다는, 그리고 하드웨어 적응을 요구한다는 단점을 가진다.
ii) 좀더 일반적인 맥락에서, 해결책들은:
- "선명화(sharpen)" 방법 또는 임의의 다른 계산 방법을 통해서 선명도를 증가시키는 것에 의한, 밝기 또는 컬러에 대한 디블러링(deblurring) 알고리즘들이다.
그러한 방법의 응용들(모든 사진-촬영 장치)은 선명도에서 증가가 제한적이므로 심도의 증가가 아주 미약하다는 단점들을 표현한다.
더 나아가, 디지털 또는 아르젠틱 카메라들(argentic cameras)과 같은, 그러한 이미지 캡처 및 재생 장치에 대한 공지의 설계 또는 실시예 기술들은 먼저, 장치의 하드웨어 소자들의 특성들, 즉, 광학 시스템, 센서, 및 서보-제어 시스템을 선택하는 단계로 이루어진다. 그 다음, 필요하다면, 장치의 하드웨어 소자들 중 하나 이상의 결함들을 정정하기 위해, 디지털 이미지-프로세싱 수단이 제공된다.
특히, 장치를 위한 광학 시스템을 설계하기 위해서는, 먼저, 요구 사항들의 명세 챠터(specification charter)를 컴파일링하는 것이 필요한데, 다시 말해, 전체 치수들, 초점 길이 범위들, 구경 범위들(aperture ranges), 커버되는 시계(field), 이미지 스폿(spot) 사이즈나 MTF(Modular Transfer Function)로 표현되는 성능들, 및 비용을 기술하는 것이 필요하다. 그러한 요구 사항들의 명세를 사용하면, 광학 시스템의 유형이 선택될 수 있고, "Zemax" 도구와 같은, 광학 계산 소프트웨어 도구를 사용하면, 요구 사항들의 명세들을 최대한 준수하게 할 수 있는, 이 시스템의 파라미터들이 계산될 수 있다. 그러한 광학 시스템 포커싱은 쌍방향으로 수행된다. 일반적으로 말해서, 광학 시스템은 이미지의 중앙에서 최상의 품질을 표현할 목적으로 설계되는 한편, 이미지 경계들에서의 품질은 대체로 열등한 품질이다.
더 나아가, 통상적인 기술들은, 광학 시스템이 왜곡, 비네팅(vignetting), 블러(blur), 및 심도의 소정 레벨을 획득할 수단으로서 설계됨으로써, 광학 시스템을 다른 광학 시스템들과 비교할 수 있게 하는 그러한 기술들이다.
더 나아가, 디지털 사진 장치의 경우, 센서 명세들, 즉, 픽셀들의 품질, 픽셀들의 표면적, 픽셀들의 수, 마이크로-렌즈 행렬, 안티-얼라이어싱 필터들, 픽셀들의 기하 구조, 및 픽셀들의 레이아웃도 기술된다.
통상적인 기술은 장치의 나머지 부분들, 특히, 이미지-프로세싱 시스템과는 독립적으로 이미지-캡처 장치의 센서를 선택하는 것으로 이루어진다.
이미지-캡처 및/또는 발생 장치 또한 통상적으로, 노출 시스템 및/또는 포커싱 시스템(자동 초점 또는 "오토포커스") 및/또는 플래시-제어 시스템과 같은, 하나 또는 수개의 서보-제어 시스템들을 구비한다.
그것 때문에, 구경 및 노출 시간, 어쩌면 센서 이득을 활성화하는 노출 시스템을 특정하기 위해, 측정을 위한 수단이 결정되는데; 각 구역에 영향을 미칠 가중치 이외에, 노출이 측정될 이미지 구역들이 특별히 결정될 것이다.
포커싱 시스템의 경우, 포커싱을 위해 사용될 이미지 구역들의 수와 위치가 결정될 것이다. 예를 들어, 드라이버 이동을 위한 권고들도 특정될 것이다.
어떤 경우이든, 그러한 명세들은, 이미지-프로세싱을 위한 디지털 수단의 존재 여부에 상관없이, 응용된다.
발명:
발명에 관한 관찰들:
발명은 다음 관찰들의 조합으로부터 기인한다:
i) 이미지-캡처 및/또는 프로세싱 장치는 그러한 이미지들에 대해, 도 1a 및 도 1b에 의하여 후술되는 바와 같이, 고려되는 컬러에 의존하는 가변 선명도를 발생시킨다.
도 1a는 파장(λ2)에 연관된 초점(3.2)에 배치된 센서(2)가 장비된 (예시되어 있지 않은) 광학 디바이스의 수렴 렌즈(1)를 나타낸다. 따라서, 이 길이(λ2)에 의해 정의되는 컬러는, 이미지가 저멀리 완전히 벗어난 오브젝트를 표현할 때 그러한 렌즈에 의해 형성되는 이미지에서 선명하다.
그럼에도 불구하고, 그러한 조정은 3가지 문제점들을 수반한다:
- 우선 첫째로, 렌즈 초점(3.2)은 이 파장(λ2)에 의해 정의되는 컬러와 직접적으로 관련되고, 그에 따라, 파장(λ1)에 의해 정의되는 다른 컬러와 직접적으로 관련되는 초점(3.1)은 센서로부터 위쪽에 위치한다.
따라서, 센서 레벨에서 이러한 제2 컬러(λ1)에 의해 형성되는 이미지는 제1 컬러(λ2)에 의해 형성되는 이미지만큼 선명하지 않으므로, 센서에 의해 형성되는 전체 이미지의 선명도를 감소시킨다.
- 두번째, 파장을 위한 렌즈의 초점은, 이미지에 표현되는 오브젝트(4)로부터 그것을 분리하는 거리에 의존하여 달라질 수 있다.
따라서, 도 1b는, 표현되는 오브젝트가 멀리 떨어진 거리(도 1a)로부터 좀더 가까운 거리(도 1b)로 옮겨질 때, 각각, 파장들(λ1 및 λ2)과 연관된 초점들의 새로운 위치들(4.1 및 4.2)을 나타낸다.
그러한 후자의 경우, 센서는, 이전에 선명한 이미지를 제공하지 않았던 컬러(λ1)의 초점에 위치하는 것처럼 보인다.
- 세번째, 파장 및 멀리 떨어진 오브젝트를 위한 렌즈의 초점은, 이미지에 표현되는 오브젝트의 위치에 의존하여 달라질 수 있다.
ii) 축(6.1)에 따른 이미지를 위한 스펙트럼 분포의 일례인 도 2에 도시된 바와 같이, 이미지들은 일반적으로, 그것의 강도(intenseness)(Y-축;6.2)가 유사할 수 있는 수개 컬러들로 이루어진다. 이 일례에서는, 블루 컴포넌트들(5.1;약 450nm 파장), 그린 컴포넌트들(5.2;약 550nm 파장), 및 레드 부근의 컴포넌트들(약 600nm 파장)이 표현되지만, 발명은, 그것의 고려되는 컬러 및 파장 분포(예를 들어, 적외선 또는 자외선)에 무관하게 이미지에 응용된다는 것이 명백하다.
iii) 표준 선명도-향상 기술들은, 이미지에 표현되는 오브젝트의 거리에 의존하여, 컬러들 중 하나가 나머지 컬러들보다 좀더 선명할 수 있다는 사실을 이용하지 않는다.
iv) 더 나아가, 발명은, 표준 장치의 설계 또는 실시예 기술들은 이미지-프로세싱의 디지털 수단에 의해 제공되는 가능성들을 완전하게 이용할 수 없다는 관찰로부터 기인한다.
발명:
그것 때문에, 발명은, 일반적인 방식으로,
- 이미지 컬러들 사이에서, 선명한 컬러(sharp colour)로서 참조되는 하나 이상의 컬러를 선택하는 단계, 및
- 향상된 컬러가 증가된 선명도를 표현하도록 하기 위해, 선명한 컬러의 선명도를 하나 이상의 향상된 다른 컬러상으로 반사하는 단계를 구비하는, 디지털 이미지의 하나 이상의 컬러를 위한 선명도-향상 방법에 관한 것이다.
따라서, 발명의 관점에서는,
- 이미지의 지각되는 선명도(perceived sharpness)를 증가시킬 수 있고,
- 캡처 장치의 심도(depth of field)를 증가시킬 수 있으며,
- 매크로 펑크션을 생성할 수 있고,
- 노출과 무관하게, 심도를 제어할 수 있으며,
- 이미지를 사용해, 이미지화된 화면(imaged scene)의 오브젝트들의 거리를 측정할 수 있고,
- 노출 및/또는 포커싱 및/또는 플래시 서브-제어 디바이스들을 향상시킬 수 있으며,
- 캡처 장치의 비용들을 감소시킬 수 있고,
- 등가 성능의 관점에서, 캡처 장치의 사이즈를 감소시킬 수 있으며,
- 예를 들어, 카메라폰의 그것처럼, 고정된 초점(fixed focus)을 가진 동일한 렌즈를 사용해, 바-코드들 및/또는 명함들 및/또는 기입된 텍스트를 판독할 수 있고 그리고/또는 인물 사진들 및/또는 풍경 사진들을 촬영할 수 있으며,
- 특히, 구경 및 심도의 관점에서, 장치에 증가된 명세들을 제공하는 렌즈를 설계 및/또는 선택할 수 있고,
- 2 이상의 컬러들 사이의 상대적 선명도 및/또는 이미지화된 화면의 오브젝트들의 거리에 의존하여 이미지 효과들(image effects)을 생성할 수 있으며,
- 사용자가 2 이상의 컬러들 사이의 상대적 선명도에 대한 그리고/또는 이미지화된 화면의 오브젝트들의 거리에 대한 이미지 초점을 디지털적으로 변경할 수 있고,
- 포커싱을 위한 광학 시스템을 제거하거나 간략화하는 것에 의해, 캡처를 위한 요청과 실제 이미지 캡처 사이의 시간을 감소시킬 수 있다.
발명은 부가적으로, 광학 캡처 시스템, 센서, 및/또는 서보-제어 시스템을 구비하는 캡처 장치를 위한 실시예에 관한 것으로서, 이미지는 디지털 이미지-프로세싱 수단에 의해 이미지의 향상을 위하여 프로세싱되는데;
실시예 비용들을 최소화하기 위해 그리고/또는 캡처 장치의 성능들을 최적화하기 위해, 사용자가, 디지털 수단에 의하여 이미지들을 프로세싱하기 위한 수용 능력(capacity)을 사용해, 광학 시스템 및/또는 센서 및/또는 서브-제어 시스템 파라미터들을 결정하거나 선택하는 방법이다.
실시예에서, 방법은 디지털 이미지를 영역들로 분해하는 단계를 더 구비하는데, 상기 선명한 컬러는 각각의 영역을 위해 선택된다.
실시예에서, 상기 선명한 컬러 선택은 미리 결정된 규칙에 따라 가장 선명한 컬러를 선택하는 것으로 이루어진다.
실시예에서, 상기 "선명한 컬러" 선택은 미리-결정된다.
실시예에서, 상기 디지털 이미지는 캡처 장치로부터 유래하고, 상기 선명한 컬러 선택은 캡처 장치와 상기 디지털 이미지를 획득하기 위해 캡처된 화면의 하나 이상의 오브젝트 사이의 거리에 의존한다.
실시예에서, 상기 이미지-캡처 장치는 매크로 모드를 구비하고, 상기 선명한 컬러 선택은 매크로 모드의 활성화에 의존한다.
실시예에서, 상기 디지털 이미지는 캡처 장치로부터 유래하고, 상기 방법은, 캡처 장치와 캡처된 화면의 하나 이상의 오브젝트 사이의 거리를, 상기 오브젝트의 이미지 영역에서의 2 이상의 컬러들의 선명도를 사용해 결정하기 위한 단계를 더 구비한다.
실시예에서, 방법은 하나 이상의 이미지 영역내의 하나 이상의 컬러의 선명도를 감소시키기 위한 단계를 더 구비한다.
실시예에서, 방법은, 포커싱이 좀더 적은 단계들로 실현되고 가속되게 하기 위해, 2 이상의 컬러들의 선명도를 사용해 상기 캡처 장치를 위한 서보-제어 명령어를 결정하기 위한 단계를 더 구비한다.
실시예에서, 상기 디지털 이미지는 렌즈를 구비하는 캡처 장치로부터 유래하고, 상기 방법은 일련의 미리 결정된 렌즈들 중에서 렌즈를 선택하기 위한 단계로서, 상기 렌즈는 2 이상의 미리 결정된 거리들을 가진 오브젝트의 이미지들이 선명한 별도 컬러들을 표현함으로써 렌즈의 심도를 향상시키고 그리고/또는 렌즈의 비용을 감소시키는 명세들을 표현하는, 단계를 더 구비한다.
실시예에서, 상기 디지털 이미지는 렌즈를 구비하는 캡처 장치로부터 유래하고, 상기 방법은 발명에 따른 방법을 고려하는 것에 의해 렌즈를 설계하는 단계로서, 상기 렌즈는;
- 심도 및/또는 구경 및/또는 다른 모든 광학 명세가 향상되고 그리고/또는 광학계의 비용이 감소되도록 하기 위해, 그리고
- 좀더 적은 위치들(fewer positions)을 사용해 기계적 포커싱이 실현될 수 있도록 하기 위해, 2 이상의 미리 결정된 거리들을 가진 오브젝트의 이미지들이 선명한 별도 컬러들을 표현하는 명세들을 표현하는, 단계를 더 구비한다.
실시예에서, 하나 이상의 향상된 다른 컬러에 대한 선명한 컬러의 선명도의 영향(repercussion)은 CA = CN + F(CO - CN) 유형의 계산을 사용하는 것에 의해 구현되는데, 여기에서, CA는 향상된 컬러(improved colour)를 표현하고, CO는 프로세싱 이전의 향상된 컬러를 표현하며, CN은 선명한 컬러를 표현하고, F는 필터, 즉, 저역통과(low-pass) 필터를 표현한다.
본 발명은 부가적으로, 이미지들을 캡처 및/또는 재생하기 위한 광학 시스템(22, 22'), 이미지 센서(24) 및/또는 발생기(24'), 및/또는 서보-제어 시스템(26)을 구비하는 이미지-캡처 및/또는 재생 장치(20)를 위한 실시예에 관한 것으로서, 이미지는 디지털 이미지-프로세싱 수단(28, 28')에 의해 이미지의 향상을 위하여 프로세싱되는데,
- 실시예 비용들을 최소화하고 그리고/또는 이미지 캡처 및/또는 재생 장치의 성능들을 최적화하기 위해, 사용자가, 디지털 수단을 통해 이미지들을 프로세싱하기 위한 수용 능력을 사용해, 특히, 선행 실시예들 중 하나를 준수하는 방법에 따라 다른 컬러의 선명도에 의존해 컬러의 선명도를 향상시키기 위한 광학 시스템 및/또는 센서 및/또는 이미지 발생기 및/또는 서보-제어 시스템 파라미터들을 결정하고 선택하는 그러한 방법이다.
또한, 본 발명은 선행 실시예들 중 하나에 따른 컬러-향상 방법을 사용하는 그리고/또는 선행 실시예에 따른 실시예에 의하여 획득되는 이미지-캡처 및/또는 재생 장치에 관한 것이다.
또한, 본 발명은 선행 실시예들 중 하나를 준수하는 방법에 따라 또는 선행 실시예를 준수하는 장치를 사용해 획득되는 디지털 이미지에 관한 것이다.
마지막으로, 본 발명은 선행 실시예들 중 하나에 따른 방법을 구현하는 디지털 이미지-프로세싱 디바이스에 관한 것이기도 하다.
정의들:
이하에서는, 이용되는 다양한 용어들의 의미들이 지적된다:
- 디지털 이미지에 의해서는, 디지털 폼(digital form)에 따라서 발생되는 이미지가 의도된다. 이미지는 이미지-캡처 장치로부터 유래할 수도 있다.
디지털 이미지는, 이하에서 "그레이 레벨(grey level)"이라고 하는 일련의 디지털 값들에 의해 표현될 수 있는데, 각각의 디지털 값은 컬러 및 표면에서의 또는 부피내에서의 상대적인 기하학적 위치의 관점에서 민감도(sensitivity)에 링크된다. 컬러는, 발명의 의미내에서, 컬럼의 관점에서 그러한 동일 민감도에 링크되는 일련의 디지털 값들로서 언급된다.
디지털 이미지는 "디모자이킹(demosaicing)" 이전의 (즉, 행렬을 제거하기 이전의) 센서로부터의 미가공 이미지(raw image)인 것이 바람직스럽다. 디지털 이미지는, 예를 들어, 디모자이킹 또는 화이트 밸런싱에 의해 프로세싱되었을 수도 있다. 발명에 따르면, 디지털 이미지는 서브-샘플링을 거치지 않은 것이 바람직스러울 것이다.
- 디지털 이미지가 이미지-캡처 장치로부터 유래한다면, 그러한 이미지-캡처 장치는 감지 소자들이 장비된 센서를 구비할 것이다. 감지 소자에 의해서는, 에너지 흐름을 전기 신호로 변환할 수 있는 센서 소자가 의도된다. 에너지 흐름은 특히, 발광 흐름, X-레이들, 자기 필드, 전자기 필드, 또는 음파들의 형태를 취할 수 있다. 감지 소자들은, 경우에 따라, 표면상에 병치되거나 그리고/또는 부피내에 중첩될 수 있다. 감지 소자들은 직사각형 행렬, 육각형 행렬, 또는 임의의 다른 기하 구조에 따라 배치될 수 있다.
- 본 발명은 2 이상의 상이한 유형들의 감지 소자들을 구비하는 센서들에 응용되는데, 각 유형은 컬러 관점에서의 민감도를 갖고, 각각의 컬러 민감도는 센서의 감지 소자에 의해 전기 신호로 변환되는 에너지 흐름의 부분에 대응된다. 가시적 이미지 센서의 경우, 센서들은 일반적으로 3가지 컬러들에 민감하고, 디지털 이미지 또한 3가지 컬러들: 변환된 에너지량을 수직 축(6.2)에서 그리고 파의 길이를 수평 축에서 나타내는 도 2에서 예시된 바와 같은 레드(5.1), 그린(5.2), 및 블루(5.3)를 가진다. 일부 센서들은 4가지 컬러들: 레드, 그린, 에메랄드, 및 블루에 민감하다.
- 컬러에 의해서는, 센서에 의해 방출되는 신호들의 조합, 특히, 선형 조합도 의도된다.
- 본 발명은 모든 공지 선명도의 다양한 공지 정의들을 사용해 응용된다. 예를 들어, 컬러의 선명도는, Jerome BUZZI 및 Frederic GUICHARD에 의해 "Uniqueness of Blur Measure"라는 명칭으로 "Proceedings of IEEE, International Conference of Image Processing, Singapore 2004"에서 간행된 논문에서 설명된 바와 같이, 블러 스폿 표면(blur spot surface)의 측정인 "BXU"라고 하는 값의 측정에 대응될 수 있다.
간단히 말해서, 광학 시스템의 블러는 선명도 평면내에 배치된 무한히 작은 포인트로부터의, "임펄스 응답(impulsive response)"이라고 하는, 이미지로부터 측정된다. BXU 파라미터는 임펄스 응답의 변형(즉, 그것의 평균 표면)이다. 프로세싱 수용 능력은 최대 BXU 값으로 제한될 수 있다.
그러한 선명도를 위한 다양한 측정 방법들이, 예를 들어, Al Bovik에 의해 편집되어 Academic press(pp. 415 내지 430)에 의해 간행된 "Handbook of Image&Video processing"으로서의 그러한 핸드북들 및 간행물들에서 설명된다.
파라미터는, 일반적으로 수용되는 것과 같은, 이미지의 품질을 언급한다. 실시예에서, 컬러의 선명도는 기울기(gradient)를 계산하는 것에 의해 실현된다. 예를 들어, 컬러의 선명도는, 고려되는 컬러내의 인접한 기하학적 위치들로부터 취해지는 그레이 성분(grey matter)의 9개 레벨들의 기울기를 계산하는 것에 의해 획득될 수 있다.
본 발명은 2 이상의 컬러들의 선명도를 언급한다. 실시예에 따르면, 2 이상의 컬러들의 선명도는 하나를 나머지와 관련짓는 상대적 방식으로만 고려된다. 그러한 실시예의 경우, 기울기는, 이미지 내용들(image contents)에 무관하게, 2개 컬러들 사이의 상대적 선명도를 간단하게 계산할 수 있게 한다.
본 발명은, 컬러들 사이에서, "선명한 컬러"라고 하는 하나 이상의 컬러를 선택하는 것을 언급한다. 실시예에 따르면, 그러한 선택은, 2 이상의 컬러들 중에서 어떤 컬러가 가장 선명한지를 결정하는 것에 의해 가능하다. 그러한 실시예의 경우, 기울기가, 2 이상의 컬러들 사이에서 가장 선명한 컬러를 간단하게 결정할 수 있게 한다.
구현에서,
- 이미지-캡처 장치는, 예를 들어, 일회용 카메라, 디지털 카메라, (디지털 또는 비디지털) 리플렉스(reflex) 카메라, 스캐너, 팩스 머신, 내시경, 시네-카메라, 캠코더, 감시 카메라, 전화기, PA(personal assistant), 또는 컴퓨터에 통합되거나 링크된 게임, 시네-카메라, 또는 사진 장치, 써믹 카메라(thermic camera), 초음파 장치, MRI(Magnetic Resonance Imaging) 장치, X-레이 방사선 사진 장치이다.
본 발명은, 장치의 그러한 유형들이 2 이상의 컬러들을 구비하는 이미지들을 프로세싱한다면, 장치의 그러한 유형들을 언급한다는 것에 주의해야 한다.
- 이미지-캡처를 위한 광학 시스템에 의해서는, 센서의 이미지들을 재생할 수 있는 광학 수단이 의도된다.
- 이미지-캡처에 의해서는, 이미지를 캡처 및/또는 기록할 수 있는 기계적, 화학적, 또는 전자적 수단이 의도된다.
- 서보-제어 시스템에 의해서는, 기계적, 화학적, 전자적, 또는 정보 기술 유형에 상관없이, 장치의 소자들 또는 파라미터들이 명령어들을 준수할 수 있게 하는 수단이 의도된다. 그것은 특히, 자동 포커싱 시스템(오토포커스), 자동 화이트-밸런스 제어, 자동 노출 제어, 예를 들어, 균일한 이미지 품질을 유지하기 위한 광학 소자들의 제어, 이미지-안정화 시스템, 광학 및/또는 디지털 줌 팩터 제어 시스템, 포화 제어 시스템, 또는 콘트라스트-제어 시스템을 언급한다.
- 디지털 이미지-프로세싱 수단은 그것들의 응용에 따라 다양한 형태들을 취할 수 있다.
- 디지털 이미지-프로세싱 수단은, 다음의 일례들에서와 같이, 장치에 부분적으로 또는 전체적으로 통합될 수 있다:
- 변경된 이미지들을 발생시키는 이미지-캡처 장치, 예를 들어, 이미지-프로세싱 수단이 통합된 디지털 사진 장치.
- 변경된 이미지들을 디스플레이하거나 인쇄하는 이미지-재생 장치, 예를 들어, 이미지-프로세싱 수단을 구비하는 비디오 프로젝터 또는 프린터.
- 그것의 소자들의 결함들을 정정하는 다기능 장치, 예를 들어, 이미지-프로세싱 수단을 구비하는 스캐너/프린터/팩스 머신.
- 변경된 이미지들을 발생시키는 전문적인 이미지-캡처 장치, 예를 들어, 이미지-프로세싱 수단을 구비하는 내시경.
실시예에 따르면:
- 디지털 이미지-프로세싱 수단은, 광학 시스템의 기하학적 왜곡들, 광학 시스템의 색수차들(chromatic aberrations), 시차(parallax)의 보상, 심도, 광학 시스템 및/또는 이미지 센서 및/또는 발생기의 비네팅(vignetting), 광학 시스템 및/또는 이미지 센서 및/또는 발생기의 선명도 결여, 잡음, 무아레(moire) 현상들, 및/또는 콘트라스트를 구비하는 그룹의 파라미터들 중 하나 이상을 활성화하는 것에 의해 이미지 품질을 향상시키기 위한 수단을 포함하고,
- 그리고/또는 광학 시스템의 제시되거나 선택되는 파라미터들은, 시스템의 광학 소자들의 수, 광학 시스템의 광학 소자들을 구성하는 재료들의 유형, 광학 시스템을 위한 재료들의 비용, 광학 표면들의 프로세싱, 어셈블리 허용 한계들(tolerances), 초점 길이에 따른 시차값, 구경 명세들, 구경 메커니즘들, 가능한 초점 길이들의 범위, 포커싱 명세들, 포커싱 메커니즘들, 안티-얼라이어싱 필터들, 전체 치수들, 심도, 초점 길이와 포커싱을 링크하는 명세들, 기하학적 왜곡들, 색수차들, 오프-캔터링(off-cantering), 비네팅, 선명도 명세들을 구비하는 그룹 내에서 선택되며,
- 그리고/또는 이미지-캡처 및/또는 발생 장치의 제시되거나 선택되는 파라미터들은, 픽셀들의 품질, 픽셀들의 표면적, 픽셀들의 수, 마이크로-렌즈 행렬, 안티-얼라이어싱 필터들, 픽셀들의 기하 구조, 픽셀들의 레이아웃을 구비하는 그룹내에서 선택되고,
- 그리고/또는 서보-제어 시스템의 제시되거나 선택되는 파라미터들은, 포커싱 측정, 노출 측정, 화이트 밸런스 측정, 포커싱 명령어들, 구경 명령어들, 노출 명령어들, 센서-이득 명령어들, 플래시라이트 명령어들을 구비하는 그룹내에서 선택된다.
자동 포커싱을 가능하게 하는 서보-제어 시스템을 위해, 포커싱은 다양한 방식들로, 특히, 광학 시스템의 이동식 소자들의 위치를 제어하는 것에 의해 또는 유동적인 광학 소자들의 기하 구조를 제어하는 것에 의해 수행될 수 있다는 것이 상기된다.
- 캡처 장치의 성능들은 특히 그것의 비용, 그것의 전체 치수들, 그것이 수신할 수 있는 방출광의 최소량, 이미지 품질, 즉, 그것의 선명도, 광학계(optics), 센서, 및 서보-제어의 기술적 명세들 뿐만 아니라 그것의 심도이다.
그것 때문에, 심도는, 오브젝트가 선명한 이미지를 발생시키는, 즉, 선명도가 컬러를 위한, 일반적으로 그린을 위한 소정 임계치를 초과하는 거리들의 범위로서 정의될 수 있거나, 심지어 블러 스폿이 미리 결정된 치수들을 초과하지 않는 가장 가까운 오브젝트 평면과 가장 먼 오브젝트 평면 사이의 거리로서 정의될 수 있다는 것에 주목해야 한다.
다음에서 설명되는 바와 같이, 컬러 그린이 이미지의 선명도를 정의하기 위한 주류를 이루기 때문에, 그린을 사용해 심도를 정의하는 것 또한 일반적이다.
또한, 본 발명은, 앞서 정의된 바와 같은, 실시예 방법을 통해 획득되는 장치에 관한 것이다.
상술된 것들과는 별도로 또는 상술된 것들과 조합하여 사용될 수 있는 발명의 다른 명세들에 따르면:
본 발명은, 2 이상의 컬러들을 가진, 이미지-캡처 장치로부터 유래하는, 하나 이상의 디지털 이미지에 대해 수행된 측정을 사용해 펑크션을 활성화하기 위한 방법에 관한 것으로서:
- 상대적 선명도가 이미지의 하나 이상의 영역(R)에서의 2 이상의 컬러들 사이에서 측정되고,
- 펑크션은 측정된 상대적 선명도에 따라 활성화된다.
영역에 의해서는, 이미지의 일부 또는 전부가 의도된다. 영역은 한개 픽셀 또는 인접하거나 인접하지 않은 수개 픽셀들을 구비한다.
따라서, 액션은 명백하게, 이미지화된 오브젝트와 캡처 장치 사이의 거리에 적응되거나, 이미지화된 2개 오브젝트들 사이의 상대적 깊이에 적응된다.
(그러한 리스트가 총망라적인 것은 아니지만) 예를 들어, 다음과 같은 다양한 방식들로 상대적 선명도를 측정할 수 있다:
- 가장 선명한 컬러가 결정될 수 있고, 그리고/또는
- 컬러들 사이에서, "선명한 컬러"라고 하는, 하나 이상의 컬러가 선택될 수 있고, 그리고/또는
- 컬러들 사이의 선명도가 비교될 수 있고, 그리고/또는
- 선명도 차이가 계산될 수 있고, 그리고/또는
- 상대적 선명도가 직접적으로 계산될 수 있다.
이하에서는, 상대적 선명도 측정들의 다양한 일례들이 설명될 것인데, 도 3의 (a), 도 3의 (b), 도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 및 도 10에서 명백하게 예시된다.
영역에서의 상대적 선명도 및/또는 상대적 선명도의 측정은, 예를 들어, 영역에서의 평균적인 상대적 선명도를 표현하는 단일 디지털 값으로써 또는 영역의 다양한 부분들에서의 상대적 선명도를 표현하는 수개의 디지털 값들로써 표현될 수 있다.
본 발명에 따르면, 측정된 상대적 선명도에 따라, 하나 이상의 펑크션이 활성화된다. 그러한 액션은 특히 (그러한 리스트가 총망라적인 것은 아니지만) 다음과 같다:
- 디지털 이미지 및/또는 다른 디지털 이미지의 (특히 프로세싱 또는 거리-데이터 및/또는 위치 및/또는 방위(direction) 파라미터들의 제공을 통한) 직접 또는 간접 프로세싱, 및/또는
- 화면의 하나 이상의 오브젝트 또는 서브젝트의 하나 이상의 부분의 거리 및/또는 방위 및/또는 위치 및/또는 사이즈 및/또는 방향(orientation) 및/또는 기하학적 형태 측정, 및/또는
- 3차원의 이미지화된 화면의 기하 구조에 직접적으로 또는 간접적으로 링크된 데이터, 및/또는
- 오브젝트 검출, 특히, 얼굴 및/또는 메인 서브젝트 또는 서브젝트들, 및/또는
- 오브젝트 인식 및/또는 인증, 예를 들어, 얼굴, 및/또는
- 장치의 위치 및/또는 이동 측정, 및/또는
- 장치 또는, 로봇과 같은, 다른 디바이스의 서보-제어, 및/또는
- 메인 서브젝트의 자동 프레이밍(framing), 및/또는
- 장치의 일 조정 변경, 및/또는
- 신호의 발생 또는 활성화, 및/또는
- 디지털 이미지 또는 다른 디지털 이미지내에서의 오브젝트의 추가, 제거, 또는 변경, 및/또는
- 상대적 선명도 측정을 직접적으로 또는 간접적으로 사용하는 임의의 다른 액션.
실시예에 따르면, 액션은 다음을 구현한다:
- 디지털 이미지, 및/또는
- 다른 디지털 이미지, 및/또는
- 장치의 사용자에 의한 선택, 및/또는
- 사진-촬영 동안의 캡처 장치의 하나 이상의 명세, 및/또는
- 다른 데이터.
액션이 직접 또는 간접 프로세싱과 관련되는 경우, 프로세스는 (그러한 리스트가 총망라적인 것은 아니지만) 다음의 액션들 중 하나로 이루어질 수 있다:
- 포커싱을 디지털적으로 변경하는 액션, 및/또는
- 2 이상의 컬러들 사이의 상대적 선명도에 따라 그리고/또는 이미지화된 화면의 오브젝트들의 거리에 따라 이미지 효과들을 생성하는 액션, 및/또는
- 이미지의 하나 이상의 영역내의 하나 이상의 컬러의 선명도를 감소시키는 액션, 및/또는
- 이미지의 하나 이상의 영역내의 하나 이상의 컬러의 선명도를 증가시키는 액션, 및/또는
- 압축을 활성화하는 액션, 및/또는
- 여기에서 설명되는 임의의 다른 프로세스를 구현하는 액션.
측정된 상대적 선명도를 펑크션을 활성화하는데 사용하는 것은 특히, 펑크션이, 이미지화된 오브젝트의 하나 이상의 부분과 측정 장치 사이의 거리에, 그리고/또는 오브젝트의 하나 이상의 부분의 기하 구조에, 그리고/또는 오브젝트의 하나 이상의 부분의 위치 및/또는 사이즈에, 그리고/또는 오브젝트의 하나 이상의 부분의 방위에 적응될 수 있게 한다.
공지 방법들은 하나 이상의 이미지 영역의 상대적 선명도 측정으로부터 펑크션의 그러한 유형의 활성화를 가능하게 할 수 없으며, 오히려, 거리를 추정한다는 목적을 위해, 이미지-캡처 장치 이외에, 특정 디바이스의 사용을 요구한다. 더 나아가, 공지 방법들은 특정한 일 포인트 또는 제한된 수의 포인트들에서의 거리 측정만을 가능하게 하는 반면, 발명은 다수 포인트들에서 동시에 거리를 측정할 수 있게 한다.
실시예에 따르면, 활성화되는 펑크션은 다음을 구비하는 그룹에 포함된다:
- 캡처 장치와 디지털 이미지에 의해 이미지화되는 하나 이상의 오브젝트 사이의 거리의 결정 및/또는 이미지화된 2개 오브젝트들 사이의 상대적 거리의 결정,
- 상기 거리 및/또는 상기 상대적 거리에 의존하는 액션,
- 디지털 이미지 및/또는 다른 디지털 이미지의 하나 이상의 구역(Z')에 대한 프로세스,
- 캡처 장치의 서보-제어 및/또는 다른 장치의 서보-제어,
- 사용자에게로의 명령어 및/또는 알람 및/또는 경보 신호의 제공,
- 이미지의 부분의 검출,
- 컬러 선명도의 변경,
- 캡처 장치의 위치 및/또는 이동의 결정,
- 이미지내에서의 서브젝트의 위치 결정,
- 하나 이상의 이미지 명세의 변경,
- 이미지의 전부 또는 부분의 변경,
- 특히, 서보-제어 신호를 제공하기 위해, 이미지 내부에서 관심있는 구역의 결정,
- 이미지의 전부 또는 부분을 위한 해상도의 변경,
- 이미지에 관련된 데이터의 제공,
- 사운드-캡처 디바이스로의 데이터 제공,
- 압축의 파라미터화(parametering),
- 이미지의 전부 또는 부분의 변경,
- 캡처 장치의 하나 이상의 조정.
실시예에 따르면, 활성화되는 펑크션은 디지털 이미지 및/또는 다른 디지털 이미지의 하나 이상의 구역(Z')에 대한 프로세스를 구비한다.
구역(Z')은, 상대적 선명도가 측정되었던 디지털 이미지의 부분이거나 그렇지 않다.
2 이상의 컬러들 사이의 상대적 선명도가 측정되었던 것과는 별도로, 디지털 이미지에 대해 수행되는 프로세싱 일례로서, 먼저, 후속 이미지, 또는 다른 이미지가 프로세싱될 수 있는 비디오 시퀀스를 취하는 것이 인용될 수 있는데, 그러한 프로세스는 (이 또한 일례로서 제시된) 선명도를 증가시키는 것으로 이루어질 수 있다.
실제로, 후속 이미지의 선명도가 증가될 수 있는데, 그것은 그러한 후속 이미지와 거의 구별 불가능한 선행 이미지의 측정에 기초하기 때문이다. 따라서, 현재의 디지털 이미지를 메모리에 저장하는 것은 불필요하다.
다른 일례로서: 선명도 측정은, 디지털 사진 장치내에서, 실제로 사진을 촬영하기 이전에 디스플레이되는 이미지에 대해 수행되고; (실제 사진-촬영 이전에 디스플레이되는 이미지에 대해 취해지는 측정은 일반적으로 좀더 낮은 해상도인 한편) 촬영된 이미지는 마지막 측정 또는 마지막 측정들의 조합을 사용해 이후의 스테이지에서 완전한 해상도로 프로세싱된다.
실시예에서, 구역(Z')은 (상대적 선명도 측정이 취해졌던) 디지털 이미지 영역의 전부 또는 부분, 및/또는 전체 디지털 이미지, 및/또는 디지털 이미지 구역과는 별도의 구역, 및/또는 다른 디지털 이미지, 및/또는 다른 전체 디지털 이미지를 구성한다.
구역(Z')이 디지털 이미지 영역의 전부 또는 부분을 구성할 때, 예를 들어, 심도가 증가되어야 한다면, 구역(Z')은 픽셀이고; 상대적 선명도가 측정되는 N개 픽셀들의 영역은 그러한 상대적 선명도에 따라 정의되는데, 픽셀의 선명도가 증가되도록 하기 위해, 가장 선명한 컬러의 선명도를 다른 컬러로 전달할 목적으로 필터가 응용된다. 각각의 픽셀을 위해 이 동작을 반복하는 것에 의해, 심도가 증가된다.
특히, 완전한 이미지에 대한 선명도가 증가되는 경우, 프로세스가 수행되는 구역(Z')이 완전한 디지털 이미지를 구성할 수도 있다.
디지털 이미지 영역의 별도 구역에 대한 프로세스의 일례로서, 상대적 선명도 측정이 영역에 대해 수행되는 경우가 인용될 것인데, 그것 때문에, 프로세스는 디지털 줌에 대응되는 중앙 이미지 부분에 응용된다.
다른 디지털 이미지 및/또는 다른 완전한 디지털 이미지의 구역에 응용되는 프로세스의 일례로서, 비디오 시퀀스의 상기 일례가 상기되는데, 다른 디지털 이미지는, 예를 들어, 비디오 이미지를 수반하는 이미지이고; 다른 이미지 또한, 예를 들어, 사진 장치를 위한 완전한 해상도에서 촬영된 디지털 이미지인 반면, 측정이 이루어지는 이미지는 낮은 해상도이다.
실시예에서, 프로세스가 활성화되는 구역(Z')은 이미지의 하나 이상의 픽셀을 포함하는 한편, 영역은 디지털 이미지에서의 대응되는 픽셀의 미리 결정된 부근을 포함한다. 프로세싱된 이미지는 디지털 이미지일 수 있다. 프로세싱된 이미지는 다른 이미지, 예를 들어, 동일한 캡처 장치로부터 유래하는, 디지털 이미지 이후에 캡처된, 이미지일 수도 있다. 그러한 경우, 2개 이미지들의 픽셀들 사이의 대응 관계는 동일한 장소에 배정되는 2개 이미지들의 픽셀들을 연관짓는 것에 의해 실현될 수 있다. 그러한 경우는, 이미지들이 단시간 프레임, 예를 들어, 1/15초내에서 캡처된다면, 성가신 아티팩트가 전혀 없는 상태에서, 측정과 프로세싱 사이의 디지털-이미지 저장을 방지한다는 이점을 가진다.
실시예에서, 이 처리는 이미지의 모든 픽셀들에 응용된다. 프로세싱된 이미지는 디지털 이미지일 수 있다. 프로세싱된 이미지는 다른 이미지, 예를 들어, 동일한 캡처 장치로부터 유래하는, 디지털 이미지 이후에 캡처된, 이미지일 수도 있다.
실시예에서, 적어도 구역(Z')에 대한 프로세스는 선명도, 콘트라스트, 광도, 디테일, 컬러, 압축 유형, 압축율, 이미지 내용들, 해상도를 구비하는 그룹내에 포함되는 하나 이상의 이미지 명세의 변경을 포함한다.
콘트라스트 변경의 일례:
예를 들어, 화상-회의의 경우, 근접한 오브젝트들의 콘트라스트는 증가되고 백그라운드 오브젝트들의 콘트라스트는 감소된다. 반대로, 블러링 효과를 감소시키기 위해, 근접한 오브젝트들의 콘트라스트는 감소될 수 있고 백그라운드 오브젝트들의 콘트라스트는 증가될 수 있다.
광도 변경의 일례:
프로세스는, 예를 들어, 화상-회의를 위해 근접한 오브젝트들의 브라이트닝(brightening) 및 배경의 다크닝(darkening)을 필요로 할 수 있다. 반대로, 플래시라이트를 사용해 촬영된 이미지의 경우, 광도 프로세스는, 플래시라이트 효과를 보상하기 위해, 배경을 브라이트닝하는 단계 및 근접한 오브젝트들을 다크닝하는 단계로 이루어질 것이다.
디테일 변경의 일례:
화상-회의의 경우, 배경 오브젝트들의 디테일은, 그러한 배경 오브젝트들을 위해 좀더 높은 압축을 허용하기 위해, 감소될 수 있는 한편, 메인 오브젝트를 위해서는 최대 품질을 유지한다.
컬러 변경의 일례:
간혹 "퍼플 프린징(puple fringing)"이라고 하는 과도한 종방향 색수차들을 제거하기 위해, 다시 말해, 상대적 선명도가 임계치를 초과하는 경우, 영역들의 컬러들의 관점에서 포화는 감소된다.
압축-유형 변경의 일례:
예를 들어, 화상-회의의 경우, 근접한 메인 서브젝트를 위해 최대 품질을 유지할 목적으로 멀리 떨어진 오브젝트가 고도로 압축될 수 있도록 하기 위해, 근접한 오브젝트/멀리 떨어진 오브젝트의 세분화(segmentation)가 코덱 MPEG-4에 제공된다.
압축율 변경의 일례:
화상-회의의 경우에서 앞서 언급된 바와 같이, 백그라운드를 위한 압축율이 메인 서브젝트를 위한 압축율보다 높을 수 있다.
내용들의 변경 일례:
이 프로세스는 배경을 풍경 또는 장식으로 대체하는 것으로 이루어진다.
실시예에서, 프로세스는, 각 픽셀의 미리 결정된 부근내의 픽셀에 부착된 값들을 혼합하는 필터에 의해 구역(Z')의 픽셀 각각을 위한 선명도를 변경하는 것을 포함하는데, 필터의 파라미터들은 측정된 상대적 선명도에 의존한다.
실시예에서, 구역(Z')은 측정된 상대적 선명도를 사용해 결정된다.
예를 들어, Z' 구역은, 상대적 선명도가 거리들의 소정 범위내에 배치된 오브젝트들을 포함하는 이미지의 부분들에 대응되는 소정 범위내에 구비되는 이미지 부분들에 대응되는데, 이는, 예를 들어, 포그라운드(foreground) 및 백그라운드를 별도로 프로세싱할 수 있게 한다.
발명의 의미내에서, "arriere-plan" 및 "fond"라는 불어는 영어의 "백그라운드"과 구별되지 않는 동일한 내포를 가진다.
실시예에서, 구역(Z')은 이미지, 특별히, 비지오(Visio) 또는 화상-회의의 시스템을 통한, 특히, 원격 전송용 이미지를 위한 백그라운드를 구성한다. 프로세싱된 이미지는 디지털 이미지일 수 있다. 프로세싱된 이미지는 다른 이미지, 예를 들어, 동일한 캡처 장치로부터 유래하는, 디지털 이미지 이후에 캡처된, 이미지일 수도 있다.
실시예에 따르면, 프로세스는 구역(Z')의 픽셀들 전부 또는 부분을 위해, 이미지화된 오브젝트와 캡처 장치 사이의 거리에 따라 데이터를 제공하는 것을 포함하고, 그러한 데이터의 저장 및/또는 전송 및/또는 사용이 거리에 따라 활성화되는 경우, 저장되는 데이터는 특히 데이터-프로세싱 파일, 즉, 이미지 파일에 저장된다.
구역(Z')은 포인트 및/또는 영역 및/또는 수개 영역들 및/또는 완전한 이미지 및/또는 메인 서브젝트 및/또는 백그라운드를 구성할 수 있다는 것이 상기된다.
거리에 의존하는 데이터는, 예를 들어, 1 cm 미만의 거리, 1과 10 cm 사이로 이루어진 거리, 그 다음 10 cm와 1 m 사이의 거리, 그리고 마지막으로 1 m를 초과하는 거리처럼, 예를 들어, 거리 값들의 정밀도 지시 또는 범위를 갖춘 거리일 수 있다. 거리에 의존하는 데이터는 "지나치게 근접한", "근접한", "부근", "먼", 또는 "매크로" 유형의 기준에 의해 표현될 수도 있다. 거리에 의존하는 데이터는, "인물" 또는 "풍경"과 같은, 오브젝트들 또는 서브젝트들의 유형에 대한 정보로 변경될 수도 있다.
따라서, 이미지의 다양한 부분들에 대한 거리들의 맵도 제공될 수 있다. 캡처 장치와 관련하여 구역의 위치를 제공할 수도 있다.
거리에 의존하는 데이터는, 최소 거리, 최대 거리, 평균, 및 통상적인 차이와 같은, 이미지의 다양한 소자들을 위한 거리 값들을 구비할 수도 있다.
본 발명은 단일 이미지를 사용해 화면내의 몇가지 거리들을 측정할 수 있는 반면, 종래 기술은, 입체 영상(stereoscopy)을 실현하기 위해 수개 위치들에 배치된 수개 카메라들, 이동중인 카메라, 레이저 레인지-파인더(range-finder), 또는 심지어 가시적 이미지를 획득할 수 없는 초음파 소나(ultrasound sonar)와 같은, 복잡한 수단을 요구한다는 것에 주목하는 것이 중요하다.
실시예에서, 활성화되는 펑크션은, 포커싱을 위한 서보-제어, 노출을 위한 서보-제어, 플래시를 위한 서보-제어, 이미지-프레이밍을 위한 서보-제어, 화이트-밸런싱을 위한 서보-제어, 이미지-안정화를 위한 서보-제어, 로봇의 가이딩(guiding)과 같은, 캡처 장치에 링크된 다른 장치 또는 디바이스를 위한 서보-제어에 의해 구성되는 그룹내에 구비되는 캡처 장치를 위한 서보-제어 펑크션을 포함한다.
서보-제어 포커싱 펑크션의 일례:
관심있는 메인 서브젝트 또는 구역들은, 선명도로부터와 같은, 거리 측정들에 의해 검출될 수 있고, 그에 따라, 관심있는 메인 서브젝트 또는 구역은 가장 가까운 구역일 수 있다.
단일 디지털 이미지로부터 직접적으로 취해진 측정들을 사용해 구현되는 포커싱을 위한 서보-제어는, 연속적인 이미지들로부터 측정들을 취해야 하는 공지의 포커싱 서보-제어들 또는 "오토포커스"와 관련하여 특히 유용하다.
더 나아가, 공지의 포커싱 서보-제어는, 절반 정도 내려갈 때까지 트리거 소자를 누른 다음 완전하게 아래쪽으로 누르기 전에 프레이밍을 이동시키는 것으로 이루어지는 반면, 발명에서는, 완전히 자동 방식으로 포커싱이 실현될 수 있고; 그에 따라, 발명은 시간의 이득 및 좀더 양호한 이미지를 가능하게 한다.
서보-제어 노출 펑크션의 일례:
포커싱 서보-제어와 유사하게, 노출 조정은 자동으로 검출되는 메인 서브젝트에 대해 실현되고; 그에 따라, 메인 서브젝트가 이미지 프레임내의 어디에 위치하든, 노출은 정확할 수 있다. 다시 말해, 포커싱과 유사하게, 사용자가 서브젝트를 겨냥한 다음 프레이밍을 이동시키기 전에 절반만 아래로 누를 필요가 없다.
플래시라이트 서보-제어의 일례:
본 발명은 메인 서브젝트를 결정할 수 있게 하므로, 브라이트닝 펑크션(brightening function)이 메인 서브젝트에 따라 활성화될 수 있는 한편, 최첨단 기술에서는, 메인 서브젝트, 즉, 특히 가장 가까운 서브젝트의 결정없이 포커싱에 따라 플래시라이트의 강도가 조정된다. 앞서 지시된 바와 같이, 최소 조명의 오브젝트들은 브라이트닝을 통해 디지털적으로 프로세싱될 수 있다.
다른 디바이스의 제어 일례:
이동 로봇이 이동해야 하는 경우, 이동 로봇에 가장 가까운 오브젝트들로부터 결정되는, 모든 장애가 제거된, 궤적에 의해 이동 로봇에 가장 가까운 영역들이 결정된다.
실시예에서, 활성화되는 펑크션은 캡처 장치로의, 디지털 이미지의 주초점 및/또는 포커싱 구역의 명령어 신호, 및/또는 디지털적으로 모니터링되는 이미지화된 화면 및/또는 이미지화된 화면의 하나 이상의 부분의 거리의 변경을 지시하는 알람 신호와 같은, 신호의 제공을 포함한다.
예를 들어, 디지털 사진 장치에서는, 사진-촬영 동안 장치에 의해 어떤 메인 서브젝트가 검출되었는지를 사진-촬영자에게 통지하려는 목적을 위해 메인 서브젝트를 둘러싸는, 특히 미리 결정된 형태의, 프레임을 가질 수 있다. 메인 서브젝트의 그러한 지시 신호는 특히, 사진-촬영자에게 어떤 것이 가장 선명한 서브젝트 또는 오브젝트일 것인지를 통지하기 위해, 실제의 사진-촬영 이전에 사용될 수 있다.
그러한 신호는, 가장 가까운 오브젝트 또는 서브젝트가 사진-촬영 장치와 관련하여 지나치게 가까워 그것이 선명할 수 없다는 지시일 수도 있다. 그러한 경우, 신호는, 예를 들어, "Foreground too close"의 분명한 메시지, 포그라운드 블러의 강조, 또는 심지어 포그라운드 컬러의 가시적 변경의 형태를 취한다.
포그라운드의 화면 또는 오브젝트가 지나치게 가깝다는 것을 지시하는 신호는 촬영될 이미지의 최종적인 용도, 특히, 그러한 용도를 위해 선택되는 해상도를 고려할 수 있다. 예를 들어, 텔레비전-수신기 또는 컴퓨터에서는 블러링될 서브젝트가, 사진-촬영 장치에서 발견되는 유형의 작은 사이즈 스크린에서는 선명할 수 있다. 마찬가지로, 24 cm × 30 cm 페이퍼에서의 인쇄를 위해 블러링된 서브젝트가, 10 cm × 15 cm 페이퍼에서의 인쇄를 위해서도 그래야 할 필요는 없다.
블러링 지시 신호는 서브젝트를 고려할 수도 있다. 예를 들어, 바-코드의 검출은 자연 이미지(natural image)보다 블러에 좀더 관용적이다.
사진-촬영 장치에 의해 제공되는 알람 신호의 일례:
오브젝트를 모니터링하는 비디오-감시 시스템에서, 사진-촬영 장치는 2개 영역들을 커버하도록 조정된다. 이 영역들 중 첫번째는 오브젝트가 발견되는 영역인 한편, 두번째 영역은 사진-촬영 장치의 완전한 범위이다. 사진-촬영 범위내의 오브젝트가 모니터링될 오브젝트에 좀더 가까워지면, 알람이 활성화된다.
실시예에서, 활성화되는 펑크션은 사진-촬영 동안의 캡처 장치의 하나 이상의 명세, 즉, 초점 길이, 구경, 포커싱 거리, 노출 파라미터들, 화이트-밸런스 파라미터들, 해상도, 압축, 또는 사용자에 의해 이루어진 조정에 의존한다.
실제로, 활성화되는 펑크션은 측정된 상대적 선명도에 의존하고, 2 이상의 컬러들 사이의 그러한 상대적 선명도는 사진-촬영 장치의 조정, 즉, 초점 길이, 구경, 및 포커싱 거리에 의존한다.
실시예에서, 디지털 이미지는 캡처 장치의 센서로부터 유래하는 미가공 이미지를 구성한다.
미가공 이미지를 사용할 때, 측정은 디모자이킹, 선명도 향상 필터, 컬러 면적에서의 변화, 또는 음영 곡선과 같은, 프로세스들에 의해 영향받지 않으므로, 그러한 펑크션은 상대적 선명도 펑크션을 좀더 용이하게 한다.
그러나, 센서로부터 유래하는 미가공 이미지는, 예를 들어, 방음, 디지털 이득, 다크 레벨의 보상에 의해 프로세싱되었을 수도 있다.
상대적 선명도 측정 및/또는 활성화되는 펑크션은 캡처 장치내에서 수행될 수도 있다.
상대적 선명도 측정은 캡처 장치 이외에서, 예를 들어, 디지털 이미지 전달 이후의 컴퓨터에서 수행될 수도 있고, 그리고/또는 사용자는 캡처 장치 이외에서 펑크션을 활성화한다.
실제로 캡처 장치 저쪽에서 상대적 선명도를 측정할 수 있고, 마찬가지로, 펑크션 또한, 이미 언급된 바와 같이, 캡처 장치 저쪽에서 활성화될 수 있다. 예를 들어, 컴퓨터에 구현된 프로세싱 프로그램은 포커싱 거리 및/또는 심도에 의존하는 프로세스들을 구현하기 위해, 선명도 측정들을 사용해, 포커싱 거리 및/또는 심도를 결정한다.
실시예에서, 펑크션은, 얼굴 검출 및/또는 인식과 같은, 이미지의 부분을 위한 검출 및/또는 인식 펑크션을 구비한다.
예를 들어, 얼굴은 소정 사이즈를 표현한다는 것이 공지되어 있다. 본 발명에 따른 방법은 오브젝트들 또는 서브젝트들과 캡처 장치 사이의 거리를 결정할 수 있게 한다. 또한, 그러한 거리 데이터를 사용하여, 초점 거리 및 이미지에서의 오브젝트 사이즈에 대해, (소정 범위 내에 포함되는 사이즈를 표현하는) 얼굴의 존재가 추론될 수 있다. 오브젝트의 사이즈 기준은, 예를 들어, 컬러들 같은, 다른 기준들에 의해 완성될 수 있다. 얼굴들의 검출과 같은, 오브젝트의 검출은 특히, 영상 회의 동안, 높은 백그라운드 압축을 자동으로 수행하는데 사용될 수 있다. 그러한 방법은 그것을 정정하기 위해 적목들(red eyes)의 결함 검출에 또는 얼굴들을 인식하는데(예를 들어, 생체 인식 응용들에) 사용될 수도 있다.
실시예에서, 활성화되는 펑크션은 캡처 장치의 위치 및/또는 이동 측정을 구비한다.
실시예에서, 캡처된 이미지의 화면에서 고정된 상태로 유지될 하나 또는 수개의 오브젝트들은 메모리에 저장되는 한편, 움직임 또는 위치 이동은 시간에 걸친 상대적 선명도의 변화를 결정하는 것에 의해 검출될 것이다. 그러한 정렬은, 예를 들어, 3차원의 시각적 "마우스" 유형의 컴퓨터 인터페이스를 구현하는데 사용될 수 있다.
실시예에서, 활성화되는 펑크션은 이미지에서의 메인 서브젝트 또는 서브젝트들의 위치의 결정을 구비한다.
디지털 이미지내의 메인 서브젝트의 결정 기준은 캡처 장치와 관련한 최단 거리일 것이다. 그럼에도 불구하고, 그러한 기준은 다른 팩터들과 조합될 수도 있다. 예를 들어, 캡처 장치에 가까울 이미지의 에지에서의 오브젝트들은 자동적인 프로세스를 통해 제거될 수 있다. 앞서 설명된 바와 같이, 오브젝트의 사이즈 기준을 고려할 수도 있는데, 그러한 사이즈는 초점 길이 및 캡처 장치와 오브젝트 사이의 거리에 의존한다.
실시예에서, 활성화되는 펑크션은 디지털 이미지의 메인 서브젝트에 대한 디지털 이미지 및/또는 다른 이미지의 자동 프레이밍, 즉, 센터링(centring), 또는 리프레이밍(reframing)을 더 구비한다. 리프레임된 이미지는 디지털 이미지일 수 있다. 리프레임된 이미지는 다른 이미지, 예를 들어, 동일한 캡처 장치로부터 유래하는, 디지털 이미지 이후에 캡처된, 이미지일 수도 있다.
예를 들어, 포그라운드 오브젝트에 대한 프레이밍을 자동으로 보장하는 "근접 촬영(close-up)" 모드를 제공할 수 있다. 예를 들어, 이미지 높이 및 폭의 1/3내에 배치되는 상기 Three-Thirds의 규칙에 따른 얼굴의 프레이밍을 자동적으로 보장하는 "버스트(bust)" 모드도 제공할 수 있다.
실시예에서, 활성화되는 펑크션은, 한편으로는 상대적 선명도에 그리고 다른 한편으로는 사용자의 선택 기준에 의존하는 프로세스의 응용을 구비한다.
예를 들어, 선택되는 기준은, 캡처 장치에 가장 가까운 이미지의 부분들에 특권을 주는 것이다. 그것 때문에, 펑크션은, 실제로 실현되는 것보다 낮은 심도를 생성하기 위해, 이미지의 그러한 부분들의 선명도를 증가시키는 것 그리고 이미지의 나머지에 대한 선명도를 감소시키는 것으로 이루어질 수 있다. 그러한 조건들하에서, "카메라폰"에서와 같이, 포커싱이든 구경이든, 어떤 펑크션들도 없는 상태에서 렌즈를 사용해 실현되는 이미지내에서 가변 포커싱 및 구경을 가진 렌즈의 거동을 시뮬레이션할 수 있다.
실시예에서, 활성화되는 펑크션은, 이미지내에서의 상대적 선명도의 변화에 의존하는, 콘트라스트 및/또는 광도 및/또는 컬러 및/또는 이미지 선명도의 변경을 구비한다.
따라서, 플래시라이트의 그것과 같은, 국지화된 조명을 시뮬레이션할 수 있고, 예를 들어, 백라이팅 또는 평판-틴트(flat-tint) 효과들을 감소시키기 위해, 플래시라이트의 효과를 감소시킬 수도 있다.
화면은 하나 또는 수개의 자연 또는 인공 소스들에 의해서 뿐만 아니라 어쩌면 장치에 의해 제어되는 하나(또는 수개)의 플래시라이트(또는 라이트들)에 의해서도 조명된다.
이미지-캡처 장치가, 화면의 디지털 이미지에서의 측정들(예를 들어, 포화된 구역들의 분석, 히스토그램의 분석, 평균 컬러의 분석)에 따라 노출(노출 시간, 센서 이득 및, 필요하다면, 구경)을 제어하고, 화이트 밸런스(전체 이미지내의 컬러 각각을 위한 이득)를 제어하며, 어쩌면 플래시라이트(플래시라이트의 구간 및 강도)를 제어하고, 그리고/또는 보충 디바이스에 의해 취해지는 측정들: 적외선 레인지-파인더, 플래시라이트 등을 위한 예비 발광(pre-flash), 가변 초점들로써 취해진 수개 이미지들의 선명도를 비교하는 것에 의해 가장 선명한 이미지에 의해 발생되는 초점을 찾아낼 수 있게 하는 포커싱 서보-제어를 제어한다는 것이 공지되어 있다. 그러한 제어들은, 이미지의 하나 이상의 영역(R)에서의 2개 이상의 컬러들 사이의 상대적 선명도 측정을 사용하지 않으면서도, 이미지 콘트라스트 및/또는 광도 및/또는 컬러를 변경한다.
더 나아가, 음영 곡선 및 컬러 렌더링과 같은 공지 프로세스들은, 이미지의 하나 이상의 영역(R)에서의 2개 이상의 컬러들 사이의 상대적 선명도 측정을 사용하지 않으면서도, 이미지 콘트라스트 및/또는 광도 및/또는 컬러를 변경한다.
그러한 공지 방법들은 화면의 기하 구조에 대한 정보의 결여로 인해 제한된다. 예를 들어, 자연스럽게 어두운 오브젝트를 불량하게 조명되는 오브젝트와 구별하기는 어렵다. 다른 일례로서, 플래시라이트는, 수개 서브젝트들이 가변 거리들에 위치한다면, 그러한 서브젝트들을 정확하게 조명할 수 없다.
실시예에서, 활성화되는 펑크션은 노출 및/또는 화이트 밸런스 및/또는 포커싱의 서보-제어로의, 고려될 관심있는 하나 이상의 구역의 위치 제공을 구비하는데, 관심있는 그러한 구역은 2 이상의 상대적 선명도 측정들을 비교하는 것에 의해 결정된다.
예를 들어, 노출 펑크션은 이미지의 에지(시계 경계;field border)상의, 근접한 오브젝트 또는 오브젝트들의 제거와 같은, 다른 기준과 조합하여 캡처 장치에 가장 근접한 부분에 대해 수행될 수 있다.
화이트 밸런스의 서보-제어는, 어쩌면 상이하게 조명되는 백그라운드를 희생하여, 예를 들어, 이미지의 중앙에서의 대규모 서브젝트에 대해 수행될 수 있다. 변형으로서, 방법은 이미지에서 근접 촬영 부분 및 멀리 떨어진 부분을 결정하는 것으로 이루어지는데, 화이트-밸런스 펑크션은, 수개 조명들의 존재 여부를 결정하고 이 영역들 각각을 위해 상이한 보상들을 수행하기 위해, 이 영역들에 대해 별도 측정들을 취한다.
관심있는 구역의 위치에 포커싱 서보-제어가 제시되면, 포커싱의 활성화는 좀더 빨라질 것이고 메인 서브젝트(관심있는 구역)는, 이동중인 경우라 하더라도, 추적될 수 있을 것이다.
실시예에서, 활성화되는 펑크션은, 이미지가 지나치게 근접 촬영되어 선명하지 않다는 것을 지시하는, 사용자를 위한, 신호의 제공을 구비한다.
실시예에서, 활성화되는 펑크션은 측정된 상대적 선명도에 의존하는 이미지 해상도 변경을 구비한다. 이미지는 디지털 이미지일 수 있다. 이미지는 다른 이미지, 예를 들어, 동일한 캡처 장치로부터 유래하는, 디지털 이미지 이후에 캡처된, 이미지일 수도 있다.
예를 들어, 캡처 장치로부터 지나치게 근접한 거리에서 이미지가 촬영되어 완전한 해상도에서는 선명한 이미지를 실현할 수 없을 때, 해상도는 감소되는데, 최종적인 해상도는 선명한 이미지를 획득하기 위해 선택된다.
실시예에서, 활성화되는 펑크션은 디지털 이미지의 자동 인덱싱에 사용되는 데이터 또는 신호의 제공을 구비한다.
예를 들어, 이미지가 소정 제한 미만의 거리에 임계치를 초과하는 사이즈의 서브젝트들 또는 오브젝트들을 구비한다면, 인덱싱은, 그것이 인물 또는 사람들의 그룹에 관한 것임을 지시하는 신호를 제공하는 것으로 이루어질 수 있다. 이 2가지 상황들 사이의 구별은, 이미지화된 화면이 하나 또는 수개의 근접 오브젝트들 또는 서브젝트들을 구비하는지의 여부에 따라 이루어질 것이다. 오브젝트들 또는 서브젝트들의 거리가 미리 결정된 제한을 초과한다면, 이미지가 풍경을 표현한다고 생각할 수도 있다.
실시예에서, 활성화되는 펑크션은 디지털 이미지내의 서브젝트 또는 오브젝트의, 캡처 장치와 관련한, 원격 또는 방위 데이터의 사운드-캡처 디바이스로의 제공을 구비한다.
그것 때문에, 캠코더 또는 카메라폰에서, 메인 서브젝트 또는 서브젝트들을 결정할 수 있고, 이들 메인 서브젝트들의 거리들 및/또는 방위들을 결정할 수 있으며, 사운드 캡처를 메인 서브젝트 또는 서브젝트들에 포커싱함으로써, 백그라운드 잡음을 제거할 수 있다. 사운드 캡처의 지향성 펑크션(directivity function)은 2개의 마이크로폰들 및 이 마이크로폰들의 신호들 사이의 탈-위상(de-phasing) 디바이스를 사용해 수행될 수 있다.
이러한 마지막 정렬의 특정한 응용은, 화상-회의의 경우에서, 발화 과정에서의 광각 이미지-캡처 장치 및 자동 모니터링의 사용이다.
실시예에서, 활성화되는 펑크션은 백그라운드를 위한 증가된 압축 및 메인 서브젝트 또는 서브젝트들을 위한 압축의 파라미터화를 포함하는데, 그러한 메인 서브젝트 또는 서브젝트들은 측정된 상대적 선명도에 기초한 기준들을 준수하는 이미지 구역을 구성하는 것으로 결정된다.
그것 때문에, 화상-회의의 경우, 예를 들어, 메인 서브젝트의 만족스러운 가시성을 유지하면서도, 출력이 최소화될 수 있다. 메인 서브젝트는, 이 출원에서 설명된 바와 같이, 사진-촬영 장치에 가장 가까운 이미지의 부분을 구성하는 것으로 결정되고 상이하게 결정된다.
실시예에서, 캡처 장치는 2 이상의 유형들의 채색 필터들이 장비된 픽셀들을 가진 센서를 구비하는데, 그러한 필터들은 필터들의 스펙트럼 응답들이 거의 중첩을 수반하지 않도록 선택된다.
그러한 조건들하에서, 2개 컬러들 사이의 선명도가 최대화됨으로써, 상대적 선명도 측정의 정확도를 최적화할 수 있다.
실시예에서, 캡처 장치는 주로 이미지를 발생시키는 역할을 하는 픽셀들 및 주로 상대적 선명도를 측정하는 역할을 하는 다른 픽셀들을 가진 센서를 구비한다.
실시예에서, 주로 상대적 선명도를 측정하는 역할을 하는 픽셀들은, 주로 이미지를 발생시키는 역할을 하는 픽셀들의 스펙트럼 대역과 거의 중첩하지 않는 스펙트럼 대역내의 스펙트럼 응답을 가진다.
실시예에서, 주로 이미지를 발생시키는 역할을 하는 픽셀들은 주로 사람 눈에 가시적인 시계내의 스펙트럼 응답을 갖고, 나머지 픽셀들은 주로 사람 눈에 가시적인 시계 저쪽에 스펙트럼 응답을 가진다.
또한, 본 발명은, 앞서 정의된 바와 같이, 발명에 따른 캡처 장치 및 방법과는 별도로, 이렇게 정의된 센서에 관한 것이다.
또한, 본 발명은 그러한 센서를 구비하는 캡처 장치에 관한 것인데, 그러한 캡처 장치 또한, 앞서 정의된 방법과 별도로 사용될 수 있다.
또한, 본 발명은, 앞서 정의된 정렬들과 함께 (또는 별도로) 사용될 수도 있는 정렬에 따른, 한편으로는, 그것의 스펙트럼 응답이 사람 눈에 가시적인 시계내에 주로 위치하는 픽셀들 및 사람 눈에 가시적인 스펙트럼 저쪽에 주로 위치하는 스펙트럼 응답을 가진 추가 픽셀들을 표현하는 센서를 구비하는 디지털 이미지-캡처 장치에 관한 것으로서, 다른 한편으로, 그러한 센서는 이들 추가 픽셀들로부터 유래하는 이미지 부분이, 캡처 장치와 이미지화된 화면 사이의 거리들의 하나 이상의 범위내에서, 스펙트럼 응답이 주로 가시 시계내에 위치하는 픽셀들로부터 유래하는 이미지 부분의 선명도를 초과하는 선명도를 표현할 것이다.
추가 픽셀들은 적외선 및/또는 자외선에 민감할 수도 있다. 자외선에 민감한 픽셀들은 단거리들을 위한 선명도를 향상시키는 역할을 할 수 있는 반면, 적외선에 민감한 픽셀들은 좀더 긴 거리들을 위한 선명도를 향상시키는 역할을 할 수도 있다. 적외선 및/또는 자외선에 의해서는, 가시 스펙트럼을 초과하거나 가시 스펙트럼에 미달하는, 특히, 700 내지 800 또는 700 내지 900 nm와 같은, 적외선 부근 또는 400nm 부근의 자외선 부근 스펙트럼의 모든 부분들이 의도된다.
실시예에서, 캡처 장치에는 고정 렌즈, 즉, 포커싱을 위한 기계적 소자들이 결여된 렌즈가 장비된다.
이 조건들하에서, 포커싱은 디지털적으로 프로세싱될 수 있다.
실시예에서, 캡처 장치에는 이동식 또는 유동적 포커싱 소자(mobile or flexible focussing element)를 갖추지 않은 가변 초점 길이의 렌즈가 장비되는데, 이미지의 하나 이상의 영역(R)상의 2 이상의 컬러들 사이의 상대적 선명도는 이미지화된 오브젝트의 장치와 관련한 초점 길이 및/또는 위치에 따라 가변적이다.
그것 때문에, 사이즈 및 비용을 감소시키고 신뢰도를 증가시킬 수 있게 하는, 좀더 단순한 줌이 장비된 디바이스가 획득된다.
가변 초점 길이의 렌즈는, 예를 들어, 하나의 이동식 또는 유동적 광학 유닛을 구비한다.
줌은 2 이상의 모바일 유닛들, 예를 들어, 초점 길이를 위한 하나 또는 2개 및 포커싱을 위한 다른 하나로써 구현된다는 것이 공지되어 있다. 일반적으로 말해서, 포커싱 및 초점 길이는 서로 별개인데, 다시 말해, 초점 길이가 달라질 때, 포커싱을 변경할 필요는 없다. 이것은 포커싱에 필요한 시간을 제거한다. 초점 길이가 달라질 때 포커싱도 변경되어야 하는, Varifocal들이라고 하는, 약간 저렴한, 가변 초점 길이들의 렌즈들도 존재한다. 마지막으로, 포커싱은 제3 유닛에 의해 구현되는 상태에서, 복잡한 방식으로 링크된 2개의 이동식 광학 유닛들이 초점 길이를 변경하는 목적을 위해 사용되는 무초점 줌들(afocal zooms)이 존재한다.
실시예에서, 디지털 이미지는 2 이상의 센서들로부터 유래한다.
예를 들어, 각각의 센서가 소정 컬러에 전용된다. 예를 들어, 이 센서들에 공통되는 이미지화 렌즈를 갖춘 트리-CCD 유형(tri-CCD type)의 센서를 사용할 수 있다.
실시예에서, 활성화되는 펑크션은, 디지털 이미지에 대해 측정된 상대적 선명도에 따라 이미지 내부의 오브젝트 추가 및/또는 이미지 부분의 대체를 구비한다.
예를 들어, 이 방법은 메인 서브젝트 옆에 사람을 추가할 수 있게 한다. 일례로서, 이미지내의 소정 위치에 오브젝트를 추가할 수도 있는데; 그러한 오브젝트는, 이미지화된 화면으로부터 그러한 위치에 이르는 거리를 고려한다면, 이미지내에서 적절한 사이즈를 가질 것이다.
백그라운드를 변경하거나 심지어 백그라운드를 검게 처리할 수도 있다.
예를 들어, 게임의 맥락에서, 자연 또는 합성 유형의 여부에 상관없이, 메인 서브젝트와 같은, 이미지의 부분을 추출하여, 그것을 다른 이미지에 삽입할 수도 있다.
소정 포인트 및 화면으로부터의 고정된 거리에, 예를 들어, 메인 서브젝트 뒤쪽에 공개 데이터(publicity data)를 추가할 수도 있다.
실시예에서, 방법은 이미지들의 시퀀스의 캡처를 구비하는데, 디지털 이미지는 시퀀스의 부분이고 활성화되는 펑크션은 시퀀스의 하나 이상의 다른 이미지에 대한 것이다.
따라서, 이미 설명된 바와 같이, 상대적 선명도의 추정은 사진-촬영 이전에 저해상도로 예비-시각화된 이미지들에 대해 취해질 수 있는 한편 정정은, 예를 들어, 예비-시각화의 이미지들로부터 취해진 측정으로부터 유래하는 필터들의 선택을 사용하는 것에 의해, 이미 메모리에 저장된 이미지에 대해 이루어질 수 있다.
실시예에서, 활성화되는 펑크션은 캡처 장치의 일 조정, 즉, 초점 길이, 구경, 포커싱을 위한 거리의 변경을 구비한다.
그것 때문에, 사진-촬영 장치는, 메인 서브젝트가 백그라운드의 앞쪽에 배치되면 구경이 증가됨으로써 그러한 백그라운드가 블러링되는 것과 같은, 자동 조정 프로그램을 구비할 수 있다. 조정 프로그램 또한 구경을 그룹의 서브젝트들의 거리에 자동적으로 적응시킬 수 있고, 그에 따라, 심도는 그룹의 모든 서브젝트들을 선명하게 하기에 충분할 만큼 적합하다. 그러한 경우, 펑크션은 자동적으로 실현되는 반면, 종래 기술에서는, 그것이 수동으로 실현된다는 것에도 주목해야 한다.
실시예에서, 활성화되는 펑크션은 변경된 미가공 이미지의 산물을 구비한다.
디지털 이미지는 "디모자이킹" 이전의 (즉, 행렬을 제거하기 이전의) 센서로부터의 미가공 이미지인 것이 바람직스럽다. 디지털 이미지는, 예를 들어, 화이트 밸런싱을 겪으면서 프로세싱되었을 수도 있다. 디지털 이미지가 서브-샘플링은 경험하지 않은 것이 바람직할 것이다.
따라서, 센서로부터 직접적으로 유래하는 미가공 이미지의 그것과 유사한 특징들 및, 특히, 미가공 이미지를 가시적 이미지로 변환하는 펑크션을 수행하는 공지의 기능 블록들 또는 컴포넌트들("이미지 파이프" 또는 "이미지 신호 프로세서")과의 호환성을 유지하면서, 좀더 양호한 품질을 표현하거나 독특한 특징들, 예를 들어, 확장된 심도의 미가공 이미지를 발생시키는 광학 시스템, 센서, 및 이미지-프로세싱 수단의 유닛이 획득된다.
변형으로서, 미가공 이미지는 디모자이킹을 경험한다. 실시예에서, 캡처 장치의 렌즈는, 예를 들어, 소정 포커싱, 구경, 및 초점 길이를 위한 것들과 같은, 높은 종방향 색수차들을 표현하고, 최상의 선명도를 수반하는 거리가 다음의 수학식 1보다 작은 하나 이상의 컬러가 존재하는데,
여기에서, k는 0.7 미만인, 바람직스럽기로는 0.5 미만인 계수이고, f는 초점 거리이며, O는 구경이고, P는 무한대에 배치된 오브젝트 포인트에 대한 블러 스폿의 (이미지의 모든 컬러들 중에서) 최소 직경을 가진다.
실시예에서, 2개 컬러들 사이의 상대적 선명도의 측정은 제1 컬러에 응용된 제1 측정(M)의 결과들과 제2 컬러에 응용된 제2 측정의 결과들을 비교하는 것에 의해 실현되는데, 각각의 측정이, 한편으로는, 선명도 및 컬러를 위한 값 펑크션(value function)을 제공하고, 다른 한편으로는, 디지털 이미지의 내용들을 위한 값 펑크션을 제공함으로써, 디지털 이미지 내용들로부터의 비교를 제거한다.
상대적 선명도 측정을 위한 정의 및 실시예 일례:
선명도의 비교는 디지털 이미지의 픽셀들에 대한 측정(M)을 사용해 수행된다.
소정 컬러(C)의 채널을 위한 소정 픽셀(P)에서의 측정(M)은 P 부근내에서의 C 변화의 기울기에 대응된다. 그것은 다음의 계산을 통해 획득된다:
소정 컬러(C)를 위해, V(P)는 픽셀(P)의 부근으로서 간주된다.
GM은 부근(V(P))내에서의 기울기들의 진폭에 대한 평균인 것으로 지시되고, SM은 GM과 부근(V(P))내에서의 기울기들 사이의 차이들의 진폭의 평균인 것으로 지시된다.
기울기는 동일한 컬러의 2개 픽셀들의 값들에서의 차이의 진폭을 통해 계산된다. 부근(V(P))내에서의 기울기들은 부근(V(P))내에서의 미리 결정된 갯수의 픽셀 쌍들을 함축하는 기울기들에 대응된다.
컬러(C)를 가진 픽셀(P)에 대한 측정(M)은 SM과 GM 사이의 비에 의해 정의될 수 있다. 이와 같이, 값(M(P,C))이 획득된다.
그러한 측정 자체가 컬러(C)의 선명도를 정확하고 완전하게 특징지을 수는 없다. 실제로, 그것은 픽셀(P) 부근(V(P))내에서의 이미지의 내용들(이미지화된 화면의 유형 = 텍스처, 그라데이션 등)에 의존한다. 동일한 컬러 선명도를 위한 이미지화된 화면에서의 명백한 전이(frank transition)는 이미지화된 화면내에서의 소프트 전이(soft transition)보다 높은 측정(M)을 발생시킬 것이다. 자연 이미지들에 대해, 전이는 각각의 컬러에서 동일한 방식으로 존재함으로써, 컬러들 사이에서 동일한 방식으로 측정(M)에 영향을 미칠 것이다. 다시 말해, 컬러(C)에 대한 명백한 전이가 나타날 때, 전이의 동일한 유형이 나머지 컬러들에 대해서도 나타난다.
그것 때문에, 측정들(M)의 비교는 컬러(C1)와 컬러(C2) 사이의 상대적 선명도를 확립할 수 있게 한다.
픽셀(P)에서 측정된, 2개 컬러들(C1 및 C2) 사이의, 상대적 선명도는, 예를 들어, 2개 측정들(M(P,C1) 및 M(P,C2)) 사이의 비교로서 정의될 수 있다. 따라서, M(P,C1) > M(P,C2)은, C1이 C2보다 선명하다는 것을 함축한다.
예를 들어, 다음의 수학식 2와 같은 수식들 중 하나를 사용할 수도 있다:
또는, 2개 측정들 사이의 비교를 위해 적응된 임의의 다른 펑크션(F(M(P,C1), M(P,C2)))을 사용할 수도 있다.
이미지의 영역(R)에서의 상대적 선명도는 영역(R)의 픽셀들(P) 모두에 대한 측정(M)을 사용하는 것에 의해 정의될 수도 있다.
이미지의 영역(R)에서의 상대적 선명도는 영역(R)의 픽셀들(P)을 위해 측정된 상대적 선명도의 전체 범위 또는 서브-범위(sub-range)일 수 있다. 그것은 컬러들 중 하나를 위한 영역(R)의 픽셀들(P) 모두에 대한 측정들의 합과 같은, 고유한 값으로서 정의될 수도 있다. 그것 때문에, 2개 컬러들(C1 및 C2)의 경우, 예를 들어, S(C1)>S(C2)는 영역(R)에서 C1이 C2보다 평균적으로 좀더 선명하다는 것을 함축한다고 생각할 수 있다.
이들 2개 측정들 사이의 비교를 가능하게 하는 임의의 다른 펑크션(G(S(C1), S(C2)))을 사용할 수도 있다.
실시예에서, 활성화되는 펑크션은 이미지내에서 메인 서브젝트의 위치를 결정하는 것으로 이루어지고, 활성화되는 펑크션은 자동 프레이밍, 즉, 메인 서브젝트에 대한 이미지의 센터링을 더 구비한다.
방법은 이미지-캡처 또는 프로세싱 장치 또는 디바이스 내부에서 구현될 수 있다. 그러한 장치들 또는 디바이스들은, 센서와 통합되거나 통합되지 않은 전자 컴포넌트, 렌즈와 통합된 전자 서브-유닛, 센서 및 어쩌면 이미지-프로세싱 모듈("카메라 모듈"), 또는 앞서 정의된 임의의 다른 형태를 구비하는 그룹내에 포함된다.
발명의 다른 명세들 및 이점들은 그것의 실시예들 중 일부의 설명에서 도시될 것인데, 그러한 설명은 그것에 첨부된 도면들에 의해 뒷받침될 것이다.
도 1a 및 도 1b는 수렴 렌즈의 종방향 색수차의 설명에 도움이 되는 도면.
도 2는 이미지의 컬러 스펙트럼 도면.
도 3의 (a) 및 (b)는, 본 발명에 따른, 선명한 동일 컬러를 사용하는 컬러의 선명도 향상을 나타내는 도면.
도 4는, 본 발명에 따른, 이미지의 별도 영역들에 링크되어 있는 선명한 상이 컬러들을 사용하는 컬러의 선명도 향상을 나타내는 도면.
도 5, 도 6 및 도 7은, 본 발명에 따른, 이미지의 전체 부분에 링크되어 있는 선명한 상이 컬러들을 사용하는 컬러의 선명도 향상을 나타내는 도면.
도 8은 선명한 컬러와 본 발명에 따라 향상될 컬러 사이의 선명도 차이에 따른 장치의 서보-제어를 나타내는 도면.
도 9는 오브젝트와 그러한 오브젝트의 이미지를 캡처하는 장치 사이에서 측정되는 거리를 사용하는 선명한 컬러의 선택을 나타내는 도면.
도 10은 이미지의 하나 이상의 영역내의 하나 이상의 컬러의 선명도 감소를 나타내는 도면.
도 11은 본 발명에 따른 방법에 의해 획득되는 장치의 도면.
도 12는 본 발명에 따른 방법의 단계들을 나타내는 도면.
도 13은 본 발명에 따른 조정 모드를 나타내는 도면.
도 14a 및 도 14b는 발명의 문맥에서 사용되는 조정들을 나타내는 일련의 도면.
도 15, 도 15a, 및 도 15b는 본 발명에 따른 이미지-캡처 장치 및 전통적인 장치의 특성을 예시하는 도면.
도 16a 내지 도 16d는 본 발명에 따른 장치 및 표준 장치의 광학 시스템의 특성들을 나타내는 도면.
도 17a 및 도 17b는 본 발명에 따른 장치를 위한 광학 시스템의 선택 일례를 나타내는 도면.
도 18은 본 발명에 따른 사진-촬영 장치의 명세들을 예시하는 도면.
도 18a 및 도 18b는 본 발명에 따른 방법의 구현을 위한 수단을 나타내는 도면.
도 19a, 도 19b, 및 도 19c는, 수개 실시예 변형들에 따른, 본 발명에 따른 방법의 단계들을 나타내는 도면.
도 20a 및 도 20b는 본 발명의 다른 실시예들을 나타내는 도면.
본 발명에 따르면, 다음에서 설명되는 방법은, 도 3의 (a) 및 (b)를 사용해 다음에서 설명되는 바와 같이, 이미지의 컬러들 사이에서 "선명한 컬러"라고 하는 하나 이상의 컬러를 선택하고 선명한 컬러의 선명도를 하나 이상의 향상된 다른 컬러로 반사하는 것에 의해 디지털 이미지의 하나 이상의 컬러에 대한 선명도를 향상시킨다.
좀더 구체적으로, 도 3의 (a)는, 고려되는 이미지에서, 캡처된 이미지를 가진 장치와 관련하여, 2개 컬러들(13.1 및 13.2)이 표현하는 오브젝트들의 거리(가로 좌표의 축;7.1)에 의존하는 2개 컬러들(13.1 및 13.2)의 선명도(Y-축;7.2)를 나타낸다.
앞서 설명된 바와 같이, 이들 2개 컬러들의 선명도는 그러한 거리에 의존하여 상이한 방식으로 달라지지만, 이 일례에서는 기본적으로, 제1 컬러(13.2)는 동일한 이 이미지의 제2 컬러(13.1)의 그것보다 좀더 양호한 선명도를 표현한다.
따라서, 발명을 준수하는 방법에 따르면, 제1 컬러(13.2)의 선명도는 제2 컬러(13.1)의 선명도 향상(14)을 실현하기 위해 반사되고, 그러한 향상 이후에, 제2 컬러(13.1)의 선명도는 증가된 선명도(13.3)를 표현한다.
그러한 일례에서, CA, CO, 및 CN은 각각 향상된 컬러, 원래 컬러(또는 향상될 컬러), 및 선명한 컬러를 표현하는 값들이다. 이 일례에서는, 선명한 컬러가 제1 컬러이다. 원래 컬러 및 향상된 컬러는 프로세싱 이전 및 이후의 제2 컬러에 대응된다.
선명도는, 다음의 수학식 3과 같은 유형의 수식에 따라, 필터(F)를 사용하는 것에 의해 제2 컬러로 반사된다:
통상적으로, 필터(F)는, 그것이 응용되고 있는 이미지로부터 디테일들을 제거하는 특성을 나타낼 것이다. 그렇게 하기 위해, 선형의 저역-통과 필터(또는 평균화기(averager))가 사용되었을 수도 있다. 예를 들어, 미디안 필터처럼, 디테일들을 제거하는 특성을 가진 비선형적인 다수의 공지 필터들 중 하나를 사용할 수도 있다.
이 단계에서는, 사람의 망막이, 이미지의 디테일들과 관련하여, 그린 컬러에 특히 민감하다는 것을 반드시 기억해야 하고, 따라서, 광학 시스템들의 조정은 일반적으로 소정 포커싱 범위와 관련하여 이 컬러를 위해 과도한 선명도를 실현하는 것이 목적이다(예를 들어, Addison Wesley에 의해 편집된, Mark D. Fairchild에 의한 "Color Appearance Models" 논문의 pp. 30 - 33 참고하기).
따라서, 발명에 관한 관찰에 따르면, 사람 눈에 만족스럽지 못한 선명도의 이미지들을 발생시키는 광학 디바이스가, 디테일을 고려할 때 눈이 덜 민감한, 블루 또는 레드와 같은, 광학 디바이스의 컬러들 중 하나를 위해서는 만족스러운 선명도를 표현할 수도 있다.
통상적으로, 장거리 포커싱(과초점) 렌즈의 경우, 근접한 오브젝트 및 멀리 떨어진 오브젝트를 표현하는 이미지를 고려할 때, 멀리 떨어진 오브젝트의 선명도는 일반적으로 그린 컬러에 의해 향상된 것처럼 보이는 한편, 근접한 오브젝트의 선명도는 블루 컬러를 고려할 때 향상된다.
따라서, 2개 컬러들 사이의 상대적 선명도에 의존하여, 선명한 상이 컬러들에 따라 이미지의 영역들을 향상시킬 수 있는 것이 중요해 보인다.
그것 때문에, 발명의 실시예에서는, 이미지의 영역에 의존하여 컬러의 선명도를 향상시키는 역할을 하는 선명한 컬러가 선택될 것인데, 그러한 방법은 2개 영역들(11.1 및 11.2)을 구비하는 이미지(10)를 예시하는 도 4에 의하여 후술된다.
이들 2개 영역들에서, 2가지 컬러들(8.2 및 8.3)이 발견될 수 있다. 그럼에도 불구하고, 이 컬러들의 선명도(Y-축;7.2)가, 영역(11.1)에서는 컬러(8.2)가 가장 선명한 한편, 영역(11.2)에서는 컬러(8.3)가 가장 선명할 것이다.
이제부터, 영역(11.2)의 컬러는 컬러(8.3)를 선명한 컬러로서 간주하는 것에 의해 향상되는 한편, 영역(11.1)의 컬러는 컬러(8.2)를 선명한 컬러로서 간주하는 것에 의해 향상된다.
이 단계에서, 이미지의 영역들은 미리 결정될 수도 그렇지 않을 수도 있다는 것에 주의해야 한다. 예를 들어, 디지털 이미지가 픽셀들로 이루어진 경우, 영역은 하나 또는 수개의 픽셀들에 의해 범위가 정해지는 공간 구역(spatial zone)일 수 있다.
더 나아가, 일 컬러의 선명도를, 축(7.1)에 의해 표현되는 것과 같은, 거리의 임의 개념과 무관한, 하나 이상의 다른 것이라 할지라도, 나머지 것들과 관련하여 단순히 비교하는 것에 의해 다른 컬러를 향상시키기 위한 선명한 컬러를 선택할 수도 있다.
이 경우, 그러한 분석은, 예를 들어, 다음의 표 1로서 표현된다:
구역 11.1 11.2
선명도 8.2 > 8.3 8.3 > 8.2
이 경우, 영역(11.1)에서는 컬러(8.2)가 선명한 컬러로서 선택되는 한편, 영역(11.2)에서는 컬러(8.3)가 선명한 컬러이다.
이미지에서의 영역들의 사용과 무관하게, 도 5, 도 6, 및 도 7을 사용하여 후술되는 바와 같이, 이미지의 컬러를 향상시키기 위해 선명한 여러 가지 컬러들을 고려하는 것이 바람직스러울 수도 있다.
좀더 구체적으로, 도 5의 도면은 상기 이미지를 획득하기 위해 캡처된 화면의 하나 이상의 오브젝트와 캡처 장치 사이의 거리(7.1)에 의존하는 2개 컬러들(8.2 및 8.3)의 선명도(Y-축;7.2)를 나타낸다.
범위(9.1)에서는, 컬러(8.3)가 컬러(8.2)의 그것에 비해 증가된 선명도를 표현하는 반면, 좀더 먼 거리들(범위 9.2)에 대해서는 반대의 상황이 발생하는 것 같다.
그러한 경우, 발명을 준수하는 방법은 컬러(8.3)를 거리들의 범위(9.1)내에서 컬러의 선명도를 정정하는 역할을 하는 선명한 컬러로서 간주할 수 있는 반면, 범위(9.2)내에서는, 컬러(8.2)가, 캡처 장치로부터 조금 떨어져 배치된 이미지를 획득하려는 목적을 위해, 캡처된 화면의 오브젝트로부터 유래하는 컬러를 향상시키기 위한 선명한 컬러로서 간주된다.
그러한 정정들에 수반하여, 이미지의 컬러들에 대한 선명도는, 도 6에 도시된 것과 같은, 프로파일의 방향으로, 즉, 가장 선명한 컬러들이 이미지에 병치되는 방향으로 향상될 수 있다.
도 4에서의 설명과 유사한 방식으로, 일 컬러의 선명도를, 축(7.1)에 의해 표현되는 것과 같은, 거리의 임의 개념과 무관한, 하나 이상의 다른 것이라 할지라도, 나머지 것들과 관련하여 단순히 비교하는 것에 의해 다른 컬러를 향상시키기 위한 선명한 컬러를 선택할 수도 있다는 것이 명백하다.
이미 설명된 도 3의 (a), 도 3의 (b), 도 4, 도 5, 및 도 6에서 그리고 후속적으로 설명되는 도 7 내지 도 10에서 표현된 선명도 곡선들은 이미지의 고려되는 영역의 기하학적 위치 및/또는, 초점 길이, 구경, 포커싱 등과 같은, 다른 이미지-캡처 파라미터들에 따라 달라질 수 있다.
발명의 의미내의 가장 선명한 컬러를 결정하기 위해, 앞서 지시된 파라미터들을 인지할 필요는 없다.
다른 경우들, 특히, 발명에 따른 거리를 결정하기 위한 그리고/또는 심도를 제어하기 위한 경우들에서는, 파라미터들 중 일부뿐만 아니라 선명도 곡선들을 그러한 파라미터들 중 일부 값들을 위해 적어도 부분적으로 또는 근사적으로 인지해야 한다.
더 나아가, 선명한 컬러의 선택이 다음에서 설명되는, 매크로 모드와 같은, 하나 이상의 이미지-캡처 모드의 소프트웨어 활성화에 의해 결정될 수도 있다. 그러한 맥락에서, 이미지는 단일 영역으로 간주될 수도 있다.
이들 도 5 및 도 6에서, 임계치(8.1)는 요구되는 선명도의 레벨을 지시하는 것으로서, 그것을 초과하는 이미지는 블러링된 것으로 간주된다는 것에 주의해야 한다.
도 7에 도시된 표준 프로세싱에서, 그러한 임계치(8.1)는 오브젝트의 이미지가 선명한 심도, 즉, 상기 이미지를 획득하기 위해 캡처된 화면의 하나 이상의 오브젝트와 캡처 장치 사이의 거리들의 범위(9.2)를 정의한다.
따라서, 발명의 결과는, 도 9에 의하여 다음에서 부연되는 바와 같이, 광학 시스템의 심도 확장을 가능하게 하는 것이다. 이 도면에서, 처음에 컬러(8.2)의 선명도 및 컬러(8.1)의 선명도에 의해 제한된 캡처 장치의 심도는 상기 이미지를 획득하기 위해 캡처된 화면의 하나 이상의 오브젝트와 캡처 장치 사이의 거리들의 새로운 범위에 대해 (임계치(8.1) 미만의) 만족스러운 선명도를 표현하는 제2 컬러(8.3)를 사용하는 것에 의해 증가된다.
구체적으로, 그러한 응용은, 카메라폰들과 같은, 고정된 초점의 사진 장치에서 구현된다. 실제로, 이 장치의 광학 개념은, 도 5의 컬러(8.2)와 유사한 그린 컬러에 기초해, 기껏해야 수십 센티미터들에 이르는 긴 거리들을 위한 선명도 범위를 허용한다.
더 나아가, 동일한 방식으로 포커싱하지 않는 블루 컬러는, 그린 컬러가 컬러(8.3)와 유사하지 않을 수도 있는 좀더 짧은 거리들에서의 선명도를 표현할 수 있다.
이제부터, 발명은 블루 컬러의 선명도를 그린 컬러 및 다른 컬러들로 간주함으로써 장치의 심도를 증가시키는 것에 의해 카메라폰의 근접한 이미지에 대한 선명도를 증가시킬 수 있다.
오토포커스 펑크션이 장비된 캡처 장치에 좀더 적합하게 적응된, 도 8에 의하여 도시된, 발명의 실시예에서, 방법은, 좀더 적은 단계들로 그에 따라 좀더 빨리 포커싱이 실현되는 그런 방식으로, 캡처된 이미지의 2 이상의 컬러들의 선명도를 사용해 고려되는 캡처 장치를 위한 서보-제어 명령어를 결정한다.
예를 들어, 이미지화된 화면의 하나 이상의 오브젝트와 이미지를 캡처하는 광학 시스템(1) 사이의 거리(17.1)는 오브젝트의 이미지와 관련하여 영역(11.3)에서 사용되는 컬러들(8.2 및 8.3)의 선명도(Y-축;7.2)의 다양한 레벨들을 사용해 결정될 수 있다.
오브젝트(4)와 시스템(1) 사이의 그러한 거리를 알고 있으면, 캡처 장치(6)를 위한 서보-제어 명령어(5)를 결정할 수 있다. 그러한 도 8은 다음에서 부연될 것이다.
도 10에 의하여 도시된 발명의 다른 실시예에 따르면, 선명도는 이미지의 하나 이상의 영역에서의 하나 이상의 컬러에 의해 감소된다.
매크로 응용
이하에서는 도 5, 도 6, 및 도 7을 참조하여, 공지의 이미지-캡처 장치를 위해 특수한 기계적 디바이스를 요구하지 않으면서 특별히 매크로 펑크션의 실시예에 적합하도록 적응된, 발명에 따른 실시예 및 시스템을 설명하고자 한다. 매크로 펑크션은 장치에 대한 매크로 거리들의 범위(9.1)라고 하는 거리들의 미리 결정된 범위내에서 캡처 장치에 근접한 오브젝트들의 이미지 실시예를 가능하게 하기 위한 것이다. 일반적으로, 캡처 장치는 매크로 펑크션을 구현하기 위해 렌즈의 전부 또는 일부를 이동시킬 수 있게 한다. 발명의 방법 또는 오브젝트 시스템은 그러한 이동을 제거할 수 있게 한다.
발명에 따르면, 매크로 거리들의 범위(9.1)를 위해 가장 선명한 컬러는, 예를 들어, 캡처 장치에 의해 각각의 컬러를 위해 획득되는 디지털 이미지들의 컬러들의 선명도(8.2 및 8.3)의 측정을 통해, 캡처 장치로부터 상이한 거리들에 배치된 오브젝트들을 사용해 디지털 이미지들을 구현하는 것에 의해 미리 정해질 것이다. 가장 선명한 컬러(도 5)는 측정(8.3)에 대응되는 컬러이다. 그러한 사전 결정은, 예를 들어, 장치(또는 일련의 장치)를 설계할 때 확실하게 구현될 수 있다.
그후, 장치를 사용할 때에는, 매크로 펑크션의 활성화시에, 이와 같이 결정된 선명한 컬러의 선명도가, 앞서 설명된 바와 같이, 나머지 컬러들로 반사될 것이다. 매크로 펑크션이 활성화되지 않을 경우, 디지털 이미지의 선명도는, 거리들의 범위(9.2)에 응용되는 것과 같이, 표준 방법에 의해 또는 발명에 따른 방법을 사용하는 것에 의해 계산될 수 있다.
그것 때문에, 이동 메커니즘을 전혀 요구하지 않음으로써 이미지-캡처 장치의 전체 치수들을 변경하지도 하드웨어 비용들을 추가하지도 않는 상태에서, 고정된 포커싱 렌즈와 호환 가능한 매크로 펑크션이 실현된다. 이와 같이, 매크로 모드는 장치내의 또는 임의의 다른 이미지-프로세싱 디바이스내의 소프트웨어를 통해 활성화될 수 있다. 그러한 소프트웨어 활성화는 이미지 캡처 이전 뿐만 아니라 그러한 캡처 이후에도 그리고 캡처 장치의 로컬 또는 원격 디바이스에서 표준 방식으로 수행될 수 있다. 변경에 따르면, 매크로 모드의 활성화는, 예를 들어, 정규 모드에서 발생된 이미지와 매크로 모드에서 발생된 이미지 사이에서 가장 선명한 이미지를 결정하는 것에 의해 자동적으로 수행될 수 있다.
발명에 따라 구현되는 매크로 펑크션은, 디지털 이미지를 캡처할 때 가변 파라미터들을 구비하며 컬러들의 선명도에 영향을 미치는 장치, 특히, 줌, 및/또는 가변 포커싱 및/또는 가변 구경의 렌즈를 갖춘 캡처 장치에도 유용하다. 따라서, 디지털 이미지에 따른 가변 파라미터들의 값에 대응되는 선명도 곡선들(8.2 및 8.3)이 사용될 것이다.
매크로 펑크션의 추가는, 이미지-캡처 장치, 특히, 전화기 또는 사진 장치를 사용하는 것에 의해, 바-코드들, 명함들, 또는 텍스트 및/또는 스케치들을 포함하는 수기(handwriting)를 촬영할 수 있게 한다.
심도 확장 응용
이하에서는, 도 4, 도 5, 도 6, 및 도 7을 참조하는 것에 의해, 공지의 이미지-캡처 장치를 위해 특수한 기계적 디바이스를 요구하지 않으면서 특별히 심도의 확장에 적합하도록 적응된, 발명에 따른 실시예 및 시스템을 설명하고자 한다. 심도는, 선명한 디지털 이미지를 획득할 수 있게 하는, 화면의 오브젝트들과 이미지-캡처 장치 사이의 거리들의 범위에 대응된다. 일반적으로, 캡처 장치는 제한된 심도를 가지며, 심도가 낮을수록, 렌즈 구경은 커진다.
발명에 따르면 도 4에 표현된 바와 같이, 디지털 이미지는 영역들(11.1 및 11.2)로, 예를 들어, 센서 옆의 9개 감지 소자들에 대응되는 정사각형 영역들로 또는, 좀더 일반적으로, X × Y 감지 소자들에 대응되는 영역들로 또는 디지털 이미지에 따라 계산되거나 미리 결정된 형태의 영역들로 분해된다. 각각의 영역을 위해, 예를 들어, 고려되는 컬러 및 영역에 대응되는 그레이 레벨들을 사용해 각각의 컬러를 위한 기울기를 계산하는 것에 의해 획득되는 값들 중에서 최저 값에 대응되는 컬러처럼, 가장 선명한 컬러가 선택될 것이다. 도 4에서, 곡선(8.3)에 대응되는 컬러는 영역(11.2)을 위해 좀더 선명하고, 곡선(8.2)에 대응되는 컬러는 영역(11.1)을 위해 좀더 선명하다.
그것 때문에, 각각의 영역을 위해, 이와 같이 선택된 선명한 컬러의 선명도가 나머지 컬러들로 반사된다.
도 5를 참조하는 것에 의해, 캡처 장치에 대해 거리들의 범위(9.1)내의 거리(5)를 가진 근접한 오브젝트들의 디지털 이미지는 곡선(8.3)에 대응되는 컬러(예를 들어, 블루 컬러)를 위해 선명한 것으로 보일 수 있는 한편, 곡선(8.2)에 대응되는 컬러(예를 들어, 그린)를 위해서는 덜 선명하다. 캡처 장치에 대해 거리들의 범위(9.2)내에 구비된 거리들을 가진 멀리 떨어진 오브젝트들의 디지털 이미지는 곡선(8.2)에 대응되는 컬러를 위해 선명한 한편, 곡선(8.3)에 대응되는 컬러를 위해서는 덜 선명하다는 것도 알 수 있다. 눈은 블루내에서보다 그린내에서 선명도에 훨씬 더 민감하므로, 도 7의 곡선(8.5)에 대응되는 선명도를 지각할 것이다. 8.1이 눈을 위한 선명도의 임계치에 대응되면, 이미지는 범위(9.2)내에 구비된 캡처 장치로부터 조금 떨어져 배치된 오브젝트들을 위해서는 선명할 것이다. 도 6은, 곡선(8.4)을 통해, 발명에 따른 방법을 이용한 이후에 각각의 컬러에서 획득되는 선명도를 표현하는데: 블루는 거리들의 범위(9.1)에 배치된 근접한 오브젝트들을 위해 임계치(8.1)보다 좀더 양호한 선명도를 획득할 수 있게 된 반면, 그린은 거리들의 범위(9.2)에 배치된 멀리 떨어진 오브젝트들을 위해 임계치(8.1)보다 좀더 양호한 선명도를 획득할 수 있게 되었다. 따라서, 거대한 심도 범위내의 모든 컬러들을 위해 선명한 디지털 이미지가 실현된다.
이것은, 미리 결정된 규칙에 따라 가장 선명한 컬러를 선택하는 것, 즉, 각각의 영역에서 가장 선명한 컬러를 선택하는 것으로 이루어진 일례이다.
그것 때문에, 광학계의 비용, 복잡도, 또는 전체 치수들을 증가시키지 않으면서 그리고/또는 노출을 변경할 필요가 없으므로 구경을 감소시키거나, 잡음 레벨을 증가시키거나, 움직임 블러를 증가시킬 필요없이, 심도가 증가된다.
발명에 따라 구현된 심도의 증가는 고정 렌즈들, 즉, 전화기들에 특히 유용하다. 심도의 증가는, 이미지-캡처 장치, 특히, 전화기 또는 사진 장치를 사용하는 것에 의해, 바-코드들, 명함들, 또는 텍스트 및/또는 스케치들을 포함하는 수기를 촬영할 수 있게 할 뿐만 아니라 인물 사진들 또는 풍경 사진들도 촬영할 수 있게 한다. 값비싼 오토포커스 또는 매크로 펑크션들을 사용하지 않고도 이것이 가능하다. 더 나아가, 이 펑크션은, 기계적 매크로 펑크션에 비해, 사용자에 의한 개입없이 전체가 자동적으로 실현된다.
발명에 따라 구현되는 심도 증가는, 디지털 이미지를 캡처할 때 가변 파라미터들을 구비하며 컬러들의 선명도에 영향을 미치는 장치, 특히, 줌, 및/또는 가변 포커싱 및/또는 가변 구경의 렌즈를 갖춘 캡처 장치에도 유용하다. 따라서, 디지털 이미지에 따른 가변 파라미터들의 값에 대응되는 선명도 곡선들(8.2 및 8.3)이 사용될 것이다.
따라서, 발명에 따른 방법 및 펑크션은, 도 11 내지 도 17b에 의하여 후술되는 바와 같이, 캡처 장치의 설계시에, 좀더 제한된 수의 포커싱 위치들을 가진 렌즈를 선택 또는 설계할 수 있게 하고, 이는, 렌즈-설계 제한 사항들을 감소시킴으로써 그것에 대한 비용을 감소시키는 이점을 가진다. 이것은 서보-제어 메커니즘을 위해 요구되는 정확도를 감소시키는 것에 의해 좀더 빠르고 저렴한 포커싱을 허용한다는 이점도 가진다.
예를 들어, 큰 심도 렌즈를 획득하기 위해서는, 컬러들 각각을 위한 선명한-거리 범위들의 최대 합집합이 구비되는 명세를 가진 렌즈를 선택하거나 설계할 수 있다.
예를 들어, 큰 구경 렌즈를 획득하기 위해, 거리들의 범위들 중 하나내에 하나의 선명한 컬러가 구비되는 명세를 가진 렌즈를 선택하거나 설계할 수 있는데, 컬러들 각각을 위한 선명한-거리 범위들의 합집합은 소망되는 심도에 대응된다.
다른 일례로서, 장치의 구경 및 이미지의 심도 모두를 최적화할 수도 있다.
디지털 이미지의 종방향 색수차들을 감소시킬 수 있는 방법 및 펑크션도 실현된다.
어떤 캡처 장치가 이미지를 발생시키는데 사용되었는지를 알지 못하는 상태에서, 이미지의 선명도를 증가시킬 수 있는 방법 및 펑크션도 획득된다.
단일 이미지를 사용하는, 화면의 오브젝트들을 위한 거리 측정의 응용
이하에서는 도 8을 참조하여, 레인지-파인딩 하드웨어 측정 디바이스를 요구하지 않으면서 특별히 단일 이미지를 사용해 화면의 오브젝트들의 거리를 측정하도록 적응된, 발명에 따른 실시예 및 시스템을 설명하고자 한다. 따라서, 방법은 디지털 이미지의 각 영역에 존재하는 오브젝트들의 거리에 대한 추정치를 획득할 수 있다.
일반적으로, 캡처 장치는, 다른 것들 중에서도, 레이저, 적외선, 또는 예비-플래시 메커니즘에 기초해 화면의 오브젝트들의 거리를 측정하기 위한 하드웨어 디바이스를 사용한다.
발명에 따르면 도 8에 표현된 바와 같이, 디지털 이미지는 영역들(11.3)로, 예를 들어, 센서 옆의 9개 감지 소자들에 대응되는 정사각형 영역들로 또는, 좀더 일반적으로, X × Y 감지 소자들에 대응되는 영역들로 또는 디지털 이미지에 따라 계산되거나 미리 결정된 형태의 영역들로 분해된다. 그것 때문에, 각각의 영역(11.3)을 위해, 2 이상의 컬러들의 선명도가 측정되고; 그러한 측정 값들 또는 상대적 측정 값들(16.1 및 16.2)은 캡처 장치의 대응되는 선명도 곡선들(8.2 및 8.3)로 보고된다. 따라서, 영역(11.3)에 표현된 오브젝트(4)의 부분과 캡처 장치 사이의 거리(17.1)의 추정치에 대응되는 거리(17.2)가 획득된다.
발명에 따라 구현된 거리 측정은 고정 렌즈들, 즉, 전화기들에 특히 유용하다.
발명에 따라 구현된 거리 측정은, 디지털 이미지를 캡처할 때 가변 파라미터들을 구비하며 컬러들의 선명도에 영향을 미치는 장치, 특히, 줌, 및/또는 가변 포커싱 및/또는 가변 구경의 렌즈를 갖춘 캡처 장치에도 유용하다. 이와 같이, 디지털 이미지에 따른 가변 파라미터들의 값에 대응되는 선명도 곡선들(8.2 및 8.3)이 사용될 것이다.
따라서, 방법은 디지털 이미지의 각 영역에 존재하는 오브젝트들의 거리에 대한 추정치를 획득할 수 있게 한다. 이것은:
- 센서에 의해 그리고 이미지 및 이미지에 상관된 원격 데이터를 발생시키는 표준 렌즈에 의해 실시간 및 저비용의 레인지-파인더 디바이스를 구축할 수 있게 하는데; 일반적으로, 수개 샷들(shots)이 필요하거나 특정 하드웨어 디바이스가 요구되고 연관된 이미지/원격 데이터는 복잡하며;
- 예를 들어, 거리는 이미지에 실시간으로 디스플레이되고;
- 예를 들어, 원격 데이터는 로봇을 가이드할 수 있게 하며;
- 가변 포커싱 또는 초점 길이들로써 캡처 장치들의 포커싱을 가속할 수 있는데; 실제로, 단일 이미지를 사용해, 예를 들어, 중앙 서브젝트에 대한 또는 사용자에 의해 선택되는 포커싱 구역에서의 소정 포커싱을 획득하기 위해 응용될 서보-제어 명령어들을 결정할 수 있고;
- 플래시라이트의 강도 및 특히 포커싱 구역에서의 메인 서브젝트 또는 서브젝트에 대한 강도를 조정하기 위해 화면의 다양한 오브젝트들의 거리를 고려할 수 있게 하며;
- 예를 들어, 인물 사진을 위해 사용자에 의해 선택되는 포커싱 구역에서 메인 서브젝트 또는 서브젝트를 향상시키기 위한 캡처 장치의 자동-노출 펑크션을 위해 화면의 다양한 오브젝트들의 거리를 고려할 수 있게 하고;
- 사용자에게 그것을 정의할 것을 요청할 필요없이 메인 서브젝트를 자동적으로 정의할 수 있게 한다.
노출과 무관한, 심도 제어에 대한 응용
이하에서는, 도 4, 도 5, 도 6, 및 도 7을 참조하여, 공지의 이미지-캡처 장치를 위해 특수한 기계적 디바이스를 요구하지 않으면서 심도의 제어를 위해 좀더 특별하게 적응된, 발명에 다른 실시예 및 시스템을 설명하고자 한다. 따라서, 방법은, 나머지 오브젝트들을 위한 선명도의 범위 및 블러링된 이미지에 대응되는, 캡처 장치로부터 멀리 떨어져 배치된 오브젝트를 위해 선명한 이미지를 획득할 수 있게 한다. 일반적으로, 캡처 장치는 제한된 심도를 갖고, 심도가 낮을수록, 렌즈 구경은 커지므로; 심도 및 노출은, 낮은 조명일 때, 심도, 잡음, 및 움직임 블러 사이에서 선택이 이루어져야 하는 방식으로 링크되어 있다. 실시예에 따르면, 노출 및 심도를 별도로 제어할 수 있다.
발명에 따르면 도 4에서 표현된 바와 같이, 디지털 이미지는 영역들(11.1 및 11.2)로, 예를 들어, 센서 옆의 9개 감지 소자들에 대응되는 정사각형 영역들로 또는, 좀더 일반적으로, X × Y 감지 소자들에 대응되는 영역들로 또는 디지털 이미지에 따라 계산되거나 미리 결정된 형태의 영역들로 분해된다. 각각의 영역을 위해, 예를 들어, 고려되는 컬러 및 영역에 대응되는 그레이 레벨들을 사용해 각각의 컬러를 위한 기울기를 계산하는 것에 의해 획득되는 값들 중에서 최저 값에 대응되는 컬러처럼, 가장 선명한 컬러가 선택될 것이다. 도 4에서, 곡선(8.3)에 대응되는 컬러는 영역(11.2)을 위해 좀더 선명하고, 곡선(8.2)에 대응되는 컬러는 영역(11.1)을 위해 좀더 선명하다.
그것 때문에, 각각의 영역을 위해, 이와 같이 선택된 선명한 컬러의 선명도가, 앞서 설명된 바와 같이, 나머지 컬러들로 반사된다. 상기한 내용으로부터 알 수 있는 바와 같이, 선명한 디지털 이미지가 큰 범위의 심도에서 모든 컬러들을 위해 획득된다.
캡처 장치와 디지털 이미지의 영역에서의 캡처된 화면의 오브젝트들 사이의 거리를 결정하기 위해, 다음 중 하나가 사용될 것이다:
- 앞서 설명된 바와 같이, 각각의 영역을 위한 2 이상의 컬러들의 선명도, 또는
- 좀더 정확한 다른 거리-측정 방법이나 디바이스.
그것 때문에, 소정 선명도의 범위를 초과하는 거리들에 배치된 오브젝트들을 포함하는 시계의 영역들에서 그리고/또는 부분들에서, 예를 들어, 가우시안 필터를 사용하거나 bokeh를 시뮬레이션하는 필터를 사용해 선명도를 감소시킬 수 있다. 예를 들어, 인물 사진의 경우, 블러링된 백그라운드가 획득됨으로써 광구경 렌즈를 요구하지 않으면서 얼굴을 향상시킬 수 있다. 예를 들어, 풍경 사진의 경우, 이미지의 지각력을 방해할 수도 있는 아마도 모퉁이들에 고립된 오브젝트들을 제외시키는, 광대한 심도가 획득될 수 있다. 예를 들어, 불량한 프레이밍의 결과로서 모퉁이에 근접 오브젝트들을 구비하는 화면의 경우, 그러한 근접 오브젝트들이 블러링될 수 있다. 예를 들어, 심도의 선택은, 장치내에서 또는 포스트-프로세싱 동안의 컴퓨터에서, 사용자의 판단에 맡겨질 수 있다.
그것 때문에, 노출을 변경할 필요없이, 따라서, 구경을 변경하거나 잡음 레벨 또는 움직임 블러(movement blur)를 증가시킬 필요없이, 심도가 제어된다.
발명에 따라 구현되는 심도의 제어는 고정 렌즈들, 즉, 전화기들에 특히 유용하다. 심도의 제어는, 이미지-캡처 장치, 특히, 전화기 또는 사진 장치를 사용하는 것에 의해, 바-코드들, 명함들, 또는 텍스트 및/또는 스케치들을 포함하는 수기를 촬영할 수 있게 할 뿐만 아니라 인물 사진들 또는 풍경 사진들도 촬영할 수 있게 한다. 값비싼 광구경 렌즈 디바이스를 사용하지 않으면서, 이것이 가능하다. 더 나아가, 이 펑크션은 사용자에 의한 개입없이 전체가 자동적으로 실현될 수 있다.
발명에 따라 구현되는 심도의 제어는 이동식 렌즈, 특히, 줌을 구비하는 장치에 특히 유용하다. 따라서, 사정에 정통한 전문가는, 심도 및 노출에 상관없이, 직접적으로 또는 간접적으로 제어할 수 있다.
도 11은 이미지-캡처 또는 재생 장치의 아키텍처를 예시하는 스케치이다.
예를 들어, 이미지들을 캡처하기 위한 그러한 장치는, 한편으로는, 특히, 센서(124)에 이미지를 형성하기 위한, 렌즈들과 같은, 하나 또는 수개의 광학 소자들을 갖춘 광학 시스템(122)을 구비한다.
일례들은 주로 전자 유형의 센서(124)에 관한 것이지만, 그러한 센서는 다른 유형, 예를 들어, "아르젠틱(argentic)"으로 공지되어 있는 장치의 경우에서의 사진 필름일 수 있다.
그러한 장치는, 이미지 평면이 센서(124)에 캡처되도록 그리고/또는 센서에서 수신되는 광량이 노출 및/또는 간극 시간(aperture time)의 조정으로 인해 최적이도록 그리고/또는, 화이트-밸런스 서보-제어를 수행하는 것에 의해, 획득되는 컬러들이 정확하도록 포커싱을 수행하기 위해, 광학 시스템(122) 및/또는 센서(124)에 작용하는 서보-제어 시스템(126)도 구비한다.
마지막으로, 장치는 디지털 이미지-프로세싱 수단(128)을 구비한다.
변형으로서, 디지털 이미지-프로세싱 수단이 장치(120)로부터 분리된다. 장치(120)내에 이미지-프로세싱 수단의 일부를 그리고 장치(120) 외부에 일부를 계획할 수도 있다.
이미지의 디지털 프로세싱은 센서(124)에 의한 이미지-기록 이후에 수행된다.
이미지-재생 장치는 이미지-캡처 장치와 유사한 구조를 표현한다. 센서(124) 대신에, 이미지-발생기(124')가 제공됨으로써, 디지털 이미지-프로세싱 수단(128')으로부터 이미지들을 수신하여 이미지들을, 광학 프로젝션 시스템과 같은, 광학 시스템(122')에 제공한다.
노출의 선명도를 언급하는 다음 부분에서는, 이미지-캡처 장치만이 참조된다.
앞서 설명된 태양들과는 별도로 사용될 수도 있는 그것의 태양들 중 하나에 따르면, 발명은, 수단(128, 128')의 수용 능력을 사용해, 광학 시스템(122, 122') 및/또는 이미지 센서 또는 발생기(124, 124') 및/또는 서보-제어 시스템(126)의 파라미터들을 결정하거나 선택하기 위한 디지털 이미지-프로세싱으로 이루어진다.
도 12에서는, 장치의 컴포넌트들이 디지털 이미지-프로세싱 수단과 연관될 때 그것들 각각으로써 달성될 수 있는 성능들의 레벨이 표현된다. 그러한 레벨들은 광학 시스템을 위한 점선(130), 센서를 위한 점선(132), 서보-제어를 위한 점선(134), 및 장치를 위한 점선(136)에 의해 예시된다.
디지털 이미지-프로세싱 수단으로써 획득될 수 있는 성능의 그러한 레벨들을 사용해, 프로세싱 이전에는, 프로세싱 수단의 응용 이후에 획득되는 성능의 레벨들보다 상당히 낮은, 장치의 컴포넌트들 각각을 위한 성능 레벨들을 선택할 수 있다. 그것 때문에, 광학 시스템의 성능 레벨들은 레벨(130')로 설정될 수 있고, 센서 및 서보-제어 시스템의 성능 레벨들은, 각각, 레벨들(132' 및 134')로 설정될 수 있다.
이 조건들하에서, 디지털 프로세싱에 실패하면, 장치의 성능들의 레벨은 최저 레벨, 예를 들어, 광학 시스템을 위한 최저 레벨(130')에 대응되는 레벨(136')일 것이다.
디지털 이미지-프로세싱 수단은 바람직스럽게도 다음 문서들에서 설명되는 것들이다:
- "Method and system for producing formatted data related to defects of appliances in a series of appliances and formatted data destined for image-processing means"라는 명칭의 특허출원 EP 02751241.7.
- "Method and system for modifying the qualities of at least one image originating from or destined to a series of appliances"라는 명칭의 특허출원 EP 02743349.9.
- "Method and system for reducing the frequency of updates for image-processing means"라는 명칭의 특허출원 EP 02747504.5.
- "Method and system for correcting chromatic aberrations of a colour image produced by an optical system"이라는 명칭의 특허출원 EP 02748934.3.
- "Method and system for producing formatted data related to geometric distortions"라는 명칭의 특허출원 EP 02743348.1.
- "Method and system for providing, according to a standard format, formatted data to image-processing means"라는 명칭의 특허출원 EP 02748933.5.
- "Method and system for calculating an image transformed using a digital image and formatted data relating to a geometric transformation"이라는 명칭의 특허출원 EP 02747503.7.
- "Method and system for producing formatted data related to defects of at least one apparatus in a series, notably to blur"라는 명칭의 특허출원 EP 02747506.0.
- "Method and system for modifying a digital image taking into account its noise"라는 명칭의 특허출원 EP 02745485.9.
- "Method and system for differentially and regularly modifying a digital image by pixel"이라는 명칭의 특허출원 PCT/FR 2004/050455.
그러한 디지털 이미지-프로세싱 수단은 다음의 파라미터들 중 하나 이상을 활성화하는 것에 의해 이미지 품질을 향상시킬 수 있다:
- 광학 시스템의 기하학적 왜곡들: 광학 시스템이 이미지들을 왜곡할 수 있고, 그에 따라, 직사각형은 그것의 모서리들 각각을 위해 볼록한 형태의 쿠션 모양으로 또는 그것의 모서리들 각각을 위해 오목한 형태의 실린더로 변경될 수 있다.
- 광학 시스템의 색수차들: 하나가 나머지와 관련하여 정확한 위치들을 가진 3개의 컬러 스폿들에 의해 목표 포인트가 표현된다면, 색수차는 그러한 스폿들에서의 위치 변경에 의해 하나가 나머지와 관련하여 평행 이동되는데, 색수차들은 일반적으로, 이미지의 중앙으로부터 멀어질수록 훨씬 더 중요하다.
- 시차: 광학 시스템의 광학 소자의 변경 또는 이동에 의해 조정을 구현하는 경우, 이미지 평면에 획득된 이미지는 이동될 수 있다. 조정은, 예를 들어, 초점 길이의 조정 또는 포커싱 조정이다.
그러한 결함은, 렌즈(144)가 실선으로 표현되는 위치를 차지할 때 이미지의 중앙은 위치(142)를 차지하는 3개의 렌즈들로써 광학 시스템(140)이 표현되는 도 13으로써 예시된다. 렌즈(144)가 점선으로써 표현되는 위치(144')로 이동할 때, 이미지의 중앙은 위치(142')를 채택한다.
- 심도: 광학 시스템이 결정된 오브젝트 평면에 포커싱될 때, 이 평면의 이미지들이 선명한 상태를 유지할 뿐만 아니라, 그러한 평면에 근접한 오브젝트들의 이미지들도 선명한 상태를 유지한다. "심도"는 이미지들이 선명한 상태를 유지하는 가장 가까운 오브젝트 평면과 가장 먼 오브젝트 평면 사이의 거리를 의미한다.
- 비네팅: 이미지의 광도는 일반적으로 중앙에서 최대이고, 중앙으로부터 멀어짐에 따라 서서히 감소한다. 비네팅은 특정 위치에서의 광도와 최대 광도 사이의 차이에 의해 백분율로 측정된다.
- 광학 시스템 및/또는 이미지 센서 및/또는 발생기의 선명도 부족은, 예를 들어, 앞서 정의된 바와 같은, BXU 파라미터에 의해 측정된다.
- 이미지의 잡음은 일반적으로 그것의 차이 유형, 그것의 형태, 잡음 스폿의 사이즈, 및 그것의 컬러링에 의해 정의된다.
- 무아레 현상은, 높은 공간 주파수들의 경우에 발생하는 이미지의 변경이다. 무아레는 안티-얼라이어싱 필터들의 파라미터화에 의해 정정된다.
- 콘트라스트는, 이미지의 디테일들이 여전히 가시적인 상태를 유지하는 이미지의 최고 및 최저 광도값들 사이의 비이다.
도 14a 및 도 14b에서 표현되는 바와 같이, 이미지의 콘트라스트를 향상시킬 수 있는데(도 14a), 다시 말해, 디테일이 구별될 수 있는 광도들의 범위를 확장할 수 있다(도 14b). 그러한 확장은 특히, 콘트라스트 및 잡음 정정 알고리즘을 사용하는 것에 의해 수행된다.
도 15를 참조하여, 이하에서는 이미지 시계내의 선명도를 조화시킬 수 있는 실시예를 설명하고자 한다.
먼저, 오브젝트 평면의 이미지 표면이 완전한 평면을 구성하지는 않지만, 시계 곡선으로서 공지된, 곡선을 표현한다는 것을 상기한다. 그러한 곡선은, 초점 길이 및 포커싱을 포함하는 다양한 파라미터들에 의존하여 달라진다. 그것 때문에, 이미지 평면(150)의 위치는 포커싱이 수행되는 구역에 의존한다. 도 15에 도시된 일례에서, 평면(150)은 이미지의 중앙(152)에서의 포커싱에 대응된다. 이미지의 가장자리에 가까운 구역(154)에서의 포커싱을 위해, 이미지 평면(156)은 광학 시스템(122)에 이미지 평면(150)보다 좀더 가깝게 배치된다.
포커싱 서보-제어 시스템을 간략화하기 위해, 이미지 평면은 (이미지의 가장자리에 가까운 구역에서의 포커싱에 대응되는) 위치(154)와 (이미지의 중앙 구역에서의 포커싱에 대응되는) 위치(150) 사이의 중간인 위치(158)에 배치된다. 포커싱 서보-제어(126)와 디지털 이미지-프로세싱 수단(128)의 일체화는 포커싱을 위한 평면(158)의 이동을 제한함으로써, 서보-제어 시스템의 에너지 소비를 감소시킬 수 있게 하며 그것의 컴포넌트들의 부피를 감소시킬 수 있게 한다.
도 15a는, 이미지의 중앙에서 최대 선명도가 획득되는, 표준 서보-제어 포커싱 시스템에 의한 블러 특성들을 표현한다. 그것 때문에, 도 15a의 그러한 도표에서, 가로좌표는 이미지의 시계를 표현하고, 세로좌표는 BXU로 표현된 블러 값을 표현한다. 그러한 표준 서보-제어 시스템을 사용하면, 블러 측정은, 중앙에서, 1.3 정도이고, 이미지의 가장자리에서, 6.6 정도이다.
도 15b는, 디지털 이미지-프로세싱 수단이 14의 BXU 값에 이르는 블러를 정정할 수 있다는 가정하에서, 발명에 따라 구현된 장치를 위한 서보-제어의 특성들을 나타내는, 도 15a의 그것과 유사한 도면이다. 따라서, 도 15b에서 표현된 곡선은, 이미지의 중앙에서, BXU 값 = 2.6을 표현하고, 이미지의 가장자리 부근에서 4의 값으로 다시 증가하기 전에, 중앙으로부터 멀어짐에 따라 BXU 값은 감소한다. 그러한 값은 디지털 프로세싱 수단에 의한 블러의 정정을 가능하게 하기 위한 제한이라는 것을 상기한다. 그것 때문에, 전체 이미지 시계를 가로질러 선명한 이미지가 획득될 수 있는 반면, 표준 시스템이 장비된 장치를 사용하는 경우에는 그렇지 않다.
실시예에서, 디지털 이미지-프로세싱 수단은 선명도를 향상시키기 위한 수단을 구비하고, 그에 따라, 포커싱 서보-제어의 사용을 그만둘 수 있다.
비교 가능한 일례로서, 도 16a, 도 16b, 도 16c, 및 도 16d는 최신 기술에 따라 획득되는 장치의 명세들 및 발명에 따른 방법을 사용해 획득되는 장치의 명세들을 나타낸다.
표준 디바이스는 포커싱 시스템없이 VGA 센서, 즉, 640 x 480 해상도를 가진 이동 전화기와 통합된 디지털 사진 장치이다.
표준 장치는 2.8의 구경을 갖는 반면, 발명에 따른 방법을 사용해 획득된 장치는 1.4의 구경을 가진다.
표준 장치에 대응되는 도 16a는, 가로좌표가 이미지 시계의 백분율을 표현하는 도면으로서, 그것의 원점은 이미지의 중앙에 대응된다. 세로좌표는 비네팅(V)을 표현한다. 도 16b는 발명에 따라 획득된 장치를 위한 유사한 도면이다.
도 16a(표준 장치)의 스키마에서, 비네팅은 이미지의 가장자리에서 0.7의 값을 달성하는 반면, 도 16b의 도표에서는 발명에 따른 장치의 광학 시스템이 상당히 중요한, 즉, 약 0.3의 비네팅을 표현한다는 것을 알 수 있다. 사용되는 알고리즘을 위한 정정 제한은 0.25이다. 다시 말해, 정정 알고리즘으로 인해, 상당히 중요한 비네팅 광학계를 이용할 수 있다.
도 16c는 표준 장치를 위한 (가로좌표로 표현된) 이미지 시계에 따른, BXU로 표현된, 블러 세로좌표들을 표현하는 도표이다. 그러한 표준 장치를 사용하면, 블러 명세가 이미지의 중앙에서는 1.5이고 가장자리에서는 4이다.
도 16d의 도표 또한, 발명에 따른 방법을 사용해 획득되는 장치의 광학계를 위한 블러를 표현한다. 도 16d의 도표에서도, 이미지의 시계는 가로좌표로 표현되고 블러는 BXU로 세로좌표들로 표현된다. 도 16d의 그러한 도표는, 이미지의 중앙에서의 블러가 약 2.2라는 것을 나타낸다. 따라서, 그것이 도 16c의 도표의 블러보다 높다. 그러나, 가장자리들에서는, 정정 알고리즘 제한을 고려하여, 영역에서 3의 블러가 선택되었다.
다시 말해, 추가적으로, 좀더 큰 구경의 표준 장치를 사용할 때 동일한 결과들을 획득할 수도 있겠지만, 놀랍게도, 중앙에서의 선명도와 관련하여 그라데이션 렌즈(gradation lens)가 선택되었다. 가장자리들에서, 발명에 따른 장치의 광학계는 표준 광학계의 그것과 유사한 품질을 표현한다는 것에도 주의해야 하는데, 그러한 결과는 표준 렌즈와 관련한 비네팅 그라데이션으로 인해 가능하다.
도 17a 및 도 17b의 도표들은, 발명에 따른 방법을 사용하는 것에 의한 캡처 장치를 구현하기 위해 선택이 이루어져야 하는 다양한 광학 시스템들의 명세들을 표현한다.
도 17a에서 표현된 일례에서, 광학 시스템은 이미지 스폿(1100)에 작은 치수들을 제공한다. 그러한 시스템은, 가로좌표가 공간 주파수들인 도표에 의해 표현되는 MTF(modulation transfer function)를 나타낸다. 셧-오프(shut-off) 주파수의 값은 fc이다. MTF 펑크션은 닐(nil) 주파수들의 부근내의 단계(1110) 및 fc 값을 향해 빠르게 감소하는 부분을 구비한다.
도 17b의 스키마에 의해 표현된 광학계는 이미지 스폿(1100)보다 상당히 큰 치수들을 가진 이미지 스폿(1114)을 나타내는데, 그것의 MTF는 도 17a의 경우에서와 동일한 fc 셧-오프 주파수를 나타낸다. 그러나, 공간 주파수에 의존하는 이 MTF의 변화는 상이한데, 그러한 주파수는 그것의 원점으로부터 셧-오프 주파수를 향해 비교적 균일한 방식으로 감소한다.
광학 시스템의 선택은, MTF의 정정 알고리즘이 0.3의 값으로부터 효과적이라는 사실에 기초한다. 그러한 조건들하에서, 도 17b의 광학계로써, f2의 값, 예를 들어, 약 0.8 fc에 이르도록 MTF를 증가시킬 수 있는 정정이 획득되는 반면, 도 17a의 광학계에 의해서는, 0.5 fc 범위의 주파수 f1에 이르는 정정만이 가능하다.
다시 말해, 정정 알고리즘에 의해, 도 17b에 표현된 광학계는, 이미지 스폿이 도 17a의 경우보다 큰 치수들이라는 사실에도 불구하고, 도 17a에서 표현된 광학계보다 좀더 많은 디테일을 제공한다. 따라서, 도 17b에 대응되는 광학계를 선택할 것이다.
심도의 증가에 대한 응용
이하에서는, 센서 및/또는 광학 시스템이 심도에서의 증가에 좀더 적합하게 적응된 방법의 실시예 변형을 설명하려고 한다.
CMOS 또는 CCD 표준 센서들은 대개 "Bayer"라고 하는 픽셀들의 모자이크를 사용해 형성된 센서들이다. Bayer 모자이크는, 2개의 그린 픽셀들(즉, 약 550nm 스펙트럼 범위내의 광에 민감한 포토사이트(photosite)), 레드 픽셀(600nm 부근의 스펙트럼 범위), 및 블루 픽셀(450nm 부근의 스펙트럼 범위)에 의해 형성되는 2x2 픽셀들의 연속물로 이루어진다.
센서들에 따라, 그린 컬러, 레드 컬러, 및 블루 컬러의 스펙트럼 대역들은, 좀더 상당하거나 덜 상당한 중첩을 나타내면서 서로 상이하다. 이들 3개 대역들 사이의 상당한 중첩은 컬러들에 대한 센서의 민감도를 감소시키는(그것이 "색맹(colour blind)"화 되는) 효과를 갖지만, 그것의 광에 대한 전반적인 민감도는 증가하고, 그 반대일 수도 있다.
이들 3개 대역들 사이의 상당한 중첩은 컬러들 사이의 선명도 차이들 역시 감소시킴으로써, 특히, 3개의 컬러들 중 하나 이상이 선명한 거리들의 범위를 감소시킨다.
따라서, 바람직스럽게도, 발명에 따르면, 예를 들어, 그것들의 중첩을 감소시키는 것에 의해 스펙트럼 대역들을, 3개 컬러들 중 하나 이상이 선명한 거리들의 범위를 증가시키도록 적응시킬 수 있다.
그러한 적응은 광학계의 설계와 함께 그리고 이미지의 디지털 프로세싱에 대해 가중하는 제한들에 의존하여 수행될 수도 있다.
발명에 따른 방법을 최적화하는 센서의 설명
방법의 실시예 변형에서, 센서 및/또는 광학 시스템은, 이미지화된 오브젝트들을 위한 정확한 거리 지시들을 제공할 수 있는 응용들에 좀더 적합하게 적응된다.
이 실시예 변형에서는, Bayer 픽셀 모자이크를 사용할 것이다.
센서들이 이상(aberrant) 디지털 값들을 제공하는 상당수 픽셀들을 표현한다는 것은 일반적이다. 이 픽셀들을 흔히 "번드 픽셀들(burned pixels)"(또는 "죽은 픽셀들", 즉, 불어로는 "데드 픽셀들(dead pixels))이라고 한다. 그것 때문에, 이미지-발생 디지털 프로세싱은, 발생된 이미지로부터 이 픽셀들의 이상 값들을 소거하여 그것들이 보이지 않도록 하기 위해, 이들 이상 값들을 위한 필터링 단계를 포함한다.
방법에 따른 거리 측정들의 정확도는 특히 거리에 따른 상대적 선명도의 변화에 의존한다. 그러한 변화는, 캡처 시스템(센서 및 광학계)에 의해 획득될 수 있는 색수차의 양에 의존한다. 이미 언급한 바와 같이, 가시광 따라서 사진에 이용 가능한 광을 위한 스펙트럼 주파수 범위는 비교적 제한적인데: 대략 400nm 내지 700nm이다. 그것 때문에, 표준 Bayer 센서를 사용할 때, 거리에 의존하는 상대적 선명도 변화 역시 제한된다.
그러한 제한을 초과하여 센서를 변경하기 위한 몇가지 가능한 방법들이 존재한다. 간단한 방식은 레드, 그린, 및 블루의 표준 컬러들 이외에 상이한 스펙트럼 대역, 예를 들어, 800nm-900nm 대역 또는 가시 스펙트럼 이상 및/또는 이하의 다른 임의 대역을 사용하는 것으로 이루어진다. 그러한 제4 스펙트럼 대역에 민감한 픽셀들이 가시적 이미지의 재구성에 반드시 유용할 필요는 없겠지만, 3개의 표준 컬러들 중 하나 또는 수개와의 이러한 제4 스펙트럼 대역에서의 상대적 선명도에 비해, 주로 오브젝트들의 거리를 추정하는 역할을 할 것이다.
따라서, 픽셀들을 다음의 방식으로 바람직스럽게 정렬할 수 있을 것인데: 표준 레드, 그린, 블루 Bayer 레이아웃을 벗어나는 것에 의해, 모든 NxM 픽셀들 및 수개의 다른 픽셀들이 그러한 제4 스펙트럼 대역내에서 민감한 픽셀들에 의해 교체될 것이다. 다소 큰(예를 들어, 각 64의) 팩터로 N 및 M을 선택하고 픽셀들 중 9개를 교체하는 것에 의해, 표준 Bayer 모드에서의 1000개 중 약 1개 픽셀만이 영향을 받는다는 것을 보장할 수 있다. 따라서, 이미지의 구축 동안, 그러한 픽셀들은, 그것들의 값들이 필터링되어야 하는 "번드 픽셀들"로서 간주될 것이다.
그것 때문에, 이미지의 NxM개 픽셀들마다 이미지화된 오브젝트들의 좀더 정확한 거리 지시들을 제공할 수 있는 사진 장치가 획득된다.
발명에 따른 방법을 최적화하는 제2 센서의 설명
도 20b에 도시된 다른 실시예에서는, 3개 픽셀들(R, G, B) 및 UV 또는 적외선 스펙트럼 대역의 부분에 대응되는 1개 픽셀(U)이 제공되는 표준 Bayer 레이아웃으로부터 벗어난다. 적외선 및/또는 자외선에 의해서는, 가시 스펙트럼 이상의 또는 이하의 모든 스펙트럼 부분들, 특히, 700 내지 800 또는 700 내지 900nm와 같은, 적외선 부근 또는 400nm 부근의 자외선 부근이 의도된다. 그러한 픽셀(U)은, 도 20a의 도표에서 도시된 바와 같이, 가시 컬러들의 선명도를 향상시키는데 사용된다.
이 도표에서: 캡처 장치로써 이미지화된 오브젝트들의 거리들("d")은 가로좌표에서 그리고 블러 스폿의 지름("D")은 세로좌표들에서 지시된다. 곡선들(20.3, 20.4, 20.5, 및 20.6)은, 각각, 레드("R"), 그린("G"), 블루("B"), 및 자외선("U")을 위한 거리("d")에 따른 직경("D")의 변화를 표현한다. 일직선(20.7)은 심도를 정의하는 선명도의 임계치를 표현한다.
따라서, 거리("d1")는, 발명에 따른 선명도를 향상시키기 위한 방법을 사용하는 동안, "RGB" 픽셀들은 구비하지만 U 픽셀들은 구비하지 않는 캡처 장치를 위한 심도의 제한을 표현한다. 거리("d2")는, 도 20b에서 표현된 센서를 구비하는 캡처 장치에 의해 그리고 발명에 따른 선명도를 향상시키기 위한 방법을 사용해 획득되는 심도의 제한을 표현한다. "U" 픽셀들은 거리들("d1" 및 "d2") 사이에 배치된 오브젝트들을 위한 "RGB" 컬러들상으로 "U" 컬러의 선명도를 반사하는 역할을 할 뿐이다. 따라서, 최종적인 이미지는 3개의 "RGB" 컬러들(또는 임의의 다른 공지의 가시 컬러 스팬)만을 구비할 것이다.
변형으로서, 좀더 먼 거리들에 대한 선명도를 향상시키기 위해 적외선 부근에 민감한 픽셀들이 추가될 것이다.
종방향 색수차들의 증가
발명에 따르면, 오브젝트들의 거리에 의존하는 2개 컬러들 사이의 상대적 선명도에서의 변화들의 존재가 이용된다. 따라서, 거리에 의존하는 3개의 아주 상이한 컬러 평면들 사이의 상대적 선명도를 표현하는 광학계를 설계할 수 있을 것이다. 그러한 광학계는, 높은 종방향 색수차들을 표현한다고 한다.
실용적인 의미에서, 광학계는, 예를 들어, 광범위한 거리들에서: 3개 컬러들 사이에서 스폿 도표 직경들(블러 스폿의 직경) 중 가장 작은 것이 미리 결정된 제1 임계치 미만이고, 3개 컬러들 사이에서 스폿 도표 직경들 중 제일 큰 것이 미리 결정된 제2 임계치 미만이도록 설계될 수 있다. 다른 방법으로는, 스폿 도표의 직경 대신에 BXU 값이 사용될 수 있다.
2개 임계치들은, 예를 들어, 한편으로는, (예를 들어, 후술되는 필터("F")의 사이즈처럼) 이미지를 발생시키기 위한 디지털 프로세싱의 수용 능력들 및 제한들에 따라, 그리고 다른 한편으로는, 센서의 명세들에 따라 결정된다.
도 18은, 이런 식으로 설계된 렌즈를 위한 거리(가로좌표의 축)에 의존하는, 3개의 RVB 컬러 평면들을 위한 BXU 측정들(Y-축)의 일례를 표현한다. 도시된 값들은 이미지 시계의 중앙에서의 값들이다. 이미지 시계의 각 포인트를 위해, 유사하지만 다양한 곡선들이 측정될 수 있다. S1 및 S2는 상술된 2개 임계치들을 지시한다. 따라서, 상기 2가지 기준들을 준수하는 거리들의 범위는, 이 렌즈의 경우, 약 12cm-무한대(도 18에서의 d1->무한대)인데, 이는, 그러한 거리들의 범위내에서 이미지화된 화면들을 위해 선명한 이미지를 재구축할 수 있다는 것을 함축한다.
표준 렌즈를 사용하는 것은 도 18에서의 레드(R) 컬러의 곡선 부근에 3개 곡선들을 초래할 것이고, 따라서, 광학 시스템에서는, 멀리 떨어진 거리들, 25cm-무한대(도 18에서의 d2 -> 무한대)에 배치된 오브젝트들을 위한 선명한 이미지들의 재구축만을 가능하게 한다.
따라서, 소정 초점, 구경, 및 초점 길이를 위한 것과 같이, 최상의 선명도를 수반하는 거리가 다음의 수학식 4보다 낮은 하나 이상의 컬러가 존재하는 종방향 색수차들을 가진 렌즈를 사용할 수도 있는데,
여기에서, k는 0.7 미만인, 바람직스럽기로는 0.5 미만인 계수이고, f는 초점 거리이며, O는 구경이고, P는 무한대에 배치된 오브젝트 포인트에 대한 블러 스폿의 (이미지의 모든 컬러들 중에서) 최소 직경을 가진다.
자동 해상도 조정에 대한 응용
이하에서는, 이미지의 해상도를 캡처 장치의 심도를 초과하는 촬영에 링크된 가능한 블러로 자동적으로 적응시킬 수 있는 발명의 실시예 변형을 설명하고자 한다.
이미지화된 화면이 (심도 이하로) 지나치게 근접할 때, 이미지는 블러링되는데, 다시 말해, 스폿 도표(블러 스폿)는 직경에 X개 픽셀들을 가진 추가 스폿을 차지하는데, X는 심도의 제한을 정의하는 미리 결정된 직경이다. 이미지의 디지털 서브-샘플링(줌 아웃)은, 통상적으로는 고려되는 서브-샘플링 팩터의 사이즈-범위내이겠지만, 사용되는 서브-샘플링의 유형에 의존하는 팩터만큼 블러 스폿의 사이즈를 감소시킬 것이다. 그것 때문에, 디지털 이미지를 사용해 선명한 이미지가 발생될 수 있겠지만, 일단 이미지가, 소정 임계치에서, 서브-샘플링을 겪고나면, 블러 스폿이 감소되도록 서브-샘플링 팩터를 선택하는 것에 의해 해상도는 좀더 낮아진다.
변형으로서, 계산들을 최소화하기 위해, 발명에 따라 선명도를 증가시키기 전에, 상술된 바와 같이, 서브-샘플링으로써 시작할 것이다.
선명도의 변경에 대한 응용 - 필터링
거리 측정을 위해(도 8), 2개 컬러 평면들 사이의 상대적 선명도 측정을 사용해 디지털 이미지의 각 컬러로부터 예상되는 선명도를 추출할 수 있다.
발명의 실시예에 따르면, 프로세스는 각 픽셀의 미리 결정된 부근내의 픽셀 값들을 혼합하는 필터에 의하여 구역(Z')의 각 픽셀을 위한 선명도 변경을 포함하는데, 필터 파라미터들은 측정된 상대적 선명도에 의존한다.
실제로, 렌즈가 장비된 이미지-캡처 디바이스는 컬러 평면들에 의존하여 그리고 이미지화된 오브젝트들의 거리에 따라 상이한 선명도를 나타낼 것이다. 선명도(또는 블러)가 이미지화된 오브젝트들의 거리들에 의존한다는 사실은, 미리 결정된 선명도의 필터링과 같은, 미리 결정된 프로세스를 사용하는 것에 의해 선명도를 증가시킬 수 없게 한다.
발명의 실시예 변형은 선명도 필터들을 선택하거나 선명도 필터들을 측정된 상대적 선명도에 적응시키는 것으로 이루어진다.
선명도의 필터링 또는 변경에 대한 적응의, 이미 설명된, 특별한 경우는 선명한 컬러의 선명도를 하나 이상의 향상된 다른 컬러상으로 반사하는 것으로 이루어지는데, 그러한 반사는 CA = CN + F(CO - CN) 유형의 계산을 사용하는 것에 의해 실현되고, 여기에서, CA는 향상된 컬러를 표현하고, CO는 프로세싱 이전의 향상된 컬러를 표현하며, CN은 선명한 컬러를 표현하고, F는 필터, 즉, 저역통과 필터를 표현한다.
그러나, 좀더 일반적인 방식으로, 모든 컬러들(또는 모든 컬러들의 서브-그룹)을 필요로 하는 선명도 필터가 사용될 수도 있다. 따라서, 픽셀(P)의 값을 프로세싱하기 위한 디지털 이미지 RGB(또는 RVB)의 경우, 필터(M)는, 픽셀(P) 부근내의 3개의 모든 컬러들에 대한 픽셀들의 값들에 의존하여, 픽셀(P)의 값을 변경할 수도 있다.
예를 들어, 디지털 이미지의 레드, 그린, 및 블루 컬러들에 관련된 디지털 데이터를 RN, GN, 및 BN으로 그리고 향상된 이미지의 그 컬러들에 관련된 디지털 데이터를 RA, GA, 및 BA로 표기하는 것에 의해, 다음의 수학식 5와 같은 연산들을 취하는 연산자와 같은, 필터(M)를 선택할 수 있는데,
여기에서:
M_{R,G,B}{R,G,B}는, 예를 들어, 고역-통과 주파수 필터들처럼, 닐 섬(nil sum)을 갖춘 선형 필터들처럼 선택될 수 있는 필터들을 표현한다. c_{R,G,B}{R,G,B}는 각 필터(M_{R,G,B}{R,G,B})의 충격을 밸런싱하는 계수들을 표현한다.
그러한 필터링 일례 또한, 가장 선명한 컬러의 선명도를 나머지 컬러들상으로 반사할 수 있다. 예를 들어, 컬러 블루만이 선명하다고 가정하면, 고역-통과 필터들(M_{R,G,B}{R,G,B})이, 일례에서의 블러링되는 컬러들(그린 및 레드)에 응용될 때에는 0에 가까운 값들을 제공할 것이다. 이러한 특정 경우에서, GA는, 따라서, GN + c_GB*M_GB(BN), 즉, GN + 블루 컬러의 고주파수들과 같을 것이다. 따라서, 그린 컬러는 선명한 컬러(블루)의 선명도를 계승한다. 동일한 내용이 레드 컬러에도 응용된다.
실제로, 컬러들의 선명도는 2진 팩터가 아니므로; 필터들(M_{R,G,B}{R,G,B}) 및 계수들(c_{R,G,B}{R,G,B})은 컬러 선명도의 여러 가능한 값들로 적응될 수 있다.
주어진 캡처 장치로부터 유래하는 RGB 이미지들의 맥락에서 그러한 적응의 예시적 일례는 다음과 같다:
레드의 상대적 선명도 값들은 그린과 관련하여 고려되고; 마찬가지로, 블루는 그린과 관련하여 고려된다: V_GR, V_GB. 그러한 값들은 정량화되고, 그에 따라, 이렇게 정량화된 값들은 적당한 사이즈의 2D 도표로의 입력을 구성한다. 각각의 입력(정량화된 값 쌍들 V_BR, V_BG)을 위해, 한 세트의 필터들(M_{R,G,B}{R,G,B}) 뿐만 아니라 한 세트의 적응된 계수들(c_{R,G,B}{R,G,B})이 연관된다. 디지털 이미지의 선명도를 향상시키고자 하는 특별한 경우에서, 필터들(M_{R,G,B}{R,G,B}) 및 한 세트의 계수들(c_{R,G,B}{R,G,B})은 각각의 입력을 위해 미리 결정됨으로써, 캡처 장치에 의해 취해진 그리고 입력에 대응되는 상대적 선명도를 가진 디지털 이미지의 선명도가 필터(M)의 응용을 통해 완벽하게 정정된다는 것을 보장할 수 있다.
3개의 컬러들이, 특히, 디지털 이미지의 (블랙, 그레이, 또는 화이트 구역들에 대비되는) 컬러 구역들에서 큰 규모로 동일한 방식으로 달라지지 않는다는 사실을 고려하기 위해, 필터(M)를 세분할 수도 있다. 그것을 위해, 픽셀(P) 부근내의 컬러들에 대한 상대적 변화들을 증가시키는 것에 의해, 구역(Z')의 각 픽셀(P)에서, 필터들(M_{R,G,B}{R,G,B})의 액션들을 밸런싱할 수 있을 것이다.
소정 경우에서는, 고려되는 상대적 선명도와 한 세트의 필터들 사이의 연관 도표가, 예를 들어, 이미지의 시계내에서의 구역(Z')의 위치 또는 초점 길이, 구경, 포커싱 거리 등의 값으로서의 샷들의 파라미터들 또는 사진-촬영 동안의 광학 시스템의 파라미터들처럼 다른 입력들을 구비할 수도 있다. 실제로, 디지털 이미지의 선명도 명세들 또한 이 팩터들에 의존한다는 것이 일반적이다.
그것 때문에, 디지털 이미지의 선명도를 정정하기 위해, 이미지 시계는 먼저 수개 구역들(Z')로 분할될 것이고, 방법은 구역들 각각에 응용될 것이다. 분할은 컬러들의 선명도 명세들에 따라 수행되는 것이 바람직스러울 것이고, 그에 따라, 각 구역에서의 컬러들의 선명도는 소정의 조화를 나타낸다.
이 실시예에 의해, 디지털 이미지에 그리고 이미지화된 화면과 캡처 장치 사이의 거리에 응용되는 선명도 필터링의 자동 적응이 획득될 수 있다. 상대적 선명도를 사용하는 것을 통해, 그러한 거리에 대한 명시적 지식없이, 거리에 대한 그러한 자동 적응이 수행될 수 있다는 것에도 주의해야 한다.
디지털 이미지의 선명도 변경 이상으로, 방법의 그러한 실시예는, 예를 들어, 이미지에 대한 영향들이 이미지화된 화면과 캡처 장치 사이의 거리에 의존하는 광학 및/또는 센서 결함들을 정정하기 위한 프로세스들의 자동 적응도 가능하게 한다. 블러(또는 선명도의 손실)가 일례이지만, 기하학적 왜곡들 또는 비네팅과 같은, 다른 광학 및/또는 센서 결함들이 다른 일례들을 구성한다.
발명의 원리들
도 19a, 도 19b, 도 19c의 설명
도 19a, 도 19b, 도 19c는, 수개 실시예 모드들에 따른, 발명에 따른 방법의 단계들을 나타낸다.
도 19a는 영역(R)을 구비하며 2개 컬러들(195 및 196)을 가진 이미지(10), 이미지(10)의 영역(R)내의 2개 컬러들(195 및 196) 사이의 상대적 선명도(190)의 측정, 측정된 상대적 선명도에 의존하여 활성화되는 펑크션(191)을 표현한다. 옵션으로서, 활성화되는 펑크션은, 예를 들어, 장치의 사용자에 의해 이루어진 선택 및/또는 사진-촬영 동안의 캡처 장치의 명세에 대응되는 모드(193)에 의존한다.
도 19b는 영역(R)을 구비하며 2개 컬러들(195 및 196)을 가진 이미지(10), 이미지(10)의 영역(R)내의 2개 컬러들(195 및 196) 사이의 상대적 선명도(190)의 측정, 이미지(10)의 프로세싱 및 프로세싱된 이미지(192)의 발생을 구비하는, 측정된 상대적 선명도에 의존하여 활성화되는, 펑크션(191)을 표현한다. 옵션으로서, 활성화되는 펑크션은, 예를 들어, 장치의 사용자에 의해 이루어진 선택 및/또는 사진-촬영 동안의 캡처 장치의 명세에 대응되는 모드(193)에도 의존한다.
도 19c는 영역(R)을 구비하며 2개 컬러들(195 및 196)을 가진 이미지(10), 이미지(10)의 영역(R)내의 2개 컬러들(195 및 196) 사이의 상대적 선명도(190)의 측정, 다른 이미지(194)의 프로세싱 및 프로세싱된 이미지(198)의 발생을 구비하는, 측정된 상대적 선명도에 의존하여 활성화되는, 펑크션(191)을 표현한다. 옵션으로서, 활성화되는 펑크션은, 예를 들어, 장치의 사용자에 의해 이루어진 선택 및/또는 사진-촬영 동안의 캡처 장치의 명세에 대응되는 모드(193)에도 의존한다.
콘트라스트 및/또는 휘도 및/또는 컬러 및/또는 선명도의 변경에 대한 응용
이하에서는, 펑크션 활성화가, 이미지의 하나 이상의 영역(R)내의 2 이상의 컬러들 사이의 상대적 선명도에 의존하여, 이미지 콘트라스트 및/또는 광도 및/또는 컬러를 변경하는 것으로 이루어지는 발명의 실시예를 설명하고자 한다.
이미지의 하나 이상의 영역(R)에서의 2 이상의 컬러들 사이의 상대적 선명도를 사용하면, (예를 들어, 3차원 화면의 기하 구조를 추정하기 위한 단계에 의해) 직접적으로 또는 간접적으로, 로컬 조명, 예를 들어, 화면의 어디에든 배치되는 플래시라이트의 추가를, 예를 들어, 시뮬레이션할 수 있고 그리고/또는, 반대로, 화면 내의 다양한 컬러들의 플래시 또는 조명의 영향을 감소시킬 수 있다. 따라서, 백라이팅 및 플래시에 링크된 라이트의 평판-틴트(flat-tint) 효과들을 감소시킬 수 있다.
실시예에서, 디지털 이미지는, 화면의 일부분에서의 이미지 영역 각각이 소정 거리들의 범위내에 배치되고 소정 방향으로 배향되도록 하기 위해, 디지털 이미지는 2 이상의 컬러들 사이의 상대적 선명도에 의존하는 영역들로 분할된다. 방향의 지시는 이미지에서의 상대적 선명도의 로컬 변화를 사용해 획득될 수 있다. 거리의 지시는, 상술된 바와 같이, 상대적 선명도를 사용해 획득될 수 있다. 거리 및 방향에 의해 승인되지 않은 상태에서, 상대적 선명도 및 그것의 변화를 직접적으로 사용할 수도 있다.
조명을 추가하거나 변경하기 위해서는, 이미지화된 오브젝트의 소스에 관련한 방향이 그러한 것처럼, 이미지화된 포인트와 관련한, 시뮬레이션되는 소스까지의 거리는 공지되어 있으므로, 각각의 영역에 대해, 각각의 포인트를 위해 추가되거나 제거될 라이트(light)의 양 및 컬러를 결정할 수 있다.
실시예에서, 3차원 화면의 기하 구조는 이미지에서의 대다수 포인트들에 의해 거리를 측정하는 것에 의해 재구성된다. 따라서, 화면에 조명을 추가하는 목적을 위해 이미지 합성 분야에서의 공지 기술(레이 캐스팅(ray casting) 또는 다른 기술)을 사용할 것이다.
실시예에서는, 각 서브젝트의 반대쪽에 또는 각각의 서브젝트쪽에 배치된 하나 또는 수개의 플래시라이트들을 시뮬레이션하는 "필-인(fill-in)" 효과를 발생시키기 위해 각각의 서브젝트에 적응된 조명이 메인 서브젝트 또는 서브젝트들에 추가된다. 이 동작은 자동적으로 그리고 각각의 서브젝트를 위해 독립적으로 수행될 수 있다. 공지 기술을 사용하면, 서브젝트 각각을 위한 조명의 추가는 스튜디오 조명에 의해서만 가능하다.
마찬가지로, 그것을 정확하게 조명한다는 목적을 위해 가장 가까운 서브젝트에 따른 플래시라이트의 강도를 결정한 다음, 시뮬레이션된 조명을 추가하는 것에 의해 나머지 서브젝트들에 대한 조명을 완성할 수 있다.
화이트 밸런스를 추정하기 위한 공지 방법에 의하여 각각의 영역을 위한 조명의 컬러를 결정한 다음 화면의 조명에 대한 컬러를 균일하게 렌더링할 수도 있다. 최신 기술에서, 화이트 밸런스는 일반적으로, 화면의 3차원 기하 구조에 대한 정보의 부족 때문인 것으로 추정된다.
도 18a 및 도 18b의 설명
도 18a는, 프리-프로세싱된 이미지(182)를 발생시키기 위해, 전처리(pre-treatment), 예를 들어, 화이트 밸런싱, 및/또는 블랙 레벨의 보상, 및/또는 잡음 감소를 경험하는 미가공 이미지(180)를 발생시키는 센서(2)를 표현한다. 프로세싱된 이미지(192)를 발생시키기 위해, 전처리된 이미지(182) 및 상대적 선명도(190)의 측정을 구현하는 프로세스에 대응되는 펑크션(191)을 활성화하는 상대적 선명도 측정(190)도 표현된다. 마지막으로는, 예를 들어, 가시적 미가공 이미지를 변환하기 위한 디모자이킹 또는 필요한 다른 프로세스들에 대응되는, 프로세싱된 이미지(192)의 다운스트림 프로세스가 표현된다.
도 18b는 미가공 이미지(180)를 발생시키는 센서(2)를 표현한다. 프로세싱된 이미지(192)를 발생시키기 위해, 미가공 이미지(180) 및 상대적 선명도(190)의 측정을 구현하는 프로세스에 대응되는 펑크션(191)을 활성화하는 상대적 선명도 측정(190)도 표현된다. 마지막으로는, 예를 들어, 미가공 이미지를 가시적 이미지로 변환하기 위한 디모자이킹 또는 필요한 다른 프로세스들에 대응되는, 프로세싱된 이미지(192)의 다운스트림 프로세스가 표현된다.
변형에서는, 펑크션이 가시적 이미지에 대한 프로세스를 구현한다.
광학계의 단순화
발명은 디지털 이미지를 캡처할 때 가변 파라미터들을 포함하며 컬러들의 선명도에 영향을 미치는 장치, 특히, 줌, 및/또는 가변 포커싱 및/또는 가변 구경의 렌즈를 갖춘 캡처 장치에 응용된다. 따라서, 디지털 이미지에 따른 가변 파라미터들의 값에 대응되는 선명도 곡선들(8.2 및 8.3)이 사용될 것이다.
설명된 바와 같이, 발명은 이동 유닛 없이 그리고 지연 없이 디지털적으로 포커싱을 복구할 수 있게 하고, 이것은, 하나 이상의 이동 부분을 제거하는 것에 의해 줌의 복잡도를 감소시킬 수 있게 한다. 예를 들어, 서브젝트의 거리 및 초점 길이의 거리에 따르면, 2개 컬러들 사이의 상대적 선명도는 가변일 수 있고, 이것이 공지 광학계에서는 수용 불가능하다.

Claims (76)

  1. 2 이상의 컬러들을 가지며 이미지-캡처 장치로부터 유래하는 하나 이상의 디지털 이미지로부터 취해진 측정을 사용하는 것에 의해 펑크션을 활성화하기 위한 방법으로서,
    - 상기 이미지의 하나 이상의 영역(R)에서의 2 이상의 컬러들 사이에서 상대적 선명도가 측정되고,
    - 상기 측정된 상대적 선명도에 의존하여 하나 이상의 펑크션이 활성화되는 방법.
  2. 제1항에 있어서,
    상기 활성화되는 펑크션은,
    - 상기 디지털 이미지에 의해 이미지화되는 하나 이상의 오브젝트와 상기 캡처 장치 사이의 거리 결정 및/또는 이미지화된 2개 오브젝트들 사이의 상대적 거리 결정,
    - 상기 거리 및/또는 상기 상대적 거리에 의존하는 액션,
    - 상기 디지털 이미지 및/또는 다른 디지털 이미지의 하나 이상의 구역(Z')에 대한 프로세스,
    - 상기 캡처 장치의 서보-제어(servo-control) 및/또는 다른 장치의 서보-제어,
    - 사용자에게로의 지시 및/또는 알람 및/또는 경보 신호의 제공,
    - 상기 이미지의 일부분의 검출,
    - 컬러 선명도의 변경,
    - 상기 캡처 장치의 위치 및/또는 이동의 결정,
    - 상기 이미지내에서의 서브젝트의 위치 결정,
    - 하나 이상의 이미지 명세의 변경,
    - 상기 이미지의 전부 또는 일부의 변경,
    - 특히, 서보-제어 신호를 제공하기 위한 상기 이미지 내부의 관심 구역의 결정,
    - 상기 이미지의 전부 또는 일부를 위한 해상도의 변경,
    - 상기 이미지에 관련된 데이터의 제공,
    - 사운드-캡처 디바이스에의 데이터 제공,
    - 압축의 파라미터화, 및
    - 상기 캡처 장치를 위한 하나 이상의 조정을 포함하는 그룹에 포함되는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 활성화되는 펑크션은 상기 디지털 이미지 및/또는 다른 디지털 이미지의 하나 이상의 구역(Z')에 대한 프로세스를 포함하고, 상기 구역(Z')은 상기 디지털 이미지 영역의 전부 또는 일부, 및/또는 상기 전체 디지털 이미지, 및/또는 상기 디지털 이미지 영역과 별도의 구역, 및/또는 다른 디지털 이미지, 및/또는 다른 전체 디지털 이미지를 구성하는 방법.
  4. 제3항에 있어서,
    프로세스가 활성화되는 상기 구역(Z')은 이미지의 하나 이상의 픽셀을 포함하고, 상기 영역(R)은 상기 디지털 이미지에서의 대응하는 픽셀의 미리 결정된 부근(vicinity)을 포함하는 방법.
  5. 제4항에 있어서,
    상기 프로세스는 이미지의 모든 픽셀들에 적용되는 방법.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    적어도 상기 구역(Z')에 대한 프로세스는 선명도, 콘트라스트, 광도, 디테일, 컬러, 압축 유형, 압축율, 이미지 내용들, 해상도를 포함하는 그룹에 포함된 하나 이상의 명세의 변경을 포함하는 방법.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 프로세스는 각각의 픽셀을 위해 미리 결정된 부근내의 픽셀 또는 픽셀들에 첨부된 값들을 혼합하는 필터에 의한 상기 구역(Z')에서의 각각의 픽셀에 대한 선명도 변경을 포함하고, 상기 필터의 파라미터들은 상기 측정된 상대적 선명도에 의존하는 방법.
  8. 제3항 내지 제7항 중 어느 한 항에 있어서,
    상기 구역(Z')은 상기 측정된 상대적 선명도를 사용하는 것에 의해 결정되는 방법.
  9. 제3항 내지 제8항 중 어느 한 항에 있어서,
    상기 구역(Z')은 구체적으로 비지오(Visio) 또는 화상-회의의 시스템을 통한, 특히, 원격 전송용의 이미지를 위한 백그라운드를 구성하는 방법.
  10. 제3항 내지 제9항 중 어느 한 항에 있어서,
    상기 프로세스는, 상기 구역(Z')의 픽셀들의 전부 또는 일부에 대한, 상기 이미지화된 오브젝트와 상기 캡처 장치 사이의 거리에 의존하는 데이터의 제공을 포함하고, 상기 데이터의 저장 및/또는 전송 및/또는 사용은 상기 거리에 의존해 활성화되고, 상기 저장되는 데이터는, 특히, 데이터-프로세싱 파일, 즉, 이미지 파일에 저장되는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 포커싱 및/또는 노출, 및/또는 플래시, 및/또는 이미지-프레이밍(image-framing), 및/또는 화이트-밸런싱, 및/또는 이미지-안정화를 위한 서보-제어, 및/또는, 로봇의 가이딩(guiding)과 같은, 상기 캡처 장치에 링크된 다른 장치 또는 디바이스의 서보-제어와 같은, 상기 캡처 장치의 서보-제어를 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 상기 디지털 이미지의 주초점(main focal point) 및/또는 포커싱 구역 및/또는 이미지화된 화면의 하나 이상의 부분의 거리에 대한 지시 신호와 같은, 신호의 상기 캡처 장치로의 제공을 포함하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 사진-촬영 동안의 상기 캡처 장치의 하나 이상의 명세, 즉, 초점 길이, 구경, 포커싱을 위한 거리, 노출 파라미터들, 화이트-밸런스 파라미터들, 해상도, 압축, 또는 사용자에 의해 이루어진 조정에 의존하는 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 상기 캡처 장치의 센서로부터 유래하는 미가공 이미지를 구성하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 측정은 상기 캡처 장치 내부에서 이루어지고 그리고/또는 상기 활성화되는 펑크션은 상기 캡처 장치 내부에서 이루어지는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 측정은 상기 캡처 장치 이외에서, 예를 들어, 상기 이미지의 전달 이후의 컴퓨터에서 취해지고 그리고/또는 펑크션은 상기 캡처 장치 이외에서 활성화되는 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 얼굴의 검출 및/또는 인식과 같은, 상기 이미지의 일부분의 검출 및/또는 인식 활성화를 포함하는 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 측정은 제1 컬러와, 다른 컬러라고 하는 적어도 제2 컬러 사이의 상대적 선명도의 측정을 포함하고, 상기 활성화는 상기 제1 컬러의 선명도에 의존하는 상기 다른 컬러의 선명도 변경을 포함하는 방법.
  19. 제18항에 있어서,
    상기 다른 컬러의 선명도 변경은 CA = CN + F(CO - CN) 유형의 계산을 사용해 구현되는데, 여기에서, CA는 향상된 상기 다른 컬러를 표현하고, CO는 프로세싱 이전의 상기 다른 컬러를 표현하며, CN은 상기 제1 컬러를 표현하고, F는 필터, 즉, 차단(no-go) 필터를 표현하는 방법.
  20. 제18항 또는 제19항에 있어서,
    상기 다른 컬러의 선명도 변경은 상기 선명도의 향상이고, 상기 제1 컬러를 "선명한 컬러"라고 하는 방법.
  21. 제20항에 있어서,
    상기 디지털 이미지를 영역들(11.1, 11.2)로 분해하는 단계를 더 포함하고, 상기 선명한 컬러는 각각의 영역에 대해 하나씩 선택되는 방법.
  22. 제20항 또는 제21항에 있어서,
    상기 캡처 장치는 매크로 모드를 포함하고, 상기 선명한 컬러는 상기 매크로 모드의 활성화에 의존해 선택되는 방법.
  23. 제18항 또는 제19항에 있어서,
    상기 하나 이상의 이미지 구역내에서의 하나 이상의 컬러의 선명도는 감소되는 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 디지털 이미지가 렌즈를 포함하는 캡처 장치로부터 유래하는 경우, 상기 방법은,
    일련의 미리 결정된 렌즈들 중에서 렌즈를 선택하는 단계를 더 포함하고, 상기 렌즈는, 2 이상의 미리 결정된 상이한 거리들을 갖춘 오브젝트의 이미지들이 선명도의 상이한 컬러들을 표현하도록 명세들을 표현하고, 이로써 심도를 향상시키고 상기 렌즈의 비용을 감소시키는 방법.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 캡처 장치의 위치 및/또는 이동에 대한 측정을 포함하는 방법.
  26. 제1항 내지 제25항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 이미지에서의 메인 서브젝트 또는 서브젝트들의 위치의 결정을 포함하는 방법.
  27. 제26항에 있어서,
    상기 활성화되는 펑크션은, 상기 디지털 이미지의 메인 서브젝트와 관련하여, 상기 디지털 이미지 및/또는 다른 이미지의 자동 프레이밍, 즉, 센터링(centring), 주밍(zooming), 또는 리프레이밍을 더 포함하는 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 상대적 선명도 및 사용자의 선택에 의존하는 프로세스의 응용을 포함하는 방법.
  29. 제1항 내지 제28항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 상기 이미지내에서의 상기 상대적 선명도의 변화에 의존하는, 이미지의 콘스라스트 및/또는 밝기 및/또는 컬러 및/또는 선명도의 변경을 포함하는 방법.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 노출 및/또는 화이트 밸런스 및/또는 포커싱의 서보-제어에 대한 고려를 위해 하나 이상의 관심 구역의 위치의 제공을 포함하고, 상기 관심 구역은 2 이상의 상대적 선명도 측정들을 비교하는 것에 의해 결정되는 방법.
  31. 제1항 내지 제30항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 상기 이미지가 지나치게 근접하여 선명하지 않다는 것을 지시하는 신호의 사용자로의 제공을 포함하는 방법.
  32. 제1항 내지 제31항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 상대적 선명도에 의존하는 이미지 해상도의 변경을 포함하는 방법.
  33. 제1항 내지 제32항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 디지털 이미지의 자동 인덱싱을 위해 사용되는 신호의 제공을 포함하는 방법.
  34. 제1항 내지 제33항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 상기 캡처 장치와 관련한, 상기 디지털 이미지의 서브젝트 또는 오브젝트의 원격 또는 방향 데이터의 사운드-캡처 디바이스로의 제공을 포함하는 방법.
  35. 제1항 내지 제34항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 백그라운드를 위해 증가된 압축 및 메인 서브젝트 또는 서브젝트들을 위해 감소된 압축의 파라미터화를 포함하고, 상기 메인 서브젝트 또는 서브젝트들은 상기 측정된 상대적 선명도에 기초한 기준들을 준수하는 이미지 구역으로서 결정되는 방법.
  36. 제1항 내지 제35항 중 어느 한 항에 있어서,
    상기 장치는 2 이상의 유형들의 컬러 필터들을 갖춘 픽셀들을 가진 센서를 포함하고, 상기 필터들은, 그것들의 스펙트럼 응답들이 거의 중첩을 수반하지 않도록 선택되는 방법.
  37. 제1항 내지 제36항 중 어느 한 항에 있어서,
    상기 장치는 주로 상기 이미지를 발생시키는 역할을 하는 픽셀들 및 주로 상기 상대적 선명도를 측정하는 역할을 하는 다른 픽셀들을 가진 센서를 포함하는 방법.
  38. 제37항에 있어서,
    주로 상기 상대적 선명도를 측정하는 역할을 하는 상기 센서의 픽셀들은, 주로 상기 이미지를 발생시키는 역할을 하는 상기 센서의 픽셀들의 스펙트럼 대역과 거의 중첩을 수반하지 않는 스펙트럼 대역내에서 스펙트럼 응답을 갖는 방법.
  39. 제37항 또는 제38항에 있어서,
    주로 상기 이미지를 발생시키는 역할을 하는 상기 센서의 픽셀들은, 주로 사람 눈에 가시적인 시계 내에 있는 스펙트럼 응답을 갖고, 다른 픽셀들은 주로 사람 눈에 가시적인 시계 밖의 스펙트럼 응답을 갖는 방법.
  40. 제1항 내지 제39항 중 어느 한 항에 있어서,
    상기 캡처 장치는 주로 사람 눈에 가시적인 시계내의 스펙트럼-응답 픽셀들 및 주로 사람 눈에 가시적인 스펙트럼 밖의 스펙트럼 응답을 갖는 추가 픽셀들을 포함하는 센서를 포함하고, 이들 추가 픽셀들로부터 유래하는 상기 이미지 부분의 선명도는, 상기 캡처 장치와 상기 이미지화된 화면 사이의 거리들의 하나 이상의 범위내에서, 주로 사람 눈에 가시적인 시계 내의 상기 응답 픽셀들에 의해 공급되는 상기 이미지의 일부분의 선명도를 초과하는 방법.
  41. 제1항 내지 제40항 중 어느 한 항에 있어서,
    상기 장치는 포커싱을 위한 이동식 또는 유동적 소자가 결여된 렌즈를 갖추고 있는 방법.
  42. 제1항 내지 제41항 중 어느 한 항에 있어서,
    상기 장치는 포커싱을 위한 이동식 또는 유동적 소자가 없는 가변 초점 길이의 렌즈를 갖추고 있는 방법.
  43. 제1항 내지 제42항 중 어느 한 항에 있어서,
    상기 장치는 하나의 이동식 또는 유동적 광학 그룹을 갖는 가변 초점 길이의 렌즈를 갖추고 있는 방법.
  44. 제1항 내지 제43항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 2 이상의 센서들로부터 유래하는 방법.
  45. 제1항 내지 제44항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은, 상기 디지털 이미지에 대해 측정된 상대적 선명도에 의존하는, 이미지 내부의 오브젝트의 추가 및/또는 이미지의 일부분의 대체를 포함하는 방법.
  46. 제1항 내지 제45항 중 어느 한 항에 있어서,
    상기 캡처 장치는 이미지들의 시퀀스를 캡처하고, 상기 디지털 이미지는 상기 시퀀스의 일부이며, 상기 시퀀스의 하나 이상의 다른 이미지에 대해 액션이 수행되는 방법.
  47. 제1항 내지 제46항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 상기 캡처 장치의 하나 이상의 조정, 즉, 초점 길이, 구경, 포커싱을 위한 거리를 변경하는 방법.
  48. 제1항 내지 제47항 중 어느 한 항에 있어서,
    상기 활성화되는 펑크션은 변경된 미가공 이미지의 생성을 포함하는 방법.
  49. 제1항 내지 제48항 중 어느 한 항에 있어서,
    상기 장치는, 소정 초점, 구경, 및 초점 거리를 위한 것과 같은, 종방향 색수차들을 가진 렌즈를 포함하고, 최상의 선명도를 포함하는 거리가 다음의 수식보다 낮은 하나 이상의 컬러가 존재하는데,
    여기에서, k는 0.7 미만인, 바람직하게는 0.5 미만인 계수이고, f는 초점 길이이며, O는 구경이고, P는 무한대에 배치된 오브젝트 포인트에 대한 블러 스폿(blur spot)의, 상기 이미지의 모든 컬러들 중에서 가장 작은 직경을 갖는 방법.
  50. 제1항 내지 제49항 중 어느 한 항에 있어서,
    2개 컬러들 사이의 상대적 선명도의 측정은, 상기 제1 컬러에 적용된 제1 측정의 결과들과 제2 컬러에 적용된 제2 측정의 결과들을 비교하는 것에 의해 이루어지고, 각각의 측정은, 그것이, 한편으로는, 상기 컬러에 의존하고, 다른 한편으로는, 상기 디지털 이미지의 내용들에 의존하는 측정이며, 상기 비교는, 그것이 상기 디지털 이미지 내용들로부터 제거되는 비교인 방법.
  51. 제1항 내지 제50항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 렌즈를 포함하는 캡처 장치로부터 유래하고,
    상기 방법은,
    - 심도 및/또는 구경 및/또는 다른 모든 광학 명세가 향상되고 그리고/또는 광학계의 비용이 감소되도록 하기 위해,
    2 이상의 미리 결정된 거리들을 갖춘 오브젝트의 이미지들이 상이한 선명도 컬러들을 표현하도록 명세들을 표현하는 렌즈를 설계하는 단계를 더 포함하는 방법.
  52. 이미지들을 캡처 및/또는 재생하기 위한 광학 시스템(22, 22'), 이미지 센서(24) 및/또는 발생기(24'), 및/또는 서보-제어 시스템(26)을 포함하는 이미지-캡처 및/또는 재생 장치(20)를 위한 실시예로서, 상기 이미지는 디지털 이미지-프로세싱 수단(28, 28')에 의해 이미지 향상의 관점에서 프로세싱되고,
    - 상기 실시예 비용을 최소화하고 그리고/또는 상기 이미지 캡처 및/또는 재생 장치의 성능들을 최적화하기 위해,
    - 사용자가, 디지털 수단에 의해 이미지들을 프로세싱하는 능력을 사용해, 상기 광학 시스템 및/또는 상기 센서 및/또는 상기 이미지 발생기 및/또는 상기 서보-제어 시스템 파라미터들을 결정하거나 선택하고, 또한 제1항 내지 제51항 중 어느 한 항을 준수하는 방법에 따라 다른 컬러에 의존하는 컬러 선명도의 향상을 결정하거나 선택하도록 하는 방법인 실시예.
  53. 이미지-캡처 장치 내부에서 제1항 내지 제52항 중 어느 한 항에 따른 방법을 사용하는 실시예.
  54. 디지털 이미지-프로세싱 디바이스 내부에서 제1항 내지 제51항 중 어느 한 항에 따른 방법을 사용하는 실시예.
  55. 디지털 이미지의, 특히, 이미지-캡처 디바이스로부터 유래하는 디지털 이미지의 하나 이상의 컬러의 선명도를 향상시키기 위한 방법으로서,
    - 상기 컬러들 중에서 "선명한 컬러"라고 하는 하나 이상의 컬러를 선택하는 단계, 및
    - 상기 선명한 컬러의 선명도를 하나 이상의 향상된 다른 컬러에 반영하는 단계
    를 포함하고,
    이로써, 상기 향상된 컬러가 증가된 선명도를 표현하는 방법.
  56. 제55항에 있어서,
    상기 디지털 이미지를 영역들(11.1, 11.2)로 분해하는 단계를 더 포함하고, 상기 선명한 컬러는 각각의 영역에 대해 선택되는 방법.
  57. 제56항에 있어서,
    상기 디지털 이미지는 캡처 장치로부터 유래하고, 상기 방법은 상기 캡처 장치와 캡처된 화면의 하나 이상의 오브젝트 사이의 거리를, 상기 오브젝트의 이미지 영역에서의 2 이상의 컬러들의 선명도를 사용하는 것에 의해 결정하는 단계를 더 포함하는 방법.
  58. 제57항에 있어서,
    하나 이상의 이미지 영역내의 하나 이상의 컬러의 선명도를 감소시키는 단계를 더 포함하는 방법.
  59. 제57항 또는 제58항에 있어서,
    포커싱이 좀더 적은 단계들로 실현되고 가속되도록 하기 위해, 2 이상의 컬러들의 선명도를 사용하는 것에 의해 상기 캡처 장치를 위한 서보-제어 명령어를 결정하는 단계를 더 포함하는 방법.
  60. 제55항 내지 제59항 중 어느 한 항에 있어서,
    상기 선명한 컬러를 선택하는 단계는 미리 결정된 규칙에 따라 가장 선명한 컬러를 선택하는 단계인 방법.
  61. 제55항 내지 제59항 중 어느 한 항에 있어서,
    상기 "선명한 컬러" 선택은 미리 결정되는 방법.
  62. 제55항 내지 제61항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 캡처 장치로부터 유래하고, 상기 선명한 컬러 선택은 상기 디지털 이미지를 획득하기 위해 상기 캡처 장치와 캡처된 화면의 하나 이상의 오브젝트 사이의 거리에 의존하는 방법.
  63. 제55항 내지 제62항 중 어느 한 항에 있어서,
    상기 이미지 장치는 매크로 모드를 포함하고, 상기 선명한 컬러 선택은 상기 매크로 모드의 활성화에 의존하는 방법.
  64. 제55항 내지 제63항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 렌즈를 포함하는 캡처 장치로부터 유래하고, 상기 방법은 일련의 미리 결정된 렌즈들 중에서 렌즈를 선택하는 단계를 더 포함하고, 상기 렌즈는, 2 이상의 미리 결정된 거리들을 갖는 오브젝트의 이미지들이 상이한 선명한 컬러들을 표현하도록 명세들을 표현하고, 이로써 심도를 향상시키고 그리고/또는 상기 렌즈의 비용을 감소시키는 방법.
  65. 제55항 내지 제64항 중 어느 한 항에 있어서,
    하나 이상의 향상된 다른 컬러에 대한 상기 선명한 컬러의 선명도의 영향은 CA = CN + F(CO - CN) 유형의 계산을 사용하는 것에 의해 구현되는데, 여기에서, CA는 상기 향상된 컬러를 표현하고, CO는 프로세싱 이전의 상기 향상된 컬러를 표현하며, CN은 상기 선명한 컬러를 표현하고, F는 필터, 즉, 저역통과 필터를 표현하는 방법.
  66. 제55항 내지 제65항 중 어느 한 항에 있어서,
    상기 디지털 이미지는 렌즈를 포함하는 캡처 장치로부터 유래하고, 상기 방법은 본 발명에 따른 방법을 고려하는 것에 의해 렌즈를 설계하는 단계를 더 포함하며, 상기 렌즈는,
    - 심도 및/또는 구경 및/또는 다른 모든 광학 명세가 향상되고 그리고/또는 광학계의 비용이 감소되도록 하기 위해, 그리고
    - 좀더 적은 위치들을 사용하는 것에 의해 기계적 포커싱이 실현될 수 있도록 하기 위해,
    2 이상의 미리 결정된 거리들을 갖는 오브젝트의 이미지들이 상이한 선명한 컬러들을 표현하도록 명세들을 표현하는 방법.
  67. 이미지들을 캡처 및/또는 재생하기 위한 광학 시스템(22, 22'), 이미지 센서(24) 및/또는 발생기(24'), 및/또는 서보-제어 시스템(26)을 포함하는 이미지-캡처 및/또는 재생 장치(20)를 위한 실시예로서, 상기 이미지는 디지털 이미지-프로세싱 수단(28, 28')에 의해 이미지 향상의 관점에서 프로세싱되고,
    - 상기 실시예 비용을 최소화하고 그리고/또는 상기 이미지 캡처 및/또는 재생 장치의 성능들을 최적화하기 위해,
    - 사용자가, 디지털 수단에 의해 이미지들을 프로세싱하는 능력을 사용해, 특히, 제55항 내지 제66항 중 어느 한 항을 준수하는 방법에 따라 다른 컬러의 선명도에 의존하는 컬러의 선명도를 향상시키기 위한 상기 광학 시스템 및/또는 상기 센서 및/또는 상기 이미지 발생기 및/또는 상기 서보-제어 시스템 파라미터들을 결정하거나 선택하는 방법인 실시예.
  68. 제55항 내지 제66항 중 어느 한 항에 따른 컬러-향상 방법을 사용하고 그리고/또는 제67항에 따른 실시예에 의해 획득되는 이미지-캡처 및/또는 재생 장치.
  69. 제55항 내지 제66항에 따른 방법을 구현하는 디지털 이미지-프로세싱 디바이스.
  70. 제55항 내지 제66항 중 어느 한 항을 준수하는 방법에 따라 또는 제68항을 준수하는 장치를 사용하여 획득되는 디지털 이미지.
  71. 주로 디지털 이미지를 발생시키는 역할을 하는 픽셀들 및 주로 상기 이미지의 하나 이상의 영역(R)에서 2 이상의 컬러들 사이의 상대적 선명도를 측정하는 역할을 하는 다른 픽셀들을 포함하는, 디지털 이미지-캡처 장치를 위한 센서.
  72. 제71항에 있어서,
    주로 상기 상대적 선명도를 측정하는 역할을 하는 상기 픽셀들은, 주로 상기 이미지를 발생시키는 역할을 하는 상기 픽셀들의 스펙트럼 대역과 거의 중첩을 수반하지 않는 스펙트럼 대역 내의 스펙트럼 응답을 갖는 센서.
  73. 제71항 또는 제72항에 있어서,
    주로 상기 이미지를 발생시키는 역할을 하는 상기 픽셀들은, 주로 사람 눈에 가시적인 시계 내의 스펙트럼 응답을 갖고, 상기 다른 픽셀들은 주로 사람 눈에 가시적인 시계 밖의 스펙트럼 응답을 갖는 센서.
  74. 제71항 내지 제73항 중 어느 한 항에 따른 센서를 포함하는 캡처 장치.
  75. 한편으로는, 주로 사람 눈에 가시적인 시계 내의 스펙트럼 응답 픽셀들 및, 다른 한편으로는, 주로 사람 눈에 가시적인 스펙트럼 밖의 스펙트럼 응답을 갖는 추가 픽셀들을 표현하는 센서를 포함하는 디지털 이미지-캡처 장치로서,
    이들 추가 픽셀들로부터 유래하는 상기 이미지 부분의 선명도는, 상기 캡처 장치와 이미지화된 화면 사이의 거리들의 하나 이상의 범위 내에서, 그의 스펙트럼 응답이 주로 사람 눈에 가시적인 시계 내에 있는 상기 픽셀들에 의해 제공되는 상기 이미지의 일부분의 선명도를 초과하는 디지털 이미지-캡처 장치.
  76. 제75항에 있어서,
    상기 추가 픽셀들은 주로 자외선 및/또는 적외선 시계 내의 스펙트럼 응답을 갖는 디지털 이미지-캡처 장치.
KR1020077022875A 2005-03-07 2006-03-06 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 KR101265358B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550601 2005-03-07
FR0550601A FR2880958B1 (fr) 2005-01-19 2005-03-07 Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique

Publications (2)

Publication Number Publication Date
KR20070121717A true KR20070121717A (ko) 2007-12-27
KR101265358B1 KR101265358B1 (ko) 2013-05-21

Family

ID=36632499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077022875A KR101265358B1 (ko) 2005-03-07 2006-03-06 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법

Country Status (7)

Country Link
US (3) US7920172B2 (ko)
EP (1) EP1856907A2 (ko)
JP (3) JP5535476B2 (ko)
KR (1) KR101265358B1 (ko)
CN (2) CN101204083A (ko)
CA (4) CA2835047C (ko)
WO (1) WO2006095110A2 (ko)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969122B2 (ja) * 2006-03-24 2012-07-04 パナソニック株式会社 撮像装置
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US20090102924A1 (en) * 2007-05-21 2009-04-23 Masten Jr James W Rapidly Deployable, Remotely Observable Video Monitoring System
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
DE102007031230B3 (de) * 2007-07-04 2008-10-30 Bundesdruckerei Gmbh Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
JP5032911B2 (ja) * 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5298507B2 (ja) 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
KR101412752B1 (ko) * 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8160355B1 (en) * 2008-05-18 2012-04-17 Pixim Israel Ltd. Method, device and computer program product for performing white balancing of a digital image
EP2312858B1 (en) * 2008-06-18 2012-09-26 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5075795B2 (ja) 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP5158713B2 (ja) * 2008-11-26 2013-03-06 京セラ株式会社 撮像装置および車載カメラシステム
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5213688B2 (ja) * 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
JP2010257037A (ja) 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
CN101938535B (zh) * 2009-06-29 2014-01-15 鸿富锦精密工业（深圳）有限公司 电子设备
FR2949003B1 (fr) * 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
TWI451357B (zh) * 2009-09-09 2014-09-01 Himax Tech Ltd 字型反鋸齒方法
WO2011052172A1 (ja) * 2009-10-27 2011-05-05 パナソニック株式会社 撮像装置およびそれを用いた測距装置
WO2011058236A1 (fr) 2009-11-16 2011-05-19 Dxo Labs Systeme optique et procede de conception associe
US20110149021A1 (en) * 2009-12-17 2011-06-23 Samir Hulyalkar Method and system for sharpness processing for 3d video
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP2011229625A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP5630105B2 (ja) * 2010-07-05 2014-11-26 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5811635B2 (ja) * 2011-03-07 2015-11-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8736722B2 (en) * 2010-07-15 2014-05-27 Apple Inc. Enhanced image capture sharpening
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5582935B2 (ja) 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US9225766B2 (en) * 2010-10-29 2015-12-29 Sears Brands, L.L.C. Systems and methods for providing smart appliances
US9697588B2 (en) 2010-11-15 2017-07-04 Intuitive Surgical Operations, Inc. System and method for multi-resolution sharpness transport across color channels
US9979941B2 (en) * 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN102158648B (zh) * 2011-01-27 2014-09-10 明基电通有限公司 影像截取装置及影像处理方法
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5806504B2 (ja) * 2011-05-17 2015-11-10 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
US8711275B2 (en) * 2011-05-31 2014-04-29 Apple Inc. Estimating optical characteristics of a camera component using sharpness sweep data
US8749892B2 (en) 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
WO2012176355A1 (ja) 2011-06-23 2012-12-27 パナソニック株式会社 撮像装置
US8953058B2 (en) * 2011-06-29 2015-02-10 Fotonation Limited Axial chromatic aberration correction
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
EP2641527B1 (en) 2011-09-29 2017-11-08 Olympus Corporation Endoscope apparatus
TWI528833B (zh) * 2011-11-09 2016-04-01 鴻海精密工業股份有限公司 立體攝像裝置
FR2982678B1 (fr) 2011-11-14 2014-01-03 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
US9733717B2 (en) * 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
WO2014076836A1 (ja) * 2012-11-19 2014-05-22 富士機械製造株式会社 部品実装機および実装検査機
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
JP6086829B2 (ja) * 2013-06-26 2017-03-01 オリンパス株式会社 画像処理装置及び画像処理方法
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
WO2015059346A1 (en) * 2013-10-25 2015-04-30 Nokia Technologies Oy An apparatus and a method for producing a depth-map
JP6256132B2 (ja) 2014-03-14 2018-01-10 株式会社リコー 撮像システム
MX2016012066A (es) * 2014-03-18 2017-01-19 Integrated Medical Systems Int Inc Endoscopio opticamente adaptable.
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
EP2942940A1 (en) * 2014-05-06 2015-11-11 Nokia Technologies OY Method and apparatus for defining the visible content of an image
US9232132B1 (en) * 2014-06-10 2016-01-05 Gregory S. Tseytin Light field image processing
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10624533B2 (en) 2015-10-16 2020-04-21 Capsovision Inc Endoscope with images optimized based on depth map derived from structured light images
US10943333B2 (en) * 2015-10-16 2021-03-09 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US11354783B2 (en) 2015-10-16 2022-06-07 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
TWI588508B (zh) * 2016-05-10 2017-06-21 國立中興大學 立體深度量測裝置
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10277829B1 (en) * 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6801434B2 (ja) * 2016-12-20 2020-12-16 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
WO2018138720A1 (en) 2017-01-25 2018-08-02 Kornit Digital Ltd. Inkjet printing on dyed synthetic fabrics
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US11699215B2 (en) * 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
CN107613284B (zh) * 2017-10-31 2019-10-08 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108650462B (zh) * 2018-05-14 2020-06-09 Oppo广东移动通信有限公司 拍摄预览显示方法、装置、终端及存储介质
US10679024B2 (en) 2018-07-24 2020-06-09 Cognex Corporation System and method for auto-focusing a vision system camera on barcodes
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11336840B2 (en) 2020-09-02 2022-05-17 Cisco Technology, Inc. Matching foreground and virtual background during a video communication session
CN114339187A (zh) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN114724000B (zh) * 2022-06-09 2022-08-30 深圳精智达技术股份有限公司 一种屏拍图摩尔纹的处理方法、处理装置及处理设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH101H (en) * 1984-10-01 1986-08-05 The United States Of America As Represented By The Secretary Of The Army Ultraviolet and infrared focal place array
JPS63247680A (ja) * 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
JPH01212981A (ja) * 1988-02-20 1989-08-25 Sanyo Electric Co Ltd オートフォーカス装置
JPH01276884A (ja) * 1988-04-27 1989-11-07 Nec Corp ビデオカメラの焦合装置
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
JPH06138362A (ja) * 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3960647B2 (ja) * 1997-01-09 2007-08-15 オリンパス株式会社 自動合焦装置
EP0878970A3 (en) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
US5973846A (en) * 1998-11-30 1999-10-26 Hewlett-Packard Company Offset spectra lens system for a two spectra automatic focusing system
JP2000299874A (ja) * 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
US6859229B1 (en) * 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4696407B2 (ja) * 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
JP2003018407A (ja) * 2001-07-02 2003-01-17 Konica Corp 画像処理方法及び画像処理装置
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
JP4126938B2 (ja) 2002-03-22 2008-07-30 セイコーエプソン株式会社 画像処理装置および画像出力装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US20040165090A1 (en) * 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
FR2860089B1 (fr) * 2003-09-23 2005-11-11 Do Labs Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4815807B2 (ja) * 2004-05-31 2011-11-16 株式会社ニコン Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Also Published As

Publication number Publication date
US20110019065A1 (en) 2011-01-27
US20080158377A1 (en) 2008-07-03
JP6076300B2 (ja) 2017-02-08
JP2013214986A (ja) 2013-10-17
EP1856907A2 (fr) 2007-11-21
JP2015019378A (ja) 2015-01-29
KR101265358B1 (ko) 2013-05-21
CA2835047A1 (fr) 2006-09-14
WO2006095110A2 (fr) 2006-09-14
CA2834883A1 (fr) 2006-09-14
JP5535476B2 (ja) 2014-07-02
CA2600185C (fr) 2016-04-26
US20110109749A1 (en) 2011-05-12
CA2834963A1 (fr) 2006-09-14
CA2835047C (fr) 2017-04-18
CN102984448A (zh) 2013-03-20
WO2006095110A3 (fr) 2006-11-02
CN101204083A (zh) 2008-06-18
JP5633891B2 (ja) 2014-12-03
JP2008532449A (ja) 2008-08-14
CA2834963C (fr) 2017-04-18
CA2834883C (fr) 2018-01-23
US7920172B2 (en) 2011-04-05
US8212889B2 (en) 2012-07-03
CN102984448B (zh) 2016-05-25
CA2600185A1 (fr) 2006-09-14

Similar Documents

Publication Publication Date Title
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
JP6935587B2 (ja) 画像処理のための方法および装置
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
KR102266649B1 (ko) 이미지 처리 방법 및 장치
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN108154514B (zh) 图像处理方法、装置及设备
WO2017045558A1 (zh) 景深调节方法、装置及终端
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
TWI522720B (zh) Adjust the focus method
CN116324882A (zh) 多相机系统中的图像信号处理
JP2005136480A (ja) 撮影装置
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2024036872A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
KR101653270B1 (ko) 색수차를 보정하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160504

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee