BRPI0904888A2

BRPI0904888A2 - dispositivo de formação de imagem em estado sólido, método de processamento de sinal, e, aparelho de formação de imagem

Info

Publication number: BRPI0904888A2
Application number: BRPI0904888-0A
Authority: BR
Inventors: Isao Hirota
Original assignee: Sony Corp
Priority date: 2008-12-08
Filing date: 2009-12-08
Publication date: 2011-03-15
Also published as: US20160373709A1; US9736447B2; TWI422020B; US20130286260A1; RU2009145220A; US9083842B2; US20150109496A1; US20180007338A1; US8947564B2; RU2531368C2; US9392238B2; US8436925B2; CN101753863A; US20150241611A1; TW201027729A; KR20100066396A; KR101624748B1; CN101753863B; EP2194721A2; EP2194721A3

Abstract

DISPOSITIVO DE FORMAçãO DE IMAGEM EM ESTADO SóLIDO,METODO DE PROCESSAMENTO DE SINAL, E, APARELHO DE FORMAçãO DE IMAGEM Um dispositivo de formação de imagem em estado sólido inclui uma unidade de filtro de cor disposta em uma unidade de arranjo de pixel, incluindo pixéis arranjados bidimensionalmente em uma matriz e uma unidade de processamento de conversão disposta em um substrato possuindoa unidade de arranjo de pixel. A unidade de filtro de cor possui um arranjo de cor no qual uma cor servindo como um componente primário de um sinal de luminância é arranjada em uma configuração em xadrez e diversas cores servindo como componentes de informação de cor são arranjadas na outra área da configuração em xadrez. A unidade de processamento de conversão,converte sinais que são emitidos a partir dos pixéis da unidade de arranjo de pixel e que correspondem ao arranjo de cor da unidade de filtro de cor, em sinais que correspondem a um arranjo de Bayer e emite os sinais convertidos.

Description

"DISPOSITIVO DE FORMAÇÃO DE IMAGEM EM ESTADO SÓLIDO,MÉTODO DE PROCESSAMENTO DE SINAL, E, APARELHO DEFORMAÇÃO DE IMAGEM"

FUNDAMENTOS DA INVENÇÃO

1. Campo da Invenção

A presente invenção relaciona-se a um dispositivo deformação de imagem em estado sólido, um método para processar um sinal dodispositivo de formação de imagem em estado sólido e um aparelho deformação de imagem.

2. Descrição da Técnica Relacionada

No sentido de aumentar a sensibilidade de dispositivos deformação de imagem em estado sólido, diversas técnicas em termos de umarranjo de filtro de cor e processamento de sinal do arranjo de filtro de cortem sido desenvolvidas (referir-se, por exemplo, à Publicação de PatenteJaponesa Não Examinada No. 2007-287891). Um dos arranjos de filtro de coré um arranjo de filtro de cor que usa uma cor (por exemplo, branco (W))servindo como um componente primário de um sinal de luminância. Comocodificação de cor usando uma cor branca, codificação de cor de 64quadrados de cores alternadas na qual o branco é arranjado em umaconfiguração em xadrez é freqüentemente usada.

A tensão de saída de um arranjo de filtro de cor usando umacor branca é mais alta que a de um arranjo de filtro de cor possuindo umarranjo Bayer RGB que tem sido amplamente usada. Conseqüentemente, asensibilidade de um dispositivo de formação de imagem em estado sólidopode ser aumentada. Notar que, no arranjo Bayer RGB, verde (G) é arranjadoem uma configuração em xadrez. Vermelho (R) e azul são também arranjadosem uma configuração em xadrez na outra área da configuração em xadrez.

Em aparelhos de formação de imagem em estado sólidousando um filtro de cor de um arranjo Bayer RGB, no sentido de converterum sinal RGB em um sinal YUV (Y: um sinal de luminância, U e V: sinais dediferença de cor), computação para gerar um sinal Y é necessária. Nacomputação, por exemplo, a seguinte equação pode ser usada:

Y - 0,20891 χ R + 0,58661 χ G + 0,11448 χ B

Em geral, esta computação é efetuada por um processador desinal digital (DSP) provido fora de um substrato (um chip sensor) do aparelhode formação de imagem em estado sólido. Conseqüentemente, mesmo emdispositivos de formação de imagem em estado sólido usando um arranjo defiltro de cor incluindo uma cor branca, a computação para gerar um sinal deluminância Y é efetuada por um DSP provido fora de um chip sensor.

SUMÁRIO DA INVENÇÃO

Entretanto, no processamento de sinal efetuado por umdispositivo de formação de imagem em estado sólido incluindo um arranjo defiltro de cor incluindo uma cor branca, é difícil usar DSPs projetados para oarranjo Bayer RGB. Conseqüentemente, é necessário que um novo DSP sejadesenvolvido se a codificação de cor é mudada. Se o DSP projetado para oarranjo Bayer RGB é mudado para um DSP para uma configuração em xadrezbranca, é necessário enorme custo de desenvolvimento. Uma vez que estecusto de desenvolvimento é refletido no preço de um módulo de câmeraincluindo o DSP, é difícil reduzir o custo do módulo de câmera.Conseqüentemente, o amplo uso de codificação de cor incluindo uma corbranca, é impedido.

Conseqüentemente, a presente invenção provê um dispositivode formação de imagem em estado sólido, um método para processar um sinaldo dispositivo de formação de imagem em estado sólido e um aparelho deformação de imagem capazes de usar DSPs de arranjo Bayer RGB existentesquando é usada a codificação de cor na qual uma cor servindo comocomponente primária de um sinal de luminância é arranjada em umaconfiguração em xadrez.Em adição, usando filtros de uma cor branca que écomponente primária de um sinal de luminância para um arranjo de filtro decor, a sensibilidade de um dispositivo de formação de imagem em estadosólido pode ser aumentada. Adicionalmente, melhorando o arranjo de cor ou ométodo de processamento de sinal, a sensibilidade do arranjo de filtro de corusando um filtro branco pode ser aumentada com um decréscimo mínimo deresolução.

Conseqüentemente, a presente invenção provê um dispositivode formação de imagem em estado sólido incluindo um arranjo de filtro decor de um novo arranjo de cor que pode aumentar a sensibilidade com umdecréscimo mínimo na resolução, um método para processar um sinal dodispositivo de formação de imagem em estado sólido, e um aparelho deformação de imagem incluindo o dispositivo de formação de imagem emestado sólido.

De acordo com uma realização da presente invenção, umdispositivo de formação de imagem em estado sólido inclui uma unidade defiltro de cor disposta em uma unidade de arranjo de pixel incluindo pixéisarranjados bidimensionalmente em uma matriz, onde a unidade de filtro decor possui um arranjo no qual uma cor servindo como um componenteprimário de um sinal de luminância é arranjado em uma configuração emxadrez e diversas cores servindo como componentes de informação de cor sãoarranjadas na outra área da configuração em xadrez. O dispositivo deformação de imagem em estado sólido possui uma configuração na qual sinaisque são emitidos a partir dos pixéis da unidade de arranjo de pixel e quecorrespondem ao arranjo de cor da unidade de filtro de cor são convertidosem sinais que correspondem a um arranjo de Bayer em um substratopossuindo a unidade de arranjo de pixel nele.

Na configuração acima descrita, uma vez que a cor servindocomo componente primário de um sinal de luminância é arranjada em umaconfiguração em xadrez, sinais de outras cores de pixéis adjacentes à cor nadireção vertical e direção horizontal podem ser restaurados usando o sinal decor servindo como componente primário de um sinal de luminância.Conseqüentemente, a eficiência de conversão de sinais correspondentes aoarranjo de cor da unidade de filtro de cor em sinais correspondentes ao arranjode Bayer pode ser aumentada. Em adição, emitindo os sinais correspondentesao arranjo de Bayer a partir do substrato (um chip sensor) possuindo aunidade de arranjo de pixel nele, um DSP existente para o arranjo de Bayerpode ser usado como uma unidade de processamento de sinal a jusante.

De acordo com uma outra realização da presente invenção, umdispositivo de formação de imagem em estado sólido inclui uma unidade defiltro de cor disposta em uma unidade de arranjo de pixel incluindo pixéisbidimensionalmente arranjados em uma matriz, onde a unidade de filtro decor possui um arranjo de cor no qual filtros de uma primeira cor servindocomo um componente primário de um sinal de luminância são arranjados emuma configuração em xadrez, e filtros de uma segunda cor servindo como umcomponente primário do sinal de luminância para uma série de quatro pixéisformam um grupo, e os grupos são arranjados de modo a formar umaconfiguração em tira em uma direção diagonal, direção vertical e direçãohorizontal. O dispositivo de formação de imagem em estado sólido possuiuma configuração para receber sinais que são emitidos a partir dos pixéis daunidade de arranjo de pixel e que correspondem ao arranjo de cor da unidadede filtro de cor e adicionam um sinal de um pixel de um filtro da segunda coradjacente ao pixel de um filtro da primeira cor, a um sinal do pixel do filtro daprimeira cor.

Os filtros da primeira e segunda cores servindo comocomponentes primários de um sinal de luminância possuem uma sensibilidademais alta que aquelas das outras cores. Conseqüentemente, no arranjo de corno qual os filtros da primeira cor são arranjados em uma configuração emxadrez, uma série de quatro filtros da segunda cor forma um grupo, e osgrupos são arranjados de modo a formar uma configuração em tira em umadentre uma direção diagonal, uma direção vertical e uma direção horizontal,adicionando o sinal de um pixel possuindo o filtro da segunda cor adjacente aum pixel possuindo um filtro da primeira cor ao sinal do pixel possuindo ofiltro da primeira cor e usando a soma como um componente primário de umsinal de luminância, a intensidade do sinal de luminância pode ser aumentada.

De acordo com as realizações da presente invenção, mesmoquando a codificação de cor é modificada, um DSP existente para arranjoBayer RGB pode ainda ser usado. Conseqüentemente, o desenvolvimento deum novo DSP que é significativamente dispendioso não é necessário.

Em adição, de acordo com as realizações da presente invenção,o sinal de um pixel possuindo um filtro de uma segunda cor adjacente a umpixel possuindo um filtro de uma primeira cor, é adicionado ao sinal do pixelpossuindo um filtro da primeira cor, e a soma é usada como um componenteprimário de um sinal de luminância. Então, a intensidade do sinal deluminância pode ser aumentada. Como resultado, a sensibilidade pode seraumentada com um decréscimo mínimo na resolução.

BREVE DESCRIÇÃO DOS DESENHOS

Figura 1 é uma ilustração esquemática de uma configuração desistema típica de um sensor de imagem CMOS de acordo com primeira esegunda realizações típicas da presente invenção;

Figura 2 é um diagrama de circuito ilustrando umaconfiguração de circuito típica de um pixel unitário;

Figura 3 é um diagrama de circuito ilustrando umaconfiguração típica de um circuito que permite adição de pixel para quatropixéis vizinhos a ser executada nos pixéis;

Figura 4 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um primeiro exemplo da primeirarealização típica;

Figura 5 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um segundo exemplo da primeirarealização típica;

Figura 6 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um terceiro exemplo da primeira realizaçãotípica;

Figura 7 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um quarto exemplo da primeira realizaçãotípica;

Figura 8 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um quinto exemplo da primeira realizaçãotípica;

Figura 9 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um sexto exemplo da primeira realizaçãotípica;

Figura 10 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um sétimo exemplo da primeira realizaçãotípica;

Figura 11 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um oitavo exemplo da primeira realizaçãotípica;

Figura 12 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um nono exemplo da primeira realizaçãotípica;

Figura 13 é um fluxograma ilustrando um fluxo de processo típico de um processo de conversão de cor 1 executado em um modo de altaluminância em um instante de varredura plena no caso da codificação de corde acordo com o primeiro exemplo da primeira realização típica e umprimeiro exemplo de uma segunda realização típica;

Figuras 14A a 14D são ilustrações esquemáticas do processode conversão de cor 1 executado em um modo de alta luminância em uminstante de varredura plena no caso da codificação de cor de acordo com oprimeiro exemplo da primeira realização típica e um primeiro exemplo deuma segunda realização típica;

Figura 15 é um fluxograma ilustrando um fluxo de processo típico de um processo de conversão de cor 2 executado em um modo de baixaluminância em um instante de varredura plena no caso da codificação de corde acordo com o primeiro exemplo da primeira realização típica e umprimeiro exemplo de uma segunda realização típica;

Figuras 16A a 16D são ilustrações esquemáticas do processode conversão de cor 2 executado no modo de baixa luminância em uminstante de varredura plena no caso da codificação de cor de acordo com oprimeiro exemplo da primeira realização típica e um primeiro exemplo deuma segunda realização típica;

Figura 17 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 1 no caso da codificação de cor deacordo com o primeiro exemplo da primeira realização típica;

Figuras 18A a 18D são ilustrações esquemáticas do processode adição de pixel 1 no caso da codificação de cor de acordo com o primeiroexemplo da primeira realização típica;

Figura 19 ilustra adição FD e adição de contador;

Figura 20 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 2 efetuado no caso da codificação decor de acordo com o primeiro exemplo da primeira realização típica eprimeiro exemplo da segunda realização típica;

Figuras 21A a 2ID são ilustrações esquemáticas do processode adição de pixel 2 efetuado no caso da codificação de cor de acordo com oprimeiro exemplo da primeira realização típica e o primeiro exemplo dasegunda realização típica;

Figura 22 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 3 efetuado no caso da codificação decor de acordo com o primeiro exemplo da primeira realização típica;

Figuras 23A a 23D são ilustrações esquemáticas do processode adição de pixel 3 efetuado no caso da codificação de cor de acordo com oprimeiro exemplo da primeira realização típica;

Figuras 24A a 24D são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com o segundo exemplo da primeirarealização típica;

Figuras 25A a 25D são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o segundo exemplo da primeira realização típica;

Figuras 26A a 26D são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um terceiro exemplo da primeirarealização típica;

Figuras 27A a 27E são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o terceiro exemplo da primeira realização típica;

Figuras 28A a 28D são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um quarto exemplo da primeirarealização típica;

Figuras 29A a 29F são ilustrações esquemáticas de umprimeiro tipo de processo de adição de pixel executado no caso da codificaçãode cor de acordo com o quarto exemplo da primeira realização típica;Figuras 30A a 30D são ilustrações esquemáticas de umsegundo tipo de processo de adição de pixel executado no caso da codificaçãode cor de acordo com o quarto exemplo da primeira realização típica;

Figuras 31A a 31C são ilustrações esquemáticas de um terceirotipo de processo de adição de pixel executado no caso da codificação de corde acordo com o quarto exemplo da primeira realização típica;

Figuras 32A a 32D são ilustrações esquemáticas de um quartotipo de processo de adição de pixel executado no caso da codificação de corde acordo com o quarto exemplo da primeira realização típica;

Figuras 33A a 33D são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um quinto exemplo da primeirarealização típica;

Figuras 34A a 34E são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o quinto exemplo da primeira realização típica;

Figuras 35A a 35D são ilustrações esquemáticas de umprocesso de conversão de cor 1 efetuado no caso da codificação de cor deacordo com um sexto exemplo da primeira realização típica;

Figuras 36A a 36D são ilustrações esquemáticas de umprocesso de conversão de cor 2 efetuado no caso da codificação de cor deacordo com o sexto exemplo da primeira realização típica;

Figuras 37A a 37D são ilustrações esquemáticas de umprocesso de adição de pixel 1 executado no caso da codificação de cor deacordo com o sexto exemplo da primeira realização típica;

Figuras 38A a 38D são ilustrações esquemáticas de umprocesso de adição de pixel 2 executado no caso da codificação de cor deacordo com o sexto exemplo da primeira realização típica;

Figuras 39A a 39D são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um sétimo exemplo da primeirarealização típica;

Figuras 40A a 40E são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o sétimo exemplo da primeira realização típica;

Figuras 41A a 4ID são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um oitavo exemplo da primeirarealização típica;

Figuras 42A a 42D são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o oitavo exemplo da primeira realização típica;

Figuras 43A a 43 C são ilustrações esquemáticas de umprocesso de conversão de cor efetuado em um instante de varredura plena nocaso da codificação de cor de acordo com um nono exemplo da primeirarealização típica;

Figuras 44A a 44D são ilustrações esquemáticas de umprocesso de adição de pixel executado no caso da codificação de cor deacordo com o nono exemplo da primeira realização típica;

Figura 45 é um diagrama de arranjos de cor ilustrandocodificação de cor de acordo com um primeiro exemplo da segundarealização típica;

Figura 46 é um diagrama de arranjos de cor ilustrandocodificação de cor de acordo com um segundo exemplo da segunda realizaçãotípica;

Figura 47 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 1 no caso de codificação de cor deacordo com o primeiro exemplo da segunda realização;Figura 48 é uma ilustração esquemática do processo deconversão de cor 1 no caso da codificação de cor de acordo com o primeiroexemplo da segunda realização típica;

Figura 49 é uma ilustração esquemática de um processo deconversão de cor 1 no caso da codificação de cor de acordo com um segundoexemplo da segunda realização típica;

Figura 50 é uma ilustração esquemática de um processo deconversão de cor 2 no caso da codificação de cor de acordo com o segundoexemplo da segunda realização típica;

Figura 51 é uma ilustração esquemática de um processo deadição de pixel 1 no caso da codificação de cor de acordo com o segundoexemplo da segunda realização típica;

Figura 52 é uma ilustração esquemática de um processo deadição de pixel 2 para codificação de cor de acordo com o segundo exemploda segunda realização típica;

Figura 53 é uma ilustração esquemática de uma configuraçãode sistema típica de um sensor de imagem CMOS de acordo com uma terceirarealização típica da presente invenção;

Figura 54 é um fluxograma ilustrando um fluxo de processotípico de um processo de conversão de cor 1 efetuado em um modo de altaluminância em um instante de varredura plena, no caso da codificação de corde acordo com o primeiro exemplo da terceira realização típica;

Figuras 55A a 55C são ilustrações esquemáticas do processode conversão de cor 1 efetuado no instante de varredura plena no caso dacodificação de cor de acordo com o primeiro exemplo da terceira realizaçãotípica;

Figura 56 é um fluxograma ilustrando um fluxo de processotípico de um processo de conversão de cor 2 efetuado em um modo de baixaluminância em um instante de varredura plena, no caso da codificação de corde acordo com o primeiro exemplo da terceira realização típica;

Figuras 57A a 57C são ilustrações esquemáticas do processode conversão de cor 2 efetuado no instante de varredura plena no caso dacodificação de cor de acordo com o primeiro exemplo da terceira realizaçãotípica;

Figura 58 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 1 no caso da codificação de cor deacordo com o primeiro exemplo da terceira realização típica;

Figuras 59A a 59C são ilustrações esquemáticas do processode adição de pixel 1 efetuado no caso da codificação de cor de acordo com oprimeiro exemplo da terceira realização típica;

Figura 60 é um fluxograma ilustrando um fluxo de processotípico de um processo de adição de pixel 2 no caso da codificação de cor deacordo com o primeiro exemplo da terceira realização típica;

Figuras 61A a 61C são ilustrações esquemáticas do processode adição de pixel 2 efetuado no caso da codificação de cor de acordo com oprimeiro exemplo da terceira realização típica;

Figuras 62A e 62B são ilustrações esquemáticas de umprocesso de conversão de cor 1 efetuado no caso da codificação de cor deacordo com um segundo exemplo da terceira realização típica;

Figuras 63A a 63 C são ilustrações esquemáticas de umprocesso de conversão de cor 2 efetuado no caso da codificação de cor deacordo com o segundo exemplo da terceira realização típica;

Figuras 64A e 64B são ilustrações esquemáticas de umprocesso de adição de pixel 1 efetuado no caso da codificação de cor deacordo com o segundo exemplo da terceira realização típica;

Figuras 65A a 65C são ilustrações esquemáticas de umprocesso de adição de pixel 2 efetuado no caso da codificação de cor deacordo com o segundo exemplo da terceira realização típica;Figura 66 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com uma modificação do primeiro exemplo;

Figura 67 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com uma modificação do segundo exemplo; e

Figura 68 é um diagrama em blocos de uma configuraçãotípica de um aparelho de formação de imagem de acordo com uma realizaçãoda presente invenção.

DESCRIÇÃO DAS REALIZAÇÕES PREFEiaDAS

Várias realizações típicas da presente invenção são descritasem detalhe abaixo com referência aos desenhos que a acompanham. Asdescrições são feitas na seguinte ordem:

1. Realização Típica

1-1. Configuração de Sistema

1-2. Codificação de Cor do Arranjo de Filtro de Cor

1-3. Exemplo de Codificação de Cor

1-4. Razão de Sensibilidade W:G:R:B

1-5. Processo de Conversão de Cor

2. Exemplo de Aplicação (Aparelho de Formação de imagem)

1. Primeira Realização Típica

1-1. Configuração de Sistema

Figura 1 é uma ilustração esquemática de uma configuração desistema típica de um dispositivo de formação de imagem em estado sólido(por exemplo, um sensor de imagem CMOS, que é um exemplo de umdispositivo de formação de imagem em estado sólido de endereçamento X-Y)de acordo com uma primeira realização típica da presente invenção.

De acordo com a primeira realização, um sensor de imagemCMOS 10 inclui um substrato semicondutor (posteriormente também referidocomo um "chip sensor") 11. O chip sensor 11 inclui uma unidade de arranjode pixel 12 formada nele e uma unidade de circuito periférico integrada nele.Por exemplo, a unidade de circuito periférico inclui uma unidade deacionamento vertical 13, uma unidade de processamento de coluna 14, umaunidade de acionamento horizontal 15, uma unidade de processamento deconversão 16 e uma unidade de controle de sistema 17.

A unidade de arranjo de pixel 12 inclui diversas unidades depixel (não mostradas), cada uma incluindo um elemento de conversãofotoelétrico, arranjados bidimensionalmente no arranjo. A unidade de pixel(posteriormente também simplesmente referida como um "pixel") convertefotoeletricamente luz visível incidente sobre eletrônica em carga elétrica, deacordo com a intensidade da luz visível. Um arranjo de filtro de cor 30 éprovido na unidade de arranjo de pixel 12 do lado de uma superfície receptorade luz (uma superfície de luz incidente). Uma das características chave dapresente realização típica é a codificação de cor do arranjo de filtro de cor 30.A codificação de cor do arranjo de filtro de cor 30 é descrita em mais detalheabaixo.

Ainda mais, na unidade de arranjo de pixel 12, uma linha deacionamento de pixel 18 é disposta na direção esquerda-direita da Figura 1(uma direção na qual os pixéis de uma fila de pixéis são arranjados na direçãohorizontal) para cada uma das linhas do arranjo de pixel. Similarmente, umalinha de sinal vertical 19 é disposta na direção para cima-para baixo da Figura1 (uma direção na qual os pixéis de uma coluna de pixéis são arranjados nadireção vertical) para cada uma das colunas do arranjo de pixel. Na Figura 1,enquanto somente uma linha de acionamento de pixel 18 é ilustrada, onúmero das linhas de arranjo de pixel 18 não é limitado a um. Umaextremidade da linha de acionamento de pixel 18 é conectada a um terminalde saída correspondendo a uma das linhas da unidade de acionamento vertical 13.

Por exemplo, a unidade de acionamento vertical 13 inclui umregistro de deslocamento e um decodificador de endereço. Embora aconfiguração detalhada desta não seja mostrada na Figura 1, a unidade deacionamento vertical 13 inclui um sistema de exploração de leitura e umsistema de exploração de varredura. O sistema de exploração de leituraexplora seqüencialmente os pixéis unitários a partir dos quais os sinais sãolidos em uma base linha por linha.

Em contraste, antes da operação de exploração de leitura dalinha de leitura efetuada pelo sistema de exploração de leitura pelo tempodeterminado por uma velocidade de disparador, o sistema de exploração devarredura efetua exploração de varredura, de tal modo que carga elétricadesnecessária é varrida (reiniciada) dos elementos de conversão fotoelétricados pixéis unitários na linha de leitura. Varrendo (reiniciando) a carga elétricadesnecessária usando o sistema de exploração de varredura, uma assimchamada operação de obturador eletrônico é efetuada. Isto é, na operação deobturador eletrônico, as foto cargas do elemento de conversão fotoelétrica sãodescartadas, e uma nova operação de exposição (acumulação de carga elétricaluminosa) é iniciada.

Um sinal lido através de uma operação de leitura efetuada pelosistema de operação de leitura corresponde à quantidade de luz tornadaincidente, após a operação de leitura imediatamente anterior ou operação deobturador eletrônico ser executada. Em adição, um período de tempo a partirde um ponto no tempo de leitura da operação de leitura imediatamenteanterior, ou um ponto de tempo de varredura da operação de obturadoreletrônico para o ponto no tempo de leitura da operação de leitura atual,corresponde a um tempo de acumulação (um tempo de exposição) da cargaelétrica luminosa no pixel unitário.

Um sinal emitido a partir de cada um dos pixéis unitários nalinha de pixel selecionada e explorada pela unidade de acionamento vertical13 é fornecido à unidade de processamento de coluna 14 através de umacorrespondente das linhas de sinal vertical 19. Para cada uma das colunas depixel da unidade de arranjo de pixel 12, a unidade de processamento decoluna 14 executa processamento de sinal pré-determinado no sinal de pixelanalógico emitido a partir do pixel na linha selecionada.

Um exemplo do processamento de sinal efetuado pela unidadede processamento de coluna 14 é um processo de amostragem duplacorrelacionado (CDS). No processo CDS, o nível de reinicialização e o nívelde sinal emitido a partir de cada um dos pixéis na linha selecionada sãorecuperados, e a diferença entre os níveis é computada. Então, os sinais dospixéis em uma das linhas são obtidos. A unidade de processamento de coluna14 pode ter uma função de conversão analógica para digital (A/D) paraconverter o sinal de pixel analógico em um formato digital.

Por exemplo, a unidade de acionamento horizontal 15 incluium registro de deslocamento e um decodificador de endereço. A unidade deacionamento horizontal 15 seleciona seqüencialmente e explora uma porçãode circuito correspondente a uma coluna de pixel da unidade deprocessamento de coluna 14. Cada uma das colunas de pixel é processadaseqüencialmente pela unidade de processamento de coluna 14, através daoperação de exploração de seleção executada pela unidade de acionamentohorizontal 15 e é emitida seqüencialmente.

A unidade de processamento de conversão 16 executacomputação e converte sinais correspondentes ao arranjo de cor do arranjo defiltro de cor 30 (a unidade de filtro de cor) e emite a partir dos pixéis daunidade de arranjo de pixel 12 em sinais correspondentes ao arranjo de Bayer.Uma outra das características chave da presente realização é que a unidade deprocessamento de conversão 16 é montada no substrato sobre o qual aunidade de arranjo de pixel 12 é formada, isto é, o chip sensor 11, umprocesso de conversão de cor é efetuado no chip sensor 11 e um sinalcorrespondente ao arranjo de Bayer é emitido a partir do chip sensor 11. Oprocesso de conversão de cor efetuado pela unidade de processamento deconversão 16 é descrito em mais detalhe abaixo.

Conforme usado amplamente, o termo "arranjo de Bayer"representa um arranjo de cor no qual uma cor servindo como um componentede informação de cor primária de um sinal de luminância para alta resolução éarranjado em uma configuração em xadrez, e as outras duas cores servindocomo componentes de configuração de cor do sinal de luminância pararesolução não tal alta, são arranjadas na outra área da configuração em xadrez.Em uma forma de codificação de cor básica para o arranjo de Bayer, verde(G) que possui alta contribuição do sinal de luminância é arranjado em umaconfiguração em xadrez, e vermelho (R) e azul (B) são arranjados na outraárea da configuração em xadrez.

A unidade de controle de sistema 17 recebe um relógioprovido de fora do chip sensor 11 e dados para indicar um modo de operação.Em adição, a unidade de controle de sistema 17 emite dados representandoinformação interna do sensor de imagem CMOS 10. Ainda mais, a unidade decontrole de sistema 17 inclui um gerador de temporização que gera umavariedade de sinais de temporização. A unidade de controle de sistema 17controla acionamento da unidade de acionamento vertical 13, unidade deprocessamento de coluna 14, unidade de acionamento horizontal 15, unidadede processamento de conversão 16, usando a variedade de sinais detemporização gerados pelo gerador de temporização.

Configuração de Circuito do Pixel Unitário

Figura 2 é um diagrama de circuito típico de um pixel unitário20. Conforme mostrado na Figura 2, o pixel unitário 20 ilustrado no diagramade circuito típico inclui um elemento de conversão fotoelétrico (por exemplo,um fotodiodo 21) e quatro transistores (por exemplo, um transistor detransferência 22, um transistor de restabelecimento 23, um transistor deamplificação 24 e um transistor de seleção 25).

Neste exemplo, transistores MOS de canal N são usados para otransistor de transferência 22, transistor de restabelecimento 23, transistor deamplificação 24 e transistor de seleção 25. Entretanto, a combinação de umtipo condutor usando o transistor de transferência 22, o transistor derestabelecimento 23, o transistor de amplificação 24 e o transistor de seleção25 é somente um exemplo, e a combinação não está limitada a isto.

Por exemplo, como a linha de acionamento de pixel 18, trêslinhas de acionamento isto é, uma linha de transferência 181, uma linha derestabelecimento 182, e uma linha de seleção 183 são providas a cada um dospixéis unitários 20, na mesma linha de pixel. Uma extremidade da linha detransferência 181, uma extremidade da linha de restabelecimento 182 e umaextremidade da linha de seleção 183 são conectadas a um terminal de saídacorrespondendo a uma das linhas de pixel da unidade de acionamento vertical 13.

Um eletrodo anodo do fotodiodo 21 é conectado a uma fontede alimentação negativa (por exemplo, a terra). O fotodiodo 21 convertefotoeletricamente a luz recebida em foto cargas (fotoelétrons nesta realizaçãotípica) de acordo com a quantidade de luz recebida. Um eletrodo catodo dofotodiodo 21 é conectado ao eletrodo de porta do transistor de amplificação24 via transistor de transferência 22. Um nó 26 eletricamente conectado aoeletrodo de porta do transistor de amplificação 24 é referido como uma"unidade de difusão flutuante (FD)".

O transistor de transferência 22 é conectado entre o eletrodocatodo do fotodiodo 21 e a unidade FD 26. Quando um pulso de transferência(|)TRF possuindo um nível alto ativo (por exemplo, um nível Vdd)(posteriormente referido como um "pulso de transferência ativo alto") éfornecido a um eletrodo de porta do transistor de transferência 22, via linha detransferência 181, o transistor de transferência 22 é acionado. Então, otransistor de transferência 22 transfere as foto cargas convertidasfotoeletricamente pelo fotodiodo 21 para a unidade FD 26.Um eletrodo de dreno do transistor de restabelecimento 23 éconectado a uma fonte de alimentação de pixel Vdd. O eletrodo fonte dotransistor de restabelecimento 23 é conectado à unidade FD 26. Antes dacarga de sinal ser transferida do fotodiodo 21 para a unidade FD 26, um pulsode restabelecimento ativo alto (j)RST é fornecido a um eletrodo de porta dotransistor de restabelecimento 23, via linha de restabelecimento 182. Quandoo pulso de restabelecimento (J)RST é fornecido ao transistor derestabelecimento 23, o transistor de restabelecimento 23 é acionado. Então, otransistor de restabelecimento 23 reinicia a unidade FD 26 descartando acarga elétrica da unidade FD 26 para a fonte de alimentação de pixel Vdd. Oeletrodo de porta do transistor de amplificação 24 é conectado à unidade FD26. Um eletrodo de dreno do transistor de amplificação 24 é conectado à fontede alimentação de pixel Vdd. Após a unidade FD 26 ser reiniciada pelotransistor de restabelecimento 23, o transistor de amplificação 24 emite opotencial da unidade FD 26 na forma de um sinal de restabelecimento (umnível de restabelecimento) Vrest. Em adição, após a carga de sinal sertransferida pelo transistor de transferência 22, o transistor de amplificação 24emite o potencial da unidade FD 26 na forma de um sinal de acumulação deluz (um nível de sinal) Vsig.

Por exemplo, um eletrodo de dreno do transistor de seleção 25é conectado ao eletrodo fonte do transistor de amplificação 24. O eletrodofonte do transistor de seleção 25 é conectado à linha de sinal vertical 17.Quando um pulso de seleção ativo alto φ SEL é fornecido ao eletrodo de portado transistor de seleção 25 via linha de seleção 163, o transistor de seleção 25é acionado. Então, o transistor de seleção 25 faz com que o pixel unitário 20entre em um modo selecionado, de tal modo que um sinal emitido a partir dotransistor de amplificação 24 seja comutado para a linha de sinal vertical 17.

Notar que uma configuração de circuito na qual o transistor deseleção 25 é conectado entre a fonte de alimentação de pixel Vdd e o dreno dotransistor de amplificação 24, pode ser empregada.

Deveria ser notado que a estrutura de pixel do pixel unitário 20não está limitada à estrutura de pixel de quatro transistores acima descrita. Porexemplo, o pixel unitário 20 pode possuir uma estrutura de pixel de trêstransistores na qual as funções do transistor de amplificação 24 e transistor deseleção 25 são executadas por um transistor. Então, qualquer configuração deum circuito de pixel pode ser empregada.

Em geral, no sentido de aumentar uma taxa de quadro quandouma imagem móvel é capturada, adição de pixel na qual sinais emitidos apartir de diversos pixéis vizinhos são somados e lidos é efetuada. A adição depixel é efetuada em um pixel, linhas de sinal, unidade de processamento decoluna 14 ou uma unidade de processamento de sinal a jusante. Na presenterealização, por exemplo, uma estrutura de pixel na qual quatro pixéisarranjados de modo a serem adjacentes um ao outro na direção vertical e nadireção horizontal é descrita.

Figura 3 é um diagrama de circuito de uma configuração típicade um circuito que permite adição de pixel para quatro pixéis vizinhos a serexecutada nos pixéis. A mesma numeração que será usada descrevendo aFigura 3 foi utilizada acima descrevendo a Figura 2, onde apropriado.

Na Figura 3, os fotodiodos 21 dos quatro pixéis arranjados demodo a estarem adjacentes um a outro na direção vertical e na direçãohorizontal, são denotados como fotodiodos 21-1, 21-2, 21-3 e 21-4. Quatrotransistores de transferência 22-1, 22-2, 22-3 e 22-4 são providos aosfotodiodos 21-1, 21-2, 21-3 e 21-4, respectivamente. Em adição, o transistorde restabelecimento 23, o transistor de amplificação 24 e o transistor deseleção 25 são usados.

Isto é, um dos eletrodos do transistor de transferência 22-1, umdos eletrodos do transistor de transferência 22-2, um dos eletrodos dotransistor de transferência 22-3 e um dos eletrodos do transistor detransferência 22-4 são conectados ao eletrodo de catodo do fotodiodo 21-1, oeletrodo de catodo do fotodiodo 21-2, o eletrodo de catodo do fotodiodo 21-2,e o eletrodo de catodo do fotodiodo 21-2, respectivamente. O outro eletrododo transistor de transferência 22-1, o outro eletrodo do transistor detransferência 22-2, o outro eletrodo do transistor de transferência 22-3, e ooutro eletrodo do transistor de transferência 22-4 são comumente conectadosao eletrodo de porta do transistor de amplificação 24. Em adição, a unidadeFD 26 que é compartilhada pelos fotodiodos 21-1, 21-2, 21-3 e 21-4 éeletricamente conectada ao eletrodo de porta do transistor de amplificação 24.O eletrodo de dreno do transistor de restabelecimento 23 é conectado à fontede alimentação de pixel Vdd, e o eletrodo fonte do transistor derestabelecimento 23 é conectado à unidade FD 26.

Na estrutura de pixel acima descrita que suporta a adição depixel para quatro pixéis vizinhos, provendo o pulso de transferência (J)TRF aoquatro transistores de transferência 22-1, 22-2, 22-3 e 22-4 ao mesmo tempo,adição de pixel para quatro pixéis vizinhos pode ser efetuada. Isto é, as cargasde sinal transferidas dos fotodiodos 21-1, 21-2, 21-3 e 21-4 para a unidade FD26 pelos quatro transistores de transferência 22-1, 22-2, 22-3 e 22-4 sãosomadas pela unidade FD 26.

Em contraste, provendo o pulso de transferência (J)TRF aosquatro transistores de transferência 22-1, 22-2, 22-3 e 22-4 em pontosdiferentes no tempo, a saída de sinal pode ser efetuada em uma base pixel porpixel. Isto é, quando uma imagem móvel é capturada, a taxa de quadro podeser aumentada efetuando adição de pixel. Em contraste, quando uma imagemparada é capturada, a resolução pode ser aumentada lendo independentementeos sinais de todos os pixéis.

1-2. Codificação de Cor do Arranjo de Filtro de Cor

A codificação de cor do arranjo de filtro de cor 30 que é umadas características da presente realização típica é descrita a seguir.De acordo com a presente realização típica, o arranjo de filtrode cor 30 emprega codificação de cor na qual uma cor servindo como umcomponente de informação de cor primário de um sinal de luminância éarranjada em uma configuração em xadrez, e diversas outras cores sãoarranjadas na outra área da configuração em xadrez. Na presente realização, acor primária de um sinal de luminância é, por exemplo, uma dentre branco(W), verde (G) e um outro componente espectral do sinal de luminância.

Desde que um filtro W tem uma sensibilidade de cerca de duasvezes a de um filtro G (o nível de saída de um filtro W é mais alto que o deum filtro G), uma alta relação S/N pode ser obtida. Entretanto, uma vez queum filtro W contém várias informações de cor, uma cor falsa que é diferenteda cor original de um assunto tende a aparecer. Em contraste, embora umfiltro G tenha sensibilidade mais baixa que a de um filtro W, um filtro Gproduz poucas cores falsas. Isto é, há um compromisso entre a sensibilidade ea geração de uma cor falsa.

Quando filtros W servindo como filtros de um componente deinformação de cor primária são arranjados em uma configuração em xadrez,filtros R, G e B são arranjados nas outras áreas da configuração em xadrezcom filtros dos outros componentes de informação de cor. Em contraste,quando filtros G servindo como filtros de um componente de informação decor primária são arranjados em uma configuração em xadrez, filtros ReB sãoarranjados nas outras áreas da configuração em xadrez como filtros dos outroscomponentes de informação de cor.

Deste modo, usando, para o arranjo de filtro de cor 30,codificação de cor na qual filtros W para a cor primária de um sinal deluminância são arranjados em uma configuração em xadrez, a sensibilidadedo sensor de imagem CMOS 10 pode ser aumentada, uma vez que o filtro Wtem uma sensibilidade mais alta que a de um filtro de uma outra cor. Emcontraste, usando, para o arranjo de filtro de cor 30, codificação de cor naqual filtros G para a cor primária de um sinal de luminância são arranjados emuma configuração em xadrez, a reprodutibilidade de cor do sensor de imagemCMOS 10 pode ser melhorada, uma vez que o filtro G produz poucas coresfalsas.

Em adição, quando o arranjo de filtro de cor 30 usandoqualquer um dos métodos de codificação de cor é usado, um sinalcorrespondente ao arranjo de cor é convertido em um sinal correspondente aoarranjo de Bayer pelo chip sensor 11. Naquele instante, uma vez que a corservindo como componente primário de um sinal de luminância é arranjadaem uma configuração em xadrez, sinais de outras cores de pixéis adjacentes àcor na direção vertical e direção horizontal podem ser restaurados usando osinal da cor servindo como o componente primário de um sinal de luminância.Conseqüentemente, a eficiência de conversão de cor efetuada pela unidade deprocessamento de conversão 16 pode ser aumentada.

Ainda mais, emitindo os sinais correspondentes ao arranjo deBayer a partir do chip sensor 11, um DSP existente para o arranjo de Bayerpode ser usado como uma unidade de processamento de sinal a jusante.Basicamente, o DSP para o arranjo de Bayer gera um sinal de luminância Y edois sinais de diferença de cor U(B-Y) e V(R-Y) usando a saída de sinal apartir do chip sensor 11 e correspondendo ao arranjo de Bayer.

Deste modo, uma vez que um DSP existente para o arranjo deBayer pode ser usado, o desenvolvimento de um novo DSP que ésignificativamente dispendioso, não é necessário, mesmo quando acodificação de cor do arranjo de filtro de cor 30 é modificada.Conseqüentemente, um módulo de câmera incluindo um DSP pode serproduzido a baixo custo. Como resultado, o uso amplo do arranjo de filtro decor 30 usando, em particular, um filtro W, pode ser esperado.

1-3. Exemplos de Codificação de Cor do Arranjo de Filtro de CorExemplos de codificação de cor que facilita a conversão apartir de um sinal correspondente a um arranjo de cor no qual filtros de umacor servindo como um componente primário de um sinal de luminância, sãoarranjados em uma configuração em xadrez para um sinal correspondente aum arranjo Bayer RGB, são descritos em detalhe abaixo.

Primeiro Exemplo da Primeira Realização Típica

Figura 4 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um primeiro exemplo da primeirarealização típica. Conforme mostrado na Figura 4, na codificação de cor deacordo com o primeiro exemplo da primeira realização típica, filtros W quemaximizam o nível de saída são arranjados em uma configuração em xadrez.Filtros R são arranjados em uma configuração em xadrez em um passo dedois pixéis na direção vertical e direção horizontal. Similarmente, filtros Bsão arranjados em uma configuração em xadrez em um passo de dois pixéisna direção vertical e direção horizontal. Cada um dos filtros R édiagonalmente deslocado daquele dos filtros B por um pixel. Em adição,filtros G são arranjados na outra área da configuração em xadrez.

Mais especificamente, em um bloco de pixel 4x4 filtros W sãoarranjados em uma configuração em xadrez. Filtros R são arranjados nasegunda linha e primeira coluna e na quarta linha e terceira coluna. Filtros Bsão arranjados na primeira linha e segunda coluna e na terceira linha e quartacoluna. Este arranjo é a configuração em xadrez possuindo um passo de doispixéis. Em adição, filtros G são arranjados na outra área da configuração emxadrez. Neste instante, os filtros G formam uma configuração em tiradiagonal.

Segundo Exemplo da Primeira Realização TípicaFigura 5 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um segundo exemplo da primeirarealização típica. Conforme mostrado na Figura 5, na codificação de cor deacordo com o segundo exemplo da primeira realização típica, filtros W sãoarranjados em uma configuração em xadrez. Filtros R são arranjados emquadrado na configuração a um passo de quatro pixéis na direção vertical e nadireção horizontal. Similarmente, filtros B são arranjados em quadrado naconfiguração a um passo de quatro pixéis na direção vertical e na direçãohorizontal. Em adição, cada um dos filtros R é diagonalmente deslocadodaquele dos filtros B de um pixel. Em adição, filtros G são arranjados na outraárea na configuração em xadrez.

Mais especificamente, em um bloco de pixel 4x4, filtros W sãoarranjados em uma configuração em xadrez. Um filtro R é disposto nasegunda linha e terceira coluna, um filtro B é disposto na terceira linha esegunda coluna. Este arranjo é o arranjo quadrado possuindo um passo dequatro pixéis na direção vertical e na direção horizontal. Em adição, filtros Gsão arranjados na outra área da configuração em xadrez. Naquele instante, osfiltros G formam uma configuração em tira diagonal.

Terceiro Exemplo da Primeira Realização TípicaFigura 6 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um terceiro exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 6, na codificação de cor de acordo como terceiro exemplo da primeira realização típica, filtros W são arranjados emuma configuração em xadrez. Filtros R são arranjados em quadrado naconfiguração codificação de cor de 64 quadrados de cores alternadas a umpasso de quatro pixéis na direção vertical e na direção horizontal.Similarmente, filtros B são arranjados em quadrado na configuraçãocodificação de cor de 64 quadrados de cores alternadas a um passo de quatropixéis na direção vertical e na direção horizontal. Em adição, cada um dosfiltros R é diagonalmente deslocado daquele dos filtros B de dois pixéis. Emadição, filtros G são arranjados na outra área na configuração em xadrez.

Mais especificamente, em um bloco de pixel 4x4, filtros W sãoarranjados em uma configuração em xadrez. Um filtro R é disposto nasegunda linha e primeira coluna, um filtro B é disposto na quarta linha eterceira coluna. Este arranjo é o arranjo quadrado possuindo um passo dequatro pixéis na direção vertical e na direção horizontal. Em adição, filtros Gsão arranjados na outra área da configuração em xadrez. Naquele instante, osfiltros G formam uma configuração em tira diagonal.

Quarto Exemplo da Primeira Realização TípicaFigura 7 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um quarto exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 7, na codificação de cor de acordo como quarto exemplo da primeira realização típica, filtros W são arranjados emuma configuração em xadrez. Filtros de cada um de R e B são arranjados emuma configuração em xadrez a um passo de dois pixéis na direção vertical ena direção horizontal. Em adição, cada um dos filtros R é diagonalmentedeslocado daquele dos filtros B de um pixel. Em adição, filtros G sãoarranjados na outra área na configuração em xadrez.

Mais especificamente, em um bloco de pixel 4x4, filtros W sãoarranjados em uma configuração em xadrez. Filtros R são dispostos naprimeira linha e segunda coluna, e na terceira linha e quarta coluna. Filtros Bsão dispostos na terceira linha e segunda coluna e na primeira linha e quartacoluna. Este arranjo é o arranjo de codificação de cor de 64 quadrados decores alternadas possuindo um passo de dois pixéis na direção vertical e nadireção horizontal. Em adição, filtros G são arranjados na outra área daconfiguração em xadrez.

Quinto Exemplo da Primeira Realização Típica

Figura 8 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um quinto exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 8, na codificação de cor de acordo como quinto exemplo da primeira realização típica, filtros W são arranjados emuma configuração em xadrez. Filtros R são arranjados em quadrado em umaconfiguração em xadrez a um passo de dois pixéis na direção vertical e nadireção horizontal. Similarmente, filtros B são arranjados em quadrado emuma configuração em xadrez a um passo de dois pixéis na direção vertical ena direção horizontal. Em adição, cada um dos filtros R é diagonalmentedeslocado daquele dos filtros B de um pixel.

Mais especificamente, em um bloco de pixel 4x4, filtros W sãoarranjados em uma configuração em xadrez. Filtros R são dispostos nasegunda linha e primeira coluna, segunda linha e terceira coluna,a quarta linhae primeira coluna, e a quarta linha e terceira coluna. Filtros B são dispostos naprimeira linha e segunda coluna, primeira linha e quarta coluna, terceira linhae segunda coluna, e a terceira linha e quarta coluna. Este arranjo é o arranjoquadrado possuindo um passo de dois pixéis na direção vertical e na direçãohorizontal.

Sexto Exemplo da Primeira Realização Típica

Figura 9 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um sexto exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 9, na codificação de cor de acordo como sexto exemplo da primeira realização típica, filtros W são arranjados emuma configuração em xadrez. Filtros R são arranjados em quadrado em umaconfiguração em xadrez a um passo de quatro pixéis na direção vertical e nadireção horizontal. Similarmente, filtros B são arranjados em quadrado emuma configuração em xadrez a um passo de quatro pixéis na direção vertical ena direção horizontal. Em adição, cada um dos filtros R é diagonalmentedeslocado daquele dos filtros B de dois pixéis. Ainda mais, filtros G sãoarranjados na outra área da configuração em xadrez.

Mais especificamente, em um bloco de pixel 4x4, filtros W sãoarranjados em uma configuração em xadrez. Filtros R são dispostos naterceira linha e quarta coluna, e na quarta linha e terceira coluna. Filtros B sãodispostos na primeira linha e segunda coluna, e na segunda linha e primeiracoluna. Este arranjo é o arranjo quadrado possuindo um passo de quatropixéis na direção vertical e na direção horizontal. Em adição, filtros G sãoarranjados na outra área da configuração em xadrez. Naquele instante, osfiltros G formam uma configuração em tira diagonal.

Os métodos de codificação de cor de acordo com o primeiro asexto exemplos descritos acima da primeira realização típica usam um arranjode cor no qual filtros W possuindo uma cor servindo como uma componenteprimária de um sinal de luminância que maximiza o nível de saída, sãoarranjados em uma configuração em xadrez. Uma vez que os filtros de umacor branca (W) que incluem componentes de cor, R, G e B são arranjados emuma configuração em xadrez, a precisão de conversão em sinaiscorrespondentes ao arranjo Bayer RGB pode ser aumentada.

A característica chave destes métodos de codificação de cor éque, se os filtros W são substituídos por filtros G durante o processo deconversão de cor descrito abaixo, as localizações dos filtros R e B sãocoincidentes com as do arranjo de Bayer. Em adição, para as localizações nasquais as cores não são coincidentes, informação relacionada a pixéis dosfiltros W pode ser usada. Então, informação de pixéis ReB pode serrestaurada. Como um resultado, eficiência de conversão pode sersignificativamente aumentada.

Uma outra das características chave dos métodos deconfiguração em xadrez de acordo com o primeiro a terceiro exemplos nosexto exemplo da primeira realização típica, é que os filtros são arranjados emuma configuração de configuração em xadrez, e uma série de quatro filtros Garranjados em uma direção diagonal aparece repetidamente, de tal modo queuma configuração em tira diagonal é formada. Em tais métodos decodificação de cor, somando os sinais de pixéis de filtros G adjacentes a umpixel de um filtro Weo sinal do filtro W, e usando a soma como umcomponente primário de um sinal de luminância, a intensidade do sinal deluminância pode ser aumentada. Conseqüentemente, a sensibilidade (a relaçãoS/N) pode ser aumentada.

Em particular, no método de codificação de cor de acordo como primeiro exemplo da primeira realização, cada um dos filtros R é deslocadodiagonalmente de um dos filtros B, de um pixel. Conseqüentemente, aeficiência de conversão em um sinal correspondente ao arranjo de Bayer podeser aumentada. Em adição, no método de codificação de acordo com osegundo exemplo da primeira realização, filtros R são arranjados de modo aformar um arranjo quadrado possuindo um passo de quatro pixéis na direçãovertical e na direção horizontal, e filtros B são arranjados de modo a formarum arranjo quadrado tendo um passo de quatro pixéis na direção vertical e nadireção horizontal. Ainda mais, cada um dos filtros R é diagonalmentedeslocado daquele dos filtros B de dois pixéis. Conseqüentemente, aeficiência de conversão pode ser aumentada. Ainda adicionalmente, nométodo de codificação de cor de acordo com o segundo exemplo da primeirarealização, o número de filtros G pode ser grande. Então, a eficiência deconversão na cor G pode ser aumentada.

Nos métodos de codificação de cor de acordo com o primeiro esexto exemplos da primeira realização, uma série de quatro filtros Garranjados em uma direção diagonal ocorre repetidamente, de tal modo queuma configuração em tira diagonal é formada. Conseqüentemente, em taismétodos de codificação de cor, adicionando o sinal de um pixel G ou os sinaisde dois pixéis G adjacentes a um pixel dado ao sinal do pixel dado, e usando osinal de soma como um componente primário de um sinal de luminância, umaalta sensibilidade (uma alta relação S/N) pode ser provida, sem decréscimo naresolução. Esta vantagem pode ser provida, não só quando uma série dequatro filtros G arranjados em uma direção diagonal aparece repetidamente,de tal modo que uma configuração em tira diagonal é formada, como tambémquando uma série de quatro filtros G arranjados na direção vertical ou direçãohorizontal aparece repetidamente, de tal modo que uma configuração em tira éformada.

Sétimo Exemplo da Primeira Realização Típica

Figura 10 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um sétimo exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 10, na codificação de cor de acordo como sétimo exemplo da primeira realização típica, filtros G servindo como filtrosde cor de um componente primário de um sinal de luminância são arranjadosem uma configuração em xadrez. Filtros R e filtros B são arranjados em umaconfiguração em xadrez a um passo de dois pixéis na direção vertical edireção horizontal. Cada um dos filtros R é deslocado diagonalmente de umdos filtros B de dois pixéis. Em adição, filtros W são arranjado na outra áreada configuração em xadrez.

Mais especificamente, em um arranjo incluindo quatro pixéisem cada direção vertical e direção horizontal, filtros G são arranjados em umaconfiguração em xadrez. Filtros R são arranjados na primeira linha e primeiracoluna e na terceira linha e terceira coluna. Filtros B são arranjados naprimeira linha e terceira coluna e terceira linha e primeira coluna. Este arranjoé a configuração em xadrez possuindo um passo de dois pixéis em cada umadas direções vertical e horizontal. Em adição, filtros W são arranjados naoutra área da configuração em xadrez.

Nos métodos de codificação de cor de acordo com o primeiro asétimo exemplos da primeira realização, filtros W ou G servindo como filtrosde cor de um componente primário de um sinal de luminância são arranjadosem uma configuração em xadrez. Entretanto, no sentido de converterfacilmente um sinal correspondente ao arranjo Bayer RGB usando a unidadede processamento de conversão 16 no chip sensor 11, codificação de cor não élimitada à codificação de cor na qual filtros W ou G são arranjados em umaconfiguração em xadrez. A codificação de cor na qual filtros W ou G não sãoarranjados em uma configuração em xadrez é descrita abaixo, com referênciaao oitavo e nono exemplos da primeira realização típica.

Oitavo Exemplo da Primeira Realização Típica

Figura 11 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um oitavo exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 11, na codificação de cor de acordo como oitavo exemplo da primeira realização típica, cada um dos blocos de pixel2x2 inclui filtros W, R, G e B, e uma configuração tendo um passo de doispixéis na direção horizontal e na direção vertical é formada. Maisespecificamente, cada um dos filtros W é disposto em uma linha par e umacoluna par, cada um dos filtros R é disposto em uma linha par e uma colunaímpar, cada um dos filtros G é disposto em uma linha ímpar e uma colunaímpar, e cada um dos filtros B é disposto em uma linha ímpar e uma colunapar.

Nono Exemplo da Primeira Realização Típica

Figura 12 é um diagrama de arranjo de cor ilustrandocodificação de cor de acordo com um nono exemplo da primeira realizaçãotípica. Conforme mostrado na Figura 12, na codificação de cor de acordo como nono exemplo da primeira realização típica, cada um dos blocos de pixel2x2 inclui filtros R, G ou B, e estes blocos de pixel formam o arranjo deBayer. Mais especificamente, filtros G são dispostos na primeira e segundalinhas e primeira e segunda colunas e na terceira e quarta linhas e terceira equarta linhas, filtros B são dispostos na primeira e segunda linhas e terceira equarta colunas, e filtros R são dispostos na terceira e quarta linhas e primeirae segunda colunas.

1-4. Relação de Sensibilidade W:G:R:B

Uma relação de sensibilidade W:G:R:B é descrita a seguir. Nacodificação de cor incluindo filtros W, um pixel de filtro W que tem um altonível de sinal de saída é saturado antes de um pixel dos outros filtros de cor.Conseqüentemente, é necessário que um balanço de sensibilidade entre pixéisW, G, R e B seja mantido, isto é, a relação de sensibilidade W:G:R:B sejaajustada diminuindo a sensibilidade do pixel de filtro W e aumentando assensibilidades do outro pixel de filtro de cor em relação à sensibilidade dopixel de filtro W.

No sentido de ajustar a relação de sensibilidade, técnicas decontrole de exposição amplamente usadas podem ser usadas. Maisespecificamente, ajustando o tamanho de uma micro lente no chip, providafora do arranjo de filtro de cor 30 para cada um dos pixéis do arranjo de filtrode cor 30, o balanço entre as quantidades de luz incidente entre pixéis de corindividuais, é sustentável (referir-se, por exemplo, à Publicação de Pedido dePatente Japonesa Não Examinada No. 9-116127). Usando esta técnica ediminuindo o tamanho de uma micro lente no chip para uma cor W para umtamanho menor que aquele para cada uma das outras cores, a sensibilidade dopixel de filtro W pode ser diminuída. Deste modo, a sensibilidade de um dosoutros pixéis de filtro de cor pode ser relativamente aumentada.

Alternativamente, uma técnica de controle de exposição à luzna qual, na codificação de cor incluindo um filtro W, a diferença entre assensibilidades pode ser reduzida, removendo uma micro lente no chip para umpixel W, e uma relação S/N de cor pode ser melhorada, diminuindo asensibilidade de cor, pode ser usada (referir-se, por exemplo, à Publicação dePedido de Patente Japonesa Não Examinada No. 2007-287891. Usando estatécnica, a sensibilidade do pixel de filtro W pode ser diminuída. Deste modo,a sensibilidade de um dos outros pixéis de filtro de cor pode ser relativamenteaumentada.

Ainda alternativamente, no sentido de evitar o balanço de corinadequado, uma técnica para efetuar controle de exposição de obturador, naqual o tempo de exposição de um pixel de filtro G é diminuído, comparadocom o pixel de um filtro R ou B pode ser usada (referir-se, por exemplo, àPublicação de Pedido de Patente Japonesa Não Examinada No. 2003-60992.Combinando tal técnica de controle de exposição de obturador com o controleda área de recepção de luz, a sensibilidade do pixel de filtro W pode serdiminuída. Deste modo, a sensibilidade de um dos outros pixéis de filtro decor pode ser relativamente aumentada. Ainda mais, em particular, aocorrência de uma linha externa colorida de um assunto móvel pode sereliminada. Como um resultado, um processo de acromatização efetuado poruma unidade de processamento de sinal externo (IDSP) não é necessário.

Notar que as três técnicas de controle de exposição acimadescritas usadas para ajustar a relação de sensibilidade são apenas exemplos.A técnica de controle de exposição não está limitada a isto.

Por exemplo, o tamanho da micro lente no chip para um pixelW é ajustada de tal maneira que os níveis de saída dos pixéis W, G, B e R sãosubstancialmente na proporção 2:1:0.5:0.5.

Para pixéis de 1,1 μηι, quando o tamanho de uma micro lenteno chip para um pixel W é variada de ± 0,1 μιη, a área é dobrada e reduzida àmetade. Portanto, a sensibilidade é dobrada ou reduzida à metade.Conseqüentemente, o nível de saída de um pixel W possuindo a mesma áreaque a de um pixel G e possuindo um nível de saída o dobro do de um pixel G,pode ser ajustado de tal modo que os níveis de saída sejam os mesmos.Mesmo quando o tamanho de uma micro lente no chip é variada de ± 0,05μηι, a área é ± 1,42 vezes a área original e, portanto, a sensibilidade do pixelW pode ser reduzida a 1,42 vezes a do pixel G. Em tal caso, o ajuste adicionalda sensibilidade pode ser efetuado por controle de exposição de obturador.

1-5. Processo de Conversão de Cor

Um processo para converter um sinal em um sinalcorrespondente ao arranjo Bayer RGB (isto é, um processo de conversão decor) executado pela unidade de processamento de conversão 16, é descrito emmais detalhe a seguir.

Os seguintes dois tipos de processos de conversão de cor sãoprovidos: um processo de conversão de cor efetuado quando uma imagemparada é capturada (em um instante de varredura plena no qual todos os pixéissão explorados) e um processo de conversão de cor efetuado quando umaimagem móvel é capturada (em um instante de adição de pixel no qual sinaisde diversos pixéis vizinhos a um dado pixel são adicionados ao sinal do pixeldado). No caso de codificação de cor de acordo com o primeiro e sextoexemplos da primeira realização típica, um processo de conversão de cor comuma alta sensibilidade pode ser efetuado. Conseqüentemente, um modo debaixa luminância pode ser usado e, portanto, o processo de conversão de corefetuado em um instante de varredura plena pode ser dividido em doisprocessos de conversão de cor.

Um dos dois processos de conversão de cor é efetuado quandoa luminância da luz incidente é mais alta que uma luminância de referênciapré-determinada. Este processo de conversão de cor é referido como um"processo de conversão de cor 1". O outro processo de conversão de cor éexecutado quando a luminância da luz incidente é mais baixa ou igual àluminância de referência pré-determinada. Este processo de conversão de coré referido como um "processo de conversão de cor 2". Em adição, o processode conversão de cor efetuado em um instante de adição de pixel pode serdividido em diversos processos de conversão de cor, de acordo com ascombinações dos pixéis a serem adicionados. Notar que, no caso dacodificação de cor em um instante de varredura plena de acordo com osexemplos diferentes do primeiro e sexto exemplo, é difícil usar um modo debaixa luminância. Conseqüentemente, apenas um modo de alta luminância éusado. Isto é, no caso da codificação de cor no instante de varredura plena deacordo com o segundo a quinto exemplos e sétimo a nono exemplos, oprocesso de conversão de cor 1 usado no primeiro e sexto exemplos para altaluminância é usado.

Codificação de Cor de Acordo com o Primeiro Exemplo daPrimeira Realização Típica

Um processo de conversão de cor efetuado para a codificaçãode cor de acordo com o primeiro exemplo da primeira realização típica édescrito a seguir. Primeiramente, o processo de conversão de cor 1 efetuadoem um modo de alta luminância em um instante de varredura plena, é descritocom referência a um fluxograma mostrado na Figura 13 e ilustraçõesesquemáticas mostradas nas Figuras 14A a 14D.

Conforme ilustrado pelo fluxograma mostrado na Figura 13, oprocesso de conversão de cor 1 em um modo de alta luminância é realizadoefetuando seqüencialmente o processamento nas etapas Sl 1, S12 e S13.

Figura 14A ilustra um arranjo de cor de pixel 4x4 da codificação de cor deacordo com o primeiro exemplo.

Na etapa Sl 1, conforme mostrado na Figura 14B, oscomponentes de pixéis brancos W arranjados em uma configuração em xadrezsão expandidos em pixéis de todas as cores, determinando a direção deresolução. Conforme usado aqui, o termo "direção de resolução" refere-se auma direção na qual sinais de pixéis estão presentes. Na Figura 14B, "W"rodeado por um quadro quadrado representa um componente de um pixel Wapós o componente do pixel dado ser expandido em cada uma de todas as cores.

No sentido de expandir um componente de um pixel dado empixéis de outras cores, processamento de sinal baseado em uma correlaçãodirecionada amplamente usada pode ser aplicado. Por exemplo, noprocessamento de sinal baseado em uma correlação direcional, diversos sinaisde cor correspondendo a um dado pixel são adquiridos, e o valor decorrelação na direção vertical e/ou direção horizontal é obtido (referir-se, porexemplo, à Patente Japonesa No. 2931520).Na etapa S12, conforme mostrado na Figura 14C, um pixel Wé substituído por um pixel G usando uma correlação entre um pixel W e umpixel G. Como pode ser visto dos arranjos de cor acima descritos decodificação de várias cores, um pixel W é adjacente a um pixel G. Em termosde uma correlação entre um pixel W e um pixel G em uma certa área, o pixelWeo pixel G possuem uma correlação forte, uma vez que qualquer umdentre o pixel W e pixel G tem uma cor servindo como um componenteprimário de um sinal de luminância. Então, o valor de correlação (ocoeficiente de correlação) é próximo de 1. Determinando a direção deresolução usando a correlação de cor e mudando o nível de saída de um pixeldado para o nível equivalente a um nível de saída de um pixel G, o pixel W ésubstituído pelo pixel G.

Na etapa S13, um pixel R e um pixel B são gerados para oarranjo de Bayer mostrado na Figura 14D usando uma correlação entre o pixelWeo pixel R e uma correlação entre o pixel Weo pixel B. Uma vez que umpixel W inclui componentes de cor R, G e B, a correlação entre o pixel Weopixel Rea correlação entre o pixel Weo pixel B podem ser obtidas. Para oprocessamento de sinal, uma técnica existente, na qual um sinal de luminânciaa ser substituído por G em um arranjo de quatro cores é gerado para cadapixel por interpolação, pode ser usado (referir-se, por exemplo, à Publicaçãode Pedido de Patente Japonesa Não Examinada No. 2005-160044).

Subseqüentemente, o processo de conversão de cor 2executado em um modo de baixa luminância em um instante de varreduraplena, é descrito com referência a um fluxograma mostrado na Figura 15 eilustrações esquemáticas mostradas nas Figuras 16A a 16D.

Primeiramente, conforme mostrado na Figura 16A, a direçãode resolução é examinada usando processamento de sinal baseado na técnicaamplamente usada acima descrita (etapa S21). Posteriormente, é determinadose a direção de resolução pode ser determinada (etapa S22). Se a direção deresolução pode ser determinada, os componente de pixéis W arranjados a umaconfiguração em xadrez são expandidos em pixéis de todas as cores (etapaS23).

Subseqüentemente, conforme mostrado na Figura 16B, pixéisR e pixéis B são gerados usando a técnica amplamente usada acima descrita, acorrelação entre um pixel W e um pixel Rea correlação entre um pixel W eum pixel B (etapa S24). Posteriormente, conforme mostrado na Figura 16C,os sinais de dois pixéis R adjacentes ao pixel W são adicionados ao sinal dopixel W, de tal modo que o sinal do pixel W é aproximado por G (= W+2G).Deste modo, conforme mostrado na Figura 16D, cada um dos pixéis G égerado para o arranjo de Bayer (etapa S25).

Entretanto, se na etapa S22, a direção de resolução não édeterminada, cada um dos pixéis R e B é gerado para o arranjo de Bayerusando interpolação de média de quatro pixéis simples usando quatro pixéisadjacentes ao pixel W na direção vertical e na direção horizontal (etapa S26).

Conforme descrito acima, usando o processo de conversão decor Ieo processo de conversão de cor 2 de acordo com a luminância da luzincidente, sinais correspondentes a um arranjo de cor no qual filtros W sãoarranjados em uma configuração em xadrez podem ser convertidos em sinaiscorrespondendo ao arranjo Bayer RGB no chip sensor 11, e os sinais podemser emitidos.

Dois processos de conversão de cor executados em um instantede adição de pixel para captura de imagem móvel são descritos a seguir.Posteriormente, um dos processos de conversão de cor é referido como um"processo de adição de pixel 1" e o outro processo de conversão de cor éreferido como um "processo de adição de pixel 2".

Primeiramente, o processo de adição de pixel 1 é descrito comreferência a um fluxograma mostrado na Figura 17 e ilustrações esquemáticasmostradas nas Figuras 18A a 18D.A adição é efetuada em dois pixéis W diagonalmenteadjacentes um ao outro (etapa S31). Mais especificamente, conformemostrado na Figura 18A, a adição é efetuada em um pixel de interesse e umpixel localizado na direita inferior do pixel de interesse (isto é, um pixel àdireita de uma coluna e abaixo de uma linha). Esta adição pode ser efetuadana estrutura de pixel mostrada na Figura 3, provendo o pulso de transferência(|)TRF aos transistores de transferência 22 dos dois pixéis que são os alvos daadição (os transistores de transferência 22-1 e 22-4 neste exemplo) ao mesmotempo. Deste modo, adição de dois pixéis pode ser efetuada na unidade FD26. Posteriormente, tal adição de pixel é referida como uma "adição FD".

Subseqüentemente, para cada um dos pixéis R, G e B, adição éefetuada em dois pixéis arranjados com um pixel entre eles na direçãodiagonal oposta (etapa S32). Mais especificamente, conforme mostrado naFigura 18B, adição é efetuada em um pixel de interesse e um pixel localizadona esquerda inferior do pixel de interesse com um pixel entre eles (isto é, umpixel à direita por duas colunas e abaixo por duas linhas). Para cada um dospixéis R, G e B, quando a unidade de processamento de coluna 14 mostradana Figura 1 tem uma função de conversão A/D, esta adição pode ser efetuadadurante a conversão A/D.

Mais especificamente, no arranjo de cor mostrado na Figura19, os sinais dos pixéis Bl e Gl são lidos independentemente. Após os sinaisserem convertidos A/D, os sinais dos pixéis B2 e G3 são lidos continuamentee convertidos A/D. Deste modo, adição de dois pixéis pode ser efetuada. Nosentido de executar adição de pixel durante conversão A/D efetuada pelaunidade de processamento de coluna 14, uma técnica existente para converterum sinal de pixel analógico em um sinal de pixel digital usando um contador,pode ser usada (referir-se, por exemplo, à Publicação de Pedido de PatenteJaponesa Não Examinada No. 2006-033454).

Posteriormente, esta adição de pixel efetuada usando umcontador de um conversor A/D é referida como "adição de contador". Quandoa adição de contador é efetuada e se o ganho é modificado em uma base linhaa linha, a relação de adição pode ser variada. Similarmente, adição decontador pode ser efetuada em R pixéis. Notar que, na adição de dois pixéisacima descrita para os pixéis W, adição FD é efetuada entre os pixéis Wl eW2 e entre os pixéis W3 e W4.

Posteriormente, conforme mostrado na Figura 18C, oscomponentes do pixel W são ajustados nos pixéis R, G e B (etapa S33).

Subseqüentemente, o processo de adição de pixel 2 é descritocom referência a um fluxograma mostrado na Figura 20 e ilustraçõesesquemáticas mostradas nas Figuras 21A a 21 D.

Primeiramente, para pixéis W e pixéis G, adição FD é efetuadaentre dois pixéis arranjados nas direções diagonais esquerda superior-direitainferior e direções diagonais direita superior-esquerda inferior,respectivamente. Então, pixéis W, R, G e B são gerados (etapa S41). Maisespecificamente, para os pixéis W, conforme mostrado na Figura 2IA, adiçãoFD é efetuada entre um pixel de interesse e um pixel localizado na direitainferior do pixel de interesse (isto é, um pixel à direita por uma coluna eabaixo por uma linha). Para os pixéis G, conforme mostrado na Figura 21B,adição FD é efetuada entre um pixel de interesse e um pixel localizado naesquerda inferior do pixel de interesse (isto é, um pixel à esquerda por umacoluna e abaixo por uma linha).

Notar que, entre oito pixéis de um bloco de pixéis 4x4, um parde sinais ReB não é usado. Isto é, pixéis R e pixéis B são lidos em umaforma de decimação, sem efetuar adição de pixel. Conseqüentemente, asensibilidade de R e B é diminuída, se comparada com aquela no processo deadição de pixel 1. Conseqüentemente, uma relação S/N de cor é baixa.

Posteriormente, conforme mostrado na Figura 21C, oscomponentes do pixel W são ajustados nos pixéis R, G e B (etapa S42).Subseqüentemente, conforme mostrado na Figura 21 D, quatro pixéis para oarranjo Bayer RGB são gerados (etapa S43). No caso do processo de adiçãode pixel 2, a localização centróide do arranjo de Bayer é ligeiramentedeslocada daquela no processo de adição de pixel 1.

Subseqüentemente, o processo de adição de pixel 3 é descritocom referência a um fluxograma mostrado na Figura 22 e ilustraçõesesquemáticas mostradas nas Figuras 23A a 23D.

Primeiramente, para cada um dos pixéis W, R, G e B, adição éefetuada entre dois pixéis arranjados em uma direção diagonal com um pixelentre eles (etapa S51). Então, conforme mostrado na Figura 23B, um arranjode cor incluindo uma linha de R, W, G, W, ... e a próxima linha de W, G, W,R, ... é obtida após a adição. Posteriormente, conforme mostrado na Figura23C, de uma mesma maneira que no processo em um instante de varreduraplena, pixéis R e B são gerados para o arranjo de Bayer, usando a correlaçãoentre um pixel W e um pixel Rea correlação entre um pixel W e um pixel R(etapa S52).

Conforme descrito acima, usando um dentre o processo deadição de pixel 1, o processo de adição de pixel 2 e o processo de adição depixel 3 quando uma imagem móvel é capturada, sinais correspondentes a umarranjo de cor no qual filtros W são arranjados em uma configuração emxadrez, podem ser convertidos em sinais correspondentes aparelho arranjoBayer RGB no chip sensor 11, e os sinais podem ser emitidos.

Processos de conversão de cor para codificação de cor deacordo com o segundo a nono exemplos são descritos abaixo. Em muitoscasos, a seqüência de processo é similar à do primeiro exemplo.

Codificação de Cor de Acordo com o Segundo Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito com referência a ilustrações esquemáticas mostradas nasFiguras 24A a 24D. Em um arranjo de cor de um bloco de pixel 4x4 deacordo com o segundo exemplo da primeira realização típica mostrada naFigura 24A, os componentes de pixéis W arranjados em uma configuração emxadrez são expandidos em pixéis de todas as cores, usando a direção deresolução, conforme mostrado na Figura 24B. Subseqüentemente, conformemostrado na Figura 24C, os pixéis W são substituídos por pixéis G usandouma correlação entre um pixel W e um pixel G. Posteriormente, conformemostrado na Figura 24D, pixéis R e B são gerados para o arranjo Bayer RGBusando uma correlação entre um pixel W e um pixel R e uma correlação entreum pixel W e um pixel B.

O processo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 25A a 25D.Conforme mostrado nas Figuras 25A e 25B, para um pixel W e um pixel G,adição FD é efetuada entre dois pixéis localizados nas direções diagonaisdireita inferior-esquerda superior e direções diagonais esquerda inferior-direita superior, respectivamente. Então, pixéis W, R, G e B são gerados.Posteriormente, conforme mostrado na Figura 25C, os componentes dospixéis W são ajustados nos pixéis R, G e B. então, conforme mostrado naFigura 25D, quatro pixéis para o arranjo Bayer RGB são gerados.

Codificação de Cor de Acordo com o Terceiro Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito com referência a ilustrações esquemáticas mostradas nasFiguras 26A a 26D. Em um arranjo de cor de um bloco de pixel 4x4 deacordo com o terceiro exemplo da primeira realização típica mostrada naFigura 26A, os componentes de pixéis W arranjados em uma configuração emxadrez, são expandidos em pixéis de todas as cores, usando a direção deresolução, conforme mostrado na Figura 26B. Subseqüentemente, conformemostrado na Figura 26C, os pixéis W são substituídos por pixéis G, usandouma correlação entre um pixel W e um pixel G. Posteriormente, conformemostrado na Figura 26D, pixéis R e B são gerados para o arranjo Bayer RGBusando uma correlação entre um pixel W e um pixel R e uma correlação entreum pixel W e um pixel B.

O processo de adição de pixel é descrito a seguir, comreferência a ilustrações esquemáticas mostradas nas Figuras 27A a 27E.conforme mostrado nas Figuras 27A e 27B, para pixéis W, R, G e B e pixéisB, adição FD de diagonal esquerda superior e direita superior é efetuada.Então, cores W, Cy (ciano), G e Ye (amarelo) são geradas. Posteriormente,conforme mostrado na Figura 27C, o arranjo de Bayer é gerado computandoB = W-YeeR = W- Cy. Naquele instante, embora as relações S/N dascores BeR sejam degradadas devido às operações de subtração, areprodutibilidade das cores é aumentada. Posteriormente, conforme mostradona Figura 27D, os componentes dos pixéis W são ajustados nos pixéis R, G eB. Então, conforme mostrado na Figura 27E, quatro pixéis para o arranjoBayer RGB são gerados.

Codificação de Cor de Acordo com o Quarto Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito primeiramente com referência a ilustrações esquemáticasmostradas nas Figuras 28A a 28D. Em um arranjo de cor de um bloco de pixel4x4 de acordo com o quarto exemplo da primeira realização típica mostradana Figura 28A, os componentes de pixéis W arranjados em uma configuraçãoem xadrez, são expandidos em pixéis de todas as cores, usando a direção deresolução, conforme mostrado na Figura 28B. Subseqüentemente, conformemostrado na Figura 28C, os pixéis W são substituídos por pixéis G usandouma correlação entre um pixel W e um pixel G. Posteriormente, conformemostrado na Figura 28D, pixéis R e B são gerados para o arranjo Bayer RGBusando uma correlação entre um pixel W e um pixel R e uma correlação entreum pixel W e um pixel B.

Os quatro tipos de adição de pixel podem ser usados. Oprimeiro tipo de adição de pixel é descrito a seguir com referência ailustrações esquemáticas mostradas nas Figuras 29A a 29F.

Conforme mostrado nas Figuras 29A e 29B, para pixéis R e B,adição é efetuada em pixéis alternados arranjados nas direções diagonaisesquerda superior-dirieta inferior e direções diagonais direita superior-esquerda inferior. Então, cores W, Cy e Ye são geradas. Posteriormente,conforme mostrado na Figura 29C, cada um dos componentes Cy e Ye éexpandido em todos os pixéis. Subseqüentemente, conforme mostrado naFigura 29D, as seguintes equações G = Cy + Ye-W, B = W- Ye e R = W -Cy são computadas. Conforme mostrado na Figura 29E, os componentes dospixéis W são então ajustados nos pixéis R, G e B. Então, conforme mostradona Figura 29F, quatro pixéis para o arranjo Bayer RGB são gerados.

O segundo tipo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 3 OA a 3OD.Conforme mostrado na Figura 30A para pixéis R e pixéis B, adição é efetuadaentre dois pixéis alternados arranjados nas direções diagonais esquerdasuperior-direita inferior e direções diagonais direita superior-esquerdainferior, respectivamente. Para pixéis G, um valor médio do valor Glocalizado no centro e quatro pixéis G localizados imediatamente acima eabaixo do pixel central e à esquerda e direita do pixel central, é computado.Para pixéis W conforme mostrado na Figura 30B, adição FD diagonal éefetuada. Conforme mostrado na Figura 3OC, os componentes dos pixéis Wsão então ajustados nos pixéis R, G e B. Então, conforme mostrado na Figura30D, quatro pixéis para o arranjo Bayer RGB são gerados.

O terceiro tipo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 31A a 31C.Conforme mostrado na Figura 31A para pixéis W, a adição é efetuada entredois pixéis diagonalmente adjacentes. Para cada um dos pixéis R, G e B, aadição é efetuada entre dois pixéis alternados arranjados em uma direçãodiagonal. Conseqüentemente, um arranjo de cor conforme mostrado na Figura31B é obtido. Subseqüentemente, os componentes dos pixéis W são entãoajustados nos pixéis R, G e B. Então, conforme mostrado na Figura 31C,quatro pixéis para o arranjo Bayer RGB são gerados.

O quarto tipo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 32A a 32D.Conforme mostrado na Figura 32A para cada um dos pixéis W, R, G e Badição FD de dois pixéis em diagonal com um pixel entre eles é efetuada.Posteriormente, combinando os sinais dos pixéis W arranjados em umaconfiguração em xadrez baseada em duas linhas, um arranjo de cor incluindouma configuração em xadrez W, pode ser obtido, conforme mostrado naFigura 32B. Subseqüentemente, como no processo efetuado no instante devarredura plena, os pixéis W são substituídos por pixéis G usando umacorrelação entre um pixel W e um pixel G, conforme mostrado na Figura 32C.Posteriormente, conforme mostrado na Figura 32D, pixéis R e B são geradospara o arranjo Bayer RGB usando uma correlação entre um pixel W e umpixel R e uma correlação entre um pixel W e um pixel B.

Codificação de Cor de Acordo com o Quinto Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito primeiramente com referência a ilustrações esquemáticasmostradas nas Figuras 33A a 33D. Em um arranjo de cor de um bloco de pixel4x4 de acordo com o quinto exemplo da primeira realização típica mostradana Figura 33A, os componentes de pixéis W arranjados em uma configuraçãoem xadrez, são expandidos em pixéis de todas as cores, usando a direção deresolução, conforme mostrado na Figura 33B. Subseqüentemente, conformemostrado na Figura 33C, os componentes de cada um dos pixéis R e B sãoexpandidos em todos os pixéis, usando uma correlação entre um pixel W e umpixel R e uma correlação entre um pixel W e um pixel B. Posteriormente, aseguinte equação: G = W- R- Bé computada. Os componentes dos pixéisW são ajustados em todos os pixéis. Então, conforme mostrado na Figura33D, quatro pixéis para o arranjo Bayer RGB são gerados. A adição de pixel édescrita a seguir com referência a ilustrações esquemáticas mostradas nasFiguras 34A a 34E. Conforme mostrado na Figura 34A, as localizaçõescentróides de pixéis R, G e B são alinhadas. Os sinais de pixéis R sãosomados. Os sinais de pixéis G são somados, e os sinais de pixéis B sãosomados. Subseqüentemente, conforme mostrado na Figura 34B, sinais G sãogerados computando a seguinte equação: G = W-R-B. Posteriormente,conforme mostrado na Figura 34C, a adição de quatro pixéis de direçãodiagonal é executada para os pixéis B, e adição de cinco pixéis para cima epara baixo, para a esquerda e para a direita é efetuada para os pixéis R. Então,os pixéis R e os pixéis B são gerados. Finalmente, conforme mostrado naFigura 34D, quatro pixéis para o arranjo Bayer RGB são gerados.

Codificação de Cor de Acordo com o Sexto Exemplo daPrimeira Realização Típica

Um processo de conversão de cor 1 em um instante devarredura plena é descrito primeiramente com referência a ilustraçõesesquemáticas mostradas nas Figuras 35A a 35D. Em um arranjo de cor de umbloco de pixel 4x4 de acordo com o sexto exemplo da primeira realizaçãotípica mostrada na Figura 35A, os componentes de pixéis W arranjados emuma configuração em xadrez, são expandidos em pixéis de todas as cores,usando a direção de resolução, conforme mostrado na Figura 35B.Subseqüentemente, conforme mostrado na Figura 35C, os pixéis W sãosubstituídos por pixéis G, usando uma correlação entre um pixel W e um pixelG. Posteriormente, conforme mostrado na Figura 35D, pixéis R e B sãogerados para o arranjo Bayer RGB usando uma correlação entre um pixel W eum pixel R e uma correlação entre um pixel W e um pixel B.

Um processo de conversão de cor 2 em um instante devarredura plena é descrito a seguir com referência a ilustrações esquemáticasmostradas nas Figuras 36A a 36D. Como o processo de conversão de cor 1,em um arranjo de cor de um bloco de pixel 4x4 de acordo com o sextoexemplo da primeira realização típica, os componentes de pixéis Warranjados em uma configuração em xadrez, são expandidos em pixéis detodas as cores, usando a direção de resolução, conforme mostrado na Figura36A. Subseqüentemente, conforme mostrado na Figura 36B, pixéis R e B sãogerados usando uma correlação entre um pixel W e um pixel R e umacorrelação entre um pixel W e um pixel B. Posteriormente, conformemostrado na Figura 36C, os sinais de dois pixéis G, adjacentes ao pixel W sãoadicionados ao sinal do pixel W, de modo a serem aproximados para G (= W+ 2G). Deste modo, conforme mostrado na Figura 36D, cada um dos pixel R eB é gerado para o arranjo de Bayer. Naquele instante, se a direção éencontrada, a relação de adição pode ser mudada dinamicamente.

O processo de adição de pixel 1 é descrito a seguir comreferência às Figuras 37A a 37D. Conforme mostrado nas Figuras 37A e 37B,adição FD diagonal esquerda superior e direita superior é efetuada para umpixel W e cada um dos pixéis R, G e B. Então, pixéis W, R, G e B sãogerados. Posteriormente, conforme mostrado na Figura 37C, os componentesdo pixel W são ajustados em cada um dos pixéis. Deste modo, conformemostrado na Figura 37D, quatro pixéis para o arranjo Bayer RGB são gerados.

Um processo de adição de pixel 2 é descrito a seguir comreferência às Figuras 38A a 38D. Conforme mostrado nas Figuras 38A e 38B,adição FD diagonal esquerda superior e direita superior é efetuada para umpixel W e cada um dos pixéis R, G e B. Então, pixéis W, R, G e B sãogerados. Posteriormente, conforme mostrado na Figura 38C, os componentesdo pixel W são ajustados em cada um dos pixéis ReB. Deste modo,conforme mostrado na Figura 38D, quatro pixéis para o arranjo Bayer RGBsão gerados.

Codificação de Cor de Acordo com o Sétimo Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante devarredura plena é descrito primeiramente com referência a ilustraçõesesquemáticas mostradas nas Figuras 39A a 39D. Em um arranjo de cor de umbloco de pixel 4x4 de acordo com o sétimo exemplo da primeira realizaçãotípica mostrada na Figura 39A, os componentes de pixéis W arranjados emuma configuração em xadrez, são expandidos em pixéis ReB, usando adireção de resolução, conforme mostrado na Figura 39B. Subseqüentemente,conforme mostrado na Figura 39C, os pixéis W são substituídos por pixéis Re B, usando uma correlação entre um pixel W e um pixel R e uma correlaçãoentre um pixel W e um pixel B. Então, conforme mostrado na Figura 39D,quatro pixéis para o arranjo Bayer RGB são gerados.

Um processo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 40A a 40E.Conforme mostrado na Figura 40A, para pixéis R e pixéis B a adição éefetuada entre dois pixéis alternados arranjados nas direções diagonaisesquerda superior-direita inferior e direções diagonais direita superior-esquerda inferior, respectivamente. Então, conforme mostrado na Figura 40B,pixéis 2R e 2E são gerados. Posteriormente, conforme mostrado na Figura40C, adição em forma de diamante diagonal é efetuada em pixéis G. Então,conforme mostrado na Figura 40D, pixéis 4G são gerados. Subseqüentemente,Gw, Rw e Bw são adicionados aos pixéis W usando uma correlação entre umpixel W e um pixel R, uma correlação entre um pixel W e um pixel B e umacorrelação entre um pixel W e um pixel B. deste modo, conforme mostradonana Figura 40E, quatro pixéis para arranjo Bayer RGB são gerados.

Codificação de Cor de Acordo com o Oitavo Exemplo'daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito com referência a ilustrações esquemáticas mostradas nasFiguras 41A a 41 D. Em um arranjo de cor de um bloco de pixel 4x4 deacordo com o oitavo exemplo da primeira realização típica mostrada naFigura 4IA, os componentes de pixéis W são expandidos em pixéis G e W demodo a serem arranjados em uma configuração em xadrez usando a direçãode resolução, conforme mostrado na Figura 41B. Subseqüentemente,conforme mostrado na Figura 41C, os componentes dos pixéis W sãoajustados nos pixéis G. Então, conforme mostrado na Figura 41 D, quatropixéis para o arranjo Bayer RGB são gerados.

O processo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas nas Figuras 42A a 42D. Conformemostrado na Figura 42A, as localizações centróides de pixéis GeW sãoalinhadas. Os sinais de pixéis G são somados, e os sinais de pixéis W sãosomados. Subseqüentemente, conforme mostrado na Figura 42B, oscomponentes dos pixéis W são ajustados nos pixéis G. Então, G = G + Gw égerado posteriormente, conforme mostrado na Figura 42C, adição de quatropixéis de direção diagonal é efetuada para os pixéis B, e adição de cincopixéis para cima e para baixo para a esquerda e para a direita é efetuada paraos pixéis R. Então, conforme mostrado na Figura 42D, quatro pixéis para oarranjo Bayer RGB são gerados.

Codificação de Cor de Acordo com o Nono Exemplo daPrimeira Realização Típica

Um processo de conversão de cor em um instante de varreduraplena é descrito com referência a ilustrações esquemáticas mostradas nasFiguras 43A a 43C. Em um arranjo de cor de um bloco de pixel 4x4 de acordocom o nono exemplo da primeira realização típica mostrada na Figura 43 A, oscomponentes de pixéis G são expandidos em pixéis ReB, usando a direçãode resolução, conforme mostrado na Figura 43B. Subseqüentemente,conforme mostrado na Figura 43C, quatro pixéis para o arranjo Bayer RGBsão gerados usando uma correlação entre um pixel G e um pixel R e umacorrelação entre um pixel G e um pixel B.

O processo de adição de pixel é descrito a seguir comreferência a ilustrações esquemáticas mostradas nas Figuras 44A e 44B.Conforme mostrado na Figura 44A, adição FD é efetuada nos sinais dosquatro pixéis de um bloco de pixel 2x2 da mesma cor. Finalmente, conformemostrado na Figura 44B, quatro pixéis para o arranjo Bayer RGB são gerados.

2. Segunda Realização Típica

Uma segunda realização típica é descrita a seguir comreferência aos desenhos que a acompanham.

Configuração de Sistema

Figura 1 é uma ilustração esquemática de uma configuração desistema típica de uma sensor de imagem CMOS, que é um exemplo de umdispositivo de formação de imagem em estado sólido (um dispositivo deformação de imagem em estado sólido de endereçamento X-Y) de acordocom uma segunda realização típica baseada na primeira realização típica.

Conforme mostrado na Figura 1, cada um dos sensores deimagem CMOS 10, 10A, 10B, ... inclui um substrato semicondutor(posteriormente também referido como um "chip sensor") 11, uma unidade dearranjo de pixel 12, uma unidade de acionamento vertical 13, uma unidade deprocessamento de coluna 14, uma unidade de acionamento horizontal 15, umaunidade de processamento de conversão 16, uma unidade de controle desistema 17 e um arranjo de filtro de cor 30 (unidade de filtro de cor).Conforme mostrado na Figura 2, um pixel unitário 20 inclui um fotodiodo 21,um transistor de transferência 22, um transistor de restabelecimento 23, umtransistor de amplificação 24 e um transistor de seleção 25, e uma unidade dedifusão flutuante (FD) 26. Um numerai de referência "40" denota um circuitoDSP.

De acordo com a presente realização, no sensor de imagemCMOS 10A, a unidade de arranjo de pixel 12 é formada no substratosemicondutor (o chip sensor) 11. Em adição, uma unidade de circuitoperiférico é integrada no substrato semicondutor 11 possuindo a unidade dearranjo de pixel 12 formada nele. Por exemplo, a unidade de circuitoperiférico inclui a unidade de acionamento vertical 13, a unidade deprocessamento de coluna 14, a unidade de acionamento horizontal 15, aunidade de processamento de conversão 16 e a unidade de controle desistema 17.

A unidade de arranjo de pixel 12 inclui diversos pixéisunitários (não mostrados), cada um incluindo um elemento de conversãofotoelétrico, arranjados bidimensionalmente em um arranjo. O pixel unitário(posteriormente também simplesmente referido como um "pixel") convertefotoeletricamente luz visível incidente nele em carga elétrica, de acordo com aintensidade da luz visível. O arranjo de filtro de cor 30 é provido na unidadede arranjo de pixel 12 do lado de uma superfície receptora de luz (umasuperfície de luz incidente). Uma das características chave da presenterealização típica é a codificação de cor do arranjo de filtro de cor 30. Acodificação de cor do arranjo de filtro de cor 30 é descrita em mais detalheabaixo.

Adicionalmente, na unidade de arranjo de pixel 12, uma linhade acionamento de pixel 18 é disposta na direção esquerda-direita da Figura 1(uma direção na qual os pixéis de uma linha de pixéis são arranjados, ou adireção horizontal) para cada uma das linhas do arranjo de pixéis.Similarmente, uma linha de sinal vertical 19 é disposta na direção para cima-para baixo da Figura 1 (uma direção na qual os pixéis de uma coluna de pixéissão arranjados, ou a direção vertical) para cada uma das colunas do arranjo depixéis. Na Figura 1, embora somente uma linha de acionamento de pixel 18seja ilustrada, o número de linhas de acionamento de pixel 18 não estálimitado a 1. Uma extremidade da linha de acionamento de pixel 18 éconectada a um terminal de saída correspondente a uma das linhas da unidadede acionamento vertical 13.

Por exemplo, a unidade de acionamento vertical 13 inclui umregistro de deslocamento e um decodificador de endereço. Embora aconfiguração detalhada desta não seja mostrada na Figura 1, a unidade deacionamento vertical 13 inclui um sistema de exploração de leitura e umsistema de exploração de varredura. O sistema de exploração de leituraexplora seqüencialmente os pixéis unitários a partir dos quais os sinais sãolidos em uma base de linha por linha.

Em contraste, antes da operação de exploração de leitura dalinha de leitura efetuada pelo sistema de exploração de leitura pelo tempodeterminado por uma velocidade de obturador, o sistema de exploração devarredura efetua exploração de varredura de tal modo que carga elétricadesnecessária é varrida (reiniciada) fora dos elementos de conversãofotoelétrica dos pixéis unitários na linha de leitura. Varrendo (reiniciando) acarga elétrica desnecessária usando o sistema de exploração de varredura,uma assim chamada operação de obturador eletrônico é efetuada. Isto é, naoperação de obturador eletrônico, a carga elétrica luminosa do elemento deconversão fotoelétrica é descartada, e uma nova operação de exposição(acumulação de carga elétrica luminosa) é iniciada.

Um exemplo do processamento de sinal efetuado pela unidadede processamento de coluna 14 é um processo de dupla amostragemcorrelacionada (CDS). No processo CDS, o nível de reinicialização e o nívelde sinal emitido a partir de cada um dos pixéis na linha selecionada sãorecuperados, e a diferença entre os níveis é computada. Então, um sinal dospixéis na linha selecionada é obtido. Em adição, ruído de configuração fixados pixéis é removido. A unidade de processamento de coluna 14 pode teruma função de conversão analógica para digital (A/D) para converter o sinalde pixel analógico em um formato digital.

A unidade de processamento de conversão 16 executacomputação e converte sinais correspondentes ao arranjo de cor do arranjo defiltro de cor 30 (a unidade de filtro de cor) e emite a partir dos pixéis daunidade de arranjo de pixel 12, via unidade de processamento de coluna 14,em sinais correspondentes ao arranjo de Bayer. Uma outra das característicaschave da presente realização é que a unidade de processamento de conversão16 é montada no substrato sobre o qual a unidade de arranjo de pixel 12 éformada, isto é, o chip sensor 11, um processo de conversão de cor é efetuadono chip sensor lie um sinal correspondente ao arranjo de Bayer é emitido apartir do chip sensor 11. O processo de conversão de cor efetuado pelaunidade de processamento de conversão 16 é descrito em mais detalhe abaixo.

Conforme usado amplamente, o termo "arranjo de Bayer"representa um arranjo de cor no qual uma cor servindo como um componentede informação de cor primária de um sinal de luminância para alta resolução éarranjado em uma configuração em xadrez, e as outras duas cores servindocomo componentes de informação de cor do sinal de luminância pararesolução não tal alta, são arranjadas na outra área da configuração em xadrez.Em uma forma de codificação de cor básica para o arranjo de Bayer, verde(G) que possui alta contribuição do sinal de luminância é arranjado em umaconfiguração em xadrez, e vermelho (R) e azul (B) são arranjados na outraárea da configuração em xadrez.

A unidade de controle de sistema 17 recebe um relógioprovido de fora do chip sensor 11 e dados para indicar um modo deoperação. Em adição, a unidade de controle de sistema 17 emite dadosrepresentando informação interna do sensor de imagem CMOS 10. Aindamais, a unidade de controle de sistema 17 inclui um gerador detemporização que gera uma variedade de sinais de temporização. Aunidade de controle de sistema 17 controla acionamento da unidade deacionamento vertical 13, unidade de processamento de coluna 14, unidadede acionamento horizontal 15, unidade de processamento de conversão16, usando a variedade de sinais de temporização gerados pelo gerador detemporização.Configuração de Circuito do Pixel Unitário

Um eletrodo anodo do fotodiodo 21 é conectado a uma fontede alimentação negativa (por exemplo, a terra). O fotodiodo 21 convertefotoeletricamente a luz recebida em foto cargas (fotoelétrons nesta realizaçãotípica) de acordo com a quantidade de luz recebida. Um eletrodo catodo dofotodiodo 21 é conectado ao eletrodo de porta do transistor de amplificação24 via transistor de transferência 22. Um nó 26 eletricamente conectado aoeletrodo de porta do transistor de amplificação 24 é referido como uma"unidade de difusão flutuante (FD)".O transistor de transferência 22 é conectado entre o eletrodocatodo do fotodiodo 21 e a unidade FD 26. Quando um pulso de transferência(J)TRF possuindo um nível alto ativo (por exemplo, um nível Vdd)(posteriormente referido como um "pulso de transferência ativo alto") éfornecido a um eletrodo de porta do transistor de transferência 22, via linha detransferência 181, o transistor de transferência 22 é acionado. Então, otransistor de transferência 22 transfere as foto cargas convertidasfotoeletricamente pelo fotodiodo 21 para a unidade FD 26.

Um eletrodo de dreno do transistor de restabelecimento 23 éconectado a uma fonte de alimentação de pixel Vdd. O eletrodo fonte dotransistor de restabelecimento 23 é conectado à unidade FD 26. Antes dacarga de sinal ser transferida do fotodiodo 21 para a unidade FD 26, um pulsode restabelecimento ativo alto <|)RST é fornecido a um eletrodo de porta dotransistor de restabelecimento 23, via linha de restabelecimento 182. Quandoo pulso de restabelecimento (J)RST é fornecido ao transistor derestabelecimento 23, o transistor de restabelecimento 23 é acionado. Então, otransistor de restabelecimento 23 reinicia a unidade FD 26 descartando acarga elétrica da unidade FD 26 para a fonte de alimentação de pixel Vdd. Oeletrodo de porta do transistor de amplificação 24 é conectado à unidade FD26. Um eletrodo de dreno do transistor de amplificação 24 é conectado à fontede alimentação de pixel Vdd. Após a unidade FD 26 ser reiniciada pelotransistor de restabelecimento 23, o transistor de amplificação 24 emite opotencial da unidade FD 26 na forma de um sinal de restabelecimento (umnível de restabelecimento) Vrest. Em adição, após a carga de sinal sertransferida pelo transistor de transferência 22, o transistor de amplificação 24emite o potencial da unidade FD 26 na forma de um sinal de acumulação deluz (um nível de sinal) Vsig.

Por exemplo, um eletrodo de dreno do transistor de seleção 25é conectado ao eletrodo fonte do transistor de amplificação 24. O eletrodofonte do transistor de seleção 25 é conectado à linha de sinal vertical 17.Quando um pulso de seleção ativo alto (|)SEL é fornecido ao eletrodo de portado transistor de seleção 25 via linha de seleção 163, o transistor de seleção 25é acionado. Então, o transistor de seleção 25 faz com que o pixel unitário 20entre em um modo selecionado, de tal modo que um sinal emitido a partir dotransistor de amplificação 24 seja comutado para a linha de sinal vertical 17.

Isto é, um dos eletrodos do transistor de transferência 22-1, umdos eletrodos do transistor de transferência 22-2, um dos eletrodos dotransistor de transferência 22-3 e um dos eletrodos do transistor detransferência 22-4 são conectados ao eletrodo de catodo do fotodiodo 21-1, oeletrodo de catodo do fotodiodo 21-2, o eletrodo de catodo do fotodiodo 21-3,e o eletrodo de catodo do fotodiodo 21-4, respectivamente. O outro eletrododo transistor de transferência 22-1, o outro eletrodo do transistor detransferência 22-2, o outro eletrodo do transistor de transferência 22-3, e ooutro eletrodo do transistor de transferência 22-4 são comumente conectadosao eletrodo de porta do transistor de amplificação 24. Em adição, a unidadeFD 26 que é compartilhada pelos fotodiodos 21-1, 21-2, 21-3 e 21-4 éeletricamente conectada ao eletrodo de porta do transistor de amplificação 24.O eletrodo de dreno do transistor de restabelecimento 23 é conectado à fontede alimentação de pixel Vdd, e o eletrodo fonte do transistor derestabelecimento 23 é conectado à unidade FD 26.

Na estrutura de pixel acima descrita que suporta a adição depixel para quatro pixéis vizinhos, provendo o pulso de transferência (J)TRF aoquatro transistores de transferência 22-1, 22-2, 22-3 e 22-4 ao mesmo tempo,adição de pixel para quatro pixéis vizinhos pode ser efetuada. Isto é, as cargasde sinal transferidas dos fotodiodos 21 -1, 21 -2, 21 -3 e 21 -4 para a unidade FD26 pelos quatro transistores de transferência 22-1, 22-2, 22-3 e 22-4 sãosomadas pela unidade FD 26.

Codificação de Cor do Arranjo de Filtro de Cor

A codificação de cor do arranjo de filtro de cor 30 que é umadas características da presente realização típica é descrita a seguir.

De acordo com a presente realização típica, o arranjo de filtrode cor 30 emprega codificação de cor na qual filtros de uma primeira corservindo como um dos componentes de informação de cor primária de umsinal de luminância, são arranjados em uma configuração em xadrez. Emadição, filtros de uma segunda cor dos componentes de informação de corprimária para uma série de quatro pixéis formam um grupo, e os grupos sãoarranjados de modo a formar uma configuração em tira em uma de umadireção diagonal, direção vertical e uma direção horizontal. Na presenterealização, os filtros de uma primeira cor e uma segunda cor das coresprimárias de um sinal de luminância são, por exemplo, um filtro W e um filtroG.

Os filtros de cores WeG que são componentes primários deum sinal de luminância possuem sensibilidades mais altas que as de filtros deoutras cores (mais especificamente, filtros R e B). Em particular, o filtro Wpossui sensibilidade de cerca de duas vezes a do filtro G. Conseqüentemente,arranjando os filtros WeG (em particular, os filtros W) em uma configuraçãoem xadrez, a sensibilidade (a relação S/N) pode ser aumentada. Entretanto,uma vez que um filtro W contém várias informações de cor, uma cor falsa queé diferente da cor original de um assunto tende a aparecer. Em contraste,embora um filtro G tenha sensibilidade mais baixa que a de um filtro W, umfiltro G produz poucas cores falsas. Isto é, há um compromisso entre asensibilidade e geração de uma cor falsa.

Quando filtros W são arranjados em uma configuração emxadrez para a cor primária, filtros R, G e B são arranjados nas outras áreas daconfiguração em xadrez para os outros componentes de informação de cor.Em contraste, quando filtros G são arranjados em uma configuração emxadrez para a cor primária, filtros R e B são arranjados nas outras áreas daconfiguração em xadrez para os outros componentes de informação de cor.

Deste modo, usando, para o arranjo de filtro de cor 30,codificação de cor na qual filtros W para a cor primária de um sinal deluminância são arranjados em uma configuração em xadrez, a sensibilidadedo sensor de imagem CMOS 10 pode ser aumentada, uma vez que o filtro Wtem uma sensibilidade mais alta que um filtro de uma outra cor. Em contraste,usando, para o arranjo de filtro de cor 30, codificação de cor na qual filtros Gpara a cor primária de um sinal de luminância são arranjados em umaconfiguração em xadrez, a reprodutibilidade de cor do sensor de imagemCMOS 10 pode ser aumentada, uma vez que o filtro G produz poucas coresfalsas.

Em adição, no sensor de imagem CMOS IOA de acordo com apresente realização, quando o arranjo de filtro de cor 30 usando um dosmétodos de codificação de cor é usado, um sinal correspondente ao arranjo decor é convertido em um sinal correspondente ao arranjo de Bayer pelo chipsensor 11. Naquele instante, uma vez que a cor servindo como componenteprimário de um sinal de luminância é arranjado em uma configuração emxadrez, sinais de outras cores de pixéis adjacentes à cor na direção vertical ena direção horizontal podem ser restaurados usando o sinal da cor servindocomo componente primário de um sinal de luminância. Conseqüentemente, aeficiência de conversão de cor executada pela unidade de processamento deconversão 16 pode ser aumentada.

Em adição, emitindo o sinal correspondente ao arranjo deBayer para o chip sensor 11, um DSP existente para o arranjo de Bayer podeser usado como uma unidade de processamento de sinal a jusante.Basicamente, o DSP para o arranjo de Bayer gera um sinal de luminância Y edois sinais de diferença de cor U(B-Y) e V(R-Y) usando o sinal emitido apartir do chip sensor 11 e correspondente ao arranjo de Bayer.

Deste modo, uma vez que um DSP existente para o arranjo deBayer pode ser usado, o desenvolvimento de um novo DSP que ésignificativamente dispendioso, não é necessário, mesmo quando acodificação de cor do arranjo de filtro de cor 30 é modificada.Conseqüentemente, um módulo de câmera incluindo um DSP pode serproduzido a um baixo custo. Como resultado, o uso amplo do arranjo de filtrode cor 30 usando, em particular, um filtro W, pode ser esperado.

Exemplos de Codificação de Cor do Arranjo de Filtro de Cor

Exemplos de codificação de cor que facilitam a conversão deum sinal correspondente para um arranjo de cor no qual filtros de uma corservindo como um componente primário de um sinal de luminância sãoarranjados em uma configuração em xadrez para um sinal correspondente aum arranjo Bayer RGB, são descritos em detalhe abaixo.

Primeiro Exemplo da Segunda Realização Típica

Figura 45 é um diagrama de arranjos de cor ilustrandocodificação de cor de acordo com um primeiro exemplo da segundarealização típica. Conforme mostrado na Figura 45, na codificação de cor deacordo com o primeiro exemplo da segunda realização típica, filtros W sãoarranjados em uma configuração em xadrez. Em adição, filtros R sãoarranjados em uma configuração em xadrez a um passo de dois pixéis nadireção vertical e na direção horizontal. Similarmente, filtros B são arranjadosem uma configuração em xadrez a um passo de dois pixéis na direção verticale na direção horizontal. Ainda mais, um dos filtros R é diagonalmentedeslocado de um dos filtros B de um pixel. Em adição, filtros G sãoarranjados na outra área da configuração em xadrez.

Mais especificamente, em um arranjo incluindo quatro pixéisem cada das direções vertical e horizontal, filtros W são arranjados em umaconfiguração em xadrez. Filtros R são arranjados na segunda linha e primeiracoluna e na quarta linha e terceira coluna. Filtros B são arranjados na primeiralinha e segunda coluna e na terceira linha e quarta coluna. Este arranjo é aconfiguração em xadrez possuindo um passo de dois pixéis. Em adição, filtrosG são arranjados na outra área da configuração em xadrez. Naquele instante,os filtros G formam uma configuração em tira diagonal.

Segundo Exemplo da Segunda Realização Típica

Figura 46 é um diagrama de arranjos de cor ilustrandocodificação de cor de acordo com um segundo exemplo da segunda realizaçãotípica. Conforme mostrado na Figura 46, na codificação de cor de acordo como segundo exemplo da segunda realização típica, filtros W são arranjados emuma configuração em xadrez. Filtros R são arranjados em quadrado em umaconfiguração em xadrez a um passo de quatro pixéis na direção vertical e nadireção horizontal. Similarmente, filtros B são arranjados em quadrado emuma configuração em xadrez a um passo de quatro pixéis na direção vertical ena direção horizontal. Em adição, os filtros R e os filtros B são diagonalmentedeslocados um do outro de dois pixéis. Em adição, filtros G são arranjados naoutra área da configuração em xadrez.

Mais especificamente, em um arranjo incluindo quatro pixéisem cada das direções vertical e horizontal, filtros W são arranjados em umaconfiguração em xadrez. Filtros R são dispostos na terceira linha e quartacoluna. Filtros B são dispostos na primeira linha e segunda coluna e nasegunda linha e primeira coluna. Este arranjo é o arranjo quadrado possuindoum passo de quatro pixéis na direção vertical e na direção horizontal, filtros Gsão arranjados na outra área da configuração em xadrez. Naquele instante, osfiltros G formam uma configuração em tira diagonal.Os métodos de codificação de cor de acordo com o primeiro esegundo exemplos acima descritos usam um arranjo de cor no qual filtros Wpossuindo uma cor servindo como uma componente primária de um sinal deluminância que maximiza o nível de saída, são arranjados em umaconfiguração em xadrez. Uma vez que os filtros W que incluem componentesde cor, R, G e B são arranjados em uma configuração em xadrez, a precisãode conversão em sinais correspondentes ao arranjo Bayer RGB pode seraumentada.

A característica chave destes métodos de codificação de cor éque, se os filtros W são substituídos por filtros G durante o processo deconversão de cor descrito abaixo, as localizações dos filtros ReB sãoparcialmente coincidentes com as dos filtros R e B do arranjo de Bayer. Emadição, para as localizações nas quais as cores não são coincidentes,informação relacionada a pixéis dos filtros W pode ser usada. Então,informação de pixéis ReB pode ser restaurada. Como um resultado,eficiência de conversão pode ser significativamente aumentada.

Em adição, a característica chave dos métodos de codificaçãode cor de acordo com o primeiro e segundo exemplos da segunda realizaçãotípica é que os filtros W são arranjados em uma configuração em xadrez, euma série de quatro filtros G arranjados em uma direção diagonal aparecerepetidamente, de tal modo que uma configuração em tira diagonal é formada.

Em tais métodos de codificação de cor, somando os sinais de pixéis de umfiltro G adjacente a um pixel de um filtro W ao sinal do filtro W, e usando asoma como um componente primário de um sinal de luminância, aintensidade do sinal de luminância pode ser aumentada. Conseqüentemente, asensibilidade (a relação S/N) pode ser aumentada. Em particular, no métodode codificação de cor de acordo com o primeiro exemplo, os filtros R sãoarranjados em uma configuração em xadrez a um passo de dois pixéis nadireção vertical e na direção horizontal. Em adição, cada um dos filtros R édiagonalmente deslocado dos filtros B de um pixel. Conseqüentemente, aeficiência de conversão em um sinal correspondente ao arranjo de Bayer podeser aumentada.

Nos métodos de codificação de cor de acordo com o primeiro esegundo exemplos da segunda realização, uma série de quatro filtros Garranjados em uma direção diagonal ocorre repetidamente, de tal modo queuma configuração em tira diagonal é formada. Conseqüentemente, em taismétodos de codificação de cor, adicionando o sinal de um pixel G ou os sinaisde pixéis G adjacentes a um pixel W dado ao sinal do pixel W, e usando osinal de soma como um componente primário de um sinal de luminância, umaalta sensibilidade (uma alta relação S/N) pode ser provida, sem decréscimo naresolução. Esta vantagem pode ser provida, não só quando uma série dequatro filtros G arranjados em uma direção diagonal aparece repetidamente,de tal modo que uma configuração em tira diagonal é formada, como tambémquando uma série de quatro filtros G arranjados na direção vertical ou direçãohorizontal aparece repetidamente, de tal modo que uma configuração em tira éformada.

Relação de Sensibilidade W:G:R:B

No sentido de ajustar a relação de sensibilidade, técnicas decontrole de exposição amplamente usadas podem ser usadas. Maisespecificamente, ajustando o tamanho de uma micro lente no chip, providafora do arranjo de filtro de cor 30 para cada um dos pixéis do arranjo de filtrode cor 30, o balanço entre as quantidades de luz incidente em coresindividuais é sustentável (referir-se, por exemplo, à Publicação de Pedido dePatente Japonesa Não Examinada No. 9-116127). Usando esta técnica ediminuindo o tamanho de uma micro lente no chip para uma cor W para umtamanho menor que aquele para cada uma das outras cores, a sensibilidade dopixel de filtro W pode ser diminuída. Deste modo, a sensibilidade de um dosoutros pixéis de filtro de cor pode ser relativamente aumentada.

Alternativamente, uma técnica de controle de exposição à luzna qual, na codificação de cor incluindo um filtro W, a diferença entre assensibilidades pode ser reduzida, removendo uma micro lente no chip para umpixel W, e uma relação S/N de cor pode ser melhorada, aumentando asensibilidade de cor, pode ser usada (referir-se, por exemplo, à Publicação dePedido de Patente Japonesa Não Examinada No. 2007-287891). Usando estatécnica, a sensibilidade do pixel de filtro W pode ser diminuída. Deste modo,a sensibilidade de um dos outros pixéis de filtro de cor pode ser relativamenteaumentada.

Ainda alternativamente, uma técnica para evitar o balanço decor impróprio efetuando controle de exposição de obturador, na qual o tempode exposição de um pixel de filtro G é diminuído, comparado com o pixel deum filtro R ou B pode ser usada (referir-se, por exemplo, à Publicação dePedido de Patente Japonesa Não Examinada No. 2003-60992. Combinandotal técnica de controle de exposição de obturador com o controle da área derecepção de luz, a sensibilidade do pixel de filtro W pode ser diminuída.Deste modo, a sensibilidade de um dos outros pixéis de filtro de cor pode serrelativamente aumentada. Ainda mais, em particular, a ocorrência de umalinha externa colorida de um assunto móvel pode ser eliminada. Como umresultado, um processo de acromatização efetuado por uma unidade deprocessamento de sinal externo (IDSP) não é necessário.Notar que as três técnicas de controle de exposição acimadescritas usadas para ajustar a relação de sensibilidade são apenas exemplos.A técnica de controle de exposição não está limitada a isto.

Para pixéis de 1,1 |a,m, quando o tamanho de uma micro lenteno chip para um pixel W é variada de ± 0,1 |am, a área é dobrada e reduzida àmetade. Portanto, a sensibilidade é dobrada ou reduzida à metade.Conseqüentemente, o nível de saída de um pixel W possuindo a mesma áreaque a de um pixel G e possuindo um nível de saída o dobro do de um pixel G,pode ser ajustado de tal modo que os níveis de saída sejam os mesmos.Mesmo quando o tamanho de uma micro lente no chip é variada de ±0,05 (im,a área é ±1,42 vezes a área original e, portanto, a sensibilidade do pixel Wpode ser reduzida a 1,42 vezes a do pixel G. Em tal caso, o ajuste adicional dasensibilidade pode ser efetuado por controle de exposição de obturador.

Processo de Conversão de Cor

Um processo para converter os sinais em sinaiscorrespondentes ao arranjo Bayer RGB (isto é, um processo de conversão decor) executado pela unidade de processamento de conversão 16, é descrito emmais detalhe a seguir.

Os seguintes dois tipos de processos de conversão de cor sãoprovidos: um processo de conversão de cor efetuado quando uma imagemparada é capturada (em um instante de varredura plena no qual todos os pixéissão explorados) e um processo de conversão de cor efetuado quando umaimagem móvel é capturada (em um instante de adição de pixel no qual sinaisde diversos pixéis vizinhos a um dado pixel são adicionados ao sinal do pixeldado). No caso de codificação de cor de acordo com o primeiro e segundoexemplos, um processo de conversão de cor com uma alta sensibilidade podeser efetuado. Conseqüentemente, um modo de baixa luminância pode serusado e, portanto, o processo de conversão de cor efetuado em um instante devarredura plena pode ser dividido em dois processos de conversão de cor.

Um dos dois processos de conversão de cor é efetuado quandoa luminância da luz incidente é mais alta que uma luminância de referênciapré-determinada. Este processo de conversão de cor é referido como um"processo de conversão de cor 1". O outro processo de conversão de cor éexecutado quando a luminância da luz incidente é mais baixa ou igual àluminância de referência pré-determinada. Este processo de conversão de coré referido como um "processo de conversão de cor 2". Em adição, o processode conversão de cor efetuado em um instante de adição de pixel pode serdividido em diversos processos de conversão de cor, de acordo com ascombinações dos pixéis a serem adicionados.

Codificação de Cor de Acordo com o Primeiro Exemplo daSegunda Realização Típica

Um processo de conversão de cor efetuado para a codificaçãode cor de acordo com o primeiro exemplo da segunda realização típica édescrito a seguir. Primeiramente, o processo de conversão de cor 1 efetuadono modo de alta luminância em um instante de varredura plena é descrito comreferência a um fluxograma na Figura 13 e ilustrações esquemáticasmostradas nas Figuras 14A a 14D.

Conforme ilustrado pelo fluxograma mostrado na Figura 13, oprocesso de conversão de cor 1 em um modo de alta luminância é realizadoefetuando seqüencialmente o processamento nas etapas Sl 1, S12 e S13.Figura 14A ilustra um arranjo de cor 4x4 da codificação de cor de acordo como primeiro exemplo.

Na etapa Sl 1, conforme mostrado na Figura 14B, oscomponentes de pixéis brancos (W) arranjados em uma configuração emxadrez são expandidos em pixéis de todas as cores, determinando a direção deresolução. Conforme usado aqui, o termo "direção de resolução" refere-se auma direção na qual sinais de pixel estão presentes. Na Figura 14B, "W"rodeado por um quadrado transparente representa um componente de umpixel W após o componente do pixel dado ser expandido em cada uma detodas as cores.

No sentido de expandir um componente de um pixel dado empixéis de outras cores, processamento de sinal baseado em uma correlaçãodirecionada amplamente usada pode ser aplicado. Por exemplo, noprocessamento de sinal baseado em uma correlação direcional, diversos sinaisde cor correspondendo a um dado pixel são adquiridos, e o valor decorrelação na direção vertical e/ou direção horizontal é obtido (referir-se, porexemplo, à Patente Japonesa No. 2931520).

Na etapa S12, conforme mostrado na Figura 14C, um pixel Wé substituído por um pixel G usando uma correlação entre um pixel W e umpixel G. Como pode ser visto dos arranjos de cor acima descritos decodificação de várias cores, um pixel W é adjacente a um pixel G. Em termosde uma correlação entre um pixel W e um pixel G em uma certa área, o pixelWeo pixel G possuem uma correlação forte, uma vez que qualquer umdentre o pixel W e pixel G tem uma cor servindo como um componenteprimário de um sinal de luminância. Então, o valor de correlação (ocoeficiente de correlação) é próximo de 1. Determinando a direção deresolução usando a correlação de cor e mudando o nível de saída de um pixeldado para o nível equivalente a um nível de saída de um pixel G, o pixel W ésubstituído pelo pixel G.

Primeiramente, conforme mostrado na Figura 16A, a direçãode resolução é examinada usando processamento de sinal baseado nacorrelação direcional acima descrita (etapa S21). Posteriormente, édeterminado se a direção de resolução pode ser determinada (etapa S22). Se adireção de resolução pode ser determinada, os componentes de pixéis Warranjados a uma configuração em xadrez são expandidos em pixéis de todasas cores (etapa S23).

Subseqüentemente, conforme mostrado na Figura 16B, pixéisR e pixéis B são gerados usando a correlação entre um pixel W e um pixel R ea correlação entre um pixel W e um pixel B (etapa S24). Posteriormente,conforme mostrado na Figura 16C, os sinais de dois pixéis R adjacentes aopixel W são adicionados ao sinal do pixel W, de tal modo que o sinal do pixelW é aproximado por G (= W+2G). Deste modo, conforme mostrado na Figura16D, cada um dos pixéis R e B é gerado para o arranjo de Bayer (etapa S25).

Dois processos de conversão de cor executados em um instantede adição de pixel para captura de imagem móvel são descritos a seguir.Posteriormente, um dos dois processos de conversão de cor é referido comoum "processo de adição de pixel 1" e o outro processo de conversão de cor éreferido como um "processo de adição de pixel 2".

Primeiramente, o processo de adição de pixel 1 é descrito comreferência a um fluxograma mostrado na Figura 47 e ilustrações esquemáticasmostradas nas Figuras 48A a 48D.

A adição é efetuada em dois pixéis W diagonalmenteadjacentes um ao outro (etapa S31). Mais especificamente, conformemostrado na Figura 48A, a adição é efetuada em um pixel de interesse e umpixel localizado na direita inferior do pixel de interesse (isto é, um pixel àdireita de uma coluna e abaixo de uma linha). Esta adição pode ser efetuadana estrutura de pixel mostrada na Figura 3, provendo o pulso de transferência(j)TRF aos transistores de transferência 22 dos dois pixéis que são os alvos daadição (os transistores de transferência 22-1 e 22-4 neste exemplo) ao mesmotempo. Deste modo, adição de dois pixéis pode ser efetuada na unidade FD26. Posteriormente, tal adição de pixel é referida como uma "adição FD".

Subseqüentemente, para cada um dos pixéis R, G e B, adição éefetuada em dois pixéis arranjados na direção diagonal oposta e possuindo umpixel entre eles (etapa S32). Mais especificamente, conforme mostrado naFigura 48B, adição é efetuada em um pixel de interesse e um pixel localizadona esquerda inferior do pixel de interesse com um pixel entre eles (isto é, umpixel à direita por duas colunas e abaixo por duas linhas). Para cada um dospixéis R, G e B, quando a unidade de processamento de coluna 14 mostradana Figura 1 tem uma função de conversão A/D, esta adição pode ser efetuadadurante a conversão A/D.

Posteriormente, esta adição de pixel efetuada usando umcontador de um conversor A/D é referida como "adição de contador". Quandoa adição de contador é efetuada e se o ganho é modificado em uma base linhaa linha, a relação de adição pode ser variada. Similarmente, adição decontador pode ser efetuada em pixéis R. Notar que, na adição de dois pixéisacima descrita para os pixéis W, adição FD é efetuada entre os pixéis Wl eW2 e entre os pixéis W3 e W4.

Posteriormente, conforme mostrado na Figura 48C, oscomponentes do pixel W são ajustados nos pixéis R, GeB (etapa S33).Subseqüentemente, conforme mostrado na Figura 48D, quatro pixéis para oarranjo Bayer RGB são gerados (etapa S34).

Notar que, em oito pixéis de um bloco 4x4, um par de sinais Re B não é usado. Isto é, pixéis R e pixéis B são lidos em uma forma dedecimação, sem efetuar adição de pixel. Conseqüentemente, a sensibilidadede R e B é diminuída, se comparada com aquela no processo de adição depixel 1. Conseqüentemente, uma relação S/N de cor é baixa.

Conforme descrito acima, usando um dentre o processo deadição de pixel 1 e o processo de adição de pixel 2 quando uma imagemmóvel é capturada, sinais correspondentes a um arranjo de cor no qual filtrosW são arranjados em uma configuração em xadrez, podem ser convertidos emsinais correspondentes ao arranjo Bayer RGB no chip sensor 11, e os sinaispodem ser emitidos.

Codificação de Cor de Acordo com o Segundo Exemplo daSegunda Realização Típica

Um processo de conversão de cor para a codificação de cor deacordo com o segundo exemplo da segunda realização típica é descrito aseguir. Uma série de processos para a codificação de cor de acordo com osegundo exemplo da segunda realização típica é baseado naquele decodificação de cor de acordo com o primeiro exemplo da segunda realizaçãotípica.

Um processo de conversão de cor 1 em um instante devarredura plena, é descrito com referência a ilustrações esquemáticasmostradas nas Figuras 49A a 49D. Em um arranjo de cor de um bloco de pixel4x4 de acordo com o segundo exemplo mostrado na Figura 49A, oscomponentes dos pixéis W arranjados em uma configuração em xadrez sãoexpandidos em pixéis de todas as cores usando a direção de resolução,conforme mostrado na Figura 49B. Subseqüentemente, conforme mostradona Figura 49C, os pixéis W são substituídos por pixéis G, usando umacorrelação entre um pixel W e um pixel G. Posteriormente, conformemostrado na Figura 49D, pixéis R e B são gerados para o arranjo Bayer RGBusando uma correlação entre um pixel W e um pixel R e uma correlação entreum pixel W e um pixel B.

Um processo de conversão de cor 2 em um instante devarredura plena é descrito a seguir com referência a ilustrações esquemáticasmostradas nas Figuras 50A a 50D. Como o processo de conversão de cor 1,em um arranjo de cor de um bloco de pixel 4x4 de acordo com o segundoexemplo, os componentes de pixéis W arranjados em uma configuração emxadrez, são expandidos em pixéis de todas as cores, usando a direção deresolução, conforme mostrado na Figura 50A. Subseqüentemente, conformemostrado na Figura 5OB, pixéis R e B são gerados usando uma correlaçãoentre um pixel W e um pixel R e uma correlação entre um pixel W e um pixelB. Posteriormente, conforme mostrado na Figura 50C, os sinais de dois pixéisG, adjacentes ao pixel W são adicionados ao sinal do pixel W, de modo aserem aproximados para G (= W + 2G). Deste modo, conforme mostrado naFigura 50D, cada um dos pixel R e B é gerado para o arranjo de Bayer.Naquele instante, se a direção é encontrada, a relação de adição pode sermudada dinamicamente.O processo de adição de pixel 1 é descrito a seguir comreferência às Figuras 51A a 51 D. Conforme mostrado nas Figuras 51A e 5IB3adição FD diagonal esquerda superior e direita superior é efetuada para umpixel W e cada um dos pixéis R, G e B. Então, pixéis W, R, G e B sãogerados. Posteriormente, conforme mostrado na Figura 51C, os componentesdo pixel W são ajustados em cada um dos pixéis. Deste modo, conformemostrado na Figura 51D, quatro pixéis para o arranjo Bayer RGB são gerados.

Um processo de conversão de cor 2 é descrito a seguir comreferência às Figuras 52A a 52D. Conforme mostrado nas Figuras 52A e 52B,adição FD diagonal esquerda superior e direita superior é efetuada para umpixel W e cada um dos pixéis R, G e B. Então, pixéis W, R, G e B sãogerados. Posteriormente, conforme mostrado na Figura 51C, os componentesdo pixel W são ajustados em cada um dos pixéis ReB. Deste modo,conforme mostrado na Figura 52D, quatro pixéis para o arranjo Bayer RGBsão gerados.

Conforme descrito acima, efetuando o processamento de sinalacima descrito para codificação de cor de acordo com o primeiro e segundoexemplos, no qual filtros W possuindo uma cor servindo como umcomponente primário de um sinal de luminância são arranjados em umaconfiguração em xadrez e filtros G são diagonalmente arranjados de modo aformar uma configuração em tira, a seguinte vantagem pode ser provida. Istoé, adicionando o sinal de um pixel G adjacente a um pixel W ao sinal do pixelW e efetuando processamento de sinal usando a soma como um componenteprimário do sinal de luminância, a intensidade do sinal de luminância pode seraumentada. Conseqüentemente, a sensibilidade pode ser aumentada com umdecréscimo mínimo de resolução.

Terceira Realização Típica

Configuração de Sistema

Figura 53 é uma ilustração esquemática de uma configuraçãode sistema típica de um sensor de imagem CMOS, que é um exemplo de umdispositivo de formação de imagem em estado sólido (um dispositivo deformação de imagem em estado sólido de endereçamento X-Y) de acordocom uma terceira realização típica. A mesma numeração que foi usada acimaao descrever a Figura 1 será usada para descrever a Figura 53, ondeapropriado.

No sensor de imagem CMOS IOA acima descrito, de acordocom a segunda realização típica, a unidade de processamento de conversão 16disposta no chip sensor 11 converte sinais correspondentes ao arranjo de cordo arranjo de filtro de cor 30 em sinais correspondentes ao arranjo BayerRGB. Em contraste, em um sensor de imagem CMOS IOB de acordo com apresente realização, sinais W, R, G e B correspondentes ao arranjo de cor doarranjo de filtro de cor 30 são diretamente emitidos a partir do chip sensor 11na forma de dados não analisados.

Em adição, de acordo com a presente realização, o sensor deimagem CMOS 10B permite que um circuito DSP 40, que é um circuitoexterno do chip sensor 11, efetue um processo de conversão de cor sobre osdados não analisados emitidos pelo chip sensor 11. O circuito DSP 40converte os sinais W, R, G e B emitidos a partir do chip sensor 11 em sinaiscorrespondentes ao arranjo Bayer RGB. Posteriormente, o circuito DSP 40efetua um processo de reconstrução de imagem de cor amplamente usado. Noprocesso de reconstrução de imagem de cor, informação de cor é adicionadaao sinal de cada um dos pixéis que possui somente informaçãomonocromática, suprindo informação de cor faltante usando os sinais depixéis em torno do pixel, e uma imagem de cor plena é gerada.

Deste modo, a característica chave do sensor de imagemCMOS IOB de acordo com a presente realização é que sinais W, R, G e Bcorrespondentes ao arranjo de cor do arranjo de filtro de cor 30 sãodiretamente emitidos a partir do chip sensor lie são convertidos nos sinaiscorrespondentes ao arranjo Bayer RGB pelo circuito DSP 40.Conseqüentemente, uma vez que as configurações e operações da unidade dearranjo de pixel 12, unidade de acionamento vertical 13, unidade deprocessamento de coluna 14, unidade de acionamento horizontal 15 e unidadede controle de sistema 17 são similares às da segunda realização típica, asdescrições desta não são repetidas.

Codificação de Cor do Arranjo de Filtro de CorComo o sensor de imagem CMOS IOA de acordo com asegunda realização típica, o sensor de imagem CMOS IOB de acordo com apresente realização possui codificação de cor do arranjo de filtro de cor 30que facilita a conversão em sinais correspondentes ao arranjo Bayer RGB.

Isto é, o arranjo de filtro de cor 30 emprega codificação de corna qual filtros de uma primeira cor (W ou G) servindo como um doscomponentes de informação de cor primários de um sinal de luminância, sãoarranjados em uma configuração em xadrez. Em adição, filtros de umasegunda cor (G ou W) dos componentes de informação de cor primários parauma série de quatro pixéis, formam um grupo, e os grupos são arranjados demodo a formar uma configuração em tira em uma dentre uma direçãodiagonal, direção vertical e uma direção horizontal. A vantagem do uso doarranjo de filtro de cor 30 apresentando tal codificação de cor é a mesma dasegunda realização típica.

Exemplos de Codificação de Cor do Arranjo de Filtro de CorComo a segunda realização típica, de acordo com a terceirarealização típica, primeiro e segundo exemplos de codificação de cor podemser providos. O primeiro e segundo exemplos facilitam a conversão de umsinal correspondente a um arranjo de cor no qual filtros de uma cor servindocomo um componente primário de um sinal de luminância são arranjados emuma configuração em xadrez em um sinal correspondente a um arranjo BayerRGB.Isto é, na codificação de cor de acordo com o primeiroexemplo da terceira realização típica, filtros W são arranjados em umaconfiguração em xadrez. Em adição, filtros R são arranjados em umaconfiguração em xadrez a um passo de dois pixéis na direção vertical e nadireção horizontal. Similarmente, filtros B são arranjados em umaconfiguração em xadrez a um passo de dois pixéis na direção vertical e nadireção horizontal. Ainda mais, cada um dos filtros R é diagonalmentedeslocado de um dos filtros B de um pixel. Em adição, filtros G sãoarranjados na outra área da configuração em xadrez (referir-se à Figura 45).

Ainda adicionalmente, na codificação de cor de acordo com o segundoexemplo da terceira realização típica, filtros W são arranjados em umaconfiguração em xadrez. Filtros R são arranjados em quadrado a um passo dequatro pixéis na direção vertical e na direção horizontal. Similarmente, filtrosB são arranjados em quadrado a um passo de quatro pixéis na direção verticale na direção horizontal. Em adição, dois dos filtros R e dois dos filtros B sãoarranjados alternadamente em uma direção diagonal. Em adição, filtros G sãoarranjados na outra área na configuração em xadrez (referir-se à Figura 46).

Processo de Conversão de Cor

Um processo efetuado pelo circuito DSP 40 para convertersinais que corresponde ao arranjo de cor do arranjo de filtro de cor 30 e quesão emitidos a partir do chip sensor 11 na forma de dados não analisados, emsinais correspondentes ao arranjo Bayer RGB, é descrito em mais detalhe aseguir.

Como a segunda realização típica, quando o processo deconversão de cor é efetuado, a relação de sensibilidade de pixel de W:G:R:B éajustada. Em adição, como a segunda realização típica, os dois tipos seguintesde processo de conversão de cor são providos: o processo de conversão de corexecutado em um instante de varredura plena e um processo de conversão decor executado em um instante de adição de pixel. Em adição, os dois tiposseguintes de processo de conversão de cor são providos: um processo deconversão de cor 1 executado em um modo de alta luminância, no qual aluminância da luz incidente é mais alta que uma luminância de referência pre-determinada e um processo de conversão de cor 2 executado em um modo debaixa luminância no qual a luminância da luz incidente é mais baixa ou igualà luminância de referência.

Codificação de Cor de Acordo com o Primeiro Exemplo daTerceira Realização Típica

Um processo de conversão de cor executado no caso decodificação de cor de acordo com o primeiro exemplo da terceira realizaçãotípica é descrito a seguir. Primeiramente, o processo de conversão de cor 1efetuado em um modo de alta luminância em um instante de varredura plena édescrito com referência a um fluxograma mostrado na Figura 54 e ilustraçõesesquemáticas mostradas nas Figuras 55A a 55C.

Figuras 55A ilustra um arranjo de cor de pixel 4x4 dacodificação de cor de acordo com o primeiro exemplo da terceira realizaçãotípica. Na codificação de cor de acordo com o primeiro exemplo, conformemostrado na Figura 55B, os componentes dos pixéis W são expandidos empixéis de todas as cores, usando o processo de sinal existente acima descrito,usando correlação direcional e determinando a direção de resolução (etapaS51). Posteriormente, conforme mostrado na Figura 55C, usando a técnicaexistente acima descrita e uma correlação entre um pixel W e um pixel R,uma correlação entre um pixel W e um pixel G, e uma correlação entre umpixel W e um pixel B, os componentes R, G e B são expandidos em todos ospixéis (etapa S 5 2).

Subseqüentemente, o processo de conversão de cor 2executado em um modo de baixa luminância em um instante de varreduraplena é descrito com referência a um fluxograma mostrado na Figura 56 eilustrações esquemáticas mostradas nas Figuras 57A e 57B.Primeiramente, conforme mostrado na Figura 57A, a direçãode resolução é examinada, usando processamento de sinal baseado nacorrelação direcional acima descrita (etapa S61). Posteriormente, édeterminado se a direção de resolução pode ser determinada (etapa S62). Se adireção de resolução pode ser determinada, os componentes dos pixéis Warranjados em uma configuração em xadrez são expandidos em pixéis detodas as cores (etapa S 63).

Subseqüentemente, conforme mostrado na Figura 57B, pixéisR e pixéis B são gerados usando a técnica existente acima descrita e acorrelação entre um pixel W e um pixel Rea correlação entre um pixel W eum pixel B (etapa S64). Entretanto, se na etapa S62 a direção de resoluçãonão é determinada, cada um dos pixéis R e B é gerado usando interpolação demédia de quatro pixéis simples usando quatro pixéis adjacentes ao pixel W nadireção vertical e direção horizontal (etapa S67).

Subseqüentemente, conforme mostrado na Figura 57C, ossinais de dois pixéis G adjacentes ao pixel W são adicionados ao sinal dopixel W (W + 2G) enquanto a relação é mudada dinamicamente. Então, umaconfiguração em xadrez é formada (etapa S65). Posteriormente, oscomponentes são expandidos em todos os pixéis, determinando a direção.Deste modo, um sinal de luminância é gerado (etapa S66).

Conforme mostrado descrito acima, usando o processo deconversão de cor 1 e o processo de conversão de cor 2 de acordo com aluminância da luz incidente, os sinais correspondentes a um arranjo de cor noqual filtros W são arranjados em uma configuração em xadrez podem serconvertidos em sinais correspondentes ao arranjo Bayer RGB, através deprocessamento de sinal executado pelo circuito DSP 40, disposto fora do chipsensor 11.

Os processos de conversão de cor 1 e 2 executados em uminstante de adição de pixel para capturar uma imagem móvel são descritos aseguir. Primeiramente, o processo de adição de pixel 1 é descrito comreferência a um fluxograma mostrado na Figura 58 e ilustrações esquemáticasmostradas nas Figuras 59A a 59C.

Conforme mostrado na Figura 59A, a adição é efetuada emdois pixéis W diagonalmente adjacentes um ao outro. Em adição, para pixéisde cada uma das cores R, G e B, adição de contador é executada em doispixéis arranjados em uma direção diagonal (etapa S71). Posteriormente,conforme mostrado na Figura 59B, componentes R, componentes G ecomponentes B são expandidos em todos os pixéis usando uma correlaçãoentre um pixel W e um pixel R, uma correlação entre um pixel W e um pixelG e uma correlação entre um pixel W e um pixel B (etapa S72).Subseqüentemente, conforme mostrado na Figura 59C, os sinais do pixel W eo sinal G são adicionados na proporção 1:2 e um sinal (W + 2G) é gerado. Ossinais (W + 2G) servem como sinais de luminância (etapa S73).

O processo de adição de pixel 2 é descrito a seguir, comreferência a um fluxograma mostrado na Figura 60 e ilustrações esquemáticasmostradas nas Figuras 61A a 61C.

Primeiramente, conforme mostrado na Figura 6IA, para ospixéis W e os pixéis G, adição FD é efetuada entre dois pixéis arranjados nasdireções diagonais esquerda superior-direita inferior e direções diagonaisdireita superior-esquerda inferior, respectivamente. Então, pixéis W e G sãogerados (etapa S81). Mais especificamente, para os pixéis G, adição FD éexecutada entre um pixel de interesse e um pixel localizado na esquerdainferior do pixel de interesse (isto é, um pixel à esquerda de uma coluna eabaixo de uma coluna). Para os pixéis W, adição FD é efetuada entre um pixelde interesse e um pixel localizado na direita inferior do pixel de interesse (istoé, um pixel à direita de uma coluna e abaixo de uma coluna). Os pixéis ReBpermanecem inalterados.

Subseqüentemente, conforme mostrado na Figura 61B, oscomponentes R, G e B são expandidos em todos os pixéis, usando acorrelação entre um pixel W e um pixel R, a correlação entre um pixel W eum pixel Gea correlação entre um pixel W e um pixel B (etapa S82).Posteriormente, conforme mostrado na Figura 61C, os sinais do pixel Weosinal do pixel G são adicionados na proporção 1:2 e um sinal (W + 2G) égerado. Os sinais (W + 2G) servem como sinais de luminância (etapa S83).

Conforme descrito acima, usando um dentre o processo deadição de pixel 1 e o processo de adição de pixel 2 quando uma imagemmóvel é capturada, os sinais correspondentes a um arranjo de cor no qualfiltros W são arranjados em uma configuração em xadrez, podem serconvertidos em um sinal correspondentes ao arranjo Bayer RGB, através deprocessamento de sinal efetuado pelo circuito DSP 40 disposto fora do chipsensor 11.

Codificação de Cor de Acordo com o Segundo Exemplo daTerceira Realização Típica

Um processo de conversão de cor para a codificação de cor deacordo com o segundo exemplo da terceira realização típica é descrito aseguir. Uma série de processos para a codificação de cor de acordo com osegundo exemplo da terceira realização típica é geralmente baseado naqueleda codificação de cor de acordo com o primeiro exemplo da terceirarealização típica.

O processo de conversão de cor 1 executado em um instante devarredura plena é descrito com referência a ilustrações esquemáticasmostradas nas Figuras 62A e 62B. Figura 62A ilustra um arranjo de cor decodificação de cor de bloco de 4x4 de acordo com o segundo exemplo daterceira realização típica. Na codificação de cor de acordo com o segundoexemplo da terceira realização típica, conforme mostrado na Figura 62B, oscomponentes dos pixéis W arranjados em uma configuração em xadrez sãoexpandidos em pixéis de todas as cores, usando a direção de resolução.Subseqüentemente, conforme mostrado na Figura 62C, os componentes R, Ge B são expandidos em todos os pixéis usando a correlação entre um pixel We um pixel R, a correlação entre um pixel W e um pixel Gea correlação entreum pixel W e um pixel B.

O processo de conversão de cor 2 executada em um instante devarredura plena é descrito a seguir com referência a ilustrações esquemáticasmostradas nas Figuras 63A a 63C. Como no processo de conversão de cor 1,no arranjo de cor de codificação de cor de um bloco de pixel 4x4, de acordocom o segundo exemplo, conforme mostrado na Figura 63 A, os componentesdos pixéis W arranjados em uma configuração em xadrez são expandidos empixéis de todas as cores, usando a direção de resolução.

Subseqüentemente, conforme mostrado na Figura 63 B, oscomponentes ReB são expandidos em todos os pixéis usando a correlaçãoentre um pixel W e um pixel Rea correlação entre um pixel W e um pixel B.Portanto, conforme mostrado na Figura 63C, determinando a direção usandoos pixéis W, os sinais dos dois pixéis G adjacentes ao pixel W sãoadicionados ao sinal do pixel W, enquanto se modifica dinamicamente arelação (W + 2G). Então, é formada uma configuração em xadrez.Posteriormente, os componentes dos pixéis G são expandidos em todos ospixéis, determinando adicionalmente a direção. Deste modo, um sinal deluminância é gerado.

O processo de adição de pixel 1 é descrito a seguir comreferência às Figuras 64A e 64B. Conforme mostrado na Figura 64A, parapixéis W e pixéis G, adição FD é executada entre dois pixéis arranjados nasdireções diagonais esquerda superior-direita inferior e direções diagonaisdireita superior-esquerda inferior, respectivamente. Então, os sinais de pixéisW, R, G e B são gerados. Posteriormente, conforme mostrado na Figura 64B,os componentes R, G e B são expandidos em todos os pixéis.

Subseqüentemente, no sentido de melhorar a relação S/N, os componentes dospixéis W são ajustados em todos os pixéis. Então, sinais R, G e B são gerados.

O processo de adição de pixel 2 é descrito a seguir comreferência às Figuras 65A a 65C. Conforme mostrado na Figura 65A, parapixéis W e pixéis G, adição FD é executada entre dois pixéis arranjados nasdireções diagonais esquerda superior-direita inferior e direções diagonaisdireita superior-esquerda inferior, respectivamente. Então, os sinais de pixéisW, R, G e B são gerados. Posteriormente, conforme mostrado na Figura 65B,os componentes R, G e B são expandidos em todos os pixéis, usando acorrelação entre um pixel W e um pixel R, a correlação entre um pixel W eum pixel Gea correlação entre um pixel W e um pixel B. Os sinais do pixelWeo sinal G são então adicionados na proporção 1:2 e um sinal (W +2G) égerado. Os sinais (W + 2G) servem como sinais de luminância.

Conforme descrito acima, de acordo com o primeiro e segundoexemplos, na codificação de cor possuindo um arranjo de cor no qual filtrosW para branco, servindo como uma cor primária de um sinal de luminânciasão arranjados em uma configuração em xadrez e filtros G são arranjados demodo a formar uma configuração em tira em uma direção diagonal, a seguintevantagem pode ser provida executando o processamento de sinal acimadescrito. Isto é, no circuito DSP 40 provido fora do chip sensor 11,adicionando o sinal de um pixel G adjacente a um pixel W ao sinal do pixelW e executando processamento de sinal usando a soma como um componenteprimário do sinal de luminância, a intensidade do sinal de luminância pode seraumentada. Conseqüentemente, a sensibilidade pode ser aumentada com ummínimo decréscimo na resolução.

3. Modificações

Embora as realizações típicas precedentes tenham sidodescritas com referência a um método no qual os sinais de dois pixéis Gadjacentes a um pixel W são simplesmente adicionados ao sinal do pixel W ea soma é usada como um componente primário de um sinal de luminância, onúmero dos pixéis G usados para adição não está limitado a dois. O númerodos pixéis G pode ser um. Notar que adição de 2 pixéis na qual o sinal de umpixel G adjacente a um pixel W é adicionado ao sinal do pixel W tem umavantagem sobre adição de três pixéis, na qual os sinais de dois pixéis Gadjacentes a um pixel W são adicionados ao sinal do pixel W, pela qual podereduzir um decréscimo na resolução.

Em adição, embora as realizações típicas precedentes tenhamsido descritas com referência a processamento de sinal no caso de umaconfiguração em tira diagonal de uma série de quatro pixéis de filtros G, amesma vantagem pode ser provida mesmo no caso no qual uma série dequatro pixéis de filtro G é arranjada repetidamente na direção vertical oudireção horizontal, de modo a formar uma configuração em tira. Ainda mais,a relação de adição do sinal de um filtro de uma primeira cor para a de umasegunda cor não está limitada a 1:1. Qualquer relação de adição que equilibraa resolução com a sensibilidade pode ser usada.

Ainda adicionalmente enquanto as realizações típicasprecedentes foram descritas com referência à codificação de cor, na qual aprimeira cor servindo como uma cor primária de um sinal de luminância ébranca (W) e a segunda cor é verde (G), a mesma vantagem pode ser providamesmo para a codificação de cor na qual a primeira cor servindo como umacor primária de um sinal de luminância é branca (W) e a segunda cor é verde(G), a mesma vantagem pode ser provida mesmo para a codificação de cor naqual a primeira cor é verde e a segunda cor é branca. Tal codificação de corde acordo com o primeiro exemplo e segundo exemplo é mostrada nasFiguras 66 e 67, respectivamente.

Exemplo de Aplicação

Figura 68 é um diagrama em blocos de uma configuraçãotípica de um aparelho de formação de imagem de acordo com uma realizaçãoda presente invenção.Conforme mostrado na Figura 68, de acordo com a realizaçãoda presente invenção, um aparelho de formação de imagem 100 inclui umsistema óptico incluindo uma unidade de lente 101, um dispositivo decaptação de imagem 102, um circuito DSP 103 servindo como um circuito deprocessamento de sinal de câmera, uma memória de quadro 104, uma unidadede visualização 105, uma unidade de gravação 106, uma unidade de operação107 e uma unidade de fonte de alimentação 108. O circuito DSP 103, amemória de quadro 104, a unidade de visualização 105, a unidade degravação 106, a unidade de operação 107 e a unidade de fonte de alimentação108 são conectadas uma à outra via uma linha de barramento 109.

A unidade de lente 101 recebe luz incidente (luz de formaçãode imagem) emitida a partir de um assunto e forma uma imagem em umasuperfície de formação de imagem do dispositivo de captação de imagem 102.O dispositivo de captação de imagem 102 converte a intensidade da luzincidente que é recebida pela unidade de lente 101 e que forma uma imagemna superfície de formação de imagem, em um sinal elétrico para cada pixel.Os sinais elétricos são emitidos na forma de sinais de pixéis. Os sensores deimagem CMOS 10A e 10B de acordo com a primeira e segunda realizaçõestípicas podem ser usados como o dispositivo de captação de imagem 102. Emadição, o sensor de imagem CMOS 10 de acordo com todas as realizaçõestípicas acima descritas (incluindo a terceira realização típica) pode ser usadocomo o dispositivo de captação de imagem 102.

Nos sensores de imagem CMOS 10A, 10B e 10, o arranjo defiltro de cor emprega codificação de cor possuindo um arranjo de cor no qualuma cor servindo como uma cor primária de um sinal de luminância éarranjado em uma configuração em xadrez, e diversas cores servindo comocomponentes de informação de cor são arranjadas na outra área daconfiguração em xadrez. Em particular, os sensores de imagem CMOS 10A,10B e 10 convertem sinais correspondentes ao arranjo de cor do arranjo defiltro de cor em sinais correspondentes ao arranjo de Bayer, através decomputação efetuada no chip sensor 11.

Conseqüentemente, embora os sensores de imagem CMOSIOA e 10 tenham o arranjo de filtro de cor usando codificação de cor no qualuma cor servindo como uma cor primária de um sinal de luminância sejaarranjado em uma configuração em xadrez, os sensores de imagem CMOSIOA e 10 emitem sinais correspondentes ao arranjo de Bayer.

Conseqüentemente, um DSP existente para o arranjo de Bayer que gera umsinal de luminância Y e dois sinais de diferença de cor U(B - Y) e V(R - Y)usando sinais correspondentes ao arranjo de Bayer podem ser usados como ocircuito DSP 103.

Desde que, como descrito acima, um DSP existente para oarranjo de Bayer pode ser usado, o desenvolvimento de um novo DSP que ésignificativamente dispendioso não é necessário, mesmo quando a codificaçãode cor de um arranjo de filtro de cor usado no dispositivo de captação deimagem 102 é modificada. O uso de um DSP existente pode contribuir pararedução de custo na produção do aparelho de formação de imagem 100,incluindo o circuito DSP 103 e, em particular, para amplo uso de um arranjode filtro de cor possuindo codificação de cor usando um filtro W.

Em contraste, no caso do sensor de imagem CMOS 10B, sinaiscorrespondentes a um arranjo de cor no qual uma cor servindo como uma corprimária de um sinal de luminância é arranjado em uma configuração emxadrez, são emitidos para fora do chip, e o circuito DSP 103 (correspondendoao circuito DSP 40 mostrado na Figura 52) converte os sinais em sinaiscorrespondentes ao arranjo de Bayer. Conseqüentemente, quando acodificação de cor do arranjo de filtro de cor é modificada, o custo dedesenvolvimento é necessário. Entretanto, como o sensor de imagem CMOS10A, o sensor de imagem CMOS 10B pode aumentar a sensibilidade com umdecréscimo mínimo na resolução. Conseqüentemente, o sensor de imagemCMOS IOB tem uma vantagem de aumentar a relação S/N de um sinal deformação de imagem, enquanto mantém uma alta resolução.

A unidade de visualização 105 é uma unidade de visualizaçãode painel, tal como um visor de cristal líquido ou um visor deeletroluminescência orgânico (EL). A unidade de visualização 105 exibe umaimagem móvel ou uma imagem parada capturada pelo dispositivo de captaçãode imagem 102. A unidade de gravação 106 grava uma imagem móvel ouuma imagem parada capturada pelo dispositivo de captação de imagem 102em um meio de gravação, tal como uma fita de vídeo ou DVD (Disco VersátilDigital).

Sob controle de um usuário, a unidade de operação 107submete uma variedade de comandos de operação que controlam umavariedade de funções do aparelho de formação de imagem. A unidade defonte de alimentação 108 fornece potência elétrica ao circuito DSP 103,memória de quadro 104, unidade de visualização 105, unidade de gravação106 e unidade de operação 107, quando necessário.

O presente pedido contém assunto relacionado ao descrito noPedido de Patente de Prioridade Japonesa No. JP 2008-311694, depositado noEscritório de Patente do Japão em 8 de dezembro de 2008 e No. JP 2008-311695 depositado no Escritório de Patente do Japão em 8 de dezembro de2008 cujo conteúdo inteiro é deste modo aqui incorporado por referência.

Deveria ser entendido pelos especialistas na técnica que váriasmodificações, combinações, sub-combinações e alterações podem ocorrer,dependendo das exigências de projeto de outros fatores, até onde estejamdentro do escopo das reivindicações anexas ou equivalentes destas.

Claims

1. Dispositivo de formação de imagem em estado sólido,caracterizado pelo fato de compreender:unidade de filtro de cor disposta em uma unidade de arranjo depixel, incluindo pixéis arranjados bidimensionalmente em uma matriz, aunidade de filtro de cor possuindo um arranjo de cor no qual uma cor servindocomo um componente primário de um sinal de luminância é arranjada emuma configuração em xadrez e diversas cores servindo como componentes deinformação de cor são arranjadas na outra área da configuração em xadrez; eunidade de processamento de conversão disposta em umsubstrato, possuindo a unidade de arranjo de pixel, a unidade deprocessamento de conversão convertendo sinais que são emitidos a partir dospixéis da unidade de arranjo de pixel e que correspondem ao arranjo de cor daunidade de filtro de cor, em sinais que correspondem a um arranjo de Bayer eemitindo os sinais convertidos.

2. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 1, caracterizado pelo fato de que a cor servindocomo um componente primário de um sinal de luminância é uma dentrebranco e verde.

3. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 2, caracterizado pelo fato de que a unidade defiltro de cor possui uma codificação de cor na qual filtros de branco sãoarranjados em uma configuração em xadrez, e onde filtros de cada uma dascores vermelho e azul são arranjados em uma configuração em xadrez a umpasso de dois pixéis em uma direção vertical e uma direção horizontal, e cadaum dos filtros de vermelho é diagonalmente deslocado de um dos filtros deazul de um pixel, ou onde filtros de cada uma das cores vermelho e azul sãoarranjados em quadrado em um passo de quatro pixéis em uma direçãovertical e uma direção horizontal, e dois dos filtros de vermelho e dois dosfiltros de azul são alternativamente arranjados em uma direção diagonal, eonde filtros de verde são arranjados na outra área da configuração em xadrez.

4. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 3, caracterizado pelo fato de que, na codificaçãode cor da unidade de filtro de cor, os filtros de verde para uma série de quatropixéis formam um grupo, e os grupos são arranjados de modo a formar umaconfiguração em tira em uma dentre uma direção diagonal, uma direçãovertical e uma direção horizontal, e onde a unidade de processamento deconversão adiciona um sinal de um pixel verde ou sinais de dois pixéis verdesadjacentes a um pixel de filtro de branco, a um sinal do pixel de filtro debranco, e usa a soma como um componente primário do sinal de luminância.

5. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 2, caracterizado pelo fato de que, na codificaçãode cor da unidade de filtro de cor, filtros de branco são arranjados em umaconfiguração em xadrez, e onde filtros de cada uma das cores vermelho e azulsão arranjados em quadrado a um passo de quatro pixéis em uma direçãovertical e uma direção horizontal ou são arranjados em uma configuração emxadrez a um passo de dois pixéis em uma direção vertical e uma direçãohorizontal, e onde cada um dos filtros de vermelho é deslocado diagonalmentede um dos filtros de azul de um pixel ou dois pixéis, e onde filtros de verdesão arranjados na outra área da configuração em xadrez.

6. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 2, caracterizado pelo fato de que, na codificaçãode cor da unidade de filtro de cor, filtros de verde são arranjados em umaconfiguração em xadrez, filtros de cada uma das cores vermelho e azul sãoarranjados em uma configuração em xadrez a um passo de dois pixéis em umadireção vertical e uma direção horizontal, e cada um dos filtros de vermelho édiagonalmente deslocado de um dos filtros de azul de dois pixéis e filtros debranco são arranjados na outra área da configuração em xadrez.

7. Método de processamento de sinal para uso em umdispositivo de formação de imagem em estado sólido, incluindo uma unidadede filtro de cor disposta em uma unidade de arranjo de pixel, incluindo pixéisarranjados bidimensionalmente em uma matriz, a unidade de filtro de corpossuindo um arranjo de cor no qual uma cor servindo como um componenteprimário de um sinal de luminância é arranjada em uma configuração emxadrez e diversas cores servindo como componentes de informação de cor sãoarranjadas na outra área da configuração em xadrez, caracterizado pelo fato decompreende a etapa de:converter, em um substrato possuindo uma unidade de arranjode pixel, sinais que são emitidos a partir dos pixéis da unidade de arranjo depixel e que correspondem ao arranjo de cor da unidade de filtro de cor, emsinais que correspondem a um arranjo de Bayer.

8. Aparelho de formação de imagem, caracterizado pelo fatode compreender:dispositivo de formação de imagem em estado sólido incluindouma unidade de filtro de cor e uma unidade de processamento de conversão, aunidade de filtro de cor sendo disposta em uma unidade de arranjo de pixelincluindo pixéis arranjados bidimensionalmente em uma matriz, a unidade defiltro de cor possuindo um arranjo de cor no qual uma cor servindo como umcomponente primário de um sinal de luminância é arranjada em umaconfiguração em xadrez e diversas cores servindo como componentes deinformação de cor são arranjadas na outra área da configuração em xadrez, aunidade de processamento de conversão sendo disposta em um substrato,possuindo a unidade de arranjo de pixel na mesma, a unidade deprocessamento de conversão convertendo sinais que são emitidos a partir dospixéis da unidade de arranjo de pixel e que correspondem ao arranjo de cor daunidade de filtro de cor, em sinais que correspondem a um arranjo de Bayer eemitindo os sinais convertidos; eunidade de processamento de sinal configurada para gerar umsinal de luminância e um sinal de diferença de cor usando os sinais que sãoemitidos a partir da unidade de processamento de conversão e quecorrespondem a um arranjo de Bayer.

9. Dispositivo de formação de imagem em estado sólido,caracterizado pelo fato de compreender:uma unidade de filtro de cor disposta em uma unidade dearranjo de pixel incluindo pixéis arranjados bidimensionalmente em umamatriz, a unidade de filtro de cor possuindo um arranjo de cor no qual filtrosde uma primeira cor servindo como um componente primário de um sinal deluminância são arranjados em uma configuração em xadrez, e filtros de umasegunda cor servindo como um componente primário do sinal de luminânciapara uma série de quatro pixéis formam um grupo, e os grupos são arranjadosde modo a formar uma configuração em tira em uma dentre uma direçãodiagonal, uma direção vertical e uma direção horizontal; euma unidade de processamento de sinal configurada parareceber sinais que são emitidos a partir dos pixéis da unidade de arranjo depixel e que corresponde ao arranjo de cor da unidade de filtro de cor eadicionam um sinal de um pixel de um filtro da segunda cor, adjacente aopixel de um filtro da primeira cor a um sinal do pixel do filtro da primeira cor.

10. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 9, caracterizado pelo fato de que o filtro daprimeira cor é um dentre um filtro de branco e um filtro de verde, o filtro dasegunda cor é um filtro de verde quando o filtro da primeira cor é um filtro debranco, e o filtro da segunda cor é um filtro de branco quando o filtro daprimeira cor é um filtro de verde.

11. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 10, caracterizado pelo fato de que a unidade defiltro de cor possui um arranjo de cor no qual filtros da primeira cor sãoarranjados em uma configuração em xadrez, filtros de cada uma das coresvermelho e azul são arranjados em uma configuração em xadrez em um passode dois pixéis em uma direção vertical e uma direção horizontal, e cada umdos filtros de vermelho é diagonalmente deslocado de um dos filtros de azulde um pixel, e filtros da segunda cor são arranjados na outra área daconfiguração em xadrez.

12. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 10, caracterizado pelo fato de que a unidade defiltro de cor possui um arranjo de cor no qual filtros da primeira cor sãoarranjados em uma configuração em xadrez, filtros de cada uma das coresvermelho e azul são arranjados em quadrado a um passo de quatro pixéis emuma direção vertical e uma direção horizontal, e dois dos filtros de vermelho edois dos filtros de azul são alternadamente arranjados em uma direçãodiagonal, e onde os filtros da segunda cor são arranjados na outra área daconfiguração em xadrez.

13. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 11, caracterizado pelo fato de que, dentre pixéisde filtros da segunda cor adjacentes a um pixel de um filtro da primeira cor, aunidade de processamento de sinal seleciona um pixel ou dois pixéis eadiciona um sinal do pixel selecionado ou sinais dos pixéis selecionados a umsinal do pixel do filtro da primeira cor.

14. Dispositivo de formação de imagem em estado sólido deacordo com a reivindicação 12, caracterizado pelo fato de que, dentre pixéisde filtros da segunda cor adjacentes a um pixel de um filtro da primeira cor, aunidade de processamento de sinal seleciona um pixel ou dois pixéis eadiciona um sinal do pixel selecionado ou sinais dos pixéis selecionados a umsinal do pixel do filtro da primeira cor.

15. Método de processamento de sinal para uso em umdispositivo de formação de imagem em estado sólido incluindo uma unidadede filtro de cor disposta em uma unidade de arranjo de pixel incluindo pixéisarranjados bidimensionalmente em uma matriz, a unidade de filtro de corpossuindo o arranjo de cor no qual filtros de uma primeira cor servindo comoum componente primário de um sinal de luminância são arranjados em umaconfiguração em xadrez, e filtros de uma segunda cor servindo como umcomponente primário do sinal de luminância para uma série de quatro pixéisformam um grupo, e os grupos são arranjados de modo a formar umaconfiguração em tira em uma dentre uma direção diagonal, uma direçãovertical e uma direção horizontal, caracterizado pelo fato de compreender aetapa de:receber sinais que são emitidos a partir dos pixéis da unidadede arranjo de pixel e que correspondem ao arranjo de cor da unidade de filtrode cor e adicionar um sinal de um pixel de um filtro da segunda cor, adjacenteao pixel de um filtro da primeira cor, a um sinal do pixel do filtro da primeiracor.

16. Aparelho de formação de imagem, caracterizado pelo fatode compreender:dispositivo de formação de imagem em estado sólido incluindouma unidade de filtro de cor e uma unidade de processamento de sinal, aunidade de filtro de cor sendo disposta em uma unidade de arranjo de pixelincluindo pixéis arranjados bidimensionalmente em uma matriz, a unidade defiltro de cor possuindo o arranjo de cor no qual filtros de uma primeira corservindo como um componente primário de um sinal de luminância sãoarranjados em uma configuração em xadrez, e filtros de uma segunda corservindo como um componente primário do sinal de luminância para umasérie de quatro pixéis formam um grupo, e os grupos são arranjados de modoa formar uma configuração em tira em uma dentre uma direção diagonal, umadireção vertical, e uma direção horizontal, a unidade de processamento desinal, recebendo sinais que são emitidos a partir dos pixéis da unidade dearranjo de pixel e que correspondem ao arranjo de cor da unidade de filtro decor e adicionando um sinal de um pixel de um filtro da segunda cor, adjacenteao pixel de um filtro da primeira cor, a um sinal do pixel do filtro da primeiracor.