BRPI1106575A2 - Aparelho e método de processamento de imagem, e, programa - Google Patents
Aparelho e método de processamento de imagem, e, programa Download PDFInfo
- Publication number
- BRPI1106575A2 BRPI1106575A2 BRPI1106575-3A BRPI1106575A BRPI1106575A2 BR PI1106575 A2 BRPI1106575 A2 BR PI1106575A2 BR PI1106575 A BRPI1106575 A BR PI1106575A BR PI1106575 A2 BRPI1106575 A2 BR PI1106575A2
- Authority
- BR
- Brazil
- Prior art keywords
- section
- reference region
- pixel
- high frequency
- pixel value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 160
- 238000012545 processing Methods 0.000 title claims abstract description 76
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title abstract description 3
- 230000008569 process Effects 0.000 claims abstract description 137
- 238000004364 calculation method Methods 0.000 claims abstract description 83
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 229920000136 polysorbate Polymers 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 239000003086 colorant Substances 0.000 description 25
- 239000000203 mixture Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA. Exposto é um aparelho de processamento de imagem incluindo: uma seção detectora que recebe uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detecta a intensidade de um sinal de alta freqUência na proximidade de um pixel visado que é um alvo de processo de interpolação; uma pluralidade de seções de cálculo estatístico cada uma das quais ajusta uma região de referência tendo uma área diferente ao redor do pixel visado e calcula uma estatística individual baseada em um valor de pixel incluído na região de referência; e uma seção de interpolação que muda um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de cálculo estatístico de acordo com a intensidade do sinal de alta freqUência detectado pela seção detectora e calcula um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas.
Description
"APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA"
FUNDAMENTOS
A presente exposição relaciona-se a um aparelho de processamento de imagem, um método e um programa de processamento de imagem. Em particular, a presente exposição relaciona-se a um aparelho de processamento de imagem, um método de processamento de imagem e um programa que executam processamento de sinal para uma produção de um dispositivo de imagem de chip único (dispositivo de imagem a cores de chip único).
Em um processo de formação de imagem usando um dispositivo de formação de imagem de estado sólido de um chip único como um dispositivo de formação de imagem (sensor de imagem) de um aparelho de formação de imagem, um filtro de cor que transmite um componente de comprimento de onda de uma cor específica tal como R, G ou B correspondendo a cada pixel está disposto no dispositivo de formação de imagem para executar formação de imagem a cor. Neste método, desde que só uma cor (por exemplo, qualquer uma de R, G e B) é obtida para cada pixel, uma imagem de uma forma de mosaico é gerada de acordo com cores. Um exemplo do filtro de cor usado no aparelho de formação
de imagem é ilustrado na Figura IA. Este arranjo é chamado o arranjo de Bayer, que transmite luz de um componente de comprimento de onda específico (R, G ou B) em cada unidade de pixel. O arranjo de Bayer inclui como uma unidade mínima quatro pixels de dois filtros que transmitem verde (G), um filtro que transmite azul (B) e um filtro que transmite vermelho (R).
Uma imagem obtida por tal um filtro se torna uma imagem tendo só informação de cor de acordo com um padrão do filtro tal como R, G ou B com respeito a cada pixel. Esta imagem é chamada uma denominada imagem de mosaico. A fim de gerar uma imagem a cores desta imagem de mosaico, é necessário gerar informação de cor sobre todas de R, G e B com respeito a todos os pixels respectivos.
Toda a informação de cor (por exemplo, todas de R, G e B) correspondendo a todos os pixels pode ser calculada executando interpolação usando informação de cor obtida ao redor de pixels de cada pixel, por esse meio para gerar uma imagem a cores. Este processo de interpolação é chamado um processo de desfazer mosaico. Quer dizer, o processo de gerar informação de cor (R, GeB) para todas as unidades de pixel individuais na base de um sinal visualizado mostrado na Figura IA e obter um sinal de
imagem mostrado na Figura IB é chamado um processo de interpolação, um processo de desfazer mosaico, um processo de sobre-amostragem, ou similar.
Para tal processo de interpolação de cor (processo de desfazer mosaico), uma variedade de técnicas tal como Patente US No. 4.642.678, foram propostas.
Em particular, uma técnica na qual cor obscura é interpolada
usando um sinal em uma direção onde a correlação é alta, como exposto na Patente US No. 5.652.621 ou Publicação de Pedido de Patente Japonesa Não Examinada No. 7-236147, pode interpolar até mesmo um componente de alta freqüência de um sinal com alta precisão.
Porém, nestas técnicas na arte relacionada, é difícil de
interpolar completamente cor obscura, e é altamente provável que falsa cor ocorra para um sinal de cor incluindo um componente de alta freqüência. Aqui, a falsa cor se refere ao fenômeno no qual uma imagem é vista como estando colorida quando 'aliasing' ocorre em um sinal de cor interpolado.
Ademais, [K. Hirakawa, T. W. Parks, "Adaptive
Homogeneity-Directed Demosaicing Algorithm"] expõe uma técnica na qual falsa cor é reduzida efetivamente para uma imagem de mosaico visualizada usando um dispositivo de formação de imagem do arranjo de Bayer, achando uma direção de interpolação onde a ocorrência de falsa cor é a mínima. Porém, esta técnica tem problemas que supressão de falsa cor não é tão alcançada completamente, e em particular, falsa cor ocorre significativamente em um arranjo tendo um grande número de cores.
Ademais, a fim de suprimir falsa cor, uma técnica de reduzir um componente de alta freqüência de um sinal de cor de uma maneira óptica usando um filtro especial na hora de fotografia, por exemplo, um filtro passa- baixo óptico (OLPF), foi proposto. Porém, na técnica usando este tipo de filtro, desde que não há nenhum filtro (OLPF) tendo características de freqüência ideais, é difícil de suprimir suficientemente falsa cor. SUMÁRIO
Por conseguinte, é desejável prover um aparelho de processamento de imagem, um método e um programa de processamento de imagem que podem gerar uma imagem a cor que é uma imagem interpolada de alta qualidade obtida suprimindo ocorrência de falsa cor em um processo de interpolação de uma imagem de mosaico visualizada por um dispositivo de formação de imagem a cor de chip único.
Ademais, é desejável prover um aparelho de processamento de imagem, um método de processamento de imagem e um programa que podem gerar uma imagem a cores que é uma imagem interpolada de alta qualidade obtida suprimindo ocorrência de falsa cor, sem adição significante de uma quantidade de cálculo ou hardware.
De acordo com uma concretização da presente exposição, é provido um aparelho de processamento de imagem incluindo: uma seção detectora que recebe uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detecta a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processamento de interpolação; uma pluralidade de seções de cálculo estatístico cada uma das quais ajusta uma região de referência tendo uma área diferente ao redor do pixel visado e calcula uma estatística individual baseada em um valor de pixel incluído na região de referência; e uma seção de interpolação que muda um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de calculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcula um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas.
Na concretização anterior, a seção de interpolação pode calcular o valor de pixel interpolado no qual uma contribuição de uma estatística calculada na base de uma região de referência larga é fixada a um nível alto em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é grande, e calcula o valor de pixel interpolado no qual uma contribuição de uma estatística calculada na base de uma região de referência estreita é fixada a um nível alto em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é pequena.
De acordo com outra concretização da presente exposição, há um aparelho de processamento de imagem incluindo: uma seção detectora que recebe uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detecta a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação; uma seção de determinação de região de referência que determina uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora; uma seção de cálculo estatístico que calcula uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência; e uma seção de interpolação que calcula o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico.
Na concretização anterior, a seção de determinação de região de referência pode ajustar uma região de referência larga em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é grande, e ajustar uma região de referência estreita em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é pequena.
Na concretização anterior, a seção detectora pode detectar a intensidade do sinal de alta freqüência na proximidade de uma freqüência de Nyquist, na proximidade do pixel visado que é o alvo de processo de interpolação.
Na concretização anterior, a seção detectora pode detectar a intensidade do sinal de alta freqüência usando um filtro passa-alto (HPF) que transmite uma banda de alta freqüência na proximidade da freqüência de Nyquist.
Na concretização anterior, a seção detectora pode calcular um sinal de cor incluído na imagem de mosaico de cor gerada pelo processo de formação de imagem do dispositivo de formação de imagem a cor de chip único e pode detecta a intensidade do sinal de alta freqüência na base do sinal calculado.
Na concretização anterior, a seção de cálculo estatístico calcula uma média dos valores de pixel de pixels incluídos na região de referência como a estatística.
Na concretização anterior, a seção de cálculo estatístico emprega um filtro de IIR (Resposta de Impulso Infinita).
De acordo com ainda outra concretização da presente exposição, é provido um método de processamento de imagem de executar um processo de interpolação de valor de pixel em um aparelho de processamento de imagem, o método incluindo: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, por uma seção detectora; ajustar uma região de referência tendo uma área diferente ao redor do pixel visado e calcular uma estatística individual baseada em um valor de pixel incluído na região de referência, por cada uma de uma pluralidade de seções de calculo estatístico; e mudar um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de calculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcular um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas, por uma seção de interpolação.
De acordo com ainda outra concretização da presente exposição, é provido um método de processamento de imagem de executar um processo de interpolação de valor de pixel em um aparelho de processamento de imagem, o método incluindo: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, por uma seção detectora; determinar uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora, por uma seção de determinação de região de referência; calcular uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência, por uma seção de cálculo estatístico; e calcular o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico, por uma seção de interpolação. De acordo com ainda outra concretização da presente exposição, é provido um programa que faz um processo de interpolação de valor de pixel a ser executado em um aparelho de processamento de imagem, o programa tendo uma rotina incluindo: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, em uma seção detectora; ajustar uma região de referência tendo uma área diferente ao redor do pixel visado e calcular uma estatística individual baseada em um valor de pixel incluído na região de referência, em cada uma de uma pluralidade de seções de cálculo estatístico; e mudar um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de cálculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcular um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas, em uma seção de interpolação.
De acordo com ainda outra concretização da presente exposição, é provido um programa que faz um processo de interpolação de valor de pixel ser executado em um aparelho de processamento de imagem, o programa tendo uma rotina incluindo: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processamento de interpolação, em uma seção detectora; determinar uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora, em uma seção de determinação de região de referência; calcular uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência, em uma seção de cálculo estatístico; e calcular o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico, em uma seção de interpolação.
Aqui, o programa nesta concretização pode ser provido, por exemplo, por um meio de armazenamento ou um meio de comunicação que provê uma variedade de códigos de programa em um formato legível por computador para um aparelho de processamento de imagem ou um sistema de computador que pode executar os códigos de programa. Como tal programa é provido em um formato legível por computador, o aparelho de processamento de imagem ou o sistema de computador pode realizar um processo de acordo com o programa.
Vários alvos, características e vantagens da presente exposição se tornarão aparentes de descrição detalhada baseada em concretizações a serem descritas mais tarde e desenhos acompanhantes. O termo "sistema" nesta descrição se refere a uma configuração fixa lógica de uma pluralidade de dispositivos, que não está limitada a uma configuração na qual os dispositivos de componente respectivos estão dispostos em uma única cobertura.
De acordo com as configurações acima descritas, a imagem de mosaico de cor gerada pelo processo de formação de imagem do dispositivo de formação de imagem a cor de chip único é recebida como uma entrada, e a intensidade do sinal de alta freqüência na proximidade do pixel visado, que é o alvo de processamento de interpolação, é detectada. Ademais, a região de referência tendo uma área diferente é fixada de acordo com a intensidade detectada do sinal de alta freqüência, e o valor de pixel interpolado é determinado usando a estatística calculada da região de referência tendo a área diferente. Por exemplo, em um caso onde a intensidade do sinal de alta freqüência é grande, o valor de pixel interpolado no qual a contribuição da estatística calculada na base da região de referência larga é fixado a um nível alto é calculado, e em um caso onde a intensidade do sinal de alta freqüência é pequena, o valor de pixel interpolado no qual a contribuição da estatística calculada na base da região de referência estreita é fixado a um nível alto é calculado por um processo de mistura. Alternativamente, o processo é executado usando a região de referência tendo uma área determinada de acordo com a intensidade do sinal de alta freqüência.
Por estes processos, é possível ajustar uma região de referência ótima de acordo com quanto um sinal de alta freqüência está incluído em uma região de pixel, e gerar uma imagem de alta qualidade na qual falsa cor é suprimida. Em seguida, uma região de pixel na qual um sinal de alta freqüência na proximidade da freqüência de Nyquist está incluído a uma grande extensão em um sinal de cor é chamada uma região de alta freqüência. DESCRIÇÃO BREVE DOS DESENHOS
Figuras IA e IB são diagramas ilustrando um processo de desfazer mosaico;
Figuras 2A e 2B são diagramas ilustrando um exemplo de uma imagem de mosaico que é um alvo de processamento em um aparelho de processamento de imagem de acordo com uma concretização da presente exposição;
Figura 3 é um diagrama ilustrando um exemplo de configuração de uma seção de execução de interpolação de um aparelho de processamento de imagem de acordo com uma concretização da presente exposição;
Figura 4 é um diagrama ilustrando outro exemplo de configuração de uma seção de execução de interpolação de um aparelho de processamento de imagem de acordo com uma concretização da presente exposição; e
Figura 5 é um diagrama ilustrando um exemplo de configuração de hardware de um aparelho de formação de imagem que é um exemplo de configuração de um aparelho de processamento de imagem de acordo com uma concretização da presente exposição. DESCRIÇÃO DETALHADA DE CONCRETIZAÇÕES Em seguida, um aparelho de processamento de imagem, um
método e um programa de processamento de imagem da presente exposição serão descritos em detalhes, com referência aos desenhos acompanhantes. Descrição será feita na ordem seguinte.
1. Esboço de processo executado por aparelho de processamento de imagem de acordo com uma concretização
2. Configuração e processo de seção de execução de interpolação em aparelho de processamento de imagem de acordo com a concretização
3. Exemplo de configuração de hardware de aparelho de processamento de imagem de acordo com a concretização
4. Exemplo de processamento específico de elementos de seção de execução de interpolação 100 mostrada na Figura 3
(4-1. Processo de seção detectora de freqüência de Nyquist 101) (4-2. Processo de seção de cálculo estatístico de região pequena
102)
(4-3. Processo de seção de cálculo estatístico de região grande
103)
(4-4. Processo de seção de interpolação A 104)
5. Exemplo de processamento específico de elementos de seção de execução de interpolação 150 mostrada na Figura 4
(5-1. Processo de seção detectora de freqüência de Nyquist 151) (5-2. Processo de seção de determinação de região de
referência 152)
(5-3. Processo de seção de cálculo estatístico 153) (5-4. Processo de seção de interpolação B 154)
6. Outras concretizações
1. Esboço de processo executado por aparelho de execução de imagem de acordo com uma concretização
Primeiramente, um esboço de um processo executado por um aparelho de processamento de imagem de acordo com uma concretização será descrito.
O aparelho de processamento de imagem executa um processo de interpolação de uma imagem de mosaico visualizada usando um dispositivo de formação de imagem a cor de chip único com alta precisão, e gera uma imagem a cores de alta qualidade.
A presente concretização é uma técnica capaz de ser aplicada a processamento de sinal de câmera de uma câmera digital. Usando esta técnica, é possível reduzir o problema de "falsa cor" na arte relacionada, e alcançar um resultado de interpolação que é visualmente satisfatório.
A presente concretização pode ser aplicada a um processo de interpolação para uma imagem visualizada por um dispositivo de formação de imagem a cor de chip único usando o arranjo de Bayer mostrado na Figura IA, por exemplo, e pode ser aplicada a um dispositivo de formação de imagem a cor de chip único usando um arranjo de cor tendo um grande número de cores.
Quer dizer, a presente concretização pode ser aplicada a um processo de interpolação para uma imagem visualizada por um dispositivo de formação de imagem de chip único tendo uma variedade de arranjos, tal como um arranjo de Bayer (Figura 2A) ou um arranjo de quatro cores (Figura 2B).
0 arranjo mostrado na Figura 2A é o arranjo de Bayer descrito com referência à Figura IA, e transmite uma cor de componente de comprimento de onda específica (R, G ou B) na unidade de cada pixel. O arranjo de Bayer é configurado por quatro pixels incluindo dois filtros que transmitem verde (G), um filtro que transmite azul (B), e um filtro que transmite vermelho (R) como uma unidade mínima.
O arranjo mostrado na Figura 2B tem um pixel X além de R, G e B. Por exemplo, X pode ser fixado a uma variedade de cores tal como esmeralda que é diferente em cor de R, G e B, branco que transmite todos os comprimentos de onda, ou preto que transmite só luz infravermelha.
Ademais, além de dispositivos de formação de imagem mostrados nas Figuras 2A e 2B, a presente concretização também pode ser aplicada a um processo de interpolação para dados de imagem obtidos usando um dispositivo de formação de imagem no qual quatro ou mais cores são arranjadas.
Quando o número de cores visualizada pelo dispositivo de formação de imagem a cor de chip único aumenta, o número de pixels por uma cor diminui e uma banda de freqüência onde 'aliasing' ocorre se torna baixa. Por esta razão, uma probabilidade de ocorrência de falsa cor é aumentada em um dispositivo de formação de imagem a cor de chip único que visualiza cores excedendo três cores. Assim, é mais efetivo usar um processo de supressão de falsa cor de acordo com a presente concretização.
O "aliasing" é ruído ocorrendo em uma região de alta freqüência de um sinal de entrada, que ocorre em uma gama de alta freqüência que é mais alta do que uma freqüência (freqüência de Nyquist), que é 1/2 de uma freqüência de amostragem. Se o componente de freqüência do sinal de entrada for mais alto que a freqüência de Nyquist, o fenômeno de 'aliasing' ocorre, e um sinal derivado de um sinal da freqüência de Nyquist ou mais alto do componente de freqüência do sinal de entrada é inserido em um componente de freqüência de um sinal depois de amostragem como ruído.
Quando o número de cores visualizadas pelo dispositivo de formação de imagem a cor de chip único é aumentado, o número de pixels para cada cor é reduzido, e como resultado, a freqüência de amostragem é reduzida. Conseqüentemente, a banda de freqüência onde 'aliasing' ocorre se torna baixa.
A presente concretização provê uma solução de redução de ruído efetiva na banda de freqüência onde um tal fenômeno de 'aliasing' ocorre. Assim, a presente concretização é mais efetiva em um caso onde a freqüência de amostragem é baixa e a probabilidade de ocorrência de falsa cor é alta, como no dispositivo de formação de imagem a cor de chip único que visualiza o número de cores excedendo três cores.
O processo de supressão de falsa cor de acordo com a presente concretização pode ser aplicado a um processo de interpolação para uma imagem visualizada por um dispositivo de formação de imagem a cor de chip único que tem uma variedade de arranjos, além do arranjo de Bayer ou do arranjo de quatro cores mostrado nas Figuras 2A ou 2B.
Como descrito acima, o aparelho de processamento de imagem de acordo com a presente concretização provê uma solução de redução de ruído efetiva na banda de freqüência onde 'aliasing' ocorre, por esse meio para realizar um processo de interpolação com menos ruído.
O aparelho de processamento de imagem de acordo com a presente concretização calcula uma estatística necessária para o processo de interpolação usando uma região de referência de uma área apropriada de acordo com a intensidade de 'aliasing' incluído em um sinal de cor que é visualizado pelo dispositivo de formação de imagem a cor de chip único e é produzido do dispositivo de formação de imagem. Em um processo de interpolação geral, a interpolação é executada usando o fato que uma correlação forte está presente entre sinais de cor diferentes.
Por exemplo, uma expressão de estimar um valor de pixel de uma cor C2 usando uma certa cor Cl é representada como a Expressão (1) seguinte. Cl(x) - C2(x) = — X (Cl(x +1) - C2(x +1)) ^wCl(x) - mC2(x)
telocal
Expressão (1)
Na Expressão (1), χ é a posição de um pixel visado, Cl(x) e C2(x) são valores de pixel de cores conhecidas Cl e C2 na posição de pixel x, t é um ofsete de uma coordenada indicando uma região de referência, N é o número de pixels na região de referência, e mCl(x) e mC2(x) são valores médios de valores de pixel de Cl e C2 na região de referência incluindo a posição de pixel x.
Na Expressão (1), o valor de pixel Cl(x) da cor Cl na posição de pixel visado χ é obtido diretamente de um sinal de formação de imagem, e o valor de pixel C2(x) da cor C2 na posição χ não é obtido diretamente do sinal de formação de imagem. Neste momento, uma diferença Cl(x) - C2(x) do sinal de cor na posição de pixel χ é calculada pela Expressão (1), e o valor de pixel C2(x) da cor C2 na posição χ pode ser calculado de acordo com esta expressão.
A Expressão (1) é uma expressão para calcular um valor de pixel C2(x) de uma cor desconhecida C2 na posição x, usando os valores de pixel das cores conhecidas Cl e C2 na região de referência incluindo a posição x.
A Expressão (1) é uma expressão para calcular o valor de pixel (C2(x)) da cor (C2) do pixel visado χ que não pode ser obtido diretamente de uma saída do dispositivo de formação de imagem na base de características de uma imagem natural na qual a diferença (diferença de cor) de valores de pixel entre sinais de cor diferentes é mantida aproximadamente constantemente em uma região local.
De acordo com a Expressão (1), é possível estimar um sinal de cor obscuro na posição de pixel visado usando só os valores de pixel conhecidos na região de referência incluindo o pixel visado. Por exemplo, se Cl(x) for conhecido, o valor obscuro C2(x) é calculado usando Cl(x), mCl(x) e mC2(x).
Porém, no método de interpolação na Expressão (1), quando um tal componente de alta freqüência que causa 'aliasing' está incluído em um sinal de cor, o termo no centro da Expressão (l)eo termo na extremidade direita disso não coincidem entre si, como segue.
— Yj (C1(x +1) - C2(x +1>) *mCl(x) - mC2(x)
N telocal
Quer dizer, há um problema que uma tal discrepância ocorre. Ademais, a seguinte Expressão (2) é obtida mudando a
Expressão (1).
( 1 λ 1
C2(x) = Cl(x)-— YCl(x + t) + — YC2(x + t) = (Cl(x)-mCl(x))+mC2(x)
telocal J
N
telocal
Expressão (2)
O cálculo do valor médio dos valores de pixel é equivalente à aplicação de um filtro passa-baixo (LPF) ao sinal de cor. A Expressão (2) mostra que o valor obscuro C2(x) pode ser calculado por um componente de baixa freqüência de C2 e um componente de alta freqüência de Cl.
Quer dizer, o processo de interpolação usa o fato que há uma correlação forte entre o componente de alta freqüência de Cl e o componente de alta freqüência de C2.
Neste processo de interpolação, se o componente de alta freqüência estiver incluído no sinal de cor, 'aliasing' ocorre, e assim, falsa cor ocorre no resultado de interpolação, em que o resultado de cálculo de mCl(x) e mC2(x) desvia de um resultado de LPF ideal.
Na presente concretização, o problema anterior é resolvido mudando a área da região de referência usada quando a estatística (valor médio na Expressão (1)) é calculada de acordo com características de freqüência do sinal de cor.
A região de referência corresponde a uma região de colocação de um pixel de referência aplicado para cálculo de um valor de pixel interpolado da posição de pixel visado.
O sinal de cor na imagem natural tem predominantemente um componente de baixa freqüência, e um componente de alta freqüência está presente em só uma parte de um objeto tendo uma borda afiada.
Assim, na maioria de uma região de uma imagem na qual um componente de alta freqüência não está incluído no sinal de cor, é possível confiar suficientemente na estatística calculada em uma região de referência estreita sem 'aliasing' no sinal de cor.
Contrariamente, em um caso onde um tal componente de alta freqüência que causa 'aliasing' no sinal está incluído no sinal de cor, se a estatística for calculada usando a região de referência estreita, é difícil calcular uma estatística correta por uma influência forte de 'aliasing1.
Porém, desde que uma região na qual o componente de alta freqüência está presente está limitada na imagem natural visualizada pelo aparelho de formação de imagem (câmera), aumentando a área na região de referência onde o valor de pixel de referência para cálculo do valor de pixel interpolado é obtido, é possível amostrar o sinal de cor no qual só o componente de baixa freqüência está incluído como o valor de pixel de referência.
Quer dizer, aumentando a região de referência, é possível calcular uma estatística relativamente correta.
Em consideração a só o fato que se a região de referência é aumentada, a influência de 'aliasing' é reduzida, é preferível aumentar a região de referência tanto quanto possível, mas isto não está correto.
Isto é porque a relação de correlação entre sinais de cor na posição de pixel visado é mantida em só uma região estreita incluindo a posição de pixel visado.
Pode ser dito que a correlação forte entre sinais de cor é mantida quando o componente de alta freqüência do sinal é o centro.
Assim, a fim de aproximar o valor interpolado no processo de interpolação usando a Expressão (1) a um valor de pixel ideal, é preferível que a região de referência para obter o valor de imagem de referência a ser fixado para ser estreita. Por exemplo, na maioria das técnicas de interpolação de valor de pixel, uma região de referência estreita predeterminada, por exemplo, uma região de cerca de 7x7 pixels, é usada.
Na presente concretização, além da região de referência estreita predeterminada usada na arte relacionada, por exemplo, uma região larga de cerca de 31x31 pixels é fixada como a região de referência para obter o valor de pixel de referência, e o processo de interpolação é executado usando o valor de pixel de referência na região de referência larga.
Se falsa cor ocorrer no processo de interpolação, isto parece notoriamente antinatural. Assim, falsa cor deveria ser prevenida.
Assim, na presente concretização, a área da região de referência usada no processo de interpolação é mudada de acordo com características de freqüência do sinal de cor.
Em um caso onde o componente de alta freqüência na proximidade da freqüência de Nyquist está incluído no sinal de cor, uma região de referência larga é usada, e em um caso onde o componente de alta freqüência na proximidade da freqüência de Nyquist não está incluído no sinal de cor, uma região de referência estreita é usada.
2. Configuração e processo de seção de execução de interpolação em aparelho de processamento de imagem de acordo com a concretização
Uma configuração e um processo da seção de execução de interpolação no aparelho de processamento de imagem de acordo com a presente concretização serão descritos com referência à Figura 3 e depois disso.
Figura 3 é um diagrama de bloco ilustrando elementos de uma seção de execução de interpolação 100 que executa o processo de interpolação no aparelho de processamento de imagem de acordo com a presente concretização.
Como mostrado na Figura 3, o aparelho de processamento de imagem de acordo com a presente concretização inclui uma seção detectora de freqüência de Nyquist 101, uma seção de cálculo estatístico de região pequena 102, uma seção de cálculo estatístico de região grande 103, e uma seção de interpolação A 104.
Uma imagem de mosaico 121 que é uma produção de um dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) é entrada à seção de execução de interpolação 100. A imagem de mosaico 121 inclui só dados de cor única tais como R, G ou B em cada posição de pixel.
A seção de execução de interpolação 100 produz uma imagem interpolada 122 na qual dados de valor de pixel de todas as cores são fixados em cada posição de pixel.
A seção detectora de freqüência de Nyquist 101 detecta a intensidade de um sinal de alta freqüência na proximidade da freqüência de Nyquist incluída em um sinal de cor da imagem de mosaico 121.
A seção de cálculo estatístico de região pequena 102 calcula uma estatística usando uma região de referência estreita incluindo uma região de pixel estreita predeterminada.
A seção de cálculo estatístico de região grande 103 calcula uma estatística usando uma região de referência larga incluindo uma região de pixel larga predeterminada. A estatística é um valor calculado do valor de pixel da região de referência usada para determinar o valor de pixel interpolado.
A seção de interpolação A 104 determina um valor de pixel de cor obscura em uma posição de pixel visado que é uma posição de pixel onde o valor de pixel interpolado é determinado, primeiramente usando uma estatística entre as estatísticas calculadas usando duas regiões de referência diferentes da seção de cálculo estatístico de região pequena 102 e da seção de cálculo estatístico de região grande 103, de acordo com a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101.
Especificamente, a seção de interpolação A 104 executa o processo de interpolação seguinte.
Se for determinado que o sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101 tem uma intensidade que é igual a ou maior do que um limiar predeterminado e está em uma região de alta freqüência, o processo de interpolação é executado usando a estatística calculada pela seção de cálculo estatístico de região grande 103.
Se for determinado que o sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101 tem uma intensidade que é menor do que o limiar predeterminado e não está na região de alta freqüência, o processo de interpolação é executado usando a estatística calculada pela seção de calculo estatístico de região pequena 102. Ademais, em vez da troca simples pelo limiar, duas estatísticas podem ser misturadas de acordo com a intensidade do sinal de alta freqüência.
A seção de execução de interpolação 100 mostrada na Figura 3 calcula duas estatísticas diferentes usando duas regiões de referência tendo tamanhos diferentes para a seção de cálculo estatístico de região pequena 102 e a seção de cálculo estatístico de região grande 103. Alternativamente, como uma configuração capaz de usar três ou mais regiões de referência tendo tamanhos diferentes, a seção de execução de interpolação 100 pode calcular três ou mais estatísticas, que podem ser aplicadas seletivamente de acordo com a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101.
Por exemplo, o processo de interpolação seguinte é executado em um caso onde três seções de cálculo estatístico de uma seção de cálculo estatístico de região pequena que calcula uma estatística usando uma região de referência estreita, uma seção de cálculo estatístico de região intermediária que calcula uma estatística usando uma região de referência intermediária, e uma seção de cálculo estatístico de região grande que calcula uma estatística usando uma região de referência larga são fixadas.
A seção de interpolação A 104 executa o processo de interpolação seguinte.
O processo de interpolação seguinte é executado de acordo com a intensidade S do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101.
Quando o limiar Thl < S, o processo de interpolação é executado usando a estatística calculada pela seção de cálculo estatístico de região grande que calcula a estatística usando a região de referência larga.
Quando limiar Th2 < S < limiar Th 1, o processo de interpolação é executado usando a estatística calculada pela seção de cálculo estatístico de região intermediária que calcula a estatística usando a região de referência intermediária.
Quando S < limiar Th2, o processo de interpolação é executado usando a estatística calculada pela pequena seção de cálculo estatístico de região que calcula a estatística usando a região de referência estreita.
Deste modo, é possível usar a configuração que tem três ou mais regiões de referência diferentes.
Figura 4 ilustra uma seção de execução de interpolação 150 em um aparelho de processamento de imagem de acordo com uma segunda concretização.
A seção de execução de interpolação 150 mostrada na Figura 4 inclui uma seção detectora de freqüência de Nyquist 151, uma seção de determinação de região de referência 152, uma seção de cálculo estatístico 153, e uma seção de interpolação B 154.
Um imagem de mosaico 171 que é uma produção de um dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) é entrada à seção de execução de interpolação 150. A imagem de mosaico 171 inclui só dados de cor única tais como R, G ou B em cada posição de pixel.
A seção de execução de interpolação 150 produz uma imagem interpolada 172 na qual dados de valor de pixel de todas as cores são fixados em cada posição de pixel.
A seção detectora de freqüência de Nyquist 151 detecta a intensidade de um sinal de alta freqüência na proximidade da freqüência de Nyquist incluída em um sinal de cor da imagem de mosaico 171.
A seção de determinação de região de referência 152 determina o tamanho da região de referência de acordo com a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 101.
Especificamente, a seção de determinação de região de referência 152 executa o seguinte processo de determinação de região de referência.
Se for determinado que a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 151 é mais forte do que um limiar prefixado, por exemplo, e corresponde a uma região de alta freqüência, o tamanho da região de referência é aumentado.
Ademais, se for determinado que a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 151 é mais fraca do que o limiar prefixado, por exemplo, e não corresponde à região de alta freqüência, o tamanho da região de referência é reduzido.
A seção de cálculo estatístico 153 usa um valor de pixel na região de referência determinada pela seção de determinação de região de referência 152 como um pixel de referência para calcular a estatística.
A seção de interpolação B 154 executa um processo de interpolação de determinar um valor de pixel de cor obscura na base da estatística calculada pela seção de cálculo estatístico 153.
Deste modo, no aparelho de processamento de imagem de acordo com a presente concretização, a área da região de referência é mudada, a estatística é calculada usando uma região de pixel de referência larga na região de alta freqüência e usando uma região de pixel de referência estreita em uma região que não é a região de alta freqüência, e o valor de pixel de interpolação é determinado usando a estatística calculada.
Executando este processo, é possível suprimir falsa cor em uma região de pixel onde falsa cor é gerada na arte relacionada, e alcançar desempenho de interpolação em outras regiões ao mesmo nível como na arte relacionada.
Pode ser dito que a presente exposição relaciona-se ao aparelho de processamento de imagem que alcança equilíbrio mudando a área da região de referência com respeito às questões de qualidade de imagem diferentes de supressão de falsa cor e manutenção de desempenho de interpolação.
A intensidade do sinal de alta freqüência é calculada aplicando um filtro passa-alto ao sinal de cor, mas em um caso onde o número de pixels de uma certa cor é diferente do número de pixels de uma cor diferente, o filtro passa-alto é aplicado à cor tendo um número grande de pixels, e o resultado pode ser usado para a cor tendo um número pequeno de pixels. A razão é como segue. Quer dizer, desde que uma correlação forte está presente entre cores na imagem natural visualizada pelo aparelho de formação de imagem (câmera), é possível usar a intensidade do sinal de alta freqüência de uma certa cor como um substituto para a intensidade do componente de alta freqüência de uma cor diferente, e é possível detectar o sinal de alta freqüência com alta precisão de forma que o grau de liberdade em projeto do filtro passa-alto seja aumentado no número grande de pixels.
Em um caso onde a seção de execução de interpolação na presente concretização é realizada como hardware, é possível reduzir o custo do hardware usando um filtro de IIR (resposta de impulso infinita) em cálculo de estatísticas na região de referência larga.
O filtro de IIR é um filtro de anisotropia, mas como deterioração de desempenho do processamento de interpolação causado por anisotropia é percebido apenas em um senso visual, isto não causa um problema.
3. Exemplo de configuração de hardware de aparelho de processamento de imagem de acordo com a presente concretização
A seguir, um exemplo de configuração de um aparelho de processamento de imagem (câmera imóvel digital) de acordo com a presente concretização será descrito com referência à Figura 5. Uma configuração e uma operação da imagem inteira serão descritas primeiramente, e então configurações e operação das seções respectivas serão descritas. Finalmente, variações que podem ser derivadas da presente concretização serão descritas.
Figura 5 é um diagrama de bloco ilustrando uma configuração de um sistema de câmera imóvel digital que é um exemplo do aparelho de processamento de imagem de acordo com a presente concretização. Como mostrado na Figura 5, o aparelho de processamento de imagem inclui uma lente 201, uma abertura 202, um sensor de imagem de CCD 203, um circuito de amostragem dupla de correlação 204, um conversor A/D 205, um bloco de DSP 206, um gerador de temporização 207, um conversor D/A 208, um codificador de vídeo 209, um monitor de vídeo 210, um CODEC 211, uma memória 212, uma CPU 213, e um dispositivo de entrada 214.
O dispositivo de entrada 214 é um botão de operação ou similar tal como um botão de gravação disposto em um corpo de câmera. Ademais, o bloco de DSP 206 é um bloco que tem um processador de sinal e uma RAM de imagem, na qual o processador de sinal pode executar processamento de imagem programado com antecedência para dados de imagem armazenados na RAM de imagem. Em seguida, o bloco de DSP é chamado simplesmente um DSP.
Luz incidente que alcançou o CCD 203 por um sistema óptico alcança cada dispositivo receptor de luz sobre uma superfície de formação de imagem de CCD, é convertida em um sinal elétrico através de conversão fotoelétrica no dispositivo receptor de luz, sofre remoção de ruído pelo circuito de amostragem dupla de correlação 204, é digitalizado pelo conversor A/D 205, e então é armazenado temporariamente em uma memória de imagem do DSP 206.
Durante formação de imagem, o gerador de temporização 207 controla um sistema de processamento de sinal de forma que importação de imagem seja mantida a uma taxa de quadro predeterminada. Um fluxo de pixel é transmitido ao DSP 206 a uma taxa predeterminada, processamento de imagem apropriado é executado, e então os dados de imagem são transmitidos ao conversor D/A 208 ou ao CODEC 211, ou ambos deles. O conversor D/A 208 converte os dados de imagem transmitidos do DSP 206 em um sinal analógico, e o codificador de vídeo 209 converte o resultado em um sinal de vídeo. O monitor de vídeo 210 pode monitorar o sinal de vídeo, que serve como um detector de câmera na presente concretização. Ademais, o CODEC 211 executa codificação para os dados de imagem transmitidos do DSP 206, e os dados de imagem codificados são gravados na memória 212. Aqui, a memória 212 pode ser um dispositivo de gravação ou similar que usa um semicondutor, um meio de gravação magnética, um meio magneto-óptico, um meio de gravação óptica ou similar.
Até aqui, o sistema inteiro da câmera de vídeo imóvel digital na presente concretização foi descrito, mas o processo de interpolação ou similar que é o processamento de imagem relativo à presente exposição é executado no DSP 206. A seção de execução de interpolação descrita com referência às Figuras 3 e 4 está incluída no DSP 206 no aparelho de processamento de imagem que é a câmera imóvel digital mostrada na Figura 5.
Em seguida, um exemplo de processamento executado no DSP 206 do aparelho de processamento de imagem que é a câmera imóvel digital mostrada na Figura 5 de acordo com a presente concretização será descrito.
No DSP 206, uma unidade de cálculo executa seqüencialmente cálculo descrito em um código de programa predeterminado para um fluxo de sinal de imagem de entrada. Em seguida, cada unidade de processamento no programa é descrita como um bloco funcional, e em cada processamento ordem executória é descrita como um fluxograma. Porém, na presente exposição, um circuito de hardware que realiza o mesmo processo como o bloco funcional descrito em seguida pode ser montado, em vez do programa descrito na presente concretização.
4. Exemplo de processamento específico de elementos de seção de execução de interpolação 100 mostrada na Figura 3
Primeiramente, na seção de execução de interpolação do aparelho de processamento de imagem de acordo com a presente concretização como descrita com referência às Figuras 3 e 4, a área da região de referência é mudada, a estatística é calculada usando a região de pixel de referência larga na região de alta freqüência, e usando a região de pixel de referência estreita na região que não é a região de alta freqüência, e o valor de pixel interpolado é determinado usando a estatística calculada.
Executando o processo acima descrito, é possível suprimir falsa cor em uma região de pixel onde é gerada falsa cor na arte relacionada, e alcançar desempenho de interpolação em outras regiões ao mesmo nível como na arte relacionada.
Em seguida, na seção de execução de interpolação 100 mostrada na Figura 3, um exemplo de processamento específico será descrito em um caso onde uma imagem de mosaico 121 que é uma produção de um dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) tendo um arranjo de quatro cores de R, G, B e X, como mostrado na Figura 2B, é entrada.
4-1. Processo de seção detectora de freqüência de Nyquist
101
Primeiramente, um processo da seção detectora de freqüência de Nyquist 101 será descrito.
Na seção detectora de freqüência de Nyquist 101, um sinal de uma cor diferente Y que é maior no número de pixels do que quatro cores (R, G, B e X) incluídas na Figura 2B e tem um componente de freqüência mais alto é calculado usando a Expressão (3) seguinte. Y representa um sinal de uma cor diferente que é maior no número de pixels do que quatro cores (R, G, B e X) diretamente obtidas de um dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) e tem um componente de freqüência mais alta.
Y(x+0.5,y+0.5)=Mosaic(x,y)+Mosaic(x+l,y)+Mosaic(x,y+l)+Mosaic(x+l,y+l)
... Expressão (3)
Na Expressão (3) anterior, χ e y representam posições de pixel, e "Mosaico" representa uma imagem de mosaico.
O sinal Y é calculado como um valor de pixel na posição central de 4 pixels de R, G, B e X. A seção detectora de freqüência de Nyquist 101 calcula subseqüentemente a intensidade de um componente de alta freqüência de Y de acordo com a seguinte Expressão (4), usando um filtro passa-alto (HPF) que transmite uma banda de freqüência na proximidade da freqüência de Nyquist de componentes de cor de R, G, B e X.
t=0 s=0
+ \Y(x + s-0.5,y + t-1.5)-r(x + s-0.5,y + t-0.5)x2 + Y(x + s-0.5,y + t + 0.5)\
Na expressão anterior, Nyq(x, y) é um valor indicando a intensidade de um componente de alta freqüência em um pixel visado (x, y). A expressão anterior é uma expressão que calcula a intensidade do componente de alta freqüência na base de distribuição do sinal Y na proximidade do pixel visado (x, y).
O valor Nyq(x, y) calculado de acordo com esta expressão é provido à seção de interpolação A 104 mostrada na Figura 3 como um valor de índice de intensidade do componente de alta freqüência no pixel visado (x, y).
A seção de interpolação A 104 determina qual das estatísticas
calculadas em duas regiões de referência diferentes é usada preferencialmente, na base deste valor.
Quer dizer, como descrito acima, a seção de interpolação A 104 executa o processo de interpolação seguinte. Quando o Nyq(x, y) calculado na seção detectora de
freqüência de Nyquist 101 é grande, o processo de interpolação é executado preferencialmente usando a estatística calculada pela seção de cálculo estatístico de região grande 103.
Quando o Nyq(x, y) calculado na seção detectora de freqüência de Nyquist 101 é pequena, o processamento de interpolação é executado preferencialmente usando a estatística calculada pela seção de cálculo estatístico de região pequena 102.
4-2. Processo de seção de cálculo estatístico de região
pequena 102
A seguir, um processo da seção de cálculo estatístico de região pequena 102 será descrito.
A seção de cálculo estatístico de região pequena 102 ajusta uma região de pixel estreita onde o pixel visado (x, y), que é um pixel visado de interpolação é o centro, por exemplo, uma região parcial de 7x7 pixels como uma região de referência, e calcula valores médios de valores de pixel de R, G, Β, X e Y incluídos na região de referência estreita como estatísticas solicitadas para determinar valores de pixel interpolados.
Em seguida, os valores médios das cores respectivas de R, G, Β, X e Y na região estreita (por exemplo, região de 7x7 pixels) calculada na seção de cálculo estatístico de região pequena 102 são expressos como segue.
Valor médio de R: mHR(x, y)
Valor médio de G: mHG(x, y)
Valor médio de B: mHB(x, y)
Valor médio de X: mHX(x,y)
Valor médio de Y: mHY(x, y)
A seção de cálculo estatístico de região pequena 102 calcula estes valores como estatísticas na região de referência estreita (por exemplo, região de 7x7 pixels).
4-3. Processo de seção de cálculo estatístico de região
grande 103
A seguir, um processo da seção de cálculo estatístico de região grande 103 será descrito.
A seção de cálculo estatístico de região grande 103 ajusta uma região de pixel larga onde o pixel visado (x, y), que é um pixel visado de interpolação é o centro, por exemplo, uma região parcial de 31x31 pixels como uma região de referência, e calcula valores médios de valores de pixel de R, G, Β, X e Y incluídos na região de referência larga como estatísticas aplicadas para determinar valores de pixel interpolados.
Em seguida, os valores médios das cores respectivas de R, G, Β, X e Y na região larga (por exemplo, região de 31x31 pixels) calculados na seção de cálculo estatístico de região grande 103 são expressos como segue. Valor médio de R: mLR(x, y) Valor médio de G: mLG(x, y) Valor médio de B: mLB(x, y) Valor médio de X: mLX(x, y) Valor médio de Y: mLY(x, y)
A seção de cálculo estatístico de região grande 103 calcula estes valores como estatísticas na região de referência larga (por exemplo, região de 31x31 pixels).
4-4. Processo de seção de interpolação A 104 A seguir, um processo da seção de interpolação A 104 será
descrito.
Na seção de interpolação A 104, um valor de pixel interpolado no pixel visado (x, y), que é a posição de pixel visado de interpolação, quer dizer, um valor de pixel de cor obscura é determinado de acordo com a Expressão (5) seguinte.
Blend(x, y)=min(Nyq(x, y)xconstl,l) C(x5y)=Y(x,y)-(mLY(x,y)xBlend(x,y)+mHY(x,y)x(l-
Blend(x,y)))+(mLC(x,y)xBlend(x,y)+mHC(x,y)x(l-Blend(x,y))) Expressão (5)
Na Expressão (5) anterior, "constl" é um coeficiente para controlar uma relação de mistura de estatísticas calculadas em duas regiões de referência diferentes.
Mudando o coeficiente, é possível controlar o efeito de supressão de falsa cor. Ademais, C na expressão é substituído com qualquer cor de R, G, B e X.
A Expressão (5) é uma expressão que calcula um valor de pixel interpolado C(x,y) de um pixel visado final misturando valores médios respectivos, isso é, valores médios de um sinal Y e um sinal C (sinal de cor onde qualquer um de R5 G, B e X é um alvo de interpolação) na região de referência estreita (por exemplo, região de 7x7 pixels) calculado na seção de cálculo estatístico de região pequena 102, quer dizer, o valor médio de Y: mHY(x,y) e o valor médio de C: mHC(x,y); e valores médios de um sinal Y e um sinal C (sinal de cor onde qualquer um de R, G, B e X é um alvo de interpolação) na região de referência larga (por exemplo, região de 31x31 pixels) calculado na seção de cálculo estatístico de região grande 103, quer dizer, o valor médio de Y: mLY(x,y) e o valor médio de C: mLC(x,y).
A relação de mistura Blend(x,y) é calculada de acordo com a Expressão Blend(x,y) = min(Nyq(x,y)xconstl, 1).
Quer dizer, um valor (Nyq(x,y)xconstl) obtido multiplicando o valor de índice de intensidade Nyq(x,y) do componente de alta freqüência no pixel visado (x,y) calculado de acordo com a Expressão (4) acima descrita pelo coeficiente predeterminado "constl" é comparado com 1 para selecionar um valor menor, e o valor selecionado é fixado à relação de mistura Blend(x,y).
Por exemplo, na região de alta freqüência, o valor de (Nyq(x,y)xconstl) é aumentado, e assim (Nyq(x,y)xconstl) > 1. Neste caso, a relação de mistura Blend(x,y) calculada de acordo com a Expressão anterior Blend(x,y) = min(Nyq(x,y)xconstl, 1) se torna Blend(x,y) = 1.
Em uma tal região de alta freqüência, o valor de pixel interpolado C(x,y) do pixel visado calculado de acordo com a Expressão (5) anterior é calculado só pelos valores médios do sinal Y e do sinal C (sinal de cor onde qualquer um de R, G, B e X é um alvo de interpolação) na região de referência larga (por exemplo, região de 31x31 pixels), quer dizer, o valor médio de Y: mLY(x,y) e o valor médio de C: mLC(x,y).
Por outro lado, em uma região onde o componente de alta freqüência é pequeno, o valor de (Nyq(x,y)xconstl) é reduzido, e assim, (Nyq(x,y)xconstl) < 1. Neste caso, a relação de mistura Blend(x,y) calculada de acordo com a Expressão anterior Blend(x,y) = min(Nyq(x,y)xconstl, 1) se torna Blend(x,y) = Oal.
Em uma região plana onde um tal componente de alta freqüência é pequeno, o valor de pixel interpolado C(x,y) do pixel visado calculado de acordo com a Expressão (5) anterior tem uma contribuição que é maior do que zero, dos valores médios do sinal Y e do sinal C (sinal de cor onde qualquer um de R, G, B e X é um alvo de interpolação) na região de referência estreita (por exemplo, região de 7x7 pixels), quer dizer, o valor médio de Y: mHY(x,y) e o valor médio de C: mHC(x,y).
Quando o valor de (Nyq(x,y)xconstl) é reduzido, isso é, como o componente de alta freqüência fica menor, a contribuição dos valores médios do sinal Y e do sinal C (sinal de cor onde qualquer um de R, G, B e X é um alvo de interpolação) na região de referência estreita (por exemplo, região de 7x7 pixels), quer dizer, o valor médio de Y: mHY(x,y) e o valor médio de C: mHC(x,y), é aumentado.
Neste momento, a contribuição dos valores médios do sinal Y e do sinal C (sinal de cor onde qualquer um de R, G, B e X é um alvo de interpolação) na região de referência larga (por exemplo, região de 31x31 pixels), quer dizer, o valor médio de Y: mLY(x,y) e o valor médio de C: mLC(x,y), é diminuído.
Deste modo, na região de alta freqüência, o valor de pixel interpolado C(x,y) do pixel visado final é fixado de forma que a contribuição das estatísticas (valores médios) na região de referência larga (por exemplo, região de 31x31 pixels) calculada pela seção de cálculo estatístico de região grande 103 é alto e a contribuição das estatísticas (valores médios) na região de referência estreita (por exemplo, região de 7x7 pixels) é baixo.
Por outro lado, na região plana onde o componente de alta freqüência é pequeno, o valor de pixel interpolado C(x,y) do pixel visado final é fixado de forma que a contribuição das estatísticas (valores médios) na região de referência larga (por exemplo, região de 31x31 pixels) calculado pela seção de cálculo estatístico de região grande 103 é baixo e a contribuição das estatísticas (valores médios) na região de referência estreita (por exemplo, região de pixel 7x7) é alto.
A seção de execução de interpolação 100 mostrada na Figura 3 recebe como uma entrada a imagem de mosaico 121 que é a saída do dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) por este processo, e produz uma imagem interpolada 122 executando o processo de interpolação de ajustar os valores de pixel de todas as cores (R, G, B e X) em cada posição de pixel.
5. Exemplo de processamento específico de elementos de seção de execução de interpolação 150 mostrada na Figura 4
A seguir, um exemplo de processamento específico em um caso onde a imagem de mosaico 121 que é a saída do dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) tendo o arranjo de quatro cores de R, G, B e X mostrado na Figura 2B é entrada na seção de execução de interpolação 150 mostrada na Figura 4, será descrito.
5-1. Processo de seção detectora de freqüência de Nyquist
151
Primeiramente, um processo da seção detectora de freqüência de Nyquist 151 será descrito.
O processo da seção detectora de freqüência de Nyquist 151 é executado da mesma maneira como o processo da seção detectora de freqüência de Nyquist 101 mostrada na Figura 3. Primeiramente, um valor de sinal de uma cor diferente que é maior no número de pixels que quatro cores (R, G, B e X) incluído na Figura 2B e tem um componente de freqüência mais alta é calculado usando a Expressão (3) seguinte.
A seguir, a intensidade de um componente de alta freqüência de Y é calculada de acordo com a Expressão (4), usando um filtro passa-alto (HPF) que transmite uma banda de freqüência na proximidade da freqüência de Nyquist de componentes de cor de R, G5 B e X.
O valor NYq(x,y) calculado de acordo com a Expressão (4) é provido à seção de determinação de região de referência 152 mostrada na Figura 4 como um valor de índice de intensidade do componente de alta freqüência no pixel visado (x,y).
A seção de determinação de região de referência 152 determina a área da região de referência de acordo com este valor.
5-2. Processo de seção de determinação de região de
referência 152
A seguir, um processo da seção de determinação de região de referência 152 será descrito.
A seção de determinação de região de referência 152 ajusta uma região de referência onde a posição de pixel visado é o centro, de acordo com a intensidade do componente de alta freqüência do sinal de cor detectado na seção detectora de freqüência de Nyquist 151.
Especificamente, como descrito acima, a seção de determinação de região de referência 152 executa o seguinte processo de determinação de região de referência.
Se for determinado que a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 151 é mais forte do que um limiar prefixado, por exemplo, e corresponde a uma região de alta freqüência, o tamanho da região de referência é aumentado. Ademais, se for determinado que a intensidade do sinal de alta freqüência detectado na seção detectora de freqüência de Nyquist 151 é mais fraca do que o limiar prefixado, por exemplo, e não corresponde à região de alta freqüência, o tamanho da região de referência é reduzido.
Por exemplo, a região de referência é selecionada em uma gama de 7x7 pixels a 31x31 pixels, por exemplo.
Especificamente, a seção de determinação de região de referência 152 ajusta uma região de referência larga quando a intensidade do componente de alta freqüência é forte de acordo com a Expressão (6) seguinte, por exemplo.
se (Nyq(x,y) < const2), então fixe região de referência como
7x7 pixels
se (const2 < Nyq(x,y) < const3), então fixe região de referência como 9x9 pixels
se (const3 < Nyq(x,y) < const4), então fixe região de referência como 1 Ixl 1 pixels
se (constl3 < Nyq(x,y)), então fixe região de referência como
31x31 pixels
... Expressão (6)
Na Expressão (6), const2 a constl3 são coeficientes que são prefixados para controlar o efeito de supressão de falsa cor, em que const2 < const3 < const4 <... < constl3.
Informação sobre a região de referência determinada pela seção de determinação de região de referência 152 é provida à seção de cálculo estatístico 153.
5-3. Processo de seção de cálculo estatístico 153 A seguir, um processo da seção de cálculo estatístico 153 será
descrito. A seção de cálculo estatístico 153 calcula valores médios de valores de pixel que são estatísticas usadas para determinar valores de pixel interpolados, usando R, G, Β, X e Y incluídos na gama de região de referência selecionada pela seção de determinação de região de referência 152 como pixels de referência.
Em seguida, os valores médios das cores respectivas de R, G, Β, X e Y calculados na base dos pixels de referência na região de referência na seção de cálculo estatístico 153 são expressos como segue. Valor médio de R: mR(x,y) Valor médio de G: mG(x,y)
Valor médio de B: mB(x,y) Valor médio de X: mX(x,y) Valor médio de Y: mY(x,y)
A seção de cálculo estatístico 153 calcula estes valores, usando R, G, Β, X e Y incluídos na gama de região de referência selecionada pela seção de determinação de região de referência 152 como pixels de referência. 5-4. Processo de seção de interpolação B 154 A seguir, o processo da seção de interpolação B 154 será
descrito.
A seção de processamento de interpolação B 154 determina
um valor de pixel de cor obscura na posição de pixel visado (x,y), que é a posição de pixel do processo de interpolação, de acordo com a Expressão (7) seguinte.
C(x,y) = (Y(x,y)-mY(x,y)) +mC(x,y) (7) Na Expressão (7), C é substituído com qualquer cor de R, G, B eX.
A seção de execução de interpolação 150 mostrada na Figura 4 recebe como uma entrada a imagem de mosaico 171 que é a saída do dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) por este processo, e produz uma imagem interpolada 172 executando o processo de interpolação de ajustar os valores de pixel de todas as cores (R, G, B e X) em cada posição de pixel.
6. Outras concretizações
A região de 7x7 pixels que é a região de referência estreita e a região de 31x31 pixels que é a região de referência larga de acordo com as concretizações anteriores são descritas acima como exemplos.
Os tamanhos das regiões de referência podem ser selecionados apropriadamente de acordo com o número de pixels da imagem de mosaico ou o número de cores incluídas.
A presente exposição pode ser aplicada a uma variedade de arranjos de cor. Por exemplo, com respeito ao arranjo de Bayer mostrado na Figura 2A usado geralmente em uma câmera digital, uma configuração pode ser empregada na qual G é interpolado em todas as posições de pixel na técnica relacionada e uma cor diferente é então interpolada usando um sinal G em vez de um sinal Y usado nas concretizações anteriores.
Nas concretizações acima descritas, quando o sinal Y é calculado em todas as posições de pixel, R, G, B e X obtido da produção do dispositivo de formação de imagem de chip único (dispositivo de formação de imagem a cor de chip único) são somados e calculados em média de acordo com a Expressão (3) acima descrita, mas o sinal Y pode ser calculado usando um método complicado em atenção à contribuição ou similar para o sinal Y de cada valor de pixel.
Ademais, nas concretizações acima descritas, um exemplo é descrito no qual os valores médios são usados como as estatísticas usadas para calcular os valores de pixel interpolados e médias simples dos valores de pixel na região de referência são obtidas em cálculo dos valores médios, mas uma configuração pode ser empregada na qual um peso de acordo com a posição de pixel é fixado para obter uma média ponderada. O peso é fixado para ser pequeno como a posição de pixel na região de referência é distante da posição do pixel visado.
O cálculo dos valores médios pode ser executado como um processo que usa principalmente um filtro passa-baixo (LPF), e corresponde a um processo de mudar um coeficiente do filtro de LPF de acordo com a posição de pixel. Comparado com um LPF (média simples) tendo um coeficiente de 1 em todas as posições de pixel, um LPF tendo um coeficiente que fica pequeno quando a posição de pixel é distante da posição de pixel designada não tem nenhuma mudança rápida em características de freqüência e assume um resultado de interpolação satisfatório.
Como as estatísticas para determinar os valores de pixel interpolados, dados tais como discrepância ou covariância podem ser usados, em vez dos valores médios dos pixels na região de referência.
Como uma expressão para estimar um valor de pixel de cor obscura em uma posição de pixel interpolada, a Expressão (2) acima descrita é empregada, mas a expressão de estimação do valor de pixel interpolado não está limitada à Expressão (2).
Por exemplo, a Expressão (2) acima descrita pode ser expressa como na Expressão (8) seguinte se for expressa como uma expressão geral.
C2(x) = k(Cl(x)-mCl(x)) +mC2(x) Expressão (8)
A Expressão (2) acima descrita corresponde a um caso onde o coeficiente k é fixado como k=l em uma expressão de regressão linear expressa na Expressão (8).
Aqui, como um método de cálculo do coeficiente k, há um método ou similar que emprega a Expressão (9) ou (10) seguinte.
wC2(x) ~ mCl(x)
Expressão (9) 1 Σ (Cl(x + t)xC2(x + t))-íl + + 0
_ ™ telocal_V " telocal_J\ telocal_J_
1 Σ Μ*+'))2-ί^ Σ«(χ+ί)Τ
^ t Blocai V te loca! J
Expressão (10)
Aqui, o coeficiente k é calculado de acordo com a Expressão (9) ou (10), por exemplo. Um método de cálculo que é vantajoso devido a montagem é selecionado destes métodos de cálculo, de acordo com um compromisso entre o desempenho de interpolação e a quantidade de cálculo, por exemplo.
Por exemplo, a Expressão (10) é uma expressão com alto desempenho de interpolação em atenção a ambas uma correlação positiva e uma correlação negativa entre sinais, mas é necessário que todas as cores estejam presentes em todas as posições de pixel para aplicação a uma imagem de mosaico de cor. Por conseguinte, desde que interpolação de sinal de cor deveria ser executada com antecedência com alta precisão para cálculo de k, e a própria expressão é complicada, isto causa um fardo alto em cálculo.
Ademais, quando estatísticas tais como médias nas regiões de referência aplicadas para determinar os valores de pixel interpolados são calculadas, é possível reduzir o custo em instalação de hardware usando o filtro de IIR (resposta de impulso infinita).
Em um caso onde o circuito para executar cálculo de estatísticas está montado como hardware na câmera digital, um tipo de memória chamada uma linha de retardo na arte relacionada é usado. A memória é hardware tendo uma escala grande como uma escala de hardware, e uma linha de retardo tendo uma escala de circuito grande deveria ser provida para cálculo de estatísticas na base de valores de pixel na região de referência larga. Quando uma região isotrópica (região tendo a mesma largura em direções vertical e horizontal, com referência à posição de pixel visado) é usada como a região de referência, uma linha de retardo muito grande deveria ser provida. Porém, quando uma região anisotrópica é usada como a região de referência, é possível executar o cálculo estatístico usando a IIR.
Por exemplo, a fim de calcular valores médios de valores de pixel que são entrados na ordem de varredura de quadriculação usando a IIR, uma memória temporária de acumulação unidimensional X direcional está preparada para cada cor, e valores de pixel podem ser acumulados seqüencialmente e calculados em média de acordo com a seguinte Expressão (11).
AccumulationBufferc(x(T),T)=AccumulationBufferC(x(T),T- 1 )xconst 14+C(x(T))x( 1 -const 14) ... Expressão (11)
Na Expressão (11), χ representa uma posição de coordenada direcional χ, T representa tempo, e constl4 representa um coeficiente de um filtro de IIR na gama de [0:1].
Aqui, C é substituído com uma cor incluída em um arranjo de cor.
Até aqui, a presente exposição foi descrita com referência às concretizações específicas. Porém, é óbvio que aqueles qualificados na arte podem fazer modificações ou substitutos das concretizações em uma gama sem partir do espírito da presente exposição. Quer dizer, as concretizações da presente exposição são exemplares, e assim não deveriam ser interpretadas como sendo limitativas. A fim de determinar o espírito da presente exposição, reivindicações deveriam ser consideradas.
Ademais, a série de processos descrita na presente exposição pode ser executada por hardware, software ou uma configuração composta disso. Em um caso onde os processos são executados por software, um programa no qual uma seqüência de processo é gravada pode ser instalado em uma memória em um computador montado em hardware exclusivo a ser executado, ou um programa pode ser instalado em um computador de propósito geral capaz de executar uma variedade de processos a serem executados. Por exemplo, é possível armazenar o programa em um meio de gravação com antecedência. Além da instalação no computador do meio de gravação, é possível receber o programa por uma rede tal como uma LAN (Rede Local) ou a Internet e instalar o programa em um meio de gravação tal como um disco rígido embutido.
A variedade de processos exposta nesta especificação pode ser executada de uma maneira de série de tempo de acordo com circunstâncias, ou pode ser executada em paralelo ou individualmente de acordo com a capacidade de processamento do aparelho que executa os processos ou como necessário. Ademais, o termo "sistema" nesta especificação se refere a uma configuração fixa lógica de uma pluralidade de dispositivos, que não está limitada a uma configuração na qual os dispositivos de componente respectivos estão dispostos na mesma cobertura.
A presente exposição contém assunto relacionado àquele exposto no Pedido de Patente de Prioridade Japonês JP 2010-236176, depositado no Escritório de Registro de Patentes do Japão em 21 de outubro de 2010, os conteúdos inteiros de qual estão por este meio incorporados por referência.
Deveria ser entendido por aqueles qualificados na arte que várias modificações, combinações, sub-combinações e alterações podem ocorrer dependendo de exigências de projeto e outros fatores até onde eles estão dentro da extensão das reivindicações anexas ou dos equivalentes disso.
Claims (13)
1. Aparelho de processamento de imagem caracterizado pelo fato de compreender: uma seção detectora que recebe uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detecta a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processamento de interpolação; uma pluralidade de seções de calculo estatístico cada uma das quais ajusta uma região de referência tendo uma área diferente ao redor do pixel visado e calcula uma estatística individual baseada em um valor de pixel incluído na região de referência; e uma seção de interpolação que muda um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de cálculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcula um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas.
2. Aparelho de acordo com reivindicação 1, caracterizado pelo fato de que a seção de interpolação calcula o valor de pixel interpolado no qual uma contribuição de uma estatística calculada na base de uma região de referência larga é fixada a um nível alto em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é grande, e calcula o valor de pixel interpolado no qual uma contribuição de uma estatística calculada na base de uma região de referência estreita é fixada a um nível alto em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é pequena.
3. Aparelho de processamento de imagem caracterizado pelo fato de incluir: uma seção detectora que recebe uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detecta a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação; uma seção de determinação de região de referência que determina uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora; uma seção de cálculo estatístico que calcula uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência; e uma seção de interpolação que calcula o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico.
4. Aparelho de acordo com reivindicação 3, caracterizado pelo fato de que a seção de determinação de região de referência ajusta uma região de referência larga em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é grande, e ajusta uma região de referência estreita em um caso onde a intensidade do sinal de alta freqüência detectado pela seção detectora é pequena.
5. Aparelho de acordo com reivindicação 1, caracterizado pelo fato de que a seção detectora detecta a intensidade do sinal de alta freqüência na proximidade de uma freqüência de Nyquist, na proximidade do pixel visado que é o alvo de processo de interpolação.
6. Aparelho de acordo com reivindicação 5, caracterizado pelo fato de que a seção detectora detecta a intensidade do sinal de alta freqüência usando um filtro passa-alto (HPF) que transmite uma banda de alta freqüência na proximidade da freqüência de Nyquist.
7. Aparelho de acordo com reivindicação 1, caracterizado pelo fato de que a seção detectora calcula um sinal de cor incluído na imagem de mosaico de cor gerada pelo processo de formação de imagem do dispositivo de formação de imagem a cor de chip único e detecta a intensidade do sinal de alta freqüência na base do sinal calculado.
8. Aparelho de acordo com reivindicação 1, caracterizado pelo fato de que a seção de cálculo estatística calcula uma média do valores de pixel de pixels incluídos na região de referência como a estatística.
9. Aparelho de acordo com reivindicação 1, caracterizado pelo fato de que a seção de cálculo estatístico emprega um filtro de IIR (Resposta de Impulso Infinita).
10. Método de processamento de imagem para executar um processo de interpolação de valor de pixel em um aparelho de processamento de imagem, caracterizado pelo fato de compreender: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, por uma seção detectora; ajustar uma região de referência tendo uma área diferente ao redor do pixel visado e calcular uma estatística individual baseada em um valor de pixel incluído na região de referência, por cada uma de uma pluralidade de seções de calculo estatístico; e mudar um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de calculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcular um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas, por uma seção de interpolação.
11. Método de processamento de imagem para executar um processo de interpolação de valor de pixel em um aparelho de processamento de imagem, caracterizado pelo fato de compreender: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, por uma seção detectora; determinar uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora, por uma seção de determinação de região de referência; calcular uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência, por uma seção de cálculo estatístico; e calcular o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico, por uma seção de interpolação.
12. Programa que faz um processo de interpolação de valor de pixel ser executado em um aparelho de processamento de imagem, o programa tendo uma rotina caracterizado pelo fato de incluir: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, em uma seção detectora; ajustar uma região de referência tendo uma área diferente ao redor do pixel visado e calcular uma estatística individual baseada em um valor de pixel incluído na região de referência, em cada uma de uma pluralidade de seções de calculo estatístico; e mudar um estado misturado da pluralidade de estatísticas calculadas pela pluralidade de seções de calculo estatístico de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora e calcular um valor de pixel interpolado na posição do pixel visado por um processo de mistura da pluralidade de estatísticas, em uma seção de interpolação.
13. Programa que faz um processo de interpolação de valor de pixel ser executado em um aparelho de processamento de imagem, o programa tendo uma rotina caracterizado pelo fato de incluir: receber uma imagem de mosaico de cor gerada por um processo de formação de imagem de um dispositivo de formação de imagem a cor de chip único como uma entrada e detectar a intensidade de um sinal de alta freqüência na proximidade de um pixel visado que é um alvo de processo de interpolação, em uma seção detectora; determinar uma região de referência que define a gama de um pixel de referência aplicado para calcular um valor de pixel interpolado do pixel visado, a região de referência tendo uma área diferente de acordo com a intensidade do sinal de alta freqüência detectado pela seção detectora, em uma seção de determinação de região de referência; calcular uma estatística para determinar o valor de pixel interpolado na base de um valor de pixel incluído na região de referência determinada pela seção de determinação de região de referência, em uma seção de cálculo estatístico; e calcular o valor de pixel interpolado na posição do pixel visado na base da estatística calculada pela seção de cálculo estatístico, em uma seção de interpolação.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010236176A JP5672941B2 (ja) | 2010-10-21 | 2010-10-21 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
BRPI1106575A2 true BRPI1106575A2 (pt) | 2014-02-04 |
Family
ID=45972719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BRPI1106575-3A BRPI1106575A2 (pt) | 2010-10-21 | 2011-10-14 | Aparelho e método de processamento de imagem, e, programa |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120098991A1 (pt) |
JP (1) | JP5672941B2 (pt) |
CN (1) | CN102572447A (pt) |
BR (1) | BRPI1106575A2 (pt) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
WO2016041133A1 (en) * | 2014-09-15 | 2016-03-24 | SZ DJI Technology Co., Ltd. | System and method for image demosaicing |
JP6622481B2 (ja) * | 2015-04-15 | 2019-12-18 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 |
US10598617B2 (en) * | 2017-05-05 | 2020-03-24 | Kla-Tencor Corporation | Metrology guided inspection sample shaping of optical inspection results |
CN115168682B (zh) * | 2022-09-05 | 2022-12-06 | 南京师范大学 | 一种大规模时空点数据lod绘制方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4298445B2 (ja) * | 2003-09-12 | 2009-07-22 | キヤノン株式会社 | 画像処理装置 |
JP4298446B2 (ja) * | 2003-09-12 | 2009-07-22 | キヤノン株式会社 | 画像処理装置 |
US7477803B2 (en) * | 2003-09-12 | 2009-01-13 | Canon Kabushiki Kaisha | Image processing apparatus |
JP4583871B2 (ja) * | 2004-10-18 | 2010-11-17 | 三菱電機株式会社 | 画素信号生成装置、撮像装置および画素信号生成方法 |
JP2010041336A (ja) * | 2008-08-04 | 2010-02-18 | Toshiba Corp | 画像処理装置、および画像処理方法 |
JP5201408B2 (ja) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
-
2010
- 2010-10-21 JP JP2010236176A patent/JP5672941B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-12 US US13/271,996 patent/US20120098991A1/en not_active Abandoned
- 2011-10-14 CN CN2011103197766A patent/CN102572447A/zh active Pending
- 2011-10-14 BR BRPI1106575-3A patent/BRPI1106575A2/pt not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
US20120098991A1 (en) | 2012-04-26 |
JP5672941B2 (ja) | 2015-02-18 |
JP2012090146A (ja) | 2012-05-10 |
CN102572447A (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3838243B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
BRPI1106575A2 (pt) | Aparelho e método de processamento de imagem, e, programa | |
US7839437B2 (en) | Image pickup apparatus, image processing method, and computer program capable of obtaining high-quality image data by controlling imbalance among sensitivities of light-receiving devices | |
US8891866B2 (en) | Image processing apparatus, image processing method, and program | |
KR101703354B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
US20130077862A1 (en) | Image processing apparatus, image processing method and program | |
US8441538B2 (en) | Image generation apparatus and image generation method | |
US10453188B2 (en) | Methods and devices for improving image quality based on synthesized pixel values | |
WO2014020970A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2011004190A (ja) | 画像処理装置およびその方法 | |
JP2010045588A (ja) | 画像処理装置及び画像処理方法 | |
JP7006690B2 (ja) | 撮像装置と撮像素子および画像処理方法 | |
BR112012008515B1 (pt) | Aparelho e método de processamento de imagem, e meios de gravação | |
KR20210018136A (ko) | 영상 처리 방법 및 장치 | |
JP2014158267A (ja) | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 | |
CN111861964A (zh) | 图像处理方法、装置和存储介质 | |
JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
JP7424383B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
US10110869B2 (en) | Real-time color preview generation for plenoptic imaging systems | |
JP4581191B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP2010178226A (ja) | 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム | |
KR20130020435A (ko) | 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법 | |
US20230217126A1 (en) | Imaging apparatus, imaging method | |
WO2022027469A1 (zh) | 图像处理方法、装置和存储介质 | |
US20130038773A1 (en) | Image processing apparatus and control method for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B03A | Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette] | ||
B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 3A ANUIDADE. |
|
B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2277 DE 26/08/2014. |