KR102366783B1 - 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법 - Google Patents

Abstract

본 발명에 따른 뉴로모픽 시스템에는, 언슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 그룹핑을 수행하는 언슈퍼바이즈드 학습 하드웨어; 및 라벨값을 가지는 슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 클러스터링을 수행하는 슈퍼바이즈드 학습 하드웨어가 포함된다.

Description

뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법{Neuromorphic system operating method therefor}

본 발명은 신경망에 관한 것으로서, 특히 하드웨어로 구현되는 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법에 관한 것이다.

생물의 뇌에는 수천억 단위에 이르는 신경세포로서 뉴런이 있고, 이들은 복잡한 신경망을 이루고 있다. 상기 뉴런은 수천 개의 다른 뉴런과 시냅스를 통하여 신호를 주고 받는 것으로써, 생물로서 가져야 하는 지적 능력을 발휘한다.

상기 뉴런은 신경계의 구조적이고 기능적인 단위이며 정보 전달의 기본 단위이다. 시냅스는 상기 뉴런 사이의 접합부를 가리키며 어느 하나의 뉴런의 축색 돌기와 다른 뉴런의 수상 돌기가 연결된 부위를 말한다. 이들 생물 신경망을 모사한 인공 신경계를 뉴런 수준에서 제작함으로써, 두뇌가 처리하는 정보처리 방식을 모사하여 만들어진 반도체 회로가 뉴로모픽 시스템이다. 이들 뉴로모픽 시스템은 반도체를 이용하는 전자회로로서 제작할 수 있다.

상기 뉴로모픽 시스템은 생물의 뇌와 마찬가지로, 불특정한 환경에 스스로 적응할 수 있는 지능화된 시스템을 구현하는 데에 효과적으로 활용될 수 있다. 예를 들어, 문자인식, 음성인식, 위험 인지, 실시간 고속 신호처리와 같은 인지 및 추정 등을 수행하는 인터페이스로서 적용될 수 있는 것도 물론이고, 결국에는 컴퓨터, 로봇, 가전기기, 소형 이동 기기, 보안 및 감시 시스템, 및 지능형 차량 등의 분야에 적용할 수 있다.

상기 뉴로모픽 시스템을 구현하는 알고리즘으로는 슈퍼바이즈드 학습 알고리즘(supervised learning algorithm)과 언슈퍼바이즈드 학습 알고리즘(unsupervised laerning algorithm)과 세미 슈퍼바이즈드 학습 알고리즘(semi-supervised learning algorithm)이 있다. 상기 슈퍼바이즈드 학습 알고리즘은 간단한 구성의 하드웨어로 구성이 가능한 장점이 있는 반면에, 가능한 한 모든 경우를 포함하는 학습 데이터를 구성하는데 많은 시간과 비용이 발생하는 단점이 있다. 상기 언슈퍼바이즈드 학습 알고리즘은 클러스터링을 통하여 적은 학습 데이터로도 높은 학습효율을 얻을 수 있는 반면에, 비선형 연산에 기인하는 다수의 인자로 인하여 연산이 복잡하고 많은 시간이 소요되는 문제점이 있다. 이러한 개별적인 알고리즘은 문제점으로 인하여 언슈퍼바이즈드 학습 알고리즘과 슈퍼바이즈드 학습 알고리즘이 함께 적용되는 세미 슈퍼바이즈드 학습 알고리즘도 제안되고 있다.

상기 세미 슈퍼바이즈드 학습 알고리즘은 적은 수의 학습 데이터로도 높은 학습 효율을 얻을 수 있으나, 여전히 다량의 연산을 필요로 하므로 많은 시간이 소요되는 문제점이 있다. 예를 들어 24시간 정도의 연산을 요하는 경우도 많이 있다. 따라서 소프트웨어를 이용하는 것으로 상기 세미 슈퍼바이즈드 학습 알고리즘을 구현하는 것을 현실적으로 어렵다.

본 발명은 상기되는 배경하에서 제안되는 것으로서, 기존의 디지털 신호 철방식에 소요되는 연산 시간을 대폭 감소시키는 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법을 제안한다.

본 발명은, 병렬연산을 수행하는 실제 뇌 모델과 가장 근사한 과정으로 신속하게 학습과 테스트를 수행하는 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법을 제안한다.

본 발명에 따른 뉴로모픽 시스템에는, 언슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 그룹핑을 수행하는 언슈퍼바이즈드 학습 하드웨어; 및 라벨값을 가지는 슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 클러스터링을 수행하는 슈퍼바이즈드 학습 하드웨어가 포함된다.

상기 뉴로모픽 시스템에 있어서, 상기 언슈퍼바이즈드 학습 하드웨어에는, 적어도 두 개의 멤리스토 집단; 상기 멤리스토 집단의 앞쪽에 배치되어 외부로부터의 입력신호를 받고, 적어도 뉴런이 포함되는 적어도 두 개의 전치회로; 및 상기 멤리스토 집단의 뒷쪽에 배치되어 상기 멤리스토 집단의 출력신호를 인가받고, 적어도 뉴런이 포함되는 적어도 두 개의 후치회로가 포함될 수 있다. 또한, 상기 슈퍼바이즈드 학습 하드웨어에는, 상기 언슈퍼바이즈드 학습 하드웨어로부터의 출력값과 입력받고, 현재의 입력신호와 대응되는 라벨값을 입력받는 메모리; 상기 출력신호를 입력받는 적어도 두 개의 멤리스토; 및 상기 적어도 두 개의 멤리스토의 출력단과 접속되고, 출력단은 적어도 상기 메모리와 연결되는 뉴런이 포함될 수 있다. 다른 측면에 따르면, 상기 슈퍼바이즈드 학습 하드웨어에는, 상기 언슈퍼바이즈드 학습 하드웨어로부터의 출력값을 입력받는 적어도 두 개의 멤리스토; 상기 적어도 두 개의 멤리스토의 합지된 출력측에 스위치가 개입하여 제공되는 뉴런; 및 상기 적어도 두 개의 멤리스토의 합지된 출력측에 스위치가 개입하여 제공되는 접지단이 포함될 수 있다.

본 발명의 다른 측면에 따른 뉴로모픽 시스템의 동작방법에는, 언슈퍼바이즈드 학습 하드웨어를 학습시키는 것; 상기 언슈퍼바이즈드 학습 하드웨어에 포함되는 멤리스토를 업데이트하는 것; 슈퍼바이즈드 학습 하드웨어를 학습시키는 것; 및 상기 슈퍼바이즈드 학습 하드웨어에 포함되는 멤리스토를 업데이트하는 것이 포함될 수 있다.

본 발명에 따르면 학습과정을 신속하게 수행할 수 있고, 학습효율을 현저하게 향상시킬 수 있다.

도 1은 제 1 실시예에 따른 뉴로모픽 시스템의 개략적인 블록도.
도 2는 학습이 되기 전의 입력데이터를 나타내는 도면.
도 3은 입력데이터의 클러스터링 상태를 나타내는 도면.
도 4는 입력 데이터의 클래스파잉 상태를 나타내는 도면.
도 5는 제 1 실시예에 따른 뉴로모픽 시스템의 상세한 블록도.
도 6는 뉴런의 회로를 예시하는 도면.
도 7 내지 도 13은 제 1 실시예에 따른 뉴로모픽 시스템의 동작을 설명하는 도면으로서, 도 7은 1차 정위상 콘트라스티브 다이버전스를 설명하는 도면이고, 도 8은 1차 역위상 콘트라스티브 다이버전스를 설명하는 도면이고, 도 9는 2차 정위상 콘트라스티브 다이버전스를 설명하는 도면이고, 도 10과 도 11은 각각 제 1 후치회로와 제 2 후치회로에 접속되는 멤리스토를 업데이터를 하는 과정을 설명하는 도면이고, 도 12는 슈퍼바이즈드 학습 하드웨어의 학습과정을 설명하는 도면이고, 도 13은 슈퍼바이즈드 학습 하드웨어의 멤리스토를 업데이트하는 과정을 설명하는 도면.
도 14는 따른 뉴로모픽 시스템의 학습방법을 설명하는 흐름도.
도 15는 제 2 실시예에 따른 뉴로모픽 시스템의 상세한 블록도.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 실시예를 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.

본 발명의 구현예를 제시함에 앞어서 학습 알고리즘을 소개한다. STDP(Spike-Timing-Dependent Plasticity) 알고리즘은 슈퍼바이즈드 학습 알고리즘 및 언슈퍼바이즈드 학습 알고리즘을 모두 구현할 수 있는 알고리즘으로서, 복잡한 연산을 이용하지 않고, 단순한 스파이크의 시간차를 이용하여 웨이트(가중치)를 업데이트할 수 있다. RBM(Restricted Boltzmann Machine) 알고리즘은 슈퍼바이즈드 학습 알고리즘과 언슈퍼바이즈드 학습 알고리즘을 모두 구현할 수 있는 알고리즘으로서, 다양한 입력 패턴들을 클러스터링(clustering)하는 방향으로 웨이트를 수정한다.

상기 각 학습 알고리즘은 본 발명에 따른 세미 슈퍼바이즈드 학습 알고리즘에서 각각 사용될 수 있다.

<제 1 실시예>

도 1은 제 1 실시예에 따른 뉴로모픽 시스템의 개략적인 블록도이다.

도 1을 참조하면, 다량의 연산이 소요되는 소프트웨어 처리방식과는 차별되는 하드웨어로 제시되는 제 1 실시예에 따른 뉴로모픽 시스템에는, 언슈퍼바이즈드 학습이 수행되는 하드웨어로서 언슈퍼바이즈드 학습 하드웨어(1)와, 슈퍼바이즈드 학습이 수행되는 하드웨어로서 슈퍼바이즈드 학습 하드웨어(2)가 포함된다. 상기 언슈퍼바이즈드 학습 하드웨어(1)는 학습 데이터를 이용하여 레이어 간의 웨이트를 수정함으로써, 다양한 입력 데이터를 클러스터링(clustering)하도록 한다. 상기 슈퍼바이즈드 학습 하드웨어(2)는 학습 데이터와 라벨(label)값을 이용하여 학습을 수행함으로써, 다양한 입력데이터를 클래스파잉(classfying)하도록 한다.

상기 제 1 실시예에 따른 뉴로모픽 시스템을 입력데이터를 예시하여 설명한다. 이때 도 1의 뉴로모픽 시스템에 있어서 학습 및 멤리스토 업데이트가 완료된 다음에 입력 데이터가 들어오는 경우라고 할 수 있다.

도 2는 학습이 되기 전의 입력데이터를 나타내는 도면으로서, 도 2를 참조하면, 임의로 2차원으로 표시되는 입력 데이터를 나타낸다.

먼저, 다수의 입력 데이터가 상기 언슈퍼바이즈드 학습 하드웨어(1)를 통과한 다음에는, 도 3에 제시되는 입력데이터의 클러스터링 상태를 나타내는 도면에서 볼 수 있는 바와 같이, 클러스터링된 데이터로서 서로 모이게 된다.

이후에, 입력 데이터가 상기 슈퍼바이즈드 학습 하드웨어(2)를 통과한 다음에는, 도 4에 제시되는 입력 데이터의 클래스파잉 상태를 나타내는 도면에서 볼 수 있는 바와 같이, 입력데이터가 예시적인 기호인 "A" 또는 "B"로서 서로 구획되어 정의될 수 있다.

상기 슈퍼바이즈드 학습 하드웨어(2)는, 도 5에 제시되는 바와 같은 단일의 형태가 아니라, 두 개 이상의 하드웨어가 제공될 수도 있다. 예를 들어, 슈퍼바이즈드 학습 하드웨어(2)에 포함되는 멤리스토의 수를 후치회로(30(40)의 수 만큼 늘이고, 각 슈퍼바이즈드 학습 하드웨어(2)의 라벨을 다르게 지정하는 것으로서 다양한 값을 구분해 낼 수 있을 것이다.

도 5는 제 1 실시예에 따른 뉴로모픽 시스템의 상세한 블록도이다.

도 5를 참조하면, 제 1 실시예에 따른 뉴로모픽 시스템에는, 상기 언슈퍼바이즈드 학습 하드웨어(1)와 상기 슈퍼바이즈드 학습 하드웨어(2)가 포함된다. 제 1 실시예에서 상기 언슈퍼바이즈드 학습 하드웨어(1)와 상기 슈퍼바이즈드 학습 하드웨어(2)는 RBM(Restricted Boltzmann Machine) 알고리즘이 적용되어 제공되는 것을 일 예로 한다.

먼저, 상기 언슈퍼바이즈드 학습 하드웨어(1)에 대하여 설명한다.

상기 언슈퍼바이즈드 학습 하드웨어(1)에는, 입력신호(input 1, input 2)와 대응되는 수로 제공되는 멤리스토 집단(memristor group)과, 상기 멤레스토의 입력단에 제공되는 전치회로와, 상기 멤리스토의 출력단에 제공되는 후치회로가 제공된다. 입력신호 1(input 1)을 기준으로 할 때, 멤리스토 집단은 도면번호 31, 32에 상당하고, 전치회로는 도면번호 10에 상당하고, 후치회로는 도면번호 30에 상당할 수 있다. 물론, 다른 입력신호에 대해서도 도면번호만 다를 뿐 동일하다. 한편, 상기 멤리스토는 실제 신경망에서 시냅스에 상당하고, 상기 전치회로 및 상기 후치회로는 실제 신경망에서 뉴런을 포함하는 구성에 상당할 수 있다. 따라서, 본 명세서에서는 시냅스라고 지칭하는 경우에는 멤리스토를 가리키고, 뉴런이라고 지칭하는 경우에는 전치회로 또는 후치회로 또는 그 양자 또는, 더 상세하게, 상기 전치회로 및 상기 후치회로에서 메모리와 외부전원과 스위치를 제외하는 도면번호 20번 대의 뉴런을 지칭할 수 있다. 상기 메모리와 상기 외부전원과 상기 스위치는 뉴런의 동작에 필요한 부분으로 이해할 수 있다.

상기 전치회로는 입력신호의 개수가 많은 경우에는 상기 입력신호의 개수만큼 전치회로의 개수가 제공될 수 있다. 이 경우에는 멤리스토 집단의 수는 전치회로의 수만큼 늘어날 수 있다. 또한, 각 전치회로에 접속되는 멤리스토 집단에 포함되는 멤리스토의 개수는 후치회로의 개수만큼 늘어날 수 있다. 이때 상기 멤리스토 집단에 포함되는 각 멤리스토는 전치회로의 출력단에 병렬로 접속될 수 있고, 후치회로의 입력단에 병렬로 접속될 수 있다. 이와 같은 방식으로, 상기 입력신호의 개수에 상응하여 뉴런 및 시냅스의 수는 늘어날 수 있다. 다시 말하면, 실시예에 따른 뉴로모픽 시스템에서 도 5를 기준으로 할 때 수직방향으로 전치회로와 멤리스토 집단과 후치회로의 수는 늘어날 수 있다.

한편, 클러스터링(clustering)의 효과를 높일 수 있도록 하기 위하여, 뉴런과 시냅스의 수는 늘어날 수 있다. 다시 말하면, 실시예에 따른 뉴로모픽 시스템에서 도 5의 수평방향으로 전치회로와 멤리스토와 후치회로의 수가 늘어날 수 있다. 예를 들어, 도 5에서는 입력신호가 네 개로서 전치회로가 네 개이고, 어느 하나의 멤리스토 집단에 포함되는 멤리스토가 세 개이고, 후치회로가 세 개인 경우를 예시할 수 있다. 이 경우에, 후치회로의 출력단의 신호를 또 다른 입력신호로 하는 멤리스토 집단을 세 개 구성하고, 멤리스토 집단에 포함되는 멤리스토를 두 개로 하고, 후치회로를 두 개 제공할 수 있다. 이 경우에는 시냅스의 연결고리가 직렬방향으로 두 개있는 뉴로모픽 시스템을 제공되는 것을 알 수 있다.

상기되는 바와 같이 시냅스의 연결고리(물론 뉴런도 포함하는 개념이다)가 수평 및 수직방향으로 늘어날 수 있게 됨으로, 실제 신경망에서 다수의 시냅스 연결고리를 통하여 고차원의 지적능력을 발휘할 수 있는 것을 그대로 모사할 수 있는 것을 확인할 수 있다. 한편, 실시예에서는 수직 및 수평방향으로의 확장을 모사하여 2차원으로 늘어나는 것으로 설명이 되어 있으나, 삼차원 및 그 이상의 고차원으로 시냅스 연결고리가 늘어날 수 있는 것도 용이하게 예측가능할 것이다. 이는 실시예에 따른 하드웨어가 실제로 신경망을 모사하여 고차원의 지적능력을 발휘할 수 있는 모델인 것을 증명한다고 할 수 있다.

제 1 실시예의 경우에는 두 개의 전치회로, 두 개의 후치회로, 및 한 개의 수버파이즈드 하드웨어를 구비하는 뉴로모픽 시스템으로서 2-2-1 뉴로모픽 시스템이라고 이름할 수 있다.

상기 전치회로(10)의 구성을 상세하게 설명한다. 다른 전치회로(20)에 대해서도 마찬가지의 설명이 적용될 수 있다.

먼저, 상기 입력신호 1(input 1)를 저장하고, 상기 입력신호 1에 따라서 외부전원을 이용하여 전달되는 전달신호 V11을 저장하는 제 1 메모리(11)가 포함된다. 상기 제 1 메모리(11)는 콘트라스티브 다이버전스(CD:contrastive divergence)동안 피드백되는 값을 적어도 일시적으로 저장할 수 있다. 제 1 실시예에 따른 뉴로모픽 시스템에 제공되는 메모리(11)(12)(13)(14)(15)는 단일의 메모리를 서로 공유할 수도 있고, 그룹별 또는 회로별로 별도의 메모리가 사용될 수도 있다.

신경망의 뉴런에 해당하는 제 1 뉴런(21)은 도 6에 제시되는 뉴런의 회로도로 간단하게 구성할 수 있다. 도 6을 참조하면, 상기 제 1 뉴런(21)은 적분기(26)와 비교기(27)로 구성될 수 있다. 상기 적분기(26)로 소정의 시간 동안 펄스가 인가되면, 적분기(26)로부터의 출력전압이 계속해서 증가한다. 상기 출력전압이 일정 수준 이상으로 증가하면, 비교기(27)의 비교전압을 넘어서게 된다. 이때 상기 비교기(27)에서는 출력신호가 발생하고 이는 제 1 뉴런(21)이 온되었음을 언급하는 것으로 이해할 수 있다. 이를 파이어(fire) 되었다고 할 수도 있다. 물론, 펄스의 수 또는 주기와 전류량이 모자라는 경우에 뉴런은 온이 되지 않을 수도 있다.

각각의 전치회로와 후치회로와 멤리스토집단별로 개별적인 학습모드와 멤리스토 업데이트 모드의 구현을 위한 스위치(S11)(S12)(S13)가 더 포함된다. 또한, 멤리스토 업데이트 모드의 구현을 위하거나 또는 상기 입력신호 1에 대응하는 전달신호를 발생시키기 외하여 외부전원을 인가하기 위한 전원이 더 포함될 수 있다.

어느 멤리스토 집단에 포함되는 각 멤리스토(memristor)는, 전원공급이 끊어졌을 때에도 직전에 통과한 전류의 방향과 양을 기억하고 있어서 전원의 재공급시에 기존의 상태가 그대로 복원될 수 있다. 따라서, 소정의 펄스를 가하여 저항값에 대한 업데이트가 이루어지면 기억된 저장값을 그대로 기억할 수 있어서, 다음에 그 저항값을 그대로 사용할 수 있다.

상기 후치회로(30)의 구성을 상세하게 설명한다. 다른 후치회로(40)에 대해서도 마찬가지의 설명이 적용될 수 있다.

상기 후치회로(30)에는, 각 멤리스토 집단 중에 현재의 후치회로(30)와 접속되는 멤리스토들의 출력신호가 병렬접속된 신호가 입력신호로서 입력되고, 상기 입력신호가 입력되는 제 3 뉴런(23)이 포함된다. 상기 제 3 뉴런(23)의 동작은 상기 제 1 뉴런(21)의 동작 및 작용과 동일하므로 같은 설명이 적용될 수 있다. 상기 제 3 뉴런(23)의 출력신호가 저장되고 상기 출력신호에 대응하는 전달신호 H11을 저장하는 제 3 메모리(13)가 포함된다.

각각의 전치회로와 후치회로와 멤리스토 집단별로 개별적인 학습모드와 멤리스토 업데이트 모드의 구현을 위한 스위치(S31)(S32)(S33)이 더 포함된다. 또한, 제 3 뉴런(23)의 출력신호에 대응하여 전달신호를 발생시키기 외하여 외부전원을 인가하기 위한 전원이 더 포함될 수 있으나, 구성의 간략화를 위하여 도시는 생략하였다.

상기 슈퍼바이즈드 학습 하드웨어(1)에 대하여 설명한다.

상기 슈퍼바이즈드 학습 하드웨어(2)는 각 후치회로(30)(40)의 출력신호를 입력으로 받아들이고, 그 입력신호는 분기되어 하나의 분기된 출력신호는 멤리스토로 입력되고, 다른 하나의 분기된 출력신호는 제 5 메모리(15)로 입력된다. 상기 멤리스토의 출력단은 제 5 뉴런(25)에 입력된다. 상기 메모리(15)는 자기가 속해 있는 슈퍼바이즈드 학습 하드웨어(2)의 라벨값과, 제 5 뉴런(25)의 출력값을 받아서 멤리스토의 업데이트 값을 결정할 수 있다.

제 1 실시예에 따른 뉴로모픽 시스템의 동작 및 작용을 시계열적으로 도 7 내지 도 13을 참조하여 더 상세하게 설명한다. 각 도면에서 현재 상태에서의 회로동작은 굵은 선으로 표시하였다.

먼저, 언슈퍼바이즈드 학습 하드웨어(1)를 순차적으로 학습한다. 처음으로 도 7은 1차 정위상 콘트라스티브 다이버전스를 설명하는 도면이다.

도 7을 참조하면, 입력신호 1과 입력신호 2가 입력되면, 메모리(11)(12)에서는 그에 상응하는 출력신호를 송출한다. 이 경우에 각 전치회로(10)(20)에서의 출력신호는 각 입력신호에 동일한 값으로 주어질 수 있다. 또한, 메모리(11)(12)에는 입력신호 및 출력신호가 저장될 수 있다. 예를 들어 제 1 전치회로(10) 및 제 2 전치회로(20)를 위한 입력신호 및 출력신호는 동일한 값으로서 V11, V21 값이 각각의 메모리(11)(12)저장될 수 있다.

각 출력신호 V11, V21는, 스위치 S11, S21을 통하여 멤리스토(31)(32)(33)(33)에 전달된다. 각 멤리스토 집단에 속하는 멤리스토는 각 전치회로(10)(20)에 대하여 병렬접속되고, 각 후치회로(30)(40)에 대하여 병렬접속되고, 다만, 가능한 한 모든 전치회로(10)(20)는 어느 하나의 후치회로(30)(40)에 대하여 접속되도록 각 멤리스토의 접속이 결정된다. 이와 같이 함으로써 그룹핑의 효율이 높아질 수 있다. 제 1 실시예에서는 제 1 멤리스토(31)와 제 3 멤리스토(33)는 제 1 후치회로(30)에 접속되고, 제 2 멤리스토(32)와 제 4 멤리스토(34)는 제 2 후치회로(30)에 접속된다. 이때, 제 1 멤리스토(31)와 제 2 멤리스토(32)는 제 1 전치회로(10)에 접속되고, 제 3 멤리스토(33)와 제 2 멤리스토(34)는 제 2 전치회로(20)에 접속되는 것을 볼 수 있다.

각각의 상기 후치회로(30)(40)에 마련되는 뉴런(23)(24)은 멤리스토로부터의 출력신호를 제공받아, 오프되거나 온이 된다. 오프되거나 온 되는 출력신호 H11, H21은 메모리(13)(14)에 저장된다. 일 예로서, V11은 1, V21은 0, H11은 0, H21은 0의 값을 가질 수 있고, 이 값의 단위는 볼트로 주어질 수 있고, 물론 다른 값으로 주어질 수 있다(이하, 마찬가지이다). 상기 H11, H21은 멤리스토(31)(32)(33)(34)의 초기값과 뉴런(23)(24)의 초기값의 영향을 받을 수 있다. 또한, 입력신호 1 및 입력신호 2의 크기와 지속시간에 따라서 H11, H21의 값은 달라질 수 있다.

도 8은 1차 역위상 콘트라스티브 다이버전스를 설명하는 도면이다.

먼저, 상기 제 3, 제 4 메모리(13)(14)에 저장되는 출력신호 H11, H21에 대응하는 값이 출력된다. 이때 외부전원으로부터 공급되는 전원을 사용할 수 있다. 출력신호는 닫혀있는 스위치 S33, S43과 멤리스토(31)(32)(33)(34)를 통하여 상기 전치회로(10)(20)로 입력된다. 상기 뉴런(21)(22)에서는 입력되는 값에 대응하는 값을 출력신호 V12, V22로서 출력한다. 상기 출력신호 V12, V22는 메모리(11)(12)에 저장될 수 있다. V12, V22는 입력값의 크기와 지속시간과 멤리스토(31)(32)(33)(34)의 초기값과 뉴런(23)(24)의 초기값의 영향을 받을 수 있다.

일 예로서, H11은 0, H21은 0, V12은 1, V22는 0의 값을 가질 수 있다.

도 9는 2차 정위상 콘트라스티브 다이버전스를 설명하는 도면이다. 상기 제 1, 제 2 메모리(11)(12)에 저장되는 출력신호 V21, V22에 대응하는 값이 출력되는데, 설명의 편의상 두 값은 동일한 것으로 상정하지만 달라질 수도 있다. 이때 외부전원을 사용할 수 있다. 출력값은 닫혀있는 스위치 S11, S21과 멤리스토(31)(32)(33)(34)를 통하여 상기 후치회로(30)(40)로 입력된다. 상기 뉴런(23)(24)은 입력되는 값에 대응하는 값이 출력신호 H12, H22로서 출력된다. 상기 출력신호 H12, H22는 제 3, 제 4 메모리(13)(14)에 저장될 수 있다.

H12, H22는 현재 상태에서 입력값의 크기와 지속시간과 멤리스토(31)(32)(33)(34)의 초기값과 뉴런(23)(24)의 초기값에 영향을 받을 수 있다. 일 예로서, V21은 1, V22는 0, H12는 1, H22는 0의 값을 가질 수 있다.

상기되는 과정에 따르면, 콘트라스티브 다이버전스가 세 번 수행되면서 학습이 수행된 것을 알 수 있다. 이를 통하여 RBM 알고리즘에서 레이어 간의 가중치(W:weight)의 가변량으로서 ΔW가 결정될 수 있다.

일 예로서 상세하게 설명하면, 상기 H12값으로서 1을 가지는 제 1 후치회로(30)와 접속되는 멤리스토(31)(33)는, 상기 H22값으로서 0을 가지는 제 2 후치회로(40)와 접속되는 멤리스토(32)(34)에 비하여, 해당하는 멤리스토에 가하여지는 펄스량이나 크기를 줄여서 저항값을 작게할 수 있다. 여기서 저항값을 멤리스토별로 가변시키는 것을 ΔW를 RBM의 히든레이어(hidden layer)에 적용시키는 것으로 이해할 수 있다. 실시예의 경우에 상기되는 멤리스토의 업데이트에 의하면, 현재 입력된 입력신호 1과 입력신호 2의 신호에 따라서 제 1 후치회로(30)의 제 3 뉴런(23)이 온이 될 가능성이 높게 할 수 있다. 이러한 작용은 그룹핑이 수행되는 것으로 이해할 수 있다.

상기 과정을 통하여 학습이 수행되면, 멤리스토를 업데이트하는 과정이 수행된다.

도 10과 도 11은 각각 제 1 후치회로와 제 2 후치회로에 접속되는 멤리스토를 업데이터를 하는 과정을 설명하는 도면으로서, 제 1 후치회로를 먼저 업데이트해도 좋고, 제 2 후치회로를 업데이트 해도 좋다.

멤리스토의 업데이트 과정을 설명하면, 각 전치회로(10)(20)에서 외부전원과 접속되는 스위치만, 즉 S12, S22만을 닫고 다른 스위치는 개방하고, 제 1 후치회로(30)에서는 접지와 연결되는 스위치만, 즉 S32만을 닫고 다른 스위치는 개방한다. 제 2 후치회로(40)의 스위치는 모두 개방한다. 이 상태에서 외부회로를 통하여 신호를 인가하면 제 1 후치회로(30)에 접속되는 멤리스토(31)(33)를 업데이트할 수 있다. 이때 업데이트 되는 값은 이미 설명한 바와 같이 제 3 메모리(13)에 저장되는 H12값에 대응하여 변하는 값일 수 있다.

상기 과정은 제 1 후치회로(30)를 업데이트하는 과정이고, 제 2 후치회로(40)를 업데이트하는 과정은, 제 1 후치회로의 개방상태와 제 2 후치회로의 개방상태를 서로 바꾸고, 외부신호를 인가하는 것에 의해서 수행될 수 있다. 이때 외부신호는 메모리(14)에 저장되는 H22값에 대응하여 변하는 값일 수 있다.

모든 멤리스토에 대하여 업데이트 과정이 수행되면 상기 언슈퍼바이즈드 학습 하드웨어(1)의 작업은 종료한다.

상기 언슈퍼바이즈드 학습 하드웨어(1)에 있어서, 외부로부터의 입력신호에 대한 학습과정과 멤리스토의 업데이트 과정은 다수의 입력신호 조합에 대하여 반복적으로 수행될 수 있다. 이로써, 다양한 형태의 입력신호에 대하여 대응하는 능력을 높일 수 있다. 예를 들어 실시예에서는 두 개의 입력신호를 제시하고 있지만, 입력신호가 40개 이상인 경우에는 2⁴⁰개의 다양한 입력신호의 조합이 가능하고, 가능한 한 많은 입력신호의 조합에 대한 학습과정이 수행될 수 있다. 따라서 그에 따른 업데이트가 수행된 경우에는, 다양한 입력신호의 조합에 대한 그룹핑의 성능을 높일 수 있다. 상기 입력신호 조합의 변경은 슈퍼바이즈드 학습 하드웨어에 대한 학습과 멤리스토 값의 언데이트가 종료된 다음에 수행되어도 됨은 용이하게 이해할 수 있다.

이상의 과정을 통하여 상기 언슈퍼바이즈드 학습 하드웨어(1)의 학습과 멤리스토 업데이트가 종료하면, 상기 슈퍼바이즈드 학습 하드웨어(2)를 순차로 학습한다.

도 12는 슈퍼바이즈드 학습 하드웨어의 학습과정을 설명하는 도면이다.

도 12를 참조하면, 언슈퍼바이즈드 학습 하드웨어(1)에 대한 학습 및 멤리스토 값의 업데이트 시에 사용되었던 패턴의 입력신호가 입력되고 이와 함께 라벨값이 입력된다. 물론 다른 입력신호가 사용될 수도 있을 것이다. 이러한 상태를 예시하면, 픽셀로 제공되는 터치패널에서 각 픽셀의 온/오프를 입력신호(input 1, input 2)로 하고, 전체로서 터피패널에 입력되는 숫자를 라벨값에 상당한다고 볼 수 있다.

상기 입력신호들은, 닫힌 스위치 S11및 S21과, 멤리스토와, 닫힌 스위치 S31및 S41과, 제 3 뉴런(23) 및 제 4 뉴런(24)와, 닫힌 스위치 S51 및 S54를 통과하여, 제 5, 제 6 멤리스토(35)(36)에 입력한다. 또한, 상기 입력신호는 분기되어 제 5 메모리(15)로 입력된다. 상기 제 5, 제 6 멤리스토(35)936)는 입력신호에 상응하는 출력값을 닫힌 스위치 S55를 통하여 제 5 뉴런(25)로 출력하고, 상기 제 5 뉴런(25)은 상응하는 출력값을 출력신호(Output)로서 출력할 뿐만 아니라, 제 5 메모리(15)로 피드백시킨다.

상기되는 과정에 따르면, 상기 제 5 메모리(15)에서는, 첫째 라벨값과, 둘째 제 3 뉴런(23) 및 제 4 뉴런(24)으로부터의 출력값과, 셋째 제 5 뉴런(25)로부터의 출력값이 저장될 수 있다. 상기 저장된 값을 이용하여 제 5 멤리스토(35)와 제 6 멤리스토(36)의 업데이트량을 결정할 수 있다. 예를 들어, 상기 라벨값이 온으로 주어지고 H11이 1이고, H21이 1로서, 제 5 뉴런(25)의 출력값도 온이 되어야 함에도 불구하고 온이 되지 않을 수 있다. 이 경우에는 제 5, 제 6 멤리스토(35)(36)의 저항값을 낮추는 방향으로 멤리스토를 업데이트할 수 있다.

상기 입력신호의 개수가 많은 경우에는, 상기 슈퍼바이즈드 학습 하드웨어를 병렬로 여러개 제공할 수 있고, 이들 집단을 슈퍼바이즈드 학습 하드웨어로 이름할 수도 있다.

도 13은 슈퍼바이즈드 학습 하드웨어의 멤리스토를 업데이트하는 과정을 설명하는 도면이다.

도 13을 참조하면, 스위치 S52, S53을 닫고, S56을 닫아서, 외부전원이 멤리스토에 인가되도록 한다. 이에 따라서 멤리스토를 원하는 상태로 업데이트할 수 있다. 멤리스토를 업데이트하는 과정도, 다수의 입력신호에 대하여 순차적으로 업데이트할 수 있다. 뿐만 아니라, 멤리스토 집단이 다수개 병렬적으로 제공되는 경우에는 멤리스토 집단별로 순차적으로 학습 및 업데이트가 수행될 수 있는 것도 물론이다.

본 실시예에 따른 뉴로모픽 시스템에 따르면, 복잡한 계산이 없이 자동화된 스위칭 상태조정 및 조합된 입력신호에 대한 학습과정을 통하여 신속하게 학습을 수행할 수 있다. 또한, 신경망을 최대한으로 모사하는 시스템이 구현가능함으로써 학습효율을 향상시킬 수 있다.

도 14는 제 1 실시예에 따른 뉴로모픽 시스템의 학습방법을 설명하는 흐름도이다. 제 1 실시예에 따른 뉴로모픽 시스템의 학습방법은 제 1 실시예의 뉴로모픽 시스템의 사용방법에 근거를 두고 있으므로 구체적인 설명은 상기되는 장치에 대한 동작을 참조할 수 있다.

실시예에 따른 뉴로모픽 시스템의 학습방법에 있어서는, 먼저, 언슈퍼바이즈드 학습 하드웨어(1)를 학습한다. 학습이 종료하면 언슈퍼바이즈드 학습 하드웨어(1)에 포함되는 멤리스토를 업데이트한다. 상기되는 학습과 멤리스토 업데이터는 다수의 입력신호 조합에 대하여 반복적으로 수행될 수 있다.

상기 언슈퍼바이즈드 학습 하드웨어(1)의 학습과 멤리스토 업데이트가 종료하면, 슈퍼바이즈드 학습 하드웨어(2)를 학습한다. 학습이 종료하면 멤리스토를 업데이트한다. 상기 학습과 멤리스토 업데이트는 다수의 입력신호 조합에 대하여 반복적으로 수행될 수 있다.

상기되는 방법에 따르면, 신속하게 뉴로모픽 시스템을 운용할 수 있다.

<제 2 실시예>

상기되는 제 1 실시예는 언슈퍼바이즈드 학습 하드웨어(1)와 슈퍼바이즈드 학습 하드웨어(2)가 모두 RBM 알고리즘으로 구현되는 것이었다. 본 발명은 그와 같은 하드웨어 구성에 제한되지 아니하고, 다른 구성을 더 포함할 수 있다. 제 2 실시예는 언슈퍼바이즈드 학습 하드웨어(1)를 앞쪽에 슈퍼바이즈드 학습 하드웨어(2)를 뒷쪽에 배치하는 것은 제 1 실시예와 동일하다. 그러나, 슈퍼바이즈드 학습 하드웨어(2)를 STDP(Spike-Timing-Dependent Plasticity)방법으로 제공하는 것에 있어서만 차이가 있다. 그러므로, 구체적인 설명이 없는 부분은 제 1 실시예의 설명이 적용되는 것으로 하고 그 설명을 생략한다.

도 15는 제 2 실시예에 따른 뉴로모픽 시스템의 상세한 블록도이다.

도 15를 참조하면, 다른 부분은 제 1 실시예와 동일하고 슈퍼바이즈드 학습 하드웨어(2)에 있어서 차이가 있다. 구체적으로, 상기 제 3 뉴런(23)과 상기 제 4 뉴런(24)의 출력단에는 각각 제 7 멤리스토(37)와 제 8 멤리스토(38)가 접속되어 있다. 상기 제 7, 제 8 멤리스토(37)(38)는 서로 합지된 다음 분기되어, 스위치 S57을 통해서는 제 6 뉴런(26)에 접속되고, 스위치 S58을 통해서는 접지단에 물린다.

제 2 실시예에 따른 뉴로모픽 시스템의 동작을 설명한다.

먼저, 학습과정은 입력신호가 인가되는 상태에서 스위치 S57은 닫히고, 스위치 S58은 열린다. 그러면, 제 7, 제 8 멤리스토(37)(38)을 통과한 입력신호가 제 6 뉴런(26)으로 인가되고, 제 6 뉴런(26)은 적분기 및 비교기의 작용에 의해서 출력신호(output)을 내보낸다. 상기 출력신호와 라벨값을 비교하여 멤리스토의 업데이트를 결정한다. 라벨값이 온임에도 불구하고 상기 제 6 뉴런이 온이 되지 않은 상태인 경우에는, 멤리스토(37)(38)의 저항값을 낮추는 방향으로 업데이트할 수 있을 것이다.

한편, 멤리스토의 고유값을 업데이트할 때에는 스위치 S57을 열고, 스위치 S58을 닫아서, 제 3 뉴런(23) 및 제 4 뉴런(24)을 통하여 펄스를 인가할 수 있다.

본 발명에 따르면 기존 소프트웨어 방식으로 불가능한 고속 신경망 학습시스템을 구현할 수 있다. 따라서, 하드웨어로 구현되는 뉴로모픽 시스템의 현실화에 한층 더 접근하여, 지능적 판단이 요청되는 다양한 산업분야에 널리 적용될 수 있을 것이다. 본 발명에 따르면 학습과정을 신속하게 수행할 수 있고, 학습효율을 현저하게 향상시킬 수 있다.

1: 언수퍼바이즈드 학습 하드웨어
2: 수퍼바이즈드 학습 하드웨어

Claims (14)

1. 언슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 그룹핑을 수행하는 언슈퍼바이즈드 학습 하드웨어; 및
   라벨값을 가지는 슈퍼바이즈드 방식으로 학습이 수행되는 하드웨어로서 입력신호의 클러스터링을 수행하는 슈퍼바이즈드 학습 하드웨어가 포함되는 뉴로모픽 시스템.
2. 제 1 항에 있어서,
   상기 슈퍼바이즈드 학습 하드웨어는 상기 언슈퍼바이즈드 학습 하드웨어의 출력값을 입력값으로 하여 동작하는 뉴로모픽 시스템.
3. 제 1 항에 있어서,
   상기 언슈퍼바이즈드 학습 하드웨어는 RBM이 적용되는 뉴로모픽 시스템.
4. 제 1 항에 있어서,
   상기 슈퍼바이즈드 학습 하드웨어는 RBM 또는 STDP가 적용되는 뉴로모픽 시스템.
5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
   상기 언슈퍼바이즈드 학습 하드웨어에는,
   적어도 두 개의 멤리스토 집단;
   상기 멤리스토 집단의 앞쪽에 배치되어 외부로부터의 입력신호를 받고, 적어도 뉴런이 포함되는 적어도 두 개의 전치회로; 및
   상기 멤리스토 집단의 뒷쪽에 배치되어 상기 멤리스토 집단의 출력신호를 인가받고, 적어도 뉴런이 포함되는 적어도 두 개의 후치회로가 포함되는 뉴로모픽 시스템.
6. 제 5 항에 있어서,
   어느 하나의 상기 후치회로는 적어도 두 개의 다른 멤리스토 집단에 소속되는 멤리스토와 병렬접속되는 뉴로모픽 시스템.
7. 제 5 항에 있어서,
   상기 멤리스토 집단의 수는 상기 전치회로의 수와 대응하고, 상기 멤리스토 집단에 포함되는 멤리스토의 수는 후치회로의 수와 대응하는 뉴로모픽 시스템.
8. 제 5 항에 있어서,
   상기 언슈퍼바이즈드 학습 하드웨어에는,
   상기 전치회로와 상기 후치회로가 서로 정위상 CD 및 역위상 CD를 수행할 때의 출력값을 저장하는 메모리가 포함되는 뉴로모픽 시스템.
9. 제 5 항에 있어서,
   상기 멤리스토 집단을 중심으로 할 때, 스위치를 매개하여, 어느 일측에는 접지단, 다른 일측에는 외부전원이 접속되는 뉴로모픽 시스템.
10. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    상기 슈퍼바이즈드 학습 하드웨어에는,
    상기 언슈퍼바이즈드 학습 하드웨어로부터의 출력값을 입력받고, 현재의 입력신호와 대응되는 라벨값을 입력받는 메모리;
    상기 출력값을 입력받는 적어도 두 개의 멤리스토; 및
    상기 적어도 두 개의 멤리스토의 출력단과 접속되고, 출력단은 적어도 상기 메모리와 연결되는 뉴런이 포함되는 뉴로모픽 시스템.
11. 제 10 항에 있어서,
    상기 적어도 두 개의 멤리스토의 출력단과 상기 뉴런의 입력단 사이에는, 스위치가 개입된 상태로 접지단이 제공되는 뉴로모픽 시스템.
12. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    상기 슈퍼바이즈드 학습 하드웨어에는,
    상기 언슈퍼바이즈드 학습 하드웨어로부터의 출력값을 입력받는 적어도 두 개의 멤리스토;
    상기 적어도 두 개의 멤리스토의 합지된 출력측에 스위치가 개입하여 제공되는 뉴런; 및
    상기 적어도 두 개의 멤리스토의 합지된 출력측에 스위치가 개입하여 제공되는 접지단이 포함되는 뉴로모픽 시스템.
13. 언슈퍼바이즈드 학습 하드웨어를 학습시키는 것;
    상기 언슈퍼바이즈드 학습 하드웨어에 포함되는 멤리스토를 업데이트하는 것;
    슈퍼바이즈드 학습 하드웨어를 학습시키는 것; 및
    상기 슈퍼바이즈드 학습 하드웨어에 포함되는 멤리스토를 업데이트하는 것이 포함되는 뉴로모픽 시스템의 동작방법.
14. 제 13 항에 있어서,
    상기 학습과 상기 업데이트는 다수의 입력신호 조합에 대하여 반복적으로 수행되는 뉴로모픽 시스템의 동작방법.

Images